Fivetran presenta su informe de referencia sobre almacenes de datos en la nube

Fivetran, la empresa de ETL y tuberías de datos, ha publicado su informe de referencia de Cloud Data Warehouse. En colaboración con Brooklyn Data Co., Fivetran estudió a cinco importantes proveedores de almacén de datos en la nube y cómo han evolucionado y mejorado sus plataformas desde 2020.

En este informe, resumiremos los puntos clave de este estudio de referencia y destacaremos algunas diferencias identificadas por Fivetran entre estos competidores de almacenes de datos.

¿Qué es Fivetran?

Fivetran es una solución de tubería de datos en la nube que admite muchos proyectos de ETL y migración de datos. Una de las principales ventajas que ofrece a los usuarios son varios conectores de alta velocidad que requieren poco mantenimiento y se adaptan fácilmente a los cambios en el sistema de origen. Con estos conectores que abarcan una amplia variedad de fuentes de datos, los proyectos de integración de datos se pueden simplificar.

Otros productos y soluciones de Fivetran incluyen lo siguiente:

Vale la pena invertir en minería de datos

• Soporte para replicación de datos de aplicaciones SaaS
• Funciones de replicación y migración de bases de datos
• Soluciones preconstruidas de transformación
• Conectividad de datos integrada
• Soluciones de seguridad, privacidad y gobernanza de origen a destino

Fivetran puede respaldar una variedad de proyectos de datos comerciales, pero la empresa destaca específicamente los casos de uso de análisis de marketing, ventas y finanzas. Fivetran se integra de manera más fluida con AWS y Amazon Redshift, Microsoft Azure y Synapse, Databricks, Google Cloud y BigQuery, y Snowflake Data Cloud.

Datos rápidos sobre el informe de referencia de Cloud Data Warehouse de Fivetran

Este último informe de referencia de Fivetran ofrece un análisis comparativo de varios principales actores en el espacio de los almacenes de datos en la nube. Aquí algunos detalles importantes sobre las consultas realizadas por Fivetran, los proveedores evaluados y las métricas de rendimiento medidas:

• Fivetran realizó un análisis comparativo de velocidad y costo en cinco almacenes de datos.
• Los principales almacenes de datos cubiertos en este estudio son Amazon Redshift, Snowflake, Google BigQuery, Databricks y Azure Synapse.
• Las evaluaciones de Fivetran en este estudio se basan en el usuario típico de Fivetran, con un enfoque en muchas plataformas de datos de marketing y ventas. Según Fivetran, estos usuarios suelen trabajar con fuentes de datos complejas pero de menor volumen.
• El conjunto de datos utilizado incluyó 24 tablas a una escala de 1 TB; las tablas incluyen datos hipotéticos de minoristas, siendo la tabla más grande de cuatro mil millones de filas.
• Se ejecutaron 99 consultas entre mayo y octubre de 2022 para obtener estos resultados.
• Cada almacén se consultó en tres configuraciones diferentes: la configuración estándar se representa con 1X en las tablas de Fivetran; 0.5X representa los resultados con la mitad de esa potencia de cómputo; 2X representa los resultados con el doble de esa potencia de cómputo.

Resultados del informe de referencia de Cloud Data Warehouse

El informe de referencia de Cloud Data Warehouse generó datos significativos sobre el rendimiento de los almacenes de datos y lo que los usuarios podrían estar buscando. Para resumir este informe, nos enfocaremos principalmente en las principales conclusiones relacionadas con el costo, la velocidad y las mejoras año tras año.

Costo y velocidad

Los costos de estas soluciones de almacenamiento de datos son relativamente similares, especialmente si se evalúan a través de una relación costo-rendimiento. Las velocidades también son similares, ya que muchas de estas herramientas ofrecen resultados y realizan cambios en los datos en uno o dos segundos de diferencia entre sí.

Según la investigación de Fivetran, así es como se comparan cada una de estas soluciones en el nivel 1X:

• BigQuery es la solución más costosa y la segunda más lenta.
• Synapse es la segunda solución más costosa y la más lenta.
• Redshift es la tercera solución más costosa y la segunda más rápida.
• Snowflake es la cuarta solución más costosa y la más rápida.
• Databricks es la solución más económica y la tercera más rápida.

Todas estas soluciones tuvieron un rendimiento muy similar en cuanto a costos y tiempos en el nivel 1X. Es importante tener en cuenta que la mayoría de las soluciones 0.5X se mantuvieron dentro del mismo rango, pero Azure Synapse experimentó una disminución significativa en la velocidad con el 0.5 de potencia de cómputo.

Fase de análisis: Entendiendo lo que el cliente quiere

Mejoras año tras año

Cada uno de los proveedores cubiertos en este informe ha realizado mejoras en el rendimiento, específicamente en el tiempo de procesamiento, entre 2020 y 2022. Aquí tienes un resumen rápido de estos hallazgos:

• Databricks era mucho más lento que los otros competidores de este grupo en 2020, aunque han hecho más avances que cualquier otro proveedor mencionado aquí desde entonces, ahora se sitúan en tercer lugar entre este grupo, probablemente relacionado con la reescritura que hicieron de su motor de ejecución SQL.
• Snowflake ha superado a Redshift como el proveedor más rápido y de mejor rendimiento de este grupo, pero los dos siguen estando muy cerca en sus números.
• BigQuery es el más lento de los cuatro competidores revisados en esta sección, pero aún mantiene un ritmo muy similar al de todos ellos.
• Synapse no fue incluido en el informe de mejora de rendimiento de Fivetran.

¿Qué almacén de datos en la nube deberías elegir?

La principal conclusión que Fivetran obtuvo de este estudio es que si bien algunas de estas soluciones de almacenamiento de datos en la nube ofrecen velocidades y/o costos ligeramente mejores, todas se mantienen en un ritmo relativamente cercano entre sí. En otras palabras, no hay realmente una opción "mala" de almacén de datos en esta selección.

Entonces, ¿qué almacén de datos en la nube deberías seleccionar para tu empresa? Todo depende de los tipos y cantidades de datos con los que estés trabajando, la experiencia de tu equipo de datos y la inversión general que tu empresa esté dispuesta a realizar para esta solución de gestión de datos.

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Big Data, allí encontraras muchos artículos similares a Fivetran presenta su informe de referencia sobre almacenes de datos en la nube , tenemos lo ultimo en tecnología 2023.