Confluent Stream Designer: La herramienta para construir tuberías de datos en minutos

El flujo de datos es una constante en el mundo digital. Desde su inicio hasta su almacenamiento en ubicaciones de respaldo, los datos fluyen de un lugar a otro durante toda su vida útil.

Cuando los datos están en movimiento, generalmente se mueven entre aplicaciones y sus servicios dependientes. Pero también se mueven entre aplicaciones y sistemas operativos, entre componentes de aplicaciones, contenedores y microservicios, y, en la era siempre conectada de la nube y la web, entre interfaces de programación de aplicaciones.

Hoy en día, sabemos que los datos fluyen tanto que ahora hablamos de transmisión de datos, pero ¿qué es y cómo podemos aprovechar este principio informático?

¿Qué es la transmisión de datos?

La transmisión de datos es un paradigma de información clave para las pilas de TI modernas, ya que denota y describe el movimiento de datos a través de los canales mencionados anteriormente en una secuencia ordenada en el tiempo. Es similar al concepto de eventos informáticos, donde se crean archivos de registro asincrónicos para cada tecla presionada, clic de mouse o lectura de sensor IoT. La transmisión de datos supervisa la actividad del sistema relacionada con áreas donde los flujos de datos son generalmente ricos y grandes.

Esta breve historia del movimiento de datos nos proporciona conocimientos suficientes para saber que el río está en movimiento. Incluso podríamos subirnos a la canoa y recibir un remo. Sin embargo, en lo que no nos ayuda es en conseguir un chaleco salvavidas o en ayudarnos a navegar por el río.

Vale la pena invertir en minería de datos

Confluent es una plataforma de transmisión de datos con la misión auto proclamada de poner los datos en movimiento. Aunque la ingeniería de transmisión de datos puede parecer compleja, el equipo ha creado Confluent Stream Designer, una interfaz visual que, según se dice, permite a los desarrolladores de software construir tuberías de datos en minutos.

Diseñando flujos de datos

Confluent ofrece una interfaz de usuario simple de apuntar y hacer clic, pero no necesariamente es una interfaz de apuntar y hacer clic para ti y tu tía o tío favorito. Se espera que esta interfaz de apuntar y hacer clic sea un avance para hacer que los flujos de datos sean accesibles para los desarrolladores más allá de los expertos especializados en Apache Kafka.

Apache Kafka es una plataforma de transmisión de eventos distribuida de código abierto creada por el cofundador y CEO de Confluent, Jay Kreps, y sus colegas Neha Narkhede y Jun Rao, mientras los tres trabajaban en LinkedIn. Confluent ofrece una plataforma base nativa de la nube para la transmisión de datos en tiempo real desde múltiples fuentes, diseñada para ser el "tejido conectivo inteligente" para operaciones de backend impulsadas por software que brinda funciones de usuario de front-end ricas.

Es necesario contextualizar y aclarar aquí: Se trata de una compleja ingeniería de software y ciencia de datos que ahora se ha acercado a una amplia clase de desarrolladores que quizás no hayan leído el Guía Definitiva de Kafka de Narkhede todas las noches con su cocoa antes de dormir.

La teoría detrás de Confluent Stream Designer es que, al permitir que más equipos puedan construir e iterar rápidamente tuberías de transmisión, las organizaciones pueden conectar rápidamente más datos en toda su empresa para un desarrollo ágil y una toma de decisiones en tiempo real mejor y más rápida.

En la conferencia Current 2022: The Next Generation of Kafka Summit en Texas, tuvimos la oportunidad de hablar directamente con Confluent acerca de sus visiones y ambiciones.

Fase de análisis: Entendiendo lo que el cliente quiere

"Estamos en medio de un importante cambio tecnológico, donde la transmisión de datos está convirtiendo el tiempo real en lo normal, permitiendo nuevos modelos de negocio, mejores experiencias de cliente y operaciones más eficientes", dijo Kreps. "Con Stream Designer, queremos democratizar este movimiento hacia la transmisión de datos y convertir el tiempo real en el valor predeterminado para todos los flujos de datos de una organización".

La transmisión se mueve desde el borde

Kreps y su equipo afirman además que las tecnologías de transmisión que antes estaban en los bordes se han convertido en el núcleo de las funciones comerciales críticas.

Debido a que el procesamiento por lotes tradicional ya no puede mantenerse al ritmo del creciente número de casos de uso que dependen de actualizaciones en milisegundos, Confluent sostiene que cada vez más organizaciones están adoptando la transmisión, ya que su sustento depende de la capacidad de proporcionar datos al instante en las experiencias de cliente y las operaciones empresariales.

Como algo así como un estándar de facto para la transmisión de datos en la actualidad, Kafka se dice que permite a alrededor del 80% de las compañías Fortune 100 manejar grandes volúmenes y variedades de datos en tiempo real.

Sin embargo, construir tuberías de datos en tiempo real en Kafka de código abierto requiere de grandes equipos de ingenieros altamente especializados y un trabajo que consume mucho tiempo con varias herramientas. Esto hace que la transmisión de datos generalizada esté fuera del alcance de muchas organizaciones y deja las tuberías de datos obstruidas con datos obsoletos y desactualizados.

La firma de análisis IDC ha afirmado que las empresas necesitan agregar más casos de uso de transmisión de datos, pero la falta de talento de desarrollo y el aumento de la deuda técnica obstaculizan este proceso.

Los 12 errores más comunes al trabajar con el objeto Recordset en Access

"En cuanto a los desarrolladores, científicos de datos y otros ingenieros de software que trabajan con tecnologías de transmisión de datos, esta es una idea bastante nueva para muchos de ellos", explicó Kris Jenkins, defensor del desarrollo de Confluent. "Esto es un avance significativo desde el uso de una tecnología como una base de datos relacional".

Todo esto sienta las bases para que las empresas puedan crear lo que se denomina una malla de datos, un estado de operaciones en el que cada departamento puede compartir sus datos a través de la función central de TI para ayudar en la toma de decisiones de alto nivel a nivel corporativo. En esta estructura en red, otros departamentos también pueden acceder a esos flujos de datos en tiempo real, sujeto a controles de acceso de política definida, sin necesidad de la participación de los originadores de datos originales.

¿Qué ofrece Confluent a los desarrolladores?

En cuanto a las especificaciones del producto, Confluent Stream Designer proporciona a los desarrolladores lo que sus creadores llaman un "canvas flexible de apuntar y hacer clic" para construir tuberías de datos en tiempo real en minutos. Lo logra a través de su capacidad para describir fácilmente los flujos de datos y la lógica empresarial dentro de la interfaz gráfica de usuario.

Adopta un enfoque centrado en el desarrollador, donde los usuarios con diferentes habilidades y necesidades pueden alternar entre la interfaz gráfica de usuario, un editor de código y una interfaz de línea de comandos para construir declarativamente la lógica de flujo de datos. Introduce prácticas orientadas al desarrollo en las tuberías, lo que facilita que los desarrolladores nuevos en Kafka conviertan los datos en valor comercial más rápidamente.

Con el software Stream Designer, los equipos pueden evitar pasar largos periodos administrando componentes individuales en Kafka de código abierto. A través de una interfaz visual, los desarrolladores pueden construir tuberías con todo el ecosistema de Kafka y luego iterar y probar antes de implementar en producción de manera modular. Ya no es necesario trabajar con múltiples componentes discretos, como Kafka Stream y Kafka Connect, que requieren su propio código boilerplate cada vez.

Después de construir una tubería, el siguiente desafío es mantenerla y actualizarla a lo largo de su ciclo de vida a medida que cambian los requisitos comerciales y la pila tecnológica evoluciona. Stream Designer proporciona una vista unificada de extremo a extremo para facilitar la observación, edición y gestión de las tuberías y mantenerlas actualizadas.

Las mejores herramientas de inteligencia empresarial para tomar decisiones basadas en datos

La postura de mercado del CEO Kreps

Teniendo en cuenta el estado actual de lo que claramente es una tecnología aún incipiente en ascenso, ¿cómo se siente Kreps acerca de la relación de su empresa con otros proveedores de tecnología empresarial?

"Bueno, sabes, esto es un cambio bastante significativo en términos de cómo todos pensamos acerca de los datos y cómo trabajamos con ellos, y, en términos reales, está impactando todas las tecnologías en su entorno", dijo Kreps. "Algunos de los proveedores de bases de datos operativas ya están proporcionando una integración bastante profunda con nosotros, y nosotros con ellos. Eso es genial para nosotros, ya que nuestro objetivo es permitir esa conexión y facilitar el trabajo con Confluent en todos sus diferentes sistemas".

¿Los mismos proveedores de tecnología empresarial ahora comenzarán a crear más soluciones de transmisión de datos y a llegar al mercado con su propia propuesta? Y si lo hacen, ¿consideraría Kreps eso como un elogio a Confluent en cierta medida?

Él reconoce que inevitablemente habrá intentos de replicar la funcionalidad. Sin embargo, señala "un cambio de mentalidad entre los profesionales" en términos de lo que esperan y demandan de cualquier producto nuevo, por lo que espera que el enfoque dedicado de su empresa en este espacio triunfe.

Datos en streaming o transmisión de datos: ¿Cuál es correcto?

Solo queda una pregunta. Necesitamos saber si debemos decir "transmisión de datos" o "tecnología de datos en streaming". Nuestra definición inicial aquí, y la mayoría de las fuentes de información en la web, hablan de la transmisión de datos. Sin embargo, Confluent a menudo se refiere a datos en streaming. A riesgo de mezclar nuestras metáforas y abandonar la narrativa del río, arroyo y vía fluvial, es un poco como decir "curry de cabra jamaicano". Si pides curry de cabra, probablemente lo obtendrás. De cualquier manera, será picante y será malas noticias para la cabra.

Conviértete en un experto en datos con estos recursos de Newsmatic Academy:

Cómo agregar una barra de desplazamiento a un gráfico en Excel

• The Big Data Certification Super Training Bundle
• The Complete Python Data Science Bundle
• The Complete Excel, VBA, and Data Science Certification Training Bundle
• Machine Learning & Data Science Certification Training Bundle

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Big Data, allí encontraras muchos artículos similares a Confluent Stream Designer: La herramienta para construir tuberías de datos en minutos , tenemos lo ultimo en tecnología 2023.