Zero-Copy Integration: La nueva forma de integrar datos sin copias y redundancias

En Rodgers y Hammerstein's "El Rey y Yo", el rey explica a "Yo" que la abeja siempre vuela de flor en flor, la flor nunca vuela de abeja a abeja. Esa justificación para el adulterio no voló con la Sra. Anna, pero tiene sentido cuando se aplica a la relación entre las aplicaciones y los datos: ¿Deberían los datos volar de aplicación en aplicación, o deberían los datos quedarse como una flor y permitir que las aplicaciones se acerquen a ella en sus propios términos?

Un nuevo marco, formulado como un estándar abierto que acaba de recibir el imprimátur del gobierno canadiense, mantiene los datos firmemente arraigados.

¿Qué es la integración de copia cero?

La integración de copia cero es una iniciativa liderada por la empresa colaborativa canadiense Cinchy. Su objetivo es cambiar el paradigma de integración de API de software empresarial con un modelo totalmente nuevo, al que la empresa llama dataware, que mantiene los datos enraizados de manera efectiva al tiempo que elimina la complejidad y la redundancia de datos del proceso de integración de software empresarial.

Beneficios de la integración de datos de copia cero

Los defensores de la integración de copia cero y dataware afirman que el marco reducirá los costos de almacenamiento de datos, mejorará el rendimiento de los equipos de TI, mejorará la privacidad y seguridad de los datos y fomentará la innovación en sistemas de salud pública, investigación social, banca abierta y sostenibilidad a través de innovaciones en:

• Desarrollo y enriquecimiento de aplicaciones.
• Analítica predictiva.
• Gemelos digitales.
• Tecnología Customer 360.
• Inteligencia artificial y aprendizaje automático.
• Automatización de flujos de trabajo.
• Modernización de sistemas heredados.

El martes, el Consejo de Gobierno Digital de Canadá y la Alianza de Colaboración de Datos, una organización sin fines de lucro creada por Cinchy, anunciaron CAN/CIOSC 100-9, Gobierno de datos - Parte 9: Integración de copia cero, un estándar nacional aprobado por el Consejo de Normas de Canadá, que se publicará como estándar abierto.

La democratización de los datos impulsa nuevas oportunidades de ingresos en las empresas

La integración de copia cero busca eliminar los silos de datos impulsados por API

La idea básica, según Dan DeMers, CEO de Cinchy, es que el marco busca eliminar los silos de datos de aplicaciones utilizando la colaboración de datos basada en el acceso en lugar de la integración de datos con API estándar que implica copiar datos y etiquetarlos con codificación compleja específica de cada aplicación. Esto se lograría mediante controles de acceso establecidos en la capa de datos. También implicaría:

• Gestión de datos a través de productos de datos y supervisión federada, no equipos centralizados.
• Priorización de la "centralidad de los datos" y metadatos activos sobre el código complejo.
• Priorización de la modularidad de soluciones sobre el diseño monolítico.

La iniciativa señala que los proyectos viables para la integración de copia cero incluyen el desarrollo de nuevas aplicaciones, análisis predictivo, gemelos digitales, vistas de clientes 360, operacionalización de IA/ML y automatización de flujos de trabajo, así como la modernización de sistemas heredados y enriquecimiento de aplicaciones SaaS.

DeMers, quien también es miembro del comité técnico para el estándar, promete una revolución en los datos.

"En algún momento, en un mundo cada vez más complejo, caes por un precipicio, por lo que creemos que estamos al comienzo de la revolución de la simplificación", dijo. "El hecho es que los datos se están volviendo cada vez más centrales, y la forma en que los compartimos es con APIs y ETLs, lo que implica crear copias y aumentar enormemente la complejidad y el costo. Representa la mitad de la capacidad de TI de cada organización compleja en el planeta, y cada año se vuelve más caro."

Agregó que lo más preocupante es que cada vez que se genera una copia, se pierde un grado de control.

"Si dirijo un banco y tengo mil aplicaciones que necesitan interactuar con alguna representación de mi cliente, y al hacerlo están copiando esa representación, ahora tengo mil copias de ese cliente", dijo DeMers. "¿Cómo lo protejo?"

Domina el arte del Big Data como un ninja por solo $30

Seguridad a través de marcos de copia cero

Las leyes que describen la propiedad de los datos limitan cómo las organizaciones o los gobiernos pueden utilizar esos datos, pero son leyes, no controles sistemáticos, señaló DeMers. Un punto clave del argumento de la integración de datos de copia cero, y la adopción por parte de Canadá de un marco en principio, es que facilita la seguridad de los datos al limitar el acceso y el control.

"La copia cero es un cambio de paradigma porque te permite incorporar controles en los propios datos", dijo DeMers. "Como se basa en el acceso, no en la copia, el acceso se puede otorgar y se puede revocar, mientras que las copias son permanentes y se puede perder rápidamente el control sobre quién las tiene y cualquier intento de limitar lo que las organizaciones hacen cuando obtienen una copia es difícil".

Cinchy apunta a una "arquitectura de tejido de datos" para transformar almacenes de datos, lagos y/o casas de lagos en repositorios que pueden llevar a cabo tanto análisis como software operativo. Esto permite que las aplicaciones se acerquen a los datos, en lugar de llevar copias de datos de vuelta a los jardines murados de las aplicaciones.

DeMers argumentó que la creación y el almacenamiento de copias cuestan dinero, tanto por el almacenamiento y las canalizaciones de datos como por el tiempo que el departamento de TI tiene que pasar gestionando las iteraciones de datos generados por cientos o miles de aplicaciones que una empresa puede alojar.

"Las copias de datos requieren almacenamiento; la creación de la copia y su sincronización no solo utiliza almacenamiento, sino también cálculo", dijo. "Si te imaginas la mayoría de los procesos que se ejecutan en los servidores del banco en este momento, están moviendo y conciliando copias de datos, lo que implica uso de energía".

Agregó que copiar y mover datos crea oportunidades para introducir errores. Si dos sistemas conectados mediante una canalización de datos se desincronizan, los datos pueden perderse o corromperse, lo que reduce la calidad de los datos. Con una única copia de los datos utilizada colectivamente por todos los sistemas, no hay posibilidad de que los registros aparezcan de manera diferente en diferentes contextos.

Salesforce lanza plataforma en la nube para clientes de la UE - Hyperforce EU Operating Zone

¿Es la integración de copia cero un sueño del metro de Los Ángeles?

Matt McLarty, director de tecnología de Salesforce MuleSoft, coincide en que la reproducción de datos es un problema constante.

"No solo la replicación de datos, sino la existencia de datos semánticamente equivalentes en diferentes lugares", dijo.

Lo ve un poco como Los Ángeles y el metro: es una gran idea en principio, pero nadie va a derribar Los Ángeles y reconstruirlo en torno al transporte masivo.

"Es un gran problema pero también una realidad inevitable", dijo. "Desde el punto de vista del problema, sí, pero diría que hay múltiples categorías de software en este espacio, incluido Salesforce Genie, que trata sobre cómo aprovechar todos los datos de los clientes dispersos en el ecosistema".

Elefantes operativos y cebras analíticas que beben del mismo lago de datos

Según explicó McLarty, la mayoría de las empresas tienen dos grandes áreas de datos que, aunque no están en contra, necesitan vivir por separado: datos operativos y datos analíticos. Los datos operativos son utilizados por aplicaciones dirigidas al usuario, como la banca móvil; los datos analíticos sacan los datos del flujo de actividades operativas y los utilizan para análisis e inteligencia empresarial.

"Históricamente, han vivido por separado debido a las diferencias de procesamiento", dijo. "Operativamente, hay procesamiento de alta velocidad y alta escala y, analíticamente, pequeños grupos internos que procesan grandes cantidades de datos".

Cómo desarrollar una estrategia de datos para impulsar la transformación con IA

DeMers explicó que lo que hace el dataware, entre otras cosas, es incorporar una "estructura de datos operativa". Esto, dijo, permite una integración "desde la última vez" de fuentes de datos externas a una arquitectura basada en una "red de conjuntos de datos" que es capaz de impulsar modelos comerciales ilimitados.

"Una vez creados, estos modelos se pueden operacionalizar fácilmente como experiencias basadas en metadatos o exponerlos como APIs para alimentar diseños de UX de código bajo y profesional", dijo, agregando que elimina la necesidad de crear nuevas bases de datos, realizar integraciones de datos punto a punto o establecer protecciones de datos específicas de la aplicación.

"Otro concepto fundamental asociado a la tecnología de dataware es la 'inteligencia colaborativa', que se crea como resultado de los usuarios y los sistemas conectados, enriqueciendo simultáneamente la información dentro de la red de conjuntos de datos", dijo.

DeMers dijo que los usuarios a quienes los propietarios otorgan acceso a un conjunto de datos obtienen una interfaz llamada "navegador de datos" que ofrece una "experiencia de autoservicio".

"En principio, esto funciona un poco como Google Docs, donde varios compañeros colaboran en un informe o propuesta de negocios mientras el software ofrece automáticamente sugerencias gramaticales y gestiona roles, permisos, versiones y copias de seguridad", dijo.

DeMers agregó que el resultado final es datos súper enriquecidos y protegidos automáticamente que los equipos pueden consultar al instante para alimentar paneles ilimitados, vistas de 360 grados y otros proyectos analíticos.

Cómo la tecnología espacial mejora el almacenamiento de datos en la Tierra

¿Las empresas simplificarán o "abrazarán el caos"?

Según algunas estimaciones, las empresas están optando por la ruta de "abrazar el caos" para encontrar nuevos enfoques que reconozcan que los marcos de datos empresariales seguirán siendo complejos, al estilo de Los Ángeles. Esto incluye marcos de datos de malla y sistemas de automatización y aprendizaje automático que crean modelos que integran diferentes tipos de datos.

"Creo que el cambio más grande en este momento en el mundo de los datos es que los dos mundos, el analítico y el operativo, están chocando", dijo McLarty. "Lo que está sucediendo ahora, debido al movimiento de big data y el aprendizaje automático, es la codificación basada en datos: escribir código con datos, ingestión de datos y producción de modelos de aprendizaje automático basados en los datos que puedo insertar en mis aplicaciones".

DeMers dijo que el paradigma del dataware permite los conceptos de malla de datos.

"Exigir que un único equipo gestione cada conjunto de datos en la organización es un camino seguro hacia un gobierno de datos fallido", dijo.

También argumentó que en una organización centrada en los datos, los responsables de los datos deben reflejar la granularidad del organigrama de su organización.

"Este enfoque de gobierno de datos federado organizado en torno a dominios y productos de datos es la malla de datos y es una gran parte de establecer una empresa más ágil", dijo DeMers.

Ampliando horizontes: la alianza AWS-Matterport potencia los gemelos digitales con un panel conjunto

Los silos de datos dificultan esto debido a la integración de datos punto a punto sin restricciones que implica.

Liberando datos de la aplicación

Sylvie Veilleux, ex directora de información de Dropbox, dijo que los silos de datos son una parte fundamental del ecosistema de Software as a Service, pero que es un problema que el dataware puede resolver.

"Cada aplicación resuelve un propósito específico y único, y tienden hacia una mayor especialización", dijo. "Cuanto más avanza la adopción de SaaS, lo cual es muy saludable en términos de acceso de la empresa a herramientas, más se crean continuamente cientos, miles o incluso más silos de datos en corporaciones más grandes. Este número seguirá creciendo a menos que adoptemos un enfoque completamente nuevo sobre cómo pensamos en las aplicaciones de datos".

Dijo que el dataware y la integración de datos de copia cero permiten a las empresas eliminar integraciones de datos adicionales al hacer que la aplicación se conecte a una fuente de datos en red.

"Cambia la forma en que trabajamos al cambiar el proceso desde que los datos sean cautivos de una aplicación a mantenerlos en una red, lo que permite a los usuarios colaborar y brinda a las empresas acceso en tiempo real", dijo Veilleux.

Con los repositorios de datos moviéndose a la nube, lo que beneficia a la colaboración, las empresas tienen más flexibilidad y costos reducidos, pero ¿a qué costo en cuanto a seguridad y amenazas? Descargue esta política de Newsmatic Premium, que incluye pautas que lo ayudarán a lograr una gestión segura de datos en la nube para la integridad y privacidad de la información de la empresa.

Alerta: Acumulación de datos

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Big Data, allí encontraras muchos artículos similares a Zero-Copy Integration: La nueva forma de integrar datos sin copias y redundancias , tenemos lo ultimo en tecnología 2023.