Cómo utilizar la gobernanza de datos para sistemas de IA/ML

La gobernanza de datos asegura que los datos estén disponibles, consistentes, utilizables, confiables y seguros. Es un concepto con el que las organizaciones luchan, y el desafío se intensifica cuando el big data y sistemas como la inteligencia artificial y el aprendizaje automático entran en escena. Las organizaciones rápidamente se dan cuenta de que los sistemas de IA/ML funcionan de manera diferente a los sistemas tradicionales de registros fijos.

Con la IA/ML, el objetivo no es devolver un valor o un estado para una sola transacción. Más bien, un sistema de IA/ML examina petabytes de datos buscando respuestas a una consulta o un algoritmo que incluso puede parecer un poco abierto. Los datos se procesan en paralelo con hilos de datos que se alimentan simultáneamente en el procesador. Las enormes cantidades de datos que se procesan simultánea y asíncronamente pueden ser filtradas por el departamento de TI de antemano para acelerar el procesamiento.

Estos datos pueden provenir de muchas fuentes internas y externas diferentes. Cada fuente tiene su propia forma de recopilar, organizar y almacenar datos, y puede o no cumplir con los estándares de gobernanza de su propia organización. Luego están las recomendaciones de la propia IA. ¿Confías en ellas? Estas son solo algunas de las preguntas a las que se enfrentan las empresas y sus auditores a medida que se centran en la gobernanza de datos para la IA/ML y buscan herramientas que puedan ayudarles.

Cómo utilizar la gobernanza de datos para sistemas de IA/ML

Asegurar que los datos sean consistentes y precisos

Si estás integrando datos de sistemas transaccionales internos y externos, los datos deben estandarizarse para que puedan comunicarse y combinarse con datos de otras fuentes. Las interfaces de programación de aplicaciones (API) preconstruidas en muchos sistemas permiten el intercambio de datos entre diferentes sistemas y facilitan este proceso. Si no hay API disponibles, puedes utilizar herramientas ETL, que transfieren datos de un sistema a otro en un formato legible.

Si estás añadiendo datos no estructurados como fotografías, videos y objetos de sonido, existen herramientas de enlace de objetos que pueden relacionar y vincular estos objetos entre sí. Un buen ejemplo de un enlazador de objetos es un sistema de Sistemas de Información Geográfica (SIG), que combina fotografías, esquemas y otros tipos de datos para proporcionar un contexto geográfico completo para un entorno específico.

Vale la pena invertir en minería de datos

Confirmar que los datos sean utilizables

A menudo pensamos que los datos utilizables son aquellos a los que los usuarios pueden acceder, pero es más que eso. Si los datos que retienes han perdido su valor porque están obsoletos, deben ser eliminados. El departamento de TI y los usuarios finales del negocio deben ponerse de acuerdo en cuándo se deben eliminar los datos. Esto se establece en forma de políticas de retención de datos.

También hay otras ocasiones en las que los datos de IA/ML deben ser eliminados. Esto sucede cuando se cambia el modelo de datos para la IA y los datos ya no se ajustan al modelo.

En una auditoría de gobernanza de IA/ML, los examinadores esperarán ver políticas y procedimientos por escrito para ambos tipos de eliminación de datos. También verificarán que tus prácticas de eliminación de datos cumplan con los estándares de la industria. Existen muchas herramientas y utilidades de eliminación de datos en el mercado.

Asegurarse de que los datos sean confiables

Las circunstancias cambian: Un sistema de IA/ML que una vez funcionó de manera muy eficiente puede comenzar a perder efectividad. ¿Cómo lo sabes? Al verificar regularmente los resultados de la IA/ML en comparación con el rendimiento pasado y con lo que está sucediendo en el mundo que te rodea. Si la precisión de tu sistema de IA/ML se está alejando de ti, debes solucionarlo.

El modelo de contratación de Amazon es un gran ejemplo. El sistema de IA de Amazon concluyó que era mejor contratar solicitantes de empleo masculinos porque el sistema estaba analizando las prácticas de contratación pasadas y la mayoría de los contratados habían sido hombres. Lo que el modelo no tuvo en cuenta fue el aumento de candidatas mujeres altamente calificadas. El sistema de IA/ML se había alejado de la verdad y había comenzado a generar sesgos de contratación en el sistema. Desde el punto de vista regulatorio, la IA estaba incumpliendo las normativas.

Amazon finalmente desimplementó el sistema, pero las empresas pueden evitar estos errores si monitorean regularmente el rendimiento del sistema, lo comparan con el rendimiento pasado y lo comparan con lo que está ocurriendo en el mundo exterior. Si el modelo de IA/ML está desincronizado, se puede ajustar.

Fase de análisis: Entendiendo lo que el cliente quiere

Existen herramientas de IA/ML que los científicos de datos utilizan para medir la deriva del modelo, pero la forma más directa para que los profesionales de negocios verifiquen la deriva es comparar el rendimiento del sistema de IA/ML con el rendimiento histórico. Por ejemplo, si de repente encuentras que los pronósticos del tiempo tienen una precisión un 30% menor, es hora de revisar los datos y los algoritmos que está utilizando tu sistema de IA/ML.

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Big Data, allí encontraras muchos artículos similares a Cómo utilizar la gobernanza de datos para sistemas de IA/ML , tenemos lo ultimo en tecnología 2023.