Domina tus datos con Microsoft Azure Purview: ¡Ya no en vista previa!

Azure Purview es la herramienta de gobernanza de datos de Microsoft, diseñada para ayudar a las organizaciones a comprender y administrar sus crecientes repositorios de datos. Con los servicios de datos en la nube de escalado automático a solo unos clics de distancia, hay más posibilidades de que los datos se descontrolen en comparación con cuando se almacenaban en un centro de datos. Esto significa que es más fácil para los desarrolladores conectarse a un punto final y consumir esos datos, lo que agrega riesgos de fuga de datos o, lo que es aún más peligroso, uso descontrolado en modelos de aprendizaje automático.

Este último riesgo es cada vez mayor, ya que el uso no supervisado de los datos puede incrustar sesgos peligrosos en los modelos. Además, se suman los efectos de las cada vez más rigurosas regulaciones de protección de datos, que prescriben cómo se pueden utilizar los datos personales y que conllevan la amenaza de multas cuantiosas por mal uso o filtración de datos.

Usar una herramienta como Purview tiene mucho sentido, ya que proporciona estructura y automatiza muchos de los procesos que antes se realizaban manualmente, necesarios para construir la gobernanza de datos en bases de datos y aplicaciones de línea de negocio, asegurándose de que todos sus sistemas de registro estén gestionados y controlados al tiempo que les permite funcionar de manera eficaz.

Nuevas funcionalidades en esta versión: Soporte para S3

Recientemente, Microsoft ha trasladado Azure Purview de la vista previa a la disponibilidad general, agregando nuevas funciones y herramientas, incluyendo un conjunto de servicios y extensiones adicionales que lo llevan más allá de la nube de Microsoft y lo integran en la de Amazon y Google. Nos sentamos con Mike Flasko, el director general de la Plataforma de Gobernanza de Datos de Azure, para hablar sobre la transición a la disponibilidad general y cómo se ve el futuro de la gobernanza de datos basada en la nube con Purview.

Una de las características nuevas más importantes es el soporte para escanear los buckets de Amazon S3. Si bien las APIs de S3 de Amazon son utilizadas por otros proveedores de almacenamiento, actualmente las herramientas de Purview están limitadas a trabajar dentro de AWS. Es necesario tener un rol de AWS para el servicio, con las credenciales adecuadas que puedan funcionar con buckets encriptados. El rol necesita muy pocas permisiones, de hecho, menos que las que vienen con los permisos mínimos de S3 de Amazon, por lo que es necesario crear permisos propios, con reglas separadas para escanear un bucket específico o para trabajar en todos los recursos de AWS S3.

Otras nuevas fuentes de datos incluyen Big Query de Google y la integración con la plataforma de gobernanza de datos Erwin. Flasko mencionó que próximamente se dará soporte a otras populares plataformas de almacenamiento empresarial, incluyendo la base de datos de escala en la nube Snowflake. La intención es tener, como lo describe Flasko, "una colección de fuentes de datos a las que hemos ampliado el escaneo tanto en entornos locales como en fuentes adicionales de múltiples nubes para automatizar aún más. Sabrás lo que puedes ver y comprender".

Vale la pena invertir en minería de datos

Aprovechando el descubrimiento inteligente de datos

Tal vez el elemento más importante del lanzamiento de Azure Purview sea el mapa de datos. En lugar de tener herramientas separadas para catalogar y explorar datos, el mapa los reúne en un solo lugar y agrega una capa visual. Flasko lo describe como "proporcionando una plataforma de inteligencia sobre sus activos de datos". Esa es una diferencia con respecto a otras herramientas de administración de datos, ya que el enfoque visual ayuda a comprender los flujos entre diferentes fuentes de datos y cómo se comparten y utilizan en toda la organización. La idea aquí, según Flasko, es utilizar esa información para "aumentar la agilidad de los datos y asegurar su uso correcto".

La gobernanza de datos es cada vez más importante, especialmente cuando se trata de utilizarla para análisis a gran escala o para crear modelos de aprendizaje automático. Con una herramienta como el mapa de datos de Purview, puede ver dónde se almacenan los datos sensibles y cómo se utilizan. Este enfoque apunta hacia una gobernanza de datos en tiempo real. Antes, la gobernanza de datos era reactiva, se construían y desplegaban políticas después de almacenar y utilizar los datos. Al combinar la automatización con la elaboración de mapas dinámicos, herramientas como Purview ofrecen un nuevo enfoque impulsado por información para la gobernanza.

"Creo que algunas de las inversiones que hemos estado realizando en el escaneo automatizado están conectando esta conversación de los usuarios de datos con los curadores de datos. Las personas que gobiernan el estado de los datos", dijo Flasko, hablando sobre la importancia de este enfoque para Purview. "Creo que cada vez se volverá más y más esencial. Es una de las áreas clave de Purview, reunir a todos estos usuarios a través de la plataforma. Sentimos que existe la oportunidad de crear mucha más agilidad en términos de cómo se utilizan los datos y de cómo se desarrollan aún más en las organizaciones".

El futuro de Azure Purview

El futuro de la plataforma es uno de mejora continua, agregando más fuentes de datos y más automatizaciones. Cuanto más se pueda agregar, más se puede automatizar y más valor agregará Purview. Esto es una ventaja de trabajar en un ritmo de nube, según Flasko: "Cada mes en adelante verás que se añaden más y más soporte para fuentes de datos a Purview. Uno de los beneficios del modelo de entrega en la nube que tenemos es que, en cuanto estén listas, se expondrán".

Microsoft ha utilizado la versión de vista previa de Purview para entender lo que los usuarios esperan de una plataforma de gobernanza de datos, observando la metadatos que necesitan y cómo lo utilizan. Es un proceso que Flasko encontró fascinante: "Nos hemos sentido realmente emocionados y sorprendidos, algunas veces, con algunos de nuestros clientes en cuanto al número de casos de uso diferentes que nos han planteado". Esto ha llevado a conversaciones con los clientes sobre lo que han estado viendo y cómo pueden mejorar sus procesos de descubrimiento. Flasko lo describe como los clientes preguntándose a sí mismos: "Si yo curaría más, o si activara estos clasificadores, o si hiciera X, sabes, podría utilizar los datos y aprovecharlos de muchas más formas".

Ese es el verdadero valor de una herramienta como esta, no tanto lo que los diseñadores y desarrolladores esperaban que los usuarios hicieran, sino para lo que realmente la están utilizando. Como dijo Flasko, "Esa es la parte emocionante para mí, ver cómo esta plataforma realmente puede permitir el uso de datos, y el uso apropiado de datos en toda la organización, y estimular este tipo de conversaciones y lluvias de ideas con nuestros clientes".

Fase de análisis: Entendiendo lo que el cliente quiere

Si hay algo que se destaca al hablar con Flasko, es que claramente esas conversaciones con los clientes son las que se mantendrán durante mucho tiempo, ya que Microsoft trabaja con ellos para implementar nuevas fuentes de datos y nuevas funciones que les ayudarán a tomar el control de sus explosiones de datos. Las experiencias internas de Microsoft también entran en juego aquí, ya que Flasko describió el uso de Purview en su organización financiera, proporcionando "una comprensión de esos datos para todas las personas del equipo y luego permitiendo que todos, de alguna manera, se conviertan en consumidores de datos en sus tareas dentro de la organización".

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Big Data, allí encontraras muchos artículos similares a Domina tus datos con Microsoft Azure Purview: ¡Ya no en vista previa! , tenemos lo ultimo en tecnología 2023.