Maximiza tu IA con un equipo reducido: ¡Entrega valor sin contratar rápidamente!

Al interactuar con directores de datos y analítica, uno de los temas más comunes que escucho es la dificultad de contratar y retener científicos de datos e ingenieros de aprendizaje automático. Las principales iniciativas de ciencia de datos se detendrán cuando un científico de datos principal se vaya o los esfuerzos para integrar la IA en toda la empresa se conviertan en un goteo de proyectos debido a la incapacidad de contratar ingenieros de aprendizaje automático lo suficientemente rápido para gestionar cada modelo en producción.

Y este es un problema generalizado. Según una encuesta de Gartner de 2021, casi dos tercios (64%) de los ejecutivos de TI identificaron la falta de talento cualificado como la mayor barrera para adoptar tecnologías emergentes como la IA y el aprendizaje automático. Contratar científicos de datos lleva un 20% más de tiempo que los trabajos de TI en general, y más del doble de tiempo que el empleo corporativo promedio en Estados Unidos. La demanda de ingenieros de aprendizaje automático es aún más intensa, con las ofertas de empleo para estos ingenieros creciendo un 30 veces más rápido que los servicios de TI en su conjunto.

VER: Kit de contratación: Científico de datos (Newsmatic Premium)

Las empresas han invertido miles de millones de dólares en IA (inversiones que han incluido la ampliación de los equipos de datos) basándose en promesas de mayor automatización, personalización de la experiencia del cliente a gran escala o la entrega de predicciones más precisas para impulsar los ingresos. Sin embargo, hasta ahora ha habido una brecha masiva entre el potencial de la IA y los resultados obtenidos, con solo aproximadamente el 10% de las inversiones en IA que generan un ROI significativo.

Para los directores de datos y análisis, esta es una pregunta clave. ¿Cómo pueden generar valor a partir de la IA y el learnizaje automático aplicados en toda la empresa en el corto plazo con un número reducido de científicos de datos y posiblemente incluso menos ingenieros de aprendizaje automático? En otras palabras, ¿pueden los equipos pequeños de ciencia de datos comenzar a generar valor desproporcionado sin esperar meses o años para un equipo completamente capacitado?

En lugar de esperar a que se llenen estos roles, los equipos de MLOps deben encontrar una manera de respaldar más modelos y casos de uso de ML sin un aumento lineal en el personal de ciencia de datos. Entonces, ¿cómo lo hacen? Aquí hay algunos consejos:

Descubre la importancia de la calidad digital para tu negocio

Reconocer las fortalezas de los miembros del equipo existentes

Diferentes miembros del equipo aportan diferentes fortalezas y habilidades al equipo. Los científicos de datos destacan en convertir los datos en modelos que ayudan a resolver problemas comerciales y tomar decisiones empresariales. Pero la experiencia y las habilidades necesarias para construir buenos modelos no son las mismas habilidades necesarias para implementar esos modelos en el mundo real con código listo para producción, y luego monitorear y actualizar de manera continua. Por otro lado, los ingenieros de aprendizaje automático integran herramientas y marcos para asegurar que los datos, las canalizaciones de datos y la infraestructura clave funcionen de manera cohesiva para producir modelos de aprendizaje automático a escala.

Pero aunque los científicos de datos pueden estar dispuestos a entregar sus modelos al equipo de MLOps para una implementación producción, este proceso puede no ser eficiente. Debido a que los científicos de datos e ingenieros de MLOps no hablan el mismo idioma ni trabajan ni piensan de la misma manera, a menudo puede haber cuellos de botella que consumen tiempo mientras un grupo intenta articular un requisito (por ejemplo, preprocesamiento de datos requerido) y el otro equipo intenta satisfacerlo.

Además, si un modelo comienza a comportarse de manera incorrecta o a ser menos preciso en producción, ¿cómo pueden los ingenieros de aprendizaje automático detectar el problema y alertar a los científicos de datos de que es posible que el modelo deba volver a entrenarse? Puede requerir un esfuerzo en equipo para diagnosticar el problema: ¿es un error en la pila de producción o hay algo mal en el modelo? Esto puede llevar a los mismos cuellos de botella de comunicación y coordinación que se ven durante la implementación, ya que los científicos de datos luchan por obtener visibilidad de sus modelos dentro de la pila de producción.

Aprender de los errores en la adopción de la nube

Hace diez años, los equipos de infraestructura de TI intentaron construir sus propias nubes privadas. Estas terminaron llevando más tiempo y costando más de lo esperado construir, requiriendo más recursos para mantenerlas y teniendo menos de las últimas capacidades en seguridad y escalabilidad que las proporcionadas por las nubes públicas. Y en lugar de invertir en capacidades centrales del negocio, estas empresas terminaron invirtiendo tiempo y personal significativo en infraestructura.

Muchas empresas ahora están repitiendo ese mismo enfoque de hazlo tú mismo para la mayoría de los aspectos de MLOps. El enfoque más común para poner en producción el aprendizaje automático a menudo son soluciones personalizadas creadas a partir de diversas herramientas de código abierto como Apache Spark.

Estas soluciones a menudo son ineficientes (medido por la cantidad de inferencias realizadas y el tiempo requerido) y especialmente carecen de la observabilidad necesaria para probar y monitorear la precisión continua de los modelos con el tiempo. Además, estos enfoques son demasiado especializados para proporcionar procesos escalables y repetibles para múltiples casos de uso en diferentes partes de la empresa.

4 mejores prácticas para el diseño de procesos empresariales con IA

Contratar para lo que importa y automatizar todo lo demás

En este sentido, los directores de datos y análisis necesitan construir las capacidades en ciencia de datos que son fundamentales para el negocio, pero invertir en tecnologías que automatizan el resto de MLOps. Por ejemplo, una compañía de servicios financieros minoristas podría encontrar valor en contratar científicos de datos individuales con experiencia en la industria en cada subvertical, como seguros, tarjetas de crédito y préstamos hipotecarios, para crear perfiles de riesgo de clientes más granulares por línea de negocio. Pero no hay una ganancia similar para la empresa al contratar ingenieros de aprendizaje automático dedicados para cada línea de negocio: de hecho, esto crea un mayor costo y una menor productividad. En cambio, la empresa se beneficia más cuando tiene una plataforma estandarizada para implementar y administrar modelos de aprendizaje automático en producción que sea agnóstica al equipo que lo desarrolló o a los marcos de construcción de modelos utilizados.

Sí, este es el dilema común de "construir vs. comprar", pero esta vez la forma correcta de medir no son únicamente los costos operativos, sino más bien la rapidez y eficacia con la que sus inversiones en IA se están permeando en toda la empresa, ya sea generando nuevos ingresos a través de mejores productos y segmentos de clientes, o reduciendo costos mediante una mayor automatización y disminución de desperdicio.

A pesar de que la contratación de científicos de datos y MLOps seguirá siendo difícil, los directores de datos y análisis pueden comenzar a generar valor inmediato a partir de su IA y aprendizaje automático incluso con un equipo limitado de científicos de datos. El bloqueo principal será la creencia de que "necesitamos construir todo esto internamente". Al comprender las diferentes funciones necesarias para construir y operacionalizar la IA y el aprendizaje automático, e identificar aquellas que pueden ser automatizadas a través de herramientas líderes en su clase, la organización de CDAO puede tener un impacto significativo incluso con un equipo pequeño.

Cristina Morandi es la directora de éxito del cliente en Wallaroo y ha dedicado su carrera a respaldar a compañías de Fortune 500, así como a entidades gubernamentales, a través de tecnologías de vanguardia. Ayudó a Datalogue a transformarse de una startup en etapa inicial a un producto propio de integración de datos empresariales de NIKE impulsado por aprendizaje automático y automatización. Además, pasó ocho años dedicada a una de las mayores iniciativas de monitoreo del medio ambiente y uso humano en la historia, como líder de gestión de información y como contratista SIG para BP America.

Open Source JobHub: La plataforma líder para encontrar empleo en el mercado de código abierto

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre CXO, allí encontraras muchos artículos similares a Maximiza tu IA con un equipo reducido: ¡Entrega valor sin contratar rápidamente! , tenemos lo ultimo en tecnología 2023.