El problema con el Machine Learning y cómo simplificarlo

El Machine Learning (ML) ha sido sobrecomplicado durante años. A veces lo confundimos con la sobrevalorada inteligencia artificial, hablando de reemplazar a los humanos con razonamiento robótico cuando en realidad el ML se trata de potenciar la inteligencia humana con reconocimiento avanzado de patrones. O nos sumergimos en el deep learning cuando consultas SQL más básicas podrían cumplir con el trabajo. Pero quizás el mayor problema con el ML hoy en día es lo increíblemente complicadas que hacemos las herramientas, porque, como ha afirmado Mihail Eric, cofundador de Confetti AI, "el panorama de herramientas de ML con responsabilidades en constante cambio y nuevas líneas en la arena es especialmente difícil para los recién llegados al campo", lo que hace que sea "un momento bastante difícil para dar los primeros pasos en MLOps".

Normalmente buscamos herramientas para facilitar la tecnología. MLOps está haciendo lo contrario. ¿Qué se puede hacer al respecto?

Es todo sobre las herramientas

El problema, argumentó Eric, es que nadie quiere quedarse fuera de la Fiebre del Oro del ML. Dada la promesa de resolver problemas multimillonarios con el próximo algoritmo, se están gastando miles de millones de dólares en la creación de nuevas empresas. Cada una de esas empresas quiere venderte un nuevo modelo/funcionalidad/métrica/etc., almacenar (que es solo una forma innecesariamente sofisticada de decir base de datos). De hecho, según el informe recientemente publicado por Stanford AI Index 2022, la inversión privada de capital de riesgo en ML (y AI relacionada) creció a $93.5 mil millones en 2021, más que duplicando el total de 2020. A su vez, estamos presenciando más investigación, más estudiantes, más de todo fluyendo hacia el ML.

Y más herramientas. Muchas y muchas más herramientas.

En el camino, Eric señaló: "Todo el campo todavía está estandarizando la mejor manera de diseñar pipelines de ML completos. Lograr consenso sobre las mejores prácticas será una transformación de 5-10+ años fácilmente". Mientras tanto, espera un entorno algo caótico y agitado para MLOps.

Mientras tanto, ten esperanza. Aunque empresas como Google y Amazon (Eric trabajó en Alexa mientras estaba en Amazon) marcan el tono de la promesa del ML, "La verdad es que solo hay un puñado de empresas de superinteligencia sofisticadas con una infraestructura de machine learning sólida para manejar sus petabytes de datos", enfatizó Eric. La mayoría de nosotros somos novatos en ML, en otras palabras, sin importar lo que nuestros perfiles de LinkedIn puedan decir al respecto.

Título: Cómo convertirse en un ingeniero de aprendizaje automático y satisfacer la creciente demanda

O tal vez "novato" es el término equivocado. Eric describió una larga lista de organizaciones con "ML a una escala razonable" que pueden tener "conjuntos de datos propietarios de buen tamaño (cientos de gigabytes a terabytes)", pero que "todavía están en las primeras etapas de su adopción de ML". Para estas empresas, continuó, "ni siquiera necesitan necesariamente estas infraestructuras ultramodernas, de latencia submilisegundo, hiper tiempo real para comenzar a mejorar su machine learning".

Entonces, ¿qué deberían hacer para comenzar?

Un paso a la vez

Según Eric, la clave es tomar un respiro y... hacer menos:

1. Contratar a personas con más experiencia para que lo ayuden a considerar las opciones, pensar en diferentes tecnologías y sean un espacio para hacer "preguntas tontas".
2. Pensar detenidamente en el problema que estás tratando de resolver y en la metodología fundamental necesaria para resolverlo, en lugar de distraerte demasiado con herramientas o plataformas llamativas.
3. Invertir mucho tiempo en construir sistemas reales para que puedas experimentar de primera mano los puntos débiles que diferentes herramientas abordan.

Este último consejo resuena con una sugerencia reciente de Scott Hanselman de Microsoft acerca del desarrollo de software: si quieres entender mejor el software, necesitas "Ejecutar sitios reales y escalarlos". Como sugieren Hanselman y Eric, al construir es cuando te encuentras con todos los bordes ásperos que los sistemas (y los sistemas de sistemas) aún presentan. En el caso de MLOps, hacerlo no hará que la maraña de opciones de herramientas sea más fácil de manejar, pero la experiencia práctica de construir sistemas basados en ML ayuda a filtrar el ruido de la señal.

Más allá del aprendizaje individual, Eric tiene esperanzas de que, con el tiempo, el desordenado panorama de herramientas de MLOps se aclare. Tanto los hiperrescaladores en la nube como empresas más pequeñas como DataRobot, razonó, desarrollarán sistemas integrales que harán que las herramientas sean más accesibles para aquellos que deseen apostar por un único proveedor.

Mientras tanto, los tres principios de Eric pueden ayudar. En cuanto a ese segundo principio, vale la pena recordar algo que el inversor David Beyer argumentó una vez: "El secreto sucio del machine learning... es que muchos problemas podrían resolverse simplemente aplicando un simple análisis de regresión" o un puñado de declaraciones if/then. En resumen, a veces queremos aplicar ML a problemas que se podrían resolver mejor con consultas SQL y "matemáticas básicas".

Industry 5.0: Cómo la automatización y la IA mejoran los procesos de negocio

Divulgación: Trabajo para MongoDB, pero las opiniones expresadas aquí son mías.

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Inteligencia artificial, allí encontraras muchos artículos similares a El problema con el Machine Learning y cómo simplificarlo , tenemos lo ultimo en tecnología 2023.