Microsoft apuesta por la aceleración de IA en los PC con NPUs: Qué son y cómo funcionan

Microsoft ha invertido mucho en el aprendizaje automático, trabajando con proveedores de silicio para admitir la ejecución de modelos de IA en tu PC lo más rápido posible. Esto ha requerido el desarrollo de una nueva generación de silicio por parte de Intel, AMD y ARM.

¿Tienes un Surface Pro X? Ya tienes una NPU

Surface ya incluye hardware con NPUs, con los procesadores SQ1 y SQ2 co-desarrollados por Microsoft para su hardware basado en ARM Surface Pro X, que utilizan una NPU incorporada para agregar características de seguimiento ocular a su cámara. Si utilizas Microsoft Teams o aplicaciones similares en un Surface Pro X, corregirá tu mirada para que la persona con la que estás chateando te vea a ti en lugar de a la cámara.

Estas características son precisamente las que Microsoft planea integrar en Windows. En su evento de trabajo híbrido de abril de 2022, las utilizó como ejemplo de cómo podemos aprovechar las NPUs para facilitar el trabajo desde casa en equipo. Además del seguimiento de la mirada, las NPUs permitirán la composición automática de imágenes para cámaras, así como el desenfoque dinámico de fondos para reducir las distracciones. Esto podría significar que las NPUs se ejecutarán en hardware dedicado, integrado en cámaras web y realizarán tareas complejas de procesamiento de imagen en la cámara incluso antes de que utilices el video resultante en tu PC.

El objetivo es convertir una experiencia artificial en la pantalla en una experiencia centrada en las personas involucradas en lugar de en la tecnología. El procesamiento de audio se utilizará para eliminar el ruido y centrarse en la voz del hablante en lugar de en una habitación en su conjunto. Algunas de estas técnicas, como el enfoque de voz, están destinadas a ayudar a los asistentes remotos en una reunión, lo que les permite escuchar lo que se dice por un orador que utiliza un micrófono compartido en una sala de reuniones, tanto como si lo escucharan a alguien solo en una habitación con un micrófono dedicado.

Añadiendo soporte de NPU al desarrollo de aplicaciones de Windows

Windows dependerá cada vez más de las NPUs en el futuro, y Microsoft ha anunciado su hardware de desarrollo basado en ARM, Project Volterra, como una plataforma para construir y probar código basado en NPU en su evento para desarrolladores Microsoft Build. Listo para ser lanzado en un futuro cercano, Project Volterra es un dispositivo de escritorio que probablemente estará alimentado por una variante de SQ3 del procesador Qualcomm 8cx Gen3 con la NPU personalizada de Microsoft. Esta NPU está diseñada para ayudar a los desarrolladores a comenzar a utilizar sus características en su código, gestionando el procesamiento de video y audio utilizando una versión del kit de desarrollo de software de procesamiento neuronal de Qualcomm para Windows.

Microsoft lanza una nueva herramienta de optimización de decisiones basada en IA

Microsoft espera que las NPUs se conviertan en una característica estándar en hardware móvil y de escritorio, y eso requiere poner hardware basado en NPU como Project Volterra en manos de los desarrolladores. Project Volterra está diseñado para ser apilable, por lo que debería ser posible construir varios de ellos en el rack de desarrollo, lo que permite a los desarrolladores escribir código, construir aplicaciones y ejecutar pruebas al mismo tiempo. También es un dispositivo atractivo, diseñado por el equipo de hardware de Surface y con un aspecto similar a los dispositivos insignia Surface Laptop Studio y Surface Pro X.

Project Volterra es solo una parte de un conjunto completo de herramientas para construir aplicaciones basadas en NPU y basadas en ARM. Se unirá a las versiones nativas de ARM de Visual Studio, así como a .NET y Visual C++. Si estás considerando crear tus propios modelos de aprendizaje automático en hardware de Volterra, existe soporte de ARM para WSL, el subsistema de Windows para Linux, donde puedes instalar rápidamente frameworks comunes de aprendizaje automático. Microsoft trabajará con muchos proyectos de código abierto conocidos para ofrecer compilaciones nativas de ARM para que toda tu cadena de herramientas esté lista para la próxima generación de hardware de Windows.

Aunque el kit de desarrollo de software de procesamiento neuronal de Qualcomm es parte del conjunto de herramientas inicial de Project Volterra, en realidad es solo el comienzo. A medida que se lance más silicio de NPU, puedes esperar que Microsoft integre el soporte en Windows con sus propios SDK de desarrollo y tiempos de ejecución independientes del hardware que te permitan compilar código de IA una vez y acelerarlo en cualquier lugar.

Comienza con la inteligencia artificial portátil utilizando WinML y ONNX

Podemos hacernos una idea de cómo podría ser eso al observar las herramientas de WinML que ya están incluidas en el kit de desarrollo de software de Windows, que puede utilizar la aceleración de GPU para alojar modelos ONNX. ONNX, el intercambio de redes neuronales abiertas, es una ejecución común para modelos de IA portátiles, que se pueden construir utilizando sistemas informáticos de alto rendimiento como Azure Machine Learning. Aquí puedes trabajar con grandes cantidades de datos necesarios para entrenar el aprendizaje automático con la potencia informática necesaria y utilizar frameworks comunes de aprendizaje automático como PyTorch y TensorFlow antes de exportar los modelos entrenados en formato ONNX para usarlos en WinML.

Las NPUs no son solo para dispositivos de escritorio. Son clave en la estrategia de IoT de Microsoft, y la plataforma de bajo código Azure Percept se basa en una unidad de procesamiento de visión Intel Movidius, lo que le permite trabajar en tareas complejas de visión por computadora sin requerir hardware de alta potencia. Ese es probablemente el mayor beneficio de utilizar NPUs para acelerar tareas de IA: la capacidad de ejecutarlas en el borde de la red con hardware de bajo costo.

Las NPUs en el silicio del futuro

Al observar los planes de silicio de los distintos fabricantes de procesadores y GPU, está claro que la aceleración de IA es clave para su próxima generación de hardware. Intel la está incorporando a su familia de procesadores móviles Meteor Lake de 2023, mientras que Raptor Lake para desktop funcionará con módulos aceleradores de IA basados en M.2. Al mismo tiempo, AMD está trabajando en la integración de optimizaciones de IA y ML en su próximo hardware Zen 5.

Es la cara un buen identificador Los desafíos de la tecnología de reconocimiento facial

Aunque solo unos pocos PCs como el Surface Pro X tienen soporte de NPU hoy en día, está claro que el futuro será muy diferente, con aceleradores de IA de diferentes tipos integrados en sistemas en un solo chip o como complementos utilizando puertos PCIe ampliamente disponibles. Con Microsoft preparado para ofrecer herramientas para construir código que pueda utilizarlos y demostrar sus propias mejoras de Windows impulsadas por IA, parece que no tendremos que esperar mucho para aprovechar al máximo las NPUs, especialmente porque deberían estar integradas en nuestra próxima generación de PCs.

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Inteligencia artificial, allí encontraras muchos artículos similares a Microsoft apuesta por la aceleración de IA en los PC con NPUs: Qué son y cómo funcionan , tenemos lo ultimo en tecnología 2023.