La nueva función de Microsoft utiliza IA para hacer que las videollamadas sean menos incómodas

Con tantos de nosotros trabajando desde casa, hemos entrado en un mundo en el que las videoconferencias se han convertido en la forma principal en la que nos conectamos con nuestros colegas. Pasamos horas en reuniones individuales y grupales, mirando rostros en pequeñas ventanas en nuestras pantallas. Es, siendo sinceros, difícil. La carga cognitiva que implica tratar de analizar rostros en pantallas es alta, lo que lleva a lo que se conoce como 'fatiga de Zoom'. No se limita a Zoom, por supuesto: los mismos problemas están presentes en cualquier plataforma que uses, ya sea Google Meet, WebEx, Skype o Microsoft Teams.

Presentando Eye Contact

Ahora disponible para todos los usuarios de Surface Pro X, Eye Contact está diseñado para funcionar con cualquier aplicación que utilice la cámara frontal de la tableta. Todo lo que necesitas hacer es instalar la aplicación Surface de Microsoft, cambiar a la pestaña de Eye Contact y habilitar la función. Una opción de vista previa muestra la sutil diferencia entre una imagen procesada y una no procesada, con un ligero cambio en la posición de los ojos entre ambas cuando miras hacia abajo en la imagen de vista previa y activas y desactivas la función.

Eye Contact no realiza cambios drásticos en tu imagen; no hay cambios en la posición de la cabeza o en la iluminación de la habitación. Lo único que hace es cambiar ligeramente la posición y la apariencia de tus ojos, haciéndolos un poco más abiertos y alterando ligeramente la posición de tu mirada, de modo que parezca que estás mirando a la cámara aunque estés enfocado en los rostros que aparecen en la pantalla.

El efecto resultante te hace parecer más comprometido en la conversación, como si estuvieras mirando a los ojos de las demás personas en la videoconferencia. Es bastante sutil, pero hace que las conversaciones sean un poco más cómodas, ya que la persona con la que estás hablando ya no está tratando inconscientemente de establecer contacto visual contigo mientras miras tu pantalla.

Es un ejemplo curioso de aprendizaje automático. Tú mismo no obtendrás ningún beneficio de esto (a menos que estés hablando con alguien que también esté utilizando Surface Pro X), pero ellos te verán como más involucrado en la llamada y, como resultado, estarán más relajados y menos sobrecargados. Sin embargo, no debemos subestimar esos efectos secundarios. Cuanto mejor sea una llamada para algunos de los participantes, mejor será para todos los demás.

Comandos de voz para el reconocimiento de voz y la dictación en Windows 10

Utilizando el hardware del dispositivo

Eye Contact utiliza el motor de inteligencia artificial personalizada en el SOC SQ1 de Surface Pro X, por lo que no deberías experimentar ninguna degradación del rendimiento, ya que gran parte de la compleja fotografía computacional en tiempo real se pasa a dicho motor y a la GPU integrada. Todo se maneja a nivel de controlador de dispositivo, por lo que funciona con cualquier aplicación que utilice la cámara frontal, ya sea que estés utilizando Teams, Skype, Slack o Zoom, todos se benefician de esta función.

Solo hay una restricción: Surface Pro X debe estar en modo horizontal, ya que el modelo de aprendizaje automático utilizado en Eye Contact no funcionará si sostienes la tableta verticalmente. En la práctica, esto no debería ser un problema, ya que la mayoría de las aplicaciones de videoconferencia asumen que estás utilizando un monitor de escritorio estándar en lugar de una tableta PC, por lo que están optimizadas para diseños horizontales.

La pregunta para el futuro es si este enfoque de aprendizaje automático se puede llevar a otros dispositivos. Desafortunadamente, es poco probable que sea una solución de uso general en el corto plazo; debe estar integrado en los controladores de la cámara y Microsoft tiene la ventaja de poseer tanto el software de la cámara como la arquitectura del procesador en Surface Pro X. Microsoft tiene mucha experiencia en diseño y desarrollo de hardware de Redes Neuronales Profundas (DNN) utilizado en el silicio personalizado en ambas generaciones de HoloLens, y es razonable suponer que parte de ese conocimiento se utilizó en el diseño del silicio de Surface Pro X (especialmente porque aparentemente el mismo equipo estuvo involucrado en el diseño de ambos conjuntos de chips).

Para el resto de la línea Surface basada en Intel y AMD, probablemente tendremos que esperar hasta una nueva generación de procesadores con mejor soporte para aprendizaje automático o hasta que Microsoft separe su motor de inteligencia artificial personalizado de su procesador SQ1 basado en ARM para crear un acelerador de inteligencia artificial independiente similar a los TPU de Google.

Cómo utilizar las vistas de hoja en Excel para colaborar y personalizar tus datos

La inteligencia artificial en tiempo real necesita silicio especializado

El motor de inteligencia artificial es un componente de hardware de computación potente por sí mismo, capaz de ofrecer 9 TFLOPS. Es aquí donde Microsoft ejecuta el modelo de aprendizaje automático de Eye Contact, llamándolo desde un modelo de fotografía computacional en el controlador de la cámara de Surface Pro X. Sin hardware dedicado como este disponible en todas las PC con Windows, es difícil imaginar un servicio genérico de Eye Contact disponible para cualquier cámara interna o externa, incluso con el soporte de Windows 10 para modelos de aprendizaje automático portátiles ONNX.

Aunque los últimos procesadores Tiger Lake de Intel (que saldrán en noviembre de 2020) añaden instrucciones DL Boost para mejorar el rendimiento de aprendizaje automático, no ofrecen las capacidades DNN de funciones como el silicio de AI dedicado de SQ1. Probablemente estemos a dos o tres generaciones de silicio de distancia de que estas capacidades estén disponibles en CPUs de uso general. Es posible que las GPU de próxima generación admitan DNN como las de Eye Contact, pero es probable que sean hardware costoso y de alta gama diseñado para estaciones de trabajo científicas.

Por ahora, es mejor considerar Eye Contact como una herramienta importante de prueba de concepto para futuras cámaras basadas en inteligencia artificial, utilizando motores de inteligencia artificial SOC como los de SQ1, GPU de propósito general con gráficos discretos utilizando Open CL o CUDA, o conjuntos de instrucciones de inferencia de aprendizaje automático de procesadores. Al integrar modelos de inteligencia artificial en los controladores de dispositivos, podemos proporcionar capacidades avanzadas a los usuarios simplemente conectando un nuevo dispositivo. Y si las nuevas técnicas de aprendizaje automático ofrecen nuevas características, pueden enviarse con una actualización del controlador del dispositivo. Hasta entonces, debemos aprovechar al máximo el poder del hardware que tenemos para mejorar las videoconferencias para la mayor cantidad de personas posible.

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Software, allí encontraras muchos artículos similares a La nueva función de Microsoft utiliza IA para hacer que las videollamadas sean menos incómodas , tenemos lo ultimo en tecnología 2023.