HoloLens 2: Accede a todos los sensores con el nuevo modo de investigación
Microsoft lanzó HoloLens 2 a fines de 2019, con un enfoque en desarrollar aplicaciones de realidad mixta para lo que denomina 'trabajadores de primera línea'. Estos necesitan software que respalde la fabricación, la construcción, la medicina y el comercio minorista, utilizando las herramientas de HoloLens para superponer objetos virtuales en 3D sobre el mundo físico. Los nuevos sensores de HoloLens 2 lo convierten en un dispositivo potente, aprovechando el hardware de visión por computadora a bordo y combina sensores para ayudar a ubicar a los usuarios en una habitación, mezclando entornos físicos y virtuales.
Un dispositivo como HoloLens 2 resulta atractivo no solo para los mercados a los que inicialmente se dirige, sino también para otros mercados y entornos. La realidad mixta es una herramienta poderosa en muchas industrias y el hardware subyacente puede admitir mucho más que simplemente combinar lo físico y lo virtual.
HoloLens y la Unidad de Procesamiento Holográfico (HPU)
Gran parte del potencial de HoloLens se debe a su hardware personalizado, especialmente su silicio de visión por computadora incorporado. Mientras que la mayoría de las cámaras solo pueden manejar una tarea de visión por computadora a la vez, el silicio de HoloLens admite múltiples flujos de datos y tareas de procesamiento y reconocimiento de imágenes paralelas. Y todo esto se logra sin recurrir a procesos en lotes, ya que HoloLens está diseñado para cargas de trabajo continuas.
La Unidad de Procesamiento Holográfico (HPU) es un circuito integrado personalizado (ASIC). Su diseño combina varios módulos para el procesamiento de señales digitales, un núcleo de inteligencia artificial de redes neuronales profundas y hardware para administrar la tarea computacionalmente intensiva de mantener estable la profundidad de las imágenes al representar imágenes complejas mientras la cabeza del usuario se mueve. Al incorporar un núcleo de red neuronal profunda (DNN) en HoloLens, Microsoft puede evitar la latencia y la demora al utilizar algoritmos de visión por computadora.
Si estás desarrollando aplicaciones para HoloLens 2, estás limitado a la información que puedes obtener de él. Es una herramienta poderosa, pero Microsoft ha simplificado gran parte de la experiencia de desarrollo, envolviendo y consolidando los datos de los sensores en un kit de herramientas de realidad mixta y un conjunto de API definidas de manera precisa. Esto no es algo malo; para la mayoría de los propósitos, no se necesita acceso de bajo nivel a los sensores, todo lo que se necesita son los datos que te ayuden a construir tus aplicaciones.
Guía completa para administrar aplicaciones con Homebrew en macOSMicrosoft ha descrito a menudo el diseño de software como el proceso de entregar pizza a más de mil millones de personas. No todos obtendrán los ingredientes que desean, pero todos obtendrán queso derretido y salsa de tomate. Sin embargo, la otra cara de la filosofía de diseño de Microsoft es que generalmente puedes personalizar esas pizzas, agregando tus propios ingredientes al software.
Usar HoloLens en la investigación científica
Una área en la que es necesario tener acceso a todos los sensores de HoloLens 2 es la investigación científica, donde la realidad mixta y la visión por computadora son herramientas poderosas. Combinar las dos en un dispositivo portátil y montado en la cabeza, como HoloLens 2, resulta atractivo, especialmente cuando se recuerda que cuenta con múltiples cámaras y sensores de profundidad, así como acelerómetros, giroscopios y magnetómetros. Por lo tanto, no es sorprendente saber que Microsoft está abriendo el acceso a muchas de estas características en el nuevo Modo de Investigación de HoloLens 2.
Abrir todos los sensores de HoloLens 2 a los científicos de investigación tiene mucho sentido. No solo se beneficia la visión por computadora, sino que también se obtiene la opción de utilizar HoloLens como una plataforma de seguimiento de cabeza y ojos que puede ayudar a resolver muchos problemas de interacción humana. Por ejemplo, rastrear todos los movimientos de cabeza y movimientos de ojos utilizados por los pilotos en una cabina moderna, ayudando a comprender cuál es su carga cognitiva y cómo se puede rediseñar el entorno para mantener a los pasajeros seguros.
Acceso a los flujos de datos de HoloLens
Los sensores de HoloLens van más allá del seguimiento de cabeza tradicional, ya que incluyen cámaras que se pueden utilizar para rastrear las manos y mapear el entorno, lo que brinda a los investigadores una visión mucho más clara del entorno en el que se encuentran los usuarios y cómo interactúan con él. También ofrece una mejor sensibilidad a la luz, lo que facilita la recopilación de datos en áreas más oscuras. Al abrir el acceso a todas las cámaras y sensores, el modo de investigación puede crear un modelo del entorno del usuario que se puede reproducir a pedido, con una percepción completa de la profundidad gracias a los sensores de tiempo de vuelo y a las posiciones estereoscópicas de dos de las cámaras de seguimiento de cabeza. También se tiene acceso a la cámara a color de HoloLens 2, lo que te permite crear software que pueda combinar imágenes en escala de grises y en color.
No estás limitado a los datos sin procesar. Las herramientas de visión por computadora integradas admiten un algoritmo clave llamado SLAM (Simultaneous Location And Mapping), que te brinda acceso a información en tiempo real sobre cómo un dispositivo se mueve a través de su malla tridimensional generada en la habitación. Otros datos consolidados y procesados incluyen API de seguimiento de manos y ojos, así como acceso a los ocho micrófonos del dispositivo.
Qué es GitHub: la plataforma de control de versiones y colaboración para desarrolladores¿Cómo funciona el Modo de Investigación?
En lugar de realizar una fusión de datos de sensores en funciones específicas, como lo admite el Conjunto de herramientas de realidad mixta (MRTK), cuando cambias al Modo de Investigación y habilitas sus nuevas API, obtienes acceso a datos de nivel más bajo junto con las API de MRTK. No es exactamente los datos sin procesar de los sensores, ya que se procesan inicialmente por la HPU. Por lo tanto, en precisión de la posición, obtienes datos de posición de la cabeza y anclaje al igual que con MRTK, pero también tienes acceso a los datos sin procesar de los sensores, así como a los datos de imagen de las cámaras de seguimiento de cabeza. De manera similar, los datos de las cámaras se procesan y se vinculan con los datos de los sensores de profundidad para brindarte la conocida estructura de la habitación y las articulaciones de las manos. Al mismo tiempo, obtienes datos sin procesar de la profundidad, así como una medida de cómo se refleja la luz infrarroja de los emisores de los sensores.
Comenzar es bastante fácil. Necesitas un HoloLens 2 en modo de desarrollador. Una vez habilitado, enciende el portal de dispositivos e inicia sesión en la consola web de administración del dispositivo desde una PC. En la consola, navega hasta la opción Modo de Investigación y habilita el acceso a los flujos de sensores del dispositivo. Una vez que HoloLens se reinicie, podrás comenzar a trabajar con todos los sensores. Luego puedes escribir código para trabajar con esos flujos de sensores, utilizando las API del Modo de Investigación que se pueden descargar desde GitHub. Esto te brinda acceso a los sensores, con todos los datos de posición centrados en el dispositivo. Entonces, si deseas mapear una habitación, por ejemplo, necesitas proporcionar anclajes externos.
Las API del Modo de Investigación proporcionan acceso bien documentado a los sensores del dispositivo. Esto significa que tendrás que escribir mucho código para procesar y utilizar esos datos. Esto no es algo malo; si necesitas ese nivel de acceso, claramente no tienes previsto utilizar las aplicaciones integradas ni trabajar con MRTK. Por supuesto, hay compensaciones, ya que tu código deberá ejecutarse en el procesador ARM de HoloLens 2, y es posible que debas buscar versiones ARM de cualquier módulo binario o bibliotecas que planees utilizar en tu código. Para ayudarte a comenzar, Microsoft ofrece código de muestra para algunas aplicaciones básicas de grabación de sensores en el Modo de Investigación en GitHub.
El Kit de desarrollo Azure Kinect de Microsoft funciona como un complemento de HoloLens en el Modo de Investigación. Se basa en el mismo sensor de profundidad y se pueden encadenar varios para generar una imagen 3D clara de una habitación. Combinar los dos dispositivos puede ayudar a construir un conjunto de sensores que pueden rastrear a los usuarios a través de una habitación o espacio, proporcionando datos de ubicación que se pueden utilizar junto con los sensores del casco.
El Modo de Investigación de HoloLens 2 es una herramienta poderosa. Al eliminar los filtros del MRTK, se abren muchas más posibilidades para trabajar con sensores del dispositivo, proporcionando una plataforma de visión por computadora portátil que puede hacer mucho más que simplemente utilizar cámaras simples. Los resultados pueden ser impresionantes, siempre y cuando estés dispuesto a escribir el código necesario para lograrlo.
Las 5 mejores lenguajes de programación para desarrolladores de aplicaciones móvilesEn Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Desarrollo, allí encontraras muchos artículos similares a HoloLens 2: Accede a todos los sensores con el nuevo modo de investigación , tenemos lo ultimo en tecnología 2023.
Artículos Relacionados