NVIDIA lanzó la versión beta pública de XR AI, una biblioteca destinada a desarrolladores para crear agentes de inteligencia artificial que integran múltiples modalidades de entrada en dispositivos de realidad aumentada (AR) y realidad extendida (XR). Esta tecnología no solo favorece la interacción conversacional, sino que también comprende el entorno físico para apoyar tareas técnicas y procesos complejos.

XR AI procesa datos provenientes de video, audio, profundidad, pose y sensores embebidos en dispositivos AR y XR. Esta capacidad permite que los agentes de IA respondan a señales del entorno y no solo a comandos escritos o hablados, ampliando el alcance de sus funciones hacia un soporte contextual más inmediato y preciso.

El código fuente de XR AI está disponible en GitHub y ofrece herramientas para integrar modelos de razonamiento, recuperar información empresarial y coordinar varios agentes simultáneamente. Esto facilita el desarrollo de aplicaciones que pueden analizar y actuar sobre situaciones reales para el usuario en tiempo real, mejorando la eficiencia en distintos sectores.

Un ejemplo sobresaliente del uso de esta tecnología es la colaboración con la compañía AutoBio, que ha incorporado XR AI en su sistema LabOS para optimizar procedimientos científicos en laboratorios. Esta solución proporciona guías manos libres en experimentos relacionados con terapias celulares y edición genética, ya implementada en el Cong Lab de la Stanford University School of Medicine y el Wang Lab de Princeton University. El agente asesora en la identificación de muestras, selección de editores genéticos CRISPR, guiado de pasos experimentales y registro detallado de procedimientos.

Por otro lado, el Surreality Lab del University of Pittsburgh Medical Center explora cómo XR AI puede asistir en intervenciones quirúrgicas, ofreciendo datos relevantes sin obstaculizar la visión del cirujano. La intención es presentar la información de forma tal que no distraiga ni impida el trabajo médico, cuidando las áreas visuales críticas durante el procedimiento.