Into the Omniverse: How Open World Models Push the Frontier of Physical AI
En julio, NVIDIA se unió a más de 200 empresas y organizaciones al firmar «Open Weights and American AI Leadership», una carta abierta que argumenta que el liderazgo en IA se medirá no por un único modelo de frontera, sino por si un ecosistema abierto alcanza todos los sectores. Los modelos abiertos, que cualquiera puede descargar, inspeccionar, modificar y ejecutar en su propia infraestructura, son lo que hace esto posible. Esto es especialmente crucial en la IA física, donde cada implementación es un problema de especialización.
La IA física debe entender y predecir consecuencias, no solo apariencias. Para lograrlo, los modelos de mundo aprenden cómo se comportan los entornos físicos, qué puede suceder a continuación y qué acciones tienen sentido. Pueden generar datos de mundo y acción físicamente fundamentados, simular estados futuros y proporcionar una base que los equipos pueden especializar para un robot, vehículo autónomo o sistema de visión IA.
Los modelos de mundo abierto ya están siendo utilizados para generar datos de entrenamiento, probar políticas y especializar sistemas de IA física. NVIDIA Cosmos 3 reúne estas capacidades en una familia de modelos abiertos, con resultados de referencia líderes y adopción en robótica, vehículos autónomos y visión IA. Las bibliotecas de NVIDIA Omniverse, parte del NVIDIA Agent Toolkit, proporcionan capacidades preconstruidas para crear mundos listos para simulación que los equipos de IA física pueden usar para entrenar, probar y validar sistemas antes del despliegue en el mundo real.
Los modelos de mundo son la base de la IA física. Los datos detrás de la IA física son difíciles y costosos de recopilar a la escala requerida. Los eventos raros y los escenarios de larga cola pueden ser especialmente difíciles de reproducir de manera segura y repetida. Los modelos de mundo permiten datos más útiles al aprender relaciones físicas de escenarios multimodales a gran escala, entornos más diversos que varían en clima, iluminación, objetos y trayectorias, y una mejor base para construir y adaptarse a un robot, vehículo, configuración de sensor, tarea o entorno operativo particular.
Un modelo general no ha visto el robot, sensores o entorno operativo particular de un equipo. Cerrar esa brecha requiere acceso a los pesos del modelo, una licencia que permita la adaptación y las herramientas necesarias para el post-entrenamiento. Los modelos de fundación de mundo de NVIDIA Cosmos están disponibles bajo la licencia OpenMDW 1.1 de la Linux Foundation, lo que permite a los equipos post-entrenar modelos en sus propios datos y hardware. La especialización es donde la apertura se convierte en un requisito técnico práctico.
Especializar un modelo es solo parte del flujo de trabajo. Los equipos también necesitan entornos para generar datos, ejecutar simulaciones y probar comportamientos. Las bibliotecas de Omniverse ayudan a los desarrolladores a construir entornos listos para simulación, mientras que OpenUSD proporciona el marco abierto para componer, reutilizar e intercambiar datos 3D complejos a través de gemelos digitales, simulaciones y flujos de trabajo de generación de datos sintéticos. Juntos, Omniverse y OpenUSD reducen el trabajo duplicado que de otro modo podría acumularse cada vez que cambian los activos, configuraciones de sensores o condiciones ambientales.
NVIDIA Cosmos 3, un modelo de frontera de IA física abierto construido sobre una arquitectura de mezcla de transformadores, combina razonamiento de visión, generación de mundos y predicción de acciones, permitiendo a los desarrolladores usar una familia de modelos para entender escenas, generar datos sintéticos, simular estados futuros y construir modelos de acción de mundo especializados.
Los desarrolladores pueden usar Cosmos 3 como un modelo de lenguaje de visión, como un simulador de mundo basado en la física que predice futuros estados del mundo y genera datos sintéticos a gran escala, o como la columna vertebral para modelos de acción de mundo, en lugar de ensamblar y mantener un modelo separado para cada capacidad.
La familia incluye Cosmos 3 Super (64B) para modelado de mundo de alta fidelidad, Cosmos 3 Nano (16B) para razonamiento eficiente y post-entrenamiento, y Cosmos 3 Edge (4B) para razonamiento de visión en dispositivos y despliegue de políticas de robot. Lo suficientemente ligero para ejecutarse en GPUs de borde, Cosmos 3 Edge puede desplegarse en GPUs NVIDIA RTX, sistemas NVIDIA DGX y NVIDIA Jetson, incluidas plataformas Jetson Thor.
En evaluaciones de referencia, Cosmos 3 ocupa el puesto número 1 en Análisis Artificial para generación de texto a imagen e imagen a video de pesos abiertos, en PAI-Bench para generación de mundos y en la categoría de imagen a video de Physics-IQ. Para políticas de robot, ocupa el puesto número 1 en RoboLab. Cosmos 3 Super también es el modelo abierto mejor clasificado en VANTAGE-Bench para comprensión de visión.
Además de Cosmos, la pila de IA física de NVIDIA incluye Isaac GR00T para robótica, Alpamayo para vehículos autónomos y Metropolis para visión IA.
En diversas industrias, los desarrolladores están construyendo sobre NVIDIA Cosmos para aplicaciones de IA física: Doosan Robotics, LG Electronics, Samsung Electronics y Skild AI en robótica; Li Auto, Xiaomi y Afari en vehículos autónomos; y Centific, Fogsphere, Linker Vision, Milestone Systems y Yuan para agentes de visión IA que impulsan aplicaciones de IA industrial y espacios inteligentes.
La Coalición Cosmos de NVIDIA extiende este trabajo reuniendo a constructores de modelos de mundo, desarrolladores de IA y líderes de IA física para contribuir con modelos, investigación y métodos de evaluación. NVIDIA recientemente expandió la coalición a Japón, donde líderes en robótica y manufactura planean unirse y desarrollar modelos de mundo abierto para fábricas, logística, agricultura y construcción.
Fuente: https://blogs.nvidia.com/blog/open-world-models-physical-ai/