Into the Omniverse: How Open World Models Push the Frontier of Physical AI
En un esfuerzo por liderar el campo de la inteligencia artificial (IA) física, NVIDIA ha dado un paso significativo al unirse a más de 200 empresas y organizaciones en la firma de la carta abierta «Open Weights and American AI Leadership». Este documento argumenta que el liderazgo en IA no se medirá por un único modelo de frontera, sino por la capacidad de un ecosistema abierto para alcanzar todos los sectores.
Los modelos abiertos, que cualquier persona puede descargar, inspeccionar, modificar y ejecutar en su propia infraestructura, son esenciales para este objetivo. Esto es especialmente crucial en la IA física, donde cada implementación es un problema de especialización. La IA física debe comprender y predecir consecuencias, no solo apariencias.
Para lograr esto, los modelos de mundo aprenden cómo se comportan los entornos físicos, qué puede suceder a continuación y qué acciones tienen sentido. Pueden generar datos de mundo y acción físicamente fundamentados, simular estados futuros y proporcionar una base que los equipos pueden especializar para un robot, vehículo autónomo o sistema de visión IA.
Los modelos de mundo abierto ya se están utilizando para generar datos de entrenamiento, probar políticas y especializar sistemas de IA física. NVIDIA Cosmos 3 reúne estas capacidades en una familia de modelos abiertos, con resultados de referencia líderes y adopción en robótica, vehículos autónomos y visión IA.
Las bibliotecas de NVIDIA Omniverse, parte del NVIDIA Agent Toolkit, proporcionan capacidades preconstruidas para crear mundos listos para simulación que los equipos de IA física pueden usar para entrenar, probar y validar sistemas antes de su implementación en el mundo real.
Los modelos de mundo son la base de la IA física. Los datos detrás de la IA física son difíciles y costosos de recopilar a la escala requerida. Los eventos raros y los escenarios de larga cola pueden ser especialmente difíciles de reproducir de manera segura y repetida.
Los modelos de mundo permiten:
- Datos más útiles al aprender relaciones físicas de escenarios multimodales a gran escala.
- Entornos más diversos que varían en clima, iluminación, objetos y trayectorias.
- Una mejor base para construir y adaptarse a un robot, vehículo, configuración de sensor, tarea o entorno operativo en particular.
Un modelo general no ha visto el robot, sensores o entorno operativo particular de un equipo. Cerrar esa brecha requiere acceso a los pesos del modelo, una licencia que permita la adaptación y las herramientas necesarias para el post-entrenamiento.
Los modelos de mundo de la fundación NVIDIA Cosmos están disponibles bajo la licencia OpenMDW 1.1 de la Linux Foundation, lo que permite a los equipos post-entrenar modelos en sus propios datos y hardware. La especialización es donde la apertura se convierte en un requisito técnico práctico.
Especializar un modelo es solo parte del flujo de trabajo. Los equipos también necesitan entornos para generar datos, ejecutar simulaciones y probar comportamientos. Las bibliotecas de Omniverse ayudan a los desarrolladores a construir entornos listos para simulación, mientras que OpenUSD proporciona el marco abierto para componer, reutilizar e intercambiar datos 3D complejos a través de gemelos digitales, simulaciones y flujos de trabajo de generación de datos sintéticos. Juntos, Omniverse y OpenUSD reducen el trabajo duplicado que de otro modo podría acumularse cada vez que cambian los activos, las configuraciones de los sensores o las condiciones ambientales.
NVIDIA Cosmos 3, un modelo de frontera abierto de IA física construido sobre una arquitectura de mezcla de transformadores, combina razonamiento de visión, generación de mundos y predicción de acciones, permitiendo a los desarrolladores usar una familia de modelos para comprender escenas, generar datos sintéticos, simular estados futuros y construir modelos de acción mundial especializados.
Los desarrolladores pueden usar Cosmos 3 como un modelo de lenguaje de visión, como un simulador de mundo fundamentado en la física que predice estados futuros del mundo y genera datos sintéticos a gran escala, o como la columna vertebral para modelos de acción mundial, en lugar de ensamblar y mantener un modelo separado para cada capacidad.
La familia incluye Cosmos 3 Super (64B) para modelado de mundo de alta fidelidad, Cosmos 3 Nano (16B) para razonamiento eficiente y post-entrenamiento, y Cosmos 3 Edge (4B) para razonamiento de visión en dispositivos y despliegue de políticas de robots. Lo suficientemente liviano para ejecutarse en GPUs de borde, Cosmos 3 Edge puede desplegarse en GPUs NVIDIA RTX, sistemas NVIDIA DGX y NVIDIA Jetson, incluidas las plataformas Jetson Thor.
En evaluaciones de referencia, Cosmos 3 ocupa el puesto número 1 en Análisis Artificial para generación de texto a imagen y de imagen a video con pesos abiertos, en PAI-Bench para generación de mundos y en la categoría de imagen a video de Physics-IQ. Para políticas de robots, ocupa el puesto número 1 en RoboLab. Cosmos 3 Super también es el modelo abierto mejor clasificado en VANTAGE-Bench para comprensión de visión.
Además de Cosmos, la pila de IA física de NVIDIA incluye Isaac GR00T para robótica, Alpamayo para vehículos autónomos y Metropolis para IA de visión.
En diversas industrias, los desarrolladores están construyendo sobre NVIDIA Cosmos para aplicaciones de IA física: Doosan Robotics, LG Electronics, Samsung Electronics y Skild AI en robótica; Li Auto, Xiaomi y Afari en vehículos autónomos; y Centific, Fogsphere, Linker Vision, Milestone Systems y Yuan para agentes de IA de visión que impulsan aplicaciones de IA industrial y espacios inteligentes.
La Coalición NVIDIA Cosmos extiende este trabajo al reunir a constructores de modelos de mundo, desarrolladores de IA y líderes de IA física para contribuir con modelos, investigaciones y métodos de evaluación. NVIDIA recientemente expandió la coalición a Japón, donde los líderes en robótica y manufactura planean unirse y desarrollar modelos de mundo abiertos para fábricas, logística, agricultura y construcción.
Fuente: https://blogs.nvidia.com/blog/open-world-models-physical-ai/