Nvidia just showed that the harness, not the AI model, is now the real hero
Nvidia ha publicado una investigación que sugiere que el ‘harness’, más que el modelo subyacente, es fundamental para que una inteligencia artificial (IA) realice tareas de largo alcance. Un ‘harness’ es un envoltorio de software alrededor de un modelo de IA, que incluye herramientas, gestión de memoria y reglas que transforman un modelo en algo capaz de actuar de forma autónoma.
Los investigadores de Nvidia lograron que Claude Opus 5 obtuviera una puntuación del 100% en el benchmark de razonamiento interactivo ARC-AGI-3, un conjunto de juegos en 2D sin instrucciones donde el modelo debe aprender a jugar y ganar, similar a un humano. Sin el ‘harness’, Opus 5 solo alcanzó un 30%, el mejor resultado entre todos los modelos probados.
Adel El Hallak, vicepresidente de producto en la unidad de IA de Nvidia, explicó que un agente es más que un modelo. «Es el modelo, es el andamiaje alrededor del modelo, que llamamos ‘harness’, es decir, el conjunto de herramientas que utiliza. Es el tiempo de ejecución y las habilidades y bibliotecas asociadas a las que le damos acceso».
Las tareas de largo alcance requieren encadenar muchas decisiones, a veces durante días, para completar un trabajo. Nvidia mostró que un componente «supervisor» en el ‘harness’ ayuda al agente a mantenerse en el camino correcto, actuando como un «CEO» que guía al agente cuando se desvía.
El concepto de un agente supervisor no es nuevo, pero la mayoría de los usuarios de agentes confían en una sola capa para su ‘harness’. Nvidia creó su propio ‘harness’ mejorado llamado Agentic Variation Operators (AVO). Aunque no es un nuevo producto de Nvidia, la empresa ofrece tecnología abierta para construir ‘harnesses’ bajo la marca Nemo.
Los resultados de Nvidia subrayan que la elección del modelo no es el único factor en el rendimiento de un agente. En julio, Databricks publicó investigaciones que muestran que el ‘harness’, más que el modelo, impacta significativamente en los costos de IA. «Puedes elegir el mismo modelo pero diferentes ‘harnesses’, y obtienes costos significativamente más altos si usas el ‘harness’ incorrecto», dijo Ali Ghodsi, CEO de Databricks.
Nvidia destaca que los ‘harnesses’ abiertos, al igual que los modelos abiertos, otorgan a los usuarios más control del que creen. «Creemos en tener una pila de agentes abierta, donde tienes control sobre el ‘harness’, la infraestructura y el tiempo de ejecución, es lo que se requiere para avanzar y asegurar el ecosistema», añadió El Hallak.