Agent Lightning v1.0: A 3,500-Line Lightweight Agentic RL Framework for Training Agents with Real Harnesses
Microsoft Research Asia ha presentado una innovadora solución en el campo del aprendizaje reforzado (RL) con el lanzamiento de Agent Lightning v1.0. Este marco ligero, compuesto por aproximadamente 3,500 líneas de código, introduce el paradigma de Harnessed Agentic RL, permitiendo que los agentes de IA sean entrenados utilizando el mismo arnés que se emplea en su despliegue, eliminando la necesidad de reimplementar el agente dentro del marco de entrenamiento.
La característica más destacada de Agent Lightning v1.0 es su capacidad para operar como trabajos estándar de Kubernetes en clusters autogestionados, en la nube o en infraestructuras locales, sin depender de servicios comerciales de sandbox. Esto no solo reduce costos, sino que también mejora la eficiencia y reproducibilidad del entrenamiento de agentes RL.
Un ejemplo de la eficiencia de este sistema es el pipeline de codificación de agentes basado en Qwen3.5-9B, que logró aumentar el rendimiento de Pass@1 en SWE-bench Verified del 41.8% al 56.4%, utilizando solo unas 6,000 muestras de entrenamiento de un conjunto de datos de código abierto.
Tradicionalmente, los sistemas de RL requerían que el marco de entrenamiento gestionara el bucle de interacción con el entorno, lo que implicaba reconstruir el bucle del agente dentro del marco de RL. Sin embargo, los arneses reales han superado esta suposición, y reconstruir uno para el entrenamiento puede resultar costoso y afectar el comportamiento del agente desplegado.
Agent Lightning v1.0 aborda este desafío al colocar un proxy de modelo de lenguaje grande (LLM) entre el agente y el modelo, permitiendo que el agente continúe operando como antes mientras el marco de entrenamiento observa y registra sus llamadas al modelo. Este enfoque redefine el paradigma como Harnessed Agentic RL, donde el arnés utilizado en el despliegue participa directamente en el aprendizaje reforzado durante el entrenamiento.