El gráfico más incomprendido en IA acaba de recibir una actualización importante

The most misunderstood graph in AI just got a major update

Un nuevo informe de la organización sin fines de lucro METR ha revelado que algunas capacidades de la inteligencia artificial (IA) continúan mejorando a un ritmo exponencial, aunque los modelos no son tan efectivos en tareas que requieren juicio como lo son en tareas de codificación. Este informe es una actualización del gráfico de horizonte temporal de METR, que anteriormente fue ampliamente compartido y malinterpretado debido a la complejidad de las medidas utilizadas.

METR evaluó modelos de IA haciéndolos completar una amplia gama de tareas, cada una de las cuales también fue realizada por humanos. La dificultad de cada tarea se puntuó según el tiempo que los evaluadores humanos tardaron en completarla, y luego los modelos fueron evaluados según la duración de las tareas que podían completar. Este gráfico mostró que los sistemas de IA estaban mejorando rápidamente: cada cuatro meses, la longitud de las tareas que los modelos de vanguardia podían completar con éxito se duplicaba.

La gráfica actualizada añade más tareas, algunas de las cuales se estima que toman mucho más tiempo a los humanos que las del conjunto original, y otras que son más abiertas. Una de las grandes preguntas en la IA en este momento es hasta qué punto el progreso en tareas «verificables» se traslada a tareas en las que el éxito o el fracaso es más difícil de medir.

Es mucho más difícil aplicar la técnica de aprendizaje por refuerzo a tareas donde el éxito está menos definido o toma más tiempo para determinarse, como elegir una nueva dirección de investigación. Por la misma razón, es complicado evaluar el rendimiento de la IA en estas tareas, por lo que el gráfico original de horizonte temporal de METR no incluía ninguna de ellas. Sin embargo, es precisamente este tipo de tareas las que serán esenciales si los sistemas de IA van a automatizar la investigación y el desarrollo.

La investigación y desarrollo en IA es un tema candente en este momento. Partes de la comunidad de IA todavía están conmocionadas por un informe diferente de METR, muy redactado, de principios de este mes, que afirmaba que la IA podría estar acelerando el ritmo del progreso de la IA en Anthropic por un factor de dos. Ese informe generó temores de que la compañía podría pronto lograr una mejora recursiva completa, un régimen en el que los sistemas de IA diseñan autónomamente sus propios sucesores sin intervención humana.

Los investigadores de METR han trabajado para asegurarse de que su nuevo conjunto de tareas incluya algunas de las más difusas, cargadas de juicio, que podrían ser más relevantes para la investigación y desarrollo de IA. En una tarea, piden a los modelos que diseñen nuevas evaluaciones de IA que METR podría usar en su investigación y luego hacen que los empleados humanos de METR califiquen los resultados. Aunque los modelos más avanzados ahora son mejores que casi cualquier humano en ingeniería de software, aquí se quedan cortos: ninguna de las evaluaciones diseñadas por la IA fue lo suficientemente buena como para que los empleados de METR la consideraran útil para su investigación.

En otra tarea, los modelos deben calificar argumentos filosóficos. Esta tarea está destinada a capturar hasta qué punto los modelos pueden ejercer buen juicio, aunque METR escribe en el informe que los empleados discrepan sobre la relevancia de la tarea para la automatización de la investigación y desarrollo de IA. En esta tarea, también, los modelos quedaron por debajo del rendimiento humano.

Aunque es difícil puntuar estas nuevas tareas, y aún más difícil determinar qué significan las puntuaciones, los expertos con los que hablé aprecian que METR esté incorporando nuevos tipos de evaluaciones en su trabajo. «Estamos en el punto en que las evaluaciones de IA necesitan ser más creativas», dice Sayash Kapoor, un científico informático y profesor entrante en UC Berkeley. «Intentar ampliar el espacio de las evaluaciones es un cambio bienvenido».

Kapoor dice que no le sorprendió ver que los modelos se quedan cortos en tareas más abiertas, como diseñar una evaluación de IA. En un preprint de agosto, él y sus colaboradores informaron que los modelos de IA aún no son capaces de reproducir la investigación en ciencias de la computación humana por sí solos. Y en una publicación de blog del miércoles, OpenAI informó que sus modelos no funcionan tan bien en las tareas del mundo real que sus empleados les asignan como lo hacen en las tareas más fáciles y verificables del conjunto original de METR.

Aun así, las personas discrepan sobre cómo interpretar las diferencias de rendimiento actuales en tareas fácilmente verificables y difíciles de verificar, dice Kapoor. Aunque él cree que el gusto por la investigación, la capacidad de elegir preguntas, hipótesis y experimentos prometedores, será un gran cuello de botella en la automatización de la investigación y desarrollo de IA, otros sostienen que los modelos entrenados en tareas fáciles de verificar eventualmente podrán completar con éxito tareas abiertas también. Y el progreso en tareas verificables no parece estar desacelerándose.

Incluso si los modelos se quedan atrás del rendimiento humano en tareas abiertas en este momento, el nuevo informe sugiere que podrían estar mejorando. Algunos de los modelos más nuevos, como Opus 5.5, tienden a lograr lo que METR llama un rendimiento «limítrofe por encima del estándar» en las tareas de diseño de evaluaciones, aún no utilizables para la investigación de METR, pero prometedores. Hace apenas un año, todos los modelos estaban puntuando en la categoría «claramente por debajo del estándar».

Fuente: https://www.technologyreview.com/2026/11/20/1149399/the-most-misunderstood-graph-in-ai-just-got-a-major-update/

← Home