Can AI help scientists identify promising drug candidates?
OpenAI ha lanzado MedChemBench, un nuevo benchmark diseñado para evaluar la capacidad de los modelos de inteligencia artificial (IA) en tareas de razonamiento dentro de la investigación en química medicinal. Este benchmark se centra en la habilidad de los modelos para conectar la estructura molecular de un compuesto con la evidencia experimental disponible, con el fin de explicar resultados, comparar compuestos y predecir sus propiedades.
Uno de los principales desafíos en este campo es que mejorar una propiedad de una molécula puede empeorar otra. Por ejemplo, un compuesto puede ser eficaz contra una proteína relacionada con una enfermedad, pero tener una absorción deficiente o descomponerse rápidamente en el organismo. Los químicos medicinales deben gestionar estos compromisos diseñando, fabricando y probando compuestos relacionados, y decidiendo cuál probar a continuación. Para que la IA sea útil, debe ser capaz de conectar los cambios en la estructura molecular con la evidencia experimental y razonar sobre qué compuestos merecen ser investigados.
MedChemBench evalúa estas habilidades a través de 99 problemas extraídos de investigaciones publicadas. En el nivel de razonamiento más alto, GPT-6.2 Astra obtuvo un 84.5% del crédito disponible, comparado con el 83.3% de GPT-6 Astra y el 58.2% de GPT-5.6 Sol. GPT-6 Astra destacó en la reconstrucción de estructuras moleculares y en la explicación de la evidencia experimental, aunque la selección de compuestos y la predicción de sus propiedades numéricas resultaron ser tareas más difíciles para este modelo.
El benchmark se basa en 117 artículos y patentes e incluye 761 estructuras moleculares distintas. Para la mayoría de los problemas, los modelos reciben el contexto disponible en un punto elegido de un programa de investigación: el objetivo biológico, las metas de los investigadores, los compuestos estudiados hasta el momento y los hallazgos experimentales seleccionados.
MedChemBench evalúa cuatro componentes clave: las estructuras moleculares, el razonamiento científico, la clasificación y selección de compuestos, y las predicciones de propiedades. Un problema del benchmark, por ejemplo, se centra en la investigación de inhibidores de PRMT5, una proteína estudiada en el descubrimiento de fármacos contra el cáncer, y evalúa si el modelo puede predecir cómo se comportarán tres compuestos relacionados.
Las predicciones reciben crédito parcial basado en su proximidad a los valores medidos. Las mediciones ya suministradas en el prompt también deben reproducirse correctamente. Este enfoque refleja un desafío central en la química medicinal: una mayor actividad contra un objetivo no necesariamente se acompaña de una mejor permeabilidad o una descomposición más lenta.
MedChemBench también prueba si los modelos preservan la información al reconstruir moléculas a partir de dibujos y grupos químicos proporcionados. En un problema, se les pide a los modelos que ensamblen una molécula a partir de una estructura central y dos grupos adjuntos, manteniendo un anillo de 18 átomos. En el nivel de razonamiento más alto, GPT-6 Astra reconstruyó este compuesto correctamente en todas las respuestas, mientras que GPT-5.6 Sol y GPT-5.6 Luna fallaron en todas.