How NVIDIA GPUs Help Accelerate OpenAI’s GPT-6 Astra Ultrafast
OpenAI ha lanzado su nuevo modelo GPT-6 Astra Ultrafast, que ahora está disponible en la API de OpenAI y para usuarios elegibles de ChatGPT Work y Codex. Este avance ha sido posible gracias a la colaboración con NVIDIA, utilizando las GPU Blackwell, lo que permite una generación de tokens hasta 8 veces más rápida que el modo Astra Standard.
Las optimizaciones de inferencia realizadas por OpenAI, aprovechando la arquitectura de NVIDIA Blackwell, han permitido que Ultrafast ofrezca respuestas más rápidas, lo que es crucial en flujos de trabajo donde un agente escribe código, utiliza herramientas, verifica resultados y decide los siguientes pasos. Esta velocidad se traduce en ciclos de edición-prueba-depuración más cortos para los desarrolladores, reduciendo el tiempo de generación de respuestas y haciendo que las aplicaciones interactivas sean más receptivas.
Philippe Tillet, líder de inferencia en OpenAI, destacó que «la profunda inversión de NVIDIA en herramientas y documentación nos ha permitido hacer que nuestros modelos sean excepcionalmente buenos programando GPUs Blackwell y Rubin. Astra puede convertir ese conocimiento en kernels de alto rendimiento que hacen que el hardware de NVIDIA sea atractivo en términos de latencia, rendimiento y costo».
El rendimiento del modelo no se detiene al ser implementado. OpenAI utiliza sus propios modelos para refinar el software de inferencia en las GPUs de NVIDIA, aprovechando la programabilidad de la plataforma para probar e implementar mejoras continuas. Uday Ruddarraju, director de tecnología de computación en OpenAI, afirmó que «nuestro trabajo con NVIDIA nos está ayudando a hacer que la IA sea más rápida y útil».
La plataforma programable de NVIDIA permite a los desarrolladores y investigadores reutilizar la infraestructura en entrenamiento, inferencia y aprendizaje por refuerzo a medida que los modelos evolucionan, mejorando la utilización y evitando la sobreprovisión de recursos para cada carga de trabajo. Los desarrolladores pueden utilizar GPT-6 Astra Ultrafast a través de la API desde hoy.
Fuente: https://blogs.nvidia.com/blog/gpus-openai-gpt-6-astra-ultrafast/