With new open models, Meta pitches another reboot of its struggling AI strategy
Meta ha anunciado su intención de centrarse en modelos de lenguaje de gran escala con pesos abiertos. La compañía ha lanzado un modelo abierto llamado Muse Glimmer y ha prometido abrir los pesos de Muse Spark 1.2, su modelo más potente, en las próximas semanas.
El CEO de Meta, Mark Zuckerberg, ha publicado un extenso ensayo de más de 6,000 palabras que detalla la filosofía de la compañía sobre los sistemas de IA y su gobernanza a futuro. Este ensayo busca diferenciar a Meta de empresas como OpenAI y Anthropic, que desarrollan modelos propietarios y han presionado al gobierno de EE. UU. para obtener ayuda en la competencia contra la destilación a gran escala, que implica usar un modelo existente para entrenar uno nuevo, o modelos de pesos abiertos por laboratorios chinos.
Muse Glimmer es un modelo de 30 mil millones de parámetros con una ventana de contexto de 128,000 tokens por defecto. Está destilado de Muse Spark, el modelo más grande y capaz que Meta lanzó a principios de este año. Glimmer está diseñado para ejecutarse en las máquinas locales de los usuarios, en lugar de a través de un servicio en la nube o una API. Los pesos de Glimmer son de código abierto bajo la licencia Apache 2.0.
Muse Spark fue introducido en abril como un modelo propietario de clase frontera, siendo el primer lanzamiento importante de Meta después de una reorganización significativa de los equipos de IA de la compañía el año pasado, y un cambio respecto a su enfoque en modelos que son, de alguna manera, abiertos. Cuando Meta lanzó Muse Spark 1.1 en julio, introdujo su primer servicio de pago, nuevamente, un cambio respecto a su estrategia anterior. Muse Spark 1.2 se lanzó el 5 de agosto y estuvo acompañado por Muse Code, un agente de codificación terminal.
Los desarrolladores han encontrado que Muse Code no iguala en capacidad a los modelos de frontera de Anthropic o OpenAI, pero compite bien en costo, lo que significa que tiene una posición similar a muchos modelos de pesos abiertos de laboratorios chinos.
Como un modelo más pequeño diseñado para ejecutarse en GPUs de consumo, Muse Glimmer no competirá a ese nivel en absoluto, pero refleja un movimiento creciente para llevar algunas inferencias a dispositivos locales para reducir la dependencia y el gasto en los modelos producidos por los grandes laboratorios como Anthropic y OpenAI.
Junto con los lanzamientos de modelos, Mark Zuckerberg es acreditado como el autor de una carta abierta extensa que detalla la estrategia corporativa de Meta con la IA, y un argumento más amplio sobre cómo la IA debería desarrollarse, distribuirse y regularse.
El ensayo sigue a varias declaraciones de otros líderes de empresas de tecnología y de IA debatiendo los méritos de los modelos de pesos abiertos, los laboratorios propietarios y la práctica de la destilación, algo que algunos laboratorios chinos han hecho para construir modelos que compiten con los últimos esfuerzos de Anthropic y otros.
El 24 de julio, varias empresas, incluidas Nvidia, Hugging Face, Meta, Mistral, Mozilla, OpenAI y otras, cofirmaron una carta abierta titulada «Pesos Abiertos y Liderazgo en IA Americana» que argumentaba a favor del valor de los modelos de pesos abiertos en oposición, o al menos además, de los propietarios, y defendía la destilación como una práctica legítima, incluso cuando esculpía una distinción para «esfuerzos ilegales para extraer valor de modelos cerrados». Abogaba por «marcos legales y comerciales específicos en lugar de restricciones generales sobre técnicas que juegan un papel importante en la innovación de IA.»
Sobre el tema de la destilación, Meta y Zuckerberg escribieron: «La capacidad de los modelos para aprender de otros modelos es un principio importante de cómo funciona el ecosistema de código abierto. Todos los modelos de IA se derivan del conocimiento humano. Algunos han intentado enmarcar la destilación como dañina, pero creo que es importante proteger el principio de que puedes aprender de cualquier cosa que puedas observar.»
Sin embargo, la mayor parte del ensayo se centró en la noción de sistemas de IA descentralizados que se distribuyen ampliamente. También apunta directamente a los argumentos de que se necesitan modelos y sistemas de IA estrechamente controlados y propietarios debido a preocupaciones sobre amenazas existenciales o desalineación catastrófica:
«Es sorprendente que el discurso de muchos desarrolladores de IA esté tan lleno de fatalismo. No entiendo por qué alguien que cree que la IA eliminará la mayoría de los trabajos y gran parte de la relevancia de la humanidad se apresuraría a construir ese futuro. La noción de que la IA es tan peligrosa que el único camino seguro es una concentración extrema de poder parece inherentemente problemática.»
Zuckerberg escribió que la visión de alineación tomada por empresas como Anthropic, que afirma que está tratando de entrenar modelos de base singulares y amplios con parámetros operativos y salvaguardias que asegurarán que beneficien a la humanidad en general, es «fundamentalmente defectuosa.»
«Los valores diversos de las personas representan diferentes compensaciones que harían en cuestiones importantes. No hay una solución tecnológica que pueda alinearse con los intereses y valores opuestos de todos a la vez,» dice el ensayo. «Cualquier superinteligencia singular tendría que priorizar algunos valores sobre otros y, en el proceso, sería incapaz de ser benevolente con todos.»
En cambio, Meta argumenta aquí que los modelos deberían personalizarse a las necesidades y valores de individuos o grupos de individuos. También afirma que la descentralización hará que todos estén más seguros, ya que dará los beneficios y ventajas de la «superinteligencia» a todos por igual, en lugar de privilegiar a «un pequeño número de individuos, empresas, gobiernos o la propia IA.»
Meta ha estado rezagada respecto a otras grandes empresas tecnológicas y laboratorios de frontera importantes en cuanto a modelos de base. Sus modelos no han visto el tipo de adopción que han tenido los desarrollados por OpenAI o Anthropic.