Opus 5.5 loves to tell you ‘this matters’ (and other AI writing tells)
En la era actual, donde la prosa generada por modelos de lenguaje masivo (LLM) está en todas partes, los seres humanos buscan ansiosamente formas de distinguirla. Aunque las señales tempranas como los guiones largos y el uso de la palabra «delve» han desaparecido, los investigadores afirman que todavía existen muchos hábitos reveladores en los que los modelos de inteligencia artificial tienden a caer al escribir prosa.
Un nuevo estudio de la firma de marketing Graphite ha analizado los hábitos de escritura de los modelos de vanguardia, identificando las palabras y frases favoritas de cada modelo. Aunque las señales antiguas como el uso de guiones largos han sido eliminadas, los modelos aún recurren a construcciones con mucho contraste, mostrando cada versión del modelo sus propios rasgos únicos. La mayor sorpresa es la amplitud del alcance de estas señales. Graphite encontró 13,000 frases que eran al menos dos veces más comunes en el contenido de IA que en el contenido humano, su definición de una «señal».
«Resulta que los modelos Claude se están acercando más a la distribución de palabras humanas con el tiempo», dijo Greg Druck, director de IA de Graphite, a TechCrunch. «Y para los modelos GPT, se está alejando más».
Estudiar la escritura generada por IA a gran escala requirió un diseño de estudio cuidadoso. Graphite comenzó con un corpus de 10,000 artículos publicados antes del lanzamiento de ChatGPT, sirviendo como grupo de control generado por humanos. Luego, los investigadores hicieron que diferentes modelos de IA reescribieran los artículos a partir de resúmenes, con la esperanza de eliminar tanto sesgo de fuente como fuera posible. Con muestras coincidentes de humanos y de cada modelo, pudieron comparar la frecuencia con la que ciertas palabras y frases aparecían en la escritura de IA, así como patrones más amplios en la construcción de oraciones.
Según los resultados de Graphite, la mayor señal de Claude Opus 5.5 es la palabra «fiable», que aparece 23 veces más a menudo que en las muestras humanas. Aunque Opus 5.5 ahora evita la construcción de oraciones «no es X, es Y», todavía tiende a decir que algo «es más que un X, es un Y».
Por encima de todo, Opus ama decirte por qué las cosas importan, usando la frase «esto importa» 116 veces más a menudo que en la escritura humana, mientras que «por qué X importa» ocurre 92 veces más a menudo.
OpenAI’s Astra tiene un conjunto diferente de señales. Este modelo ama describir «otra dimensión» de lo que sea que esté hablando, y tiende a matizar afirmaciones diciendo que una acción «puede proporcionar» o «puede ofrecer» un beneficio particular. Su mayor señal es lo que Graphite llama el «enmarcado correctivo», donde un tema se define como «no simplemente X» o se ofrece como una alternativa, «en lugar de depender de X». Según la investigación de Graphite, esas construcciones fueron más de 100 veces más comunes en la prosa generada por Astra que en la escritura humana.
Notablemente, todos los laboratorios de vanguardia parecen haber respondido a la idea de que los modelos abusan de los guiones largos. En las muestras de Graphite, Opus 5.5 usó el signo de puntuación un 99% menos que Opus. Astra ahora lo usa un 88% menos que las muestras humanas, mientras que Gemini 3.1 Pro casi ha eliminado completamente el guion largo de su escritura.
Pero mientras que las señales individuales cambian, Graphite dice que el número total se mantiene mayormente constante. «No es que las señales estén disminuyendo», dijo Druck a TechCrunch. «Están logrando eliminar las señales más conocidas, pero aparecen otras. Y cada versión del modelo tiene las suyas propias.»
Es sorprendente que las señales sean tan persistentes, dado el enfoque de los laboratorios en estilos de escritura similares a los humanos. En el lanzamiento de Opus 5.5, Anthropic se jactó de que el modelo «se comunica más naturalmente que los modelos anteriores», diciendo que los primeros usuarios «encontraron su escritura más clara y fácil de seguir».
OpenAI hizo afirmaciones similares al lanzar las versiones GPT-6 de Sol y Luna, diciendo que los usuarios podrían «esperar ver más claridad, menos jerga, [y] menos giros de frase extraños».
Pero Druck es escéptico sobre cuánto pueden hacer los laboratorios para eliminar completamente las construcciones o frases reveladoras.
«Una hipótesis general que tengo es que los laboratorios son menos capaces de controlar algunas de estas cosas de lo que podrías esperar», dice Druck. «Estos son modelos gigantes con miles de millones de parámetros. Tienen un número finito de pruebas que pueden realizar, y algunas cosas se escapan.»