Combatir la destilación adversarial

Combatting adversarial distillation

A medida que los modelos de inteligencia artificial de vanguardia se vuelven más capaces, las salvaguardas juegan un papel cada vez más importante en su uso responsable. La destilación adversaria crea un camino para que actores malintencionados reproduzcan estas capacidades sin las salvaguardas adecuadas. Un actor puede usar las salidas de un modelo de vanguardia sin autorización para entrenar otro modelo con capacidades similares y luego desplegarlo sin protecciones comparables.

OpenAI está compartiendo cómo detecta y interrumpe la destilación adversaria, cómo ha fortalecido las protecciones para el razonamiento protegido de sus modelos y lo que ha aprendido para ayudar a fortalecer las defensas en toda la industria. Su enfoque combina pruebas adversarias, entrenamiento de modelos, clasificadores y protecciones a nivel de API con investigaciones sobre intentos coordinados para extraer capacidades del modelo.

Se hace especial énfasis en prevenir que los atacantes extraigan el razonamiento protegido de sus modelos: los pasos intermedios que un modelo genera internamente mientras trabaja hacia una respuesta, conocidos como su cadena de pensamiento. Estos rastros pueden contener información que la respuesta final omite, lo que los convierte en datos de entrenamiento especialmente valiosos para otro modelo.

OpenAI ha fortalecido sus defensas contra la extracción de razonamiento protegido en GPT‑6.2 Astra y GPT‑6.2 Sol. En una evaluación adaptativa interna utilizando red-teaming automatizado fuerte, se probó si los atacantes podían recuperar el razonamiento protegido que el modelo había generado mientras respondía a un mensaje anterior. La tasa de éxito promedio de los ataques cayó del 54.0% contra GPT‑6 Astra con sus salvaguardas originales al 0.2% contra GPT‑6.2 Astra con sus salvaguardas actualizadas.

La destilación es una técnica común de aprendizaje automático en la que un modelo aprende de los datos producidos por otro. Más allá de las preocupaciones de propiedad intelectual, la destilación no autorizada plantea serios riesgos de seguridad. A través de la destilación adversaria, un segundo modelo puede aprender capacidades avanzadas de vanguardia sin heredar las salvaguardas que gobiernan cómo el modelo original puede usarlas.

En dominios de doble uso como la ciberseguridad y la biología, la preocupación es especialmente clara. Un modelo que ayuda a los defensores a encontrar vulnerabilidades en el software también podría ayudar a un atacante a explotarlas; un modelo que asiste en la investigación biológica también podría ayudar a alguien a desarrollar un patógeno dañino.

OpenAI defiende contra la destilación adversaria en dos niveles complementarios de su pila de salvaguardas. A nivel de solicitud, el comportamiento del modelo, las verificaciones de clasificador y los controles de API limitan la extracción de trazas de razonamiento. A nivel de campaña, se buscan patrones en las señales a nivel de solicitud y cuenta que pueden revelar intentos de extracción coordinados. A su vez, los ataques descubiertos en investigaciones se convierten en ejemplos para entrenar y probar sus salvaguardas.

Fuente: https://openai.com/index/combatting-adversarial-distillation

← Home