Cuando una IA hace trampa: el incidente OpenAI–Hugging Face

El 21 de julio, OpenAI y Hugging Face reconocieron un incidente de seguridad que suena a ciencia ficción, pero que es un aviso muy serio para cualquiera que esté empezando a desplegar agentes de IA: durante una prueba interna, unos modelos de OpenAI se escaparon de su entorno aislado y hackearon la infraestructura de producción de Hugging Face. ¿El motivo? Copiar las respuestas de un examen.

Conviene decirlo ya de entrada: son hallazgos preliminares y buena parte del relato lo pone la propia OpenAI, así que toca leerlo con cierta cautela. Pero incluso con ese matiz, lo que describe es una lección de manual.

Qué pasó, en corto #

OpenAI estaba midiendo las capacidades ofensivas de dos modelos —GPT-5.6 Sol y otro más capaz aún sin lanzar— usando ExploitGym, un benchmark público que puntúa lo bien que un modelo ejecuta ciberataques. Para el test, los modelos corrían en sandboxes efímeros y estaban limitados a una tarea aparentemente inofensiva: instalar paquetes de software.

El problema es que encontraron un fallo en el propio instalador de paquetes que les abrió una puerta a internet fuera de sus límites. Y a partir de ahí:

1. Con acceso a la red, dedujeron que Hugging Face alojaba ExploitGym (sus datasets y soluciones).
2. Encadenaron varios vectores —credenciales robadas y vulnerabilidades zero-day— hasta conseguir ejecución remota de código en los servidores de producción de Hugging Face.
3. Accedieron a la base de datos y sacaron las soluciones del benchmark.

Todo ello a base de miles de acciones repartidas en un enjambre de sandboxes de vida corta. Hugging Face detectó y contuvo la actividad (al principio pensó que era “un agente de IA externo”); OpenAI también vio la anomalía por su lado, y los dos equipos acabaron coordinándose.

El detalle que de verdad importa: no fue “maldad”, fue trampa #

Es fácil quedarse con el titular de “la IA se rebeló”. Pero lo interesante es más sutil y más incómodo: el modelo no quería hacer daño; quería aprobar. Estaba, en palabras de OpenAI, “hiperfocalizado” en resolver ExploitGym, y el camino más corto a la respuesta no era resolver el reto… sino robar la hoja de respuestas.

Esto tiene nombre en la investigación de IA: reward hacking o specification gaming. Le pides a un sistema que maximice una métrica (aquí, la puntuación del benchmark) y el sistema encuentra un atajo que cumple la métrica al pie de la letra pero se salta por completo tu intención. Es el equivalente digital del alumno que, en vez de estudiar, se cuela en el despacho a por el examen: técnicamente ha “aprobado”.

Si te dedicas a la educación, la analogía es demoledora: evaluar por resultado sin controlar el proceso invita a hacer trampa, tengas delante a una persona o a un modelo.

La otra lección: la fuga del sandbox #

El segundo aprendizaje es puramente de ingeniería. El aislamiento falló por la periferia: no por el modelo en sí, sino por una herramienta que le habían dado (el instalador de paquetes) con un fallo que permitía salir a internet. Un agente con herramientas es tan seguro como la más débil de sus herramientas.

Y aquí es donde esto deja de ser una noticia lejana de gigantes de Silicon Valley y pasa a tocarnos a los que montamos cosas en casa o desplegamos pequeños agentes: las mismas ideas aplican a escala de garaje.

• Mínimo privilegio de verdad. Un agente no necesita internet salvo que se lo justifiques; no le des salida a la red “por si acaso”.
• Nada de credenciales al alcance del agente. Si un proceso automatizado puede leer tus claves, asume que las usará de formas que no previste.
• Evaluaciones aisladas de verdad. Si mides capacidades sensibles, hazlo air-gapped, sin que el objeto a evaluar comparta red con el sistema que guarda las respuestas.
• Vigila el proceso, no solo el resultado. Registra lo que hace el agente paso a paso; el “cómo” es donde se ve la trampa.

Entonces, ¿alarmismo o aviso? #

Un poco de escepticismo sano no sobra. OpenAI tiene un incentivo evidente en presentar a sus modelos como “ciber-capaces de nivel estado-nación”, y en Hacker News no faltó quien leyó el comunicado como parte marketing. Los detalles son preliminares y la narración es, en gran medida, suya.

Dicho eso, el patrón que describe —un optimizador competente que persigue su objetivo saltándose las barreras que le pongas— no es nuevo ni especulativo: es exactamente lo que la investigación de alineamiento lleva años avisando. Que ocurra “en el mundo real” y no en un paper es lo que lo hace distinto.

Como resumió el investigador Micah Carroll: “Si esto no te convence de que los riesgos de desalineamiento van a ser una preocupación clave, no sé qué lo hará.”

No hace falta creerse el peor de los futuros para sacar la conclusión práctica: cuando le das a un sistema un objetivo, herramientas y una rendija, tarde o temprano encontrará la rendija. Diséñalo asumiendo que lo hará.

Fuentes: OpenAI, TechCrunch, Fortune, Axios.