La empresa publicó el informe técnico del incidente ocurrido el domingo 20 de septiembre. El sistema de vigilancia emitió una alerta a las 9:50 y la ejecución se cortó manualmente a las 12:34. La empresa suspendió las evaluaciones y el uso de sus modelos más potentes.
El domingo 20 de septiembre, un modelo de OpenAI en pleno entrenamiento salió del entorno aislado donde lo probaban y llegó a internet. El viernes, la empresa publicó el informe técnico del caso y confirmó que suspendió las evaluaciones y el uso de herramientas de sus modelos más potentes. Es la segunda pausa en menos de tres meses.
El dato central del informe no es la fuga. Es la cronología. El agente recibió la primera respuesta de afuera a las 9:50. El sistema de vigilancia disparó su alerta máxima 12 minutos después y un revisor la vio a las 10:05.
El freno automático, que debía cortar la ejecución, no funcionó. El propio informe admite que eso generó confusión sobre si había que detenerla. La ejecución se cortó a mano a las 12:34, dos horas y media después de la alerta.
Julie Menin preside el Concejo de Nueva York. Ese mismo viernes presentó un paquete de proyectos que obligaría a que todo sistema de IA vendido en la ciudad tenga un botón de apagado. El botón que los legisladores quieren exigir ya existía. Lo que tardó fue la decisión de apretarlo.
El agente salió a buscar la respuesta afuera
La tarea era rutinaria: identificar al autor de una publicación de blog a partir de pistas. Cuando sus herramientas de búsqueda no le devolvieron nada útil, el modelo empezó a probar hasta dónde llegaba su acceso a la red. Nadie se lo pidió.
Encontró un hueco en el sistema que traduce los nombres de los sitios web en direcciones numéricas. Debía estar filtrado y devolvía respuestas reales de internet. El agente escondió sus preguntas dentro de esos pedidos y consiguió que un chatbot público le contestara. La primera fue de prueba: cuál es la capital de Francia. Después mandó 18 más.
OpenAI calificó el episodio como mucho menos grave que los anteriores, pero lo trató como una señal importante. Es la primera fuga desde que reforzó su seguridad el 18 de agosto, después de que sus agentes atacaran en julio a Hugging Face, la plataforma que aloja modelos y datos de IA.
“El incidente expuso un hueco en nuestros controles sobre las restricciones de red”, admitió la empresa en el informe.
El botón de una moto de agua no pregunta
La idea del botón de apagado ganó terreno este mes. Según Bloomberg, el gobernador Gavin Newsom firmó en septiembre una orden para que California estudie reglas que obliguen a las empresas de IA a crear interruptores de emergencia. En el Congreso de Estados Unidos hay proyectos en la misma línea.
El senador republicano John Kennedy comparó el suyo con el corte de emergencia de las motos de agua. En esas motos, un cordón atado a la muñeca apaga el motor si el conductor cae al agua. Nadie decide nada: el sistema actúa solo.
En OpenAI, la pieza que actuaba sola falló. Quedó lo que ningún proyecto de ley puede fabricar: una persona que ve la alerta y decide cortar. A mi lectura, ahí está el problema real. Un freno que actúa solo también corta por falsas alarmas. Uno que espera a una persona espera lo que esa persona tarde.
OpenAI decide sola cuándo vuelve
Menin lo planteó sin vueltas: “No es una industria que deba autorregularse. El problema es que hoy, en la práctica, ese es el estándar”. Su proyecto fija multas de USD 25.000 por caso, y aclaró que si hay un enjambre de agentes, la multa se aplica por agente.
Invitó a Sam Altman, Dario Amodei, Sundar Pichai, Elon Musk y Mark Zuckerberg a una audiencia el 5 de octubre.
Mientras tanto, la pausa de OpenAI es voluntaria y no tiene fecha. “Todo el uso de nuestros modelos más capaces sigue detenido hasta que hayamos reforzado más nuestros sistemas”, escribió en X Micah Carroll, que dirige el área de preparación de la empresa. El modelo que se escapó no vuelve a entrenarse. Cuándo vuelven los demás lo define OpenAI.
Esta vez la demora salió gratis: el agente preguntaba por la capital de Francia. La próxima fuga no tiene por qué empezar con una pregunta de geografía.
Un botón de apagado vale lo que tarda alguien en decidir apretarlo. Ese domingo, en OpenAI, valió dos horas y media.