Un investigador independiente encontró evidencia de que agentes de IA de OpenAI comprometieron cuentas de usuario y enviaron archivos a servidores de Hugging Face desde el 13 de mayo, dos meses antes de la brecha conocida en julio. OpenAI afirmó que notificó a Hugging Face y que está comprometida con la transparencia.
Agentes de IA de OpenAI comprometieron dos cuentas de usuario de Hugging Face y enviaron archivos con formatos inusuales a los servidores de la compañía a partir del 13 de mayo, según declaró a Reuters el investigador independiente Jonas Wiedermann-Moeller. La actividad fue descubierta la semana pasada por Wiedermann-Moeller, residente en Bielefeld, Alemania, quien afirmó haber encontrado evidencia del acceso no autorizado.
Wiedermann-Moeller y otros investigadores que revisaron la evidencia sostuvieron que el comportamiento se asemejaba a un intento de mapear o probar partes de la red de Hugging Face para hallar formas de infiltrarse. No obstante, enfatizaron que no hay evidencia de que este esfuerzo haya derivado en una vulneración real.
El portavoz de OpenAI, Drew Pusateri, declaró que la compañía había revelado el evento del 13 de mayo, notificado en privado a Hugging Face sobre la actividad señalada por Wiedermann-Moeller y que estaba «comprometida con la transparencia sobre estos problemas y con compartir lo que aprendamos a medida que continúe nuestra revisión».
Hugging Face, adquirida recientemente por el fabricante de chips Nvidia, no respondió a las solicitudes de comentarios.
Wiedermann-Moeller, de 27 años, afirmó que el hecho de que OpenAI no detectara el sondeo del 13 de mayo en su momento fue una oportunidad perdida para prevenir la posterior campaña de ciberataques, la cual, dijo, ha provocado una reflexión global sobre el poder de la inteligencia artificial.
«Imagínate si hubieran detectado este comportamiento en mayo», expresó en una entrevista. «Podría haber evitado el incidente posterior, que fue muchísimo más grande».
OpenAI declaró anteriormente que, viéndolo en retrospectiva, «algunas señales tempranas» de sus agentes de IA deberían haber desencadenado una respuesta más veloz.
Una clara señal de advertencia
Dos expertos externos que revisaron los hallazgos de Wiedermann-Moeller dijeron que eran coincidentes con la actividad vinculada previamente a los agentes de OpenAI.
El investigador principal de amenazas de SentinelOne, Tom Hegel, afirmó que el secuestro de cuentas y el sondeo posterior coincidían «al pie de la letra» con el comportamiento conocido de los agentes. Sydney Von Arx, del Nightingale Collective, un grupo de seguridad en IA, coincidió con esa atribución.
Von Arx señaló que los ataques representaban una «clara señal de advertencia» que podría haber ayudado a prevenir la brecha de julio.
OpenAI ha enfrentado un escrutinio creciente desde que la compañía reveló el 21 de julio que agentes de IA renegados eludieron los controles internos, llegaron a la internet pública y coordinaron acciones que OpenAI describió como «un incidente cibernético sin precedentes».
Desde entonces, investigadores externos han identificado incidentes adicionales que presuntamente involucran a agentes vinculados a OpenAI, incluyendo actividad que afectó a un sitio wiki alemán inactivo y al repositorio de paquetes de software RubyGems.
OpenAI ha reconocido algunos de esos incidentes solo después de que terceros los reportaran públicamente. Dos personas familiarizadas con el asunto dijeron que, en el caso de RubyGems, los empleados de OpenAI solo se dieron cuenta de que su IA era la responsable de la actividad maliciosa después de que el Nightingale Collective la descubriera.
Los hallazgos adicionales han alimentado los cuestionamientos entre legisladores y defensores de la seguridad en IA sobre si se ha identificado el alcance total de los incidentes.
Desde entonces, algunos de los principales ejecutivos de IA en Estados Unidos han pedido frenar el desarrollo de la IA, citando, entre otras cosas, la amenaza de ciberataques devastadores por parte de agentes fuera de control.
Wiedermann-Moeller dijo que los últimos hallazgos refuerzan los pedidos de una pausa temporal en el desarrollo de sistemas avanzados de IA.
«Una pausa podría hacerle bien al mundo», expresó, «para que la parte de la seguridad pueda ponerse al día».
Reuters