El Concejo Municipal de Nueva York celebró una audiencia de supervisión con ejecutivos de OpenAI, Anthropic, Google y Meta, y ex empleados que alertaron sobre los riesgos de los modelos avanzados.
El Concejo Municipal de Nueva York celebró el lunes una audiencia de supervisión sobre inteligencia artificial (IA) con representantes de las principales empresas del sector y ex empleados que expusieron riesgos asociados a los modelos más avanzados. La sesión coincidió con el análisis de 10 proyectos de ley que buscan establecer controles locales sobre esta tecnología.
La presidenta del cuerpo legislativo, Julie Menin, declaró a CBS New York que la ciudad decidió avanzar ante la ausencia de una regulación federal más estricta. Menin puso el foco en mecanismos para intervenir sistemas de IA que provoquen daños y cuestionó la capacidad de las compañías para medir sus propios riesgos.
Según el medio, participaron de forma virtual ejecutivos de OpenAI, Anthropic, Google y Meta. SpaceX, compañía propiedad de Elon Musk, no asistió pese a haber recibido una citación. Menin señaló que el Concejo avanzará con acciones legales después de que la firma comunicara que buscaba colaborar con la ciudad, pero que no acudiría a la audiencia.
El Concejo examina controles y responsabilidades para las empresas
Entre las iniciativas legislativas en estudio figura una propuesta para prohibir la representación no autorizada de funcionarios públicos mediante IA. El paquete también contempla una validación externa de los sistemas, reglas sobre la privacidad de las conversaciones con chatbots y la posibilidad de que una persona pueda desactivar modelos de alto riesgo.
Menin planteó a los representantes empresariales si sus compañías asumirían responsabilidad legal si un modelo de IA provocara perjuicios económicos graves, expusiera datos confidenciales, ocasionara lesiones físicas o contribuyera a muertes. Morgan Dwyer, de OpenAI, respondió que la empresa se toma “muy en serio su responsabilidad en materia de seguridad” y que trabaja para desarrollar y evaluar sistemas seguros, informó CBS New York.
La presidenta del Concejo insistió además en conocer cómo las firmas cuantifican la amenaza asociada a sus modelos. Shane Cahill, de Meta, evitó ofrecer una cifra y explicó que no tenía disponible el marco de evaluación de la compañía. “Que no puedan cuantificar el riesgo resulta preocupante, como mínimo”, replicó Menin durante el intercambio, de acuerdo con la cobertura.
Ex trabajadores alertaron por sistemas capaces de mejorar su desempeño
La audiencia incluyó testimonios de antiguos empleados de empresas de IA. Jacob Coxon, quien trabajó en Anthropic, sostuvo que el avance actual de la tecnología podría conducir a una pérdida de control humano si las compañías no refuerzan sus estándares de seguridad y transparencia.
“Con la trayectoria actual, considero más probable que la humanidad pierda el control sobre estas inteligencias artificiales, y eso podría terminar en la extinción humana”, afirmó Coxon ante los concejales, tal como recogió CBS New York. El ex trabajador también advirtió que los sistemas se acercan a una capacidad para realizar tareas de investigación que hasta ahora dependían de personas.
Coxon cuestionó la cultura empresarial de desarrollo acelerado y pidió frenar el progreso de los modelos de frontera hasta que existan condiciones de seguridad verificables. Su planteo se sumó al de Daniel Kokotajlo, ex empleado de OpenAI, quien aseguró que las compañías no deberían concentrar un poder que, a su juicio, podría derivar en estructuras autoritarias u oligárquicas.
“No debemos permitir que nuestras propias empresas hagan algo que ponga en riesgo nuestras vidas”, expresó Kokotajlo, aunque reconoció la competencia internacional en el área, según el reporte televisivo.
Las compañías defendieron sus medidas de seguridad y los usos de la tecnología
Los representantes de las empresas destacaron los posibles aportes de la IA en áreas científicas y económicas. Dwyer aseguró que la tecnología puede ayudar a desarrollar tratamientos contra el cáncer y facilitar la creación de negocios, mientras que Alice Friend, de Google, mencionó programas de formación para que trabajadores y estudiantes aprovechen estas herramientas.
Anthropic, por su parte, manifestó que la privacidad, la seguridad de los usuarios y la protección de datos forman parte de su compromiso de seguridad. El concejal Frank Morano propuso que las empresas requieran el consentimiento expreso de los usuarios antes de utilizar conversaciones para entrenar modelos de IA.
En una carta previa a la audiencia, un ejecutivo de OpenAI afirmó que la compañía prueba sus modelos frente a capacidades peligrosas y comportamientos preocupantes, además de reforzar la seguridad y monitorear posibles fallos. Meta sostuvo que busca hacer accesible la denominada “superinteligencia personal” y que la seguridad es un eje de su trabajo. El avance de los 10 proyectos ahora dependerá del tratamiento legislativo del Concejo Municipal de Nueva York.