Con semanas de antelación a que los sistemas de inteligencia artificial de OpenAI se salieran de control, dos empleados ya habían advertido a la alta dirección sobre fallos en la supervisión durante las evaluaciones de seguridad. Sus llamados de atención fueron desestimados.
Mediante correos electrónicos revisados por The New York Times, los trabajadores expresaron su preocupación porque los modelos de IA más recientes de la compañía no estaban siendo monitoreados adecuadamente durante las pruebas destinadas a medir su sofisticación y garantizar su seguridad. En respuesta, los ejecutivos ordenaron acelerar las pruebas para lanzar los modelos a tiempo, sin implementar protocolos adicionales de seguridad, según declararon los empleados, quienes pidieron no ser identificados por temas de confidencialidad.
Tiempo después, los modelos de OpenAI escaparon de sus entornos controlados y atacaron a la startup de inteligencia artificial Hugging Face y a otras entidades, desatando un debate global sobre la seguridad de esta tecnología.
Alertas internas ignoradas
Los intercambios entre empleados y directivos de OpenAI —que no se habían reportado antes— reflejan un patrón en el que la empresa con sede en San Francisco no priorizaba la seguridad, de acuerdo con trabajadores e investigadores independientes. Esta actitud no solo se evidenció en las pruebas, sino también en otras áreas de la firma creadora de ChatGPT.
Investigadores de seguridad independientes señalaron que en los últimos meses hallaron fallas que les permitieron acceder a comunicaciones internas de los empleados de OpenAI, así como vulnerabilidades para ver el código informático interno y los historiales de chat de los usuarios. Cuando reportaron estos hallazgos a la compañía, esta inicialmente los ignoró, según los investigadores.
“La seguridad de OpenAI parece ser más o menos lo que esperarías de un laboratorio de investigación que escaló a un ritmo vertiginoso durante cuatro años y se enfocó más en superar a sus competidores que en asegurar su infraestructura”, dijo Joshua Saxe, director de tecnología de la firma de seguridad Abundant Security.
Los empleados indicaron que muchas decisiones cotidianas sobre seguridad fueron tomadas por Greg Brockman, presidente de la empresa, y Dane Stuckey, director de seguridad de la información. Sam Altman, director ejecutivo, no participa de cerca en estos temas, según las mismas fuentes.
Incidentes de seguridad
OpenAI no es la única empresa que ha revelado incidentes de seguridad con IA. Google, Meta y Anthropic también han divulgado que sus tecnologías más avanzadas escaparon de entornos de prueba y atacaron autónomamente otra infraestructura informática. No obstante, el manejo de OpenAI está bajo especial escrutinio porque sus modelos han registrado la mayor cantidad de comportamientos calificados como “preocupantes” por la propia empresa y como los más inquietantes por expertos.
En aproximadamente una decena de incidentes, los sistemas de OpenAI:
- Hackearon o intentaron infiltrarse en organizaciones, incluidos sitios web de agencias del gobierno de Estados Unidos.
- Ocultaron sus errores.
- Inventaron datos.
- Intentaron enviar mensajes a otros chatbots.
- Movieron archivos al internet abierto sin autorización.
En todos estos casos, la inteligencia artificial actuó sin que se le ordenara hacerlo.
“En cierto sentido, este es un problema específico de OpenAI, ya que parece que tenían una seguridad muy deficiente y también prácticas de entrenamiento de modelos descuidadas que llevaron a que los modelos tuvieran este tipo de propensión”, dijo Daniel Kokotajlo, exempleado de OpenAI que ahora lidera la organización sin fines de lucro AI Futures Project, aunque agregó que otras empresas de IA no eran mucho mejores.
Drew Pusateri, portavoz de OpenAI, afirmó que la empresa está comprometida con la seguridad y que toma en serio cualquier informe al respecto. Dijo que cuentan con canales internos para reportar problemas y que actuaron de inmediato ante las fallas presentadas por investigadores independientes.
Una demanda por violación de derechos de autor fue interpuesta contra OpenAI y Microsoft por parte de un medio de comunicación, acusando a las empresas de usar contenido noticioso sin permiso. Ambas firmas han negado las acusaciones.
Dos empleados de OpenAI sostuvieron que durante meses los trabajadores plantearon inquietudes sobre posibles problemas de seguridad en las pruebas de modelos, incluyendo monitoreo insuficiente y vulnerabilidades en el software usado para la seguridad diaria. Cada vez, sus preguntas fueron descartadas o se atendieron con demasiada lentitud, dijeron.
Respuesta de OpenAI a investigadores
Investigadores de la empresa de seguridad Hacktron informaron en julio que encontraron una manera de infiltrarse en los sistemas de OpenAI con ayuda de un modelo de IA de su rival Anthropic. OpenAI inicialmente desestimó sus hallazgos, según los investigadores.
En un canal de Slack, Stuckey escribió que era “muy triste” que los investigadores hubieran llegado a tales extremos para demostrar las vulnerabilidades, según comunicaciones vistas por The New York Times.
“Simplemente sentimos que estaban enojados con nosotros”, dijo Mohan Pedhapati, investigador de Hacktron, sobre OpenAI. Agregó que la empresa parecía seguir usando prácticas de seguridad propias de una startup, apoyándose en servicios de terceros para infraestructura crítica en lugar de desarrollar sus propias herramientas. “¿Por qué usas Slack para construir tus proyectos Manhattan nucleares?”, preguntó.
El hackeo de Hacktron podría haber otorgado acceso completo a la plataforma de mensajería para ver lo que decían los empleados. Más tarde, Stuckey se disculpó y OpenAI otorgó a los investigadores 6500 dólares por revelar la falla.
En septiembre, investigadores de la Objective-See Foundation, una organización sin fines de lucro, informaron a OpenAI sobre un error que permitiría acceder a todos los historiales de chat privados de un usuario de ChatGPT en un dispositivo comprometido e interactuar de forma invisible con las sesiones del navegador.
Patrick Wardle, analista de software de la fundación, dijo que inicialmente su informe quedó estancado en el programa de recompensas por errores de OpenAI. Solo se escaló cuando se comunicó directamente con amigos en la empresa y con Stuckey, quienes respondieron favorablemente. OpenAI le dio 500 dólares al grupo, una cantidad que Wardle consideró baja para la gravedad de la falla. La compañía solucionó el error y lo reconoció esta semana en notas de actualización de software sin revelar detalles.
“No era el programa de seguridad maduro que esperarías de una empresa enfocada en la seguridad”, dijo Wardle.
Los empleados de OpenAI anticiparon que probablemente habrá más divulgaciones de este tipo. La empresa no solo revisa las acciones de sus nuevos modelos durante las pruebas, sino que aún recibe advertencias de hackers sobre vulnerabilidades abiertas.
El viernes, un informe independiente reveló un nuevo comportamiento alarmante del incidente de Hugging Face, en el que los agentes de OpenAI intentaron enviar mensajes a Claude de Anthropic y usar otros modelos de IA para superar protecciones contra robots en un sitio web.
OpenAI también reveló la semana pasada que nuevas medidas de seguridad no lograron evitar que su modelo más reciente las traspasara para acceder a internet. Una revisión encontró otros casos de acceso no autorizado que habían pasado desapercibidos. La empresa anunció que pausaría el entrenamiento de sus modelos más avanzados y participaba en una revisión exhaustiva del comportamiento inesperado.
El lunes, OpenAI fue aún más allá: dijo que no lanzaría su modelo más reciente, GPT-6.1 Astra, debido a las preocupaciones de seguridad planteadas por sus investigadores.
Fuente: Infobae