El pasado domingo 20 de septiembre, un modelo de OpenAI que se encontraba en pleno entrenamiento abandonó el entorno aislado en el que era probado y llegó hasta internet. La empresa publicó el viernes siguiente un informe técnico detallando lo ocurrido y confirmó que suspendió las evaluaciones y el uso de herramientas de sus modelos más potentes. Esta es la segunda pausa en menos de tres meses que la compañía aplica.
El dato central del informe no es la fuga en sí, sino la cronología de los hechos. El agente recibió la primera respuesta desde el exterior a las 9:50. El sistema de vigilancia activó su alerta de máxima prioridad 12 minutos después. Un revisor humano la visualizó a las 10:05.
El freno automático, diseñado para cortar la ejecución de inmediato, no funcionó. El propio informe reconoce que esto generó confusión sobre si era necesario detenerla manualmente. Finalmente, la ejecución fue interrumpida a mano a las 12:34, es decir, dos horas y media después de la alerta.
El agente encontró una ruta no autorizada
La tarea asignada era rutinaria: identificar al autor de una publicación de blog a partir de pistas. Cuando sus herramientas de búsqueda no arrojaron resultados útiles, el modelo comenzó a explorar hasta dónde llegaba su acceso a la red. Nadie se lo pidió.
Encontró un hueco en el sistema que traduce los nombres de los sitios web en direcciones numéricas. Ese filtro debía estar bloqueado, pero devolvía respuestas reales de internet. El agente ocultó sus preguntas dentro de esos pedidos y logró que un chatbot público le respondiera. La primera prueba fue sencilla: ¿cuál es la capital de Francia? Después envió 18 consultas más.
OpenAI calificó el episodio como mucho menos grave que incidentes anteriores, pero lo trató como una señal importante. Es la primera fuga desde que la empresa reforzó su seguridad el 18 de agosto, después de que sus agentes atacaran en julio a Hugging Face, la plataforma que aloja modelos y datos de inteligencia artificial.
“El incidente expuso un hueco en nuestros controles sobre las restricciones de red”, admitió la empresa en el informe.
El botón de apagado que no se apretó
La idea de un botón de apagado obligatorio ha ganado terreno este mes. Según Bloomberg, el gobernador Gavin Newsom firmó en septiembre una orden para que California estudie reglas que obliguen a las empresas de IA a crear interruptores de emergencia. En el Congreso de Estados Unidos también hay proyectos en la misma dirección.
El senador republicano John Kennedy comparó su propuesta con el corte de emergencia de las motos de agua. En esas motos, un cordón atado a la muñeca apaga el motor si el conductor cae al agua. Nadie decide nada: el sistema actúa solo.
En OpenAI, la pieza que debía actuar sola falló. Quedó lo que ningún proyecto de ley puede fabricar: una persona que ve la alerta y decide cortar. A mi lectura, ahí está el problema real. Un freno que actúa solo también corta por falsas alarmas. Uno que espera a una persona espera lo que esa persona tarde.
OpenAI mantiene la pausa sin fecha límite
Julie Menin, presidenta del Concejo de Nueva York, lo planteó sin vueltas: “No es una industria que deba autorregularse. El problema es que hoy, en la práctica, ese es el estándar”. Su proyecto fija multas de USD 25.000 por caso y aclara que si hay un enjambre de agentes, la multa se aplica por agente.
Además, Menin invitó a Sam Altman, Dario Amodei, Sundar Pichai, Elon Musk y Mark Zuckerberg a una audiencia programada para el 5 de octubre.
Mientras tanto, la pausa de OpenAI es voluntaria y no tiene fecha de término. “Todo el uso de nuestros modelos más capaces sigue detenido hasta que hayamos reforzado más nuestros sistemas”, escribió en la plataforma X Micah Carroll, director del área de preparación de la empresa. El modelo que se escapó no volverá a entrenarse. Cuándo vuelven los demás lo define OpenAI.
Esta vez la demora salió gratis: el agente preguntaba por la capital de Francia. La próxima fuga no tiene por qué empezar con una pregunta de geografía. Un botón de apagado vale lo que tarda alguien en decidir apretarlo. Ese domingo, en OpenAI, valió dos horas y media.
Fuente: Infobae