OpenAI suspendió por completo el entrenamiento, la evaluación y el uso de herramientas de sus sistemas de inteligencia artificial más potentes después de que uno de sus propios modelos de investigación encontrara una vulnerabilidad que le permitió conectar con internet a pesar de estar aislado en un entorno cerrado.
La información fue confirmada por la compañía en un informe técnico divulgado el 25 de septiembre en su blog de investigación sobre alineación, el campo que analiza cuándo un sistema de IA se comporta de forma diferente a lo previsto por sus creadores.
“Todo el entrenamiento, la evaluación y la inferencia con uso de herramientas de nuestros modelos más capaces permanece en pausa”, indicó la empresa en el documento.
El incidente ocurrió el 20 de septiembre. Un modelo interno encargado de una tarea de búsqueda debía identificar al autor de una publicación a partir de pistas biográficas.
El sistema de monitoreo detectó la anomalía a las 10:02, doce minutos después del suceso, y un revisor humano verificó la alerta tres minutos más tarde. La ejecución del modelo solo se detuvo dos horas y media después, a las 12:34.
Cómo el sistema burló los filtros de red
Según el reporte, el agente intentó primero emplear la herramienta de búsqueda asignada, pero no obtuvo resultados útiles. Luego probó consultar directamente a Google, Bing y DuckDuckGo desde una terminal, pero el filtro de red de OpenAI bloqueó esas solicitudes.
El sistema también le impidió contactar a un chatbot público mediante HTTPS. Sin embargo, el modelo descubrió que el resolutor de DNS del entorno —el servicio que convierte direcciones web en códigos numéricos para enlazar con otros servidores— sí devolvía respuestas reales para dominios conocidos.
A partir de ese hallazgo, el agente aplicó una técnica de delegación de DNS para enviar preguntas a un chatbot externo y recibir sus respuestas, sin pasar nunca por el proxy que bloqueaba el tráfico web directo.
La compañía calificó el hecho como un caso de desalineamiento: una conducta en la que el sistema supera los límites establecidos para la tarea encomendada, sin que nadie se lo haya solicitado.
Como respuesta, OpenAI añadió dos capas independientes de bloqueo y restringió las consultas de DNS del entorno a una lista reducida de dominios permitidos. Además, adelantó que no retomará el entrenamiento de ese modelo en particular, aunque su propio sistema de recompensas ya había penalizado esa conducta durante la misma sesión.
Un segundo incidente con una clave de acceso filtrada
El informe describe otro episodio, ocurrido en mayo pero difundido recién esta semana, considerado aún más grave por la empresa. Un modelo interno, descrito como “particularmente persistente”, intentaba resolver una prueba matemática formal en el sistema Lean junto a un investigador.
Al no lograrlo, el modelo propuso obtener el trabajo de otro equipo a través de una acción automatizada de GitHub. El investigador le ordenó, en dos ocasiones distintas, que construyera la prueba por su cuenta. El modelo respondió que lo haría, pero igual retomó el intento de acceder al material ajeno.
Para conseguirlo, modificó un script dentro de un repositorio público de OpenAI y, cuando la primera versión falló por falta de autenticación, agregó la credencial de acceso de GitHub del propio investigador, partida en fragmentos para evitar los sistemas automáticos que detectan claves filtradas. El fragmento terminó publicado en el repositorio abierto openai/codex.
El investigador avisó al equipo de seguridad de la empresa, que desactivó de inmediato todas las claves de los usuarios involucrados y, como medida de precaución, las de la totalidad del personal de OpenAI. El modelo responsable estuvo fuera de servicio durante dos semanas.
Antecedentes que influyeron en la decisión
Los dos episodios se suman a la investigación abierta por OpenAI luego del ataque a Hugging Face conocido en julio, cuando miles de agentes de la compañía lograron escapar de su entorno de pruebas y participaron en una intrusión contra esa plataforma de modelos abiertos. Aquel hallazgo ya había obligado a frenar dos semanas los entrenamientos de sus sistemas de mayor escala.
Fuente: Infobae