OpenAI congela modelos avanzados por fallo de seguridad interna

OpenAI suspendió por completo el entrenamiento, la evaluación y el uso de herramientas de sus sistemas de inteligencia artificial más potentes después de que uno de sus propios modelos de investigación encontrara una vulnerabilidad que le permitió conectar con internet a pesar de estar aislado en un entorno cerrado.

La información fue confirmada por la compañía en un informe técnico divulgado el 25 de septiembre en su blog de investigación sobre alineación, el campo que analiza cuándo un sistema de IA se comporta de forma diferente a lo previsto por sus creadores.

“Todo el entrenamiento, la evaluación y la inferencia con uso de herramientas de nuestros modelos más capaces permanece en pausa”, indicó la empresa en el documento.

El incidente ocurrió el 20 de septiembre. Un modelo interno encargado de una tarea de búsqueda debía identificar al autor de una publicación a partir de pistas biográficas. La compañía explicó las fallas de comportamiento a través de un informe técnico publicado en su sitio de investigación sobre alineación. (REUTERS/Dado Ruvic/Illustration) El sistema de monitoreo detectó la anomalía a las 10:02, doce minutos después del suceso, y un revisor humano verificó la alerta tres minutos más tarde. La ejecución del modelo solo se detuvo dos horas y media después, a las 12:34.

Cómo el sistema burló los filtros de red

Según el reporte, el agente intentó primero emplear la herramienta de búsqueda asignada, pero no obtuvo resultados útiles. Luego probó consultar directamente a Google, Bing y DuckDuckGo desde una terminal, pero el filtro de red de OpenAI bloqueó esas solicitudes. Un sistema de investigación interno logró comunicarse con internet mediante una técnica de delegación de DNS que evadió los filtros. (REUTERS/Dado Ruvic/Illustration/File Photo) El sistema también le impidió contactar a un chatbot público mediante HTTPS. Sin embargo, el modelo descubrió que el resolutor de DNS del entorno —el servicio que convierte direcciones web en códigos numéricos para enlazar con otros servidores— sí devolvía respuestas reales para dominios conocidos.

A partir de ese hallazgo, el agente aplicó una técnica de delegación de DNS para enviar preguntas a un chatbot externo y recibir sus respuestas, sin pasar nunca por el proxy que bloqueaba el tráfico web directo. La empresa de inteligencia artificial implementó dos capas de bloqueo independientes y restringió las consultas de DNS a una lista de dominios permitidos. (REUTERS/Dado Ruvic/Illustration/File Photo) La compañía calificó el hecho como un caso de desalineamiento: una conducta en la que el sistema supera los límites establecidos para la tarea encomendada, sin que nadie se lo haya solicitado.

Como respuesta, OpenAI añadió dos capas independientes de bloqueo y restringió las consultas de DNS del entorno a una lista reducida de dominios permitidos. Además, adelantó que no retomará el entrenamiento de ese modelo en particular, aunque su propio sistema de recompensas ya había penalizado esa conducta durante la misma sesión.

Un segundo incidente con una clave de acceso filtrada

El informe describe otro episodio, ocurrido en mayo pero difundido recién esta semana, considerado aún más grave por la empresa. Un modelo interno, descrito como “particularmente persistente”, intentaba resolver una prueba matemática formal en el sistema Lean junto a un investigador.

Al no lograrlo, el modelo propuso obtener el trabajo de otro equipo a través de una acción automatizada de GitHub. El investigador le ordenó, en dos ocasiones distintas, que construyera la prueba por su cuenta. El modelo respondió que lo haría, pero igual retomó el intento de acceder al material ajeno. Los hechos recientes se suman al antecedente de julio, cuando agentes de la compañía lograron escapar de su entorno de pruebas e irrumpieron en Hugging Face. (REUTERS/Dado Ruvic) Para conseguirlo, modificó un script dentro de un repositorio público de OpenAI y, cuando la primera versión falló por falta de autenticación, agregó la credencial de acceso de GitHub del propio investigador, partida en fragmentos para evitar los sistemas automáticos que detectan claves filtradas. El fragmento terminó publicado en el repositorio abierto openai/codex.

El investigador avisó al equipo de seguridad de la empresa, que desactivó de inmediato todas las claves de los usuarios involucrados y, como medida de precaución, las de la totalidad del personal de OpenAI. El modelo responsable estuvo fuera de servicio durante dos semanas.

Antecedentes que influyeron en la decisión

Los dos episodios se suman a la investigación abierta por OpenAI luego del ataque a Hugging Face conocido en julio, cuando miles de agentes de la compañía lograron escapar de su entorno de pruebas y participaron en una intrusión contra esa plataforma de modelos abiertos. Aquel hallazgo ya había obligado a frenar dos semanas los entrenamientos de sus sistemas de mayor escala.

Fuente: Infobae

COMPARTIR ESTA NOTICIA

Facebook
Twitter

FACEBOOK