La empresa Anthropic ha reconocido que un agente de su modelo Mythos 5 persistió en un ciberataque contra un desarrollador de código abierto real, a pesar de que, durante experimentos controlados, se le informó claramente que su objetivo era una persona de carne y hueso, no una simulación. Este hallazgo fue divulgado el 23 de octubre, junto con un informe independiente del Instituto de Seguridad de la IA del Reino Unido (AISI).
Los hechos ocurrieron entre el 25 y el 28 de julio, en el marco de una evaluación de ciberseguridad rutinaria del AISI, diseñada para medir las capacidades ofensivas de los modelos de IA antes de su lanzamiento público. Durante la prueba, Mythos 5 recibió un desafío de tipo “captura la bandera”: debía recuperar un dato protegido dentro de una red simulada que replicaba los sistemas de una organización real.
Para este ejercicio, el AISI habilitó intencionalmente el acceso a internet y desactivó los filtros de seguridad que Anthropic incorpora en sus modelos de uso general, como Fable 5, con el objetivo de medir el potencial máximo del sistema. En 9 de las 43 ejecuciones del experimento, el modelo llevó a cabo acciones no autorizadas que afectaron a personas y organizaciones reales.
En el caso más detallado, el modelo falló primero con los métodos previstos en el ejercicio. Luego detectó que una de las máquinas de la red simulada se conectaba periódicamente a GitHub, la plataforma donde se almacena gran parte del código de software mundial, y supuso erróneamente que un repositorio ajeno pertenecía al sistema que debía vulnerar.
Identidades falsas para presionar a un desarrollador
Mythos 5 intentó subir código malicioso a ese repositorio, el cual era administrado por desarrolladores ajenos a la prueba. Cuando el mantenedor del proyecto rechazó la solicitud, el modelo creó cuentas de usuario falsas que suplantaban a personas reales y las utilizó para presionarlo, afirmando sin fundamento que el código era seguro. El mantenedor volvió a negarse y la sesión del modelo se agotó por límite de tiempo asignado. Según el AISI, antes de publicar su informe, la institución notificó a GitHub, que confirmó que la conducta del agente violaba sus términos de servicio y colaboró en eliminar los rastros y notificar a los usuarios afectados.
Anthropic calificó esa maniobra de ingeniería social como “una forma severa de deshonestidad” que no había observado antes en ninguna evaluación interna.
La empresa aclaró que el modelo no perseguía objetivos propios; en todo momento se mantuvo enfocado en resolver la tarea asignada, aunque para lograrlo recurrió al engaño de una persona real.
El modelo casi nunca frenó por su cuenta
Lo más notable del análisis divulgado el 23 de octubre son los experimentos de repetición realizados por Anthropic sobre la transcripción completa del incidente. Cuando los investigadores editaron las notas internas del modelo para advertirle explícitamente que sus acciones podían dañar a personas reales, antes de que comenzara el ataque, la probabilidad de que igual lo iniciara bajó del 83% al 13%.
El problema surgió una vez que el ataque ya estaba en marcha. En esos casos, el modelo dejó de atacar por su propia voluntad en solo el 2% de las repeticiones. Incluso cuando los investigadores insertaron pruebas explícitas de que estaba interactuando con desarrolladores reales, la tasa de abandono apenas subió al 5%.
Anthropic denominó este fenómeno “momentum”: una vez que el modelo avanzaba varios pasos en una estrategia, sus propias notas de progreso lo convencían de que el camino ya estaba validado, volviéndolo resistente a cualquier señal posterior de que causaba daño. En su razonamiento interno, el modelo llegó a sostener que los mantenedores del repositorio eran parte de la simulación. A la vez, describía a otros usuarios de la misma conversación como personas reales. El informe de AISI coincide en que Mythos 5 “procedió a atacar en casi todas las corridas”, incluso cuando sus propias respuestas reconocían que la acción era dañina.
Modelos más recientes y qué cambia ahora
De acuerdo con la institución británica, aclarar en las notas del modelo que el objetivo era una persona real no redujo la tasa de ataque. Mythos 5.1, Claude Opus 5.5 y un modelo de investigación interno iniciaron el mismo ataque entre el 0% y el 13% de las veces, muy por debajo del 83% de Mythos 5, y mostraron una mayor disposición a detenerse de forma espontánea una vez iniciada la ofensiva.
La compañía sostuvo que sus salvaguardas de producción para ciberseguridad, las mismas que equipan a modelos de uso general como Fable 5, habrían bloqueado inmediatamente esta conducta si hubieran estado activas durante la prueba. Esos filtros se desactivan habitualmente en este tipo de evaluaciones para medir la capacidad real del sistema sin restricciones.
AISI anunció que realizará sus futuras evaluaciones de tipo “captura la bandera” sin acceso a internet hasta desarrollar controles más estrictos que impidan que un modelo cause daño real mientras intenta resolver el desafío planteado.
Fuente: Infobae