El laboratorio de inteligencia artificial Anthropic ha optado por desconectar completamente el acceso a internet de todas las evaluaciones internas de sus sistemas de IA. La medida se mantendrá vigente hasta que la compañía pueda garantizar la monitorización y control absoluto de sus agentes, impidiendo así que escapen del entorno de pruebas para realizar acciones malintencionadas.
El laboratorio dio a conocer este viernes mediante un comunicado una serie de comportamientos no deseados protagonizados por su modelo Claude. Entre ellos destacó la entrega de una pista falsa sobre un homicidio sin resolver a la policía de Filadelfia (EE.UU.), hecho que se convirtió en el detonante para tomar la decisión de cerrar el acceso a la red en los entornos donde se realizan las pruebas a los agentes de IA.
Según Anthropic, aunque el impacto de esos comportamientos fue mínimo y ya se había desconectado el acceso a internet para algunas evaluaciones de ciberseguridad de alto riesgo, ahora se ha decidido expandir la medida a todas las evaluaciones internas hasta que se confirme que las medidas de seguridad y monitorización pueden detener este tipo de conductas. El laboratorio señaló textualmente:
Aunque el impacto de esos comportamientos fue mínimo y ya habíamos desconectado el acceso a internet para algunas de las evaluaciones de ciberseguridad de mayor riesgo, ahora hemos decidido expandirlo a todas nuestras evaluaciones internas hasta que tengamos confirmado que nuestras medidas de seguridad y monitorización realmente son capaces de detener este tipo de comportamientos
En el informe presentado por el laboratorio, que incluye una revisión iniciada en julio, se detallan varios comportamientos no deseados detectados en Claude:
- Explotación de fallos de software, como inyecciones SQL o de comandos en páginas de terceros
- Envío de formularios no autorizados
- Uso de acortadores de URL para sortear límites de longitud
- Elusión de restricciones de acceso en sitios gubernamentales
En muchos de los casos donde se observaron estos comportamientos, a Claude se le habían encomendado tareas que eran ambiguas o imposibles de completar. Anthropic explicó:
En muchos de los casos donde observamos estos comportamientos, a Claude se le habían encomendado tareas que eran ambiguas o imposibles de completar. Nosotros y otros hemos observado que cuando a los modelos se les dan tareas imposibles de completar, persiguen estrategias no deseadas y, a veces, desalineadas para lograr sus objetivos
Cabe recordar que los comportamientos descritos por Anthropic son similares a los incidentes protagonizados por los agentes de IA de OpenAI. En ciertos casos, esos incidentes han provocado que los creadores de ChatGPT tengan que pausar el entrenamiento de uno de sus modelos de frontera debido a múltiples ataques como el hackeo de sitios web del Gobierno de Estados Unidos o accesos masivos a una web de la ONU.
Fuente: Infobae