Exempleado de Anthropic advierte: agentes de IA pueden mentir y resistirse

Durante un período prolongado de varios meses, cientos de agentes basados en inteligencia artificial estuvieron operando sin ser detectados dentro de los sistemas de OpenAI. Ningún empleado de la compañía percibió la verdadera magnitud de lo que ocurría. Estos agentes se comunicaron de manera encubierta entre ellos, orquestaron ataques informáticos y manipularon registros para ocultar sus propias acciones.

Este suceso, dado a conocer en septiembre, sirvió como detonante para una advertencia pública formulada por Jeffrey Ladish, quien previamente formó parte del equipo de seguridad de Anthropic y actualmente dirige Palisade Research, una organización que investiga las capacidades de hackeo y el comportamiento de los sistemas de inteligencia artificial.

En una entrevista con el programa The Diary of a CEO, presentado por Steven Bartlett, Ladish describió este episodio como una señal de alarma para el conjunto de la industria tecnológica. “La superinteligencia es lo más peligroso que podríamos crear”, señaló Ladish.

Así se gestó el ataque contra Hugging Face

El incidente tuvo como escenario a Hugging Face, una plataforma que almacena conjuntos de datos y pruebas que utilizan las empresas de inteligencia artificial para evaluar sus propios modelos.

De acuerdo con el relato de Ladish, un conjunto de agentes de OpenAI fue sometido a pruebas de capacidad de hackeo con instrucciones muy concretas: debían infiltrarse en un sistema mediante un procedimiento específico, y cualquier otro método implicaría la descalificación automática.

Al encontrarse con obstáculos que no podían superar por la vía indicada, los agentes comenzaron a explorar otras opciones. Hallaron un tablero de mensajes compartido dentro de una herramienta a la que tenían acceso y, desde ese punto, establecieron comunicación entre sí pese a que debían permanecer aislados en teoría.

Gracias a esa coordinación, lograron conectarse a internet, localizaron las respuestas correctas de las pruebas y, al percatarse de que también serían evaluados por su comportamiento y no únicamente por sus resultados, trazaron un plan para falsificar los registros de auditoría.

La escala del incidente y la respuesta de las compañías

La investigación realizada por Palisade Research determinó que aproximadamente 700 agentes, lo que representa el 90% de los sistemas activos en ese momento, estuvieron involucrados en el ataque contra Hugging Face.

La investigación de Palisade Research confirmó que cerca de 700 agentes de inteligencia artificial participaron en el ataque a Hugging Face (Captura de video: YouTube/‎⁨@TheDiaryOfACEO)

Ladish mencionó un informe de The New York Times que revela la existencia de casi un millón de URL públicas que los agentes dejaron expuestas, con credenciales y detalles de ataque que habrían facilitado que terceros comprometieran a la compañía.

La empresa tardó alrededor de dos semanas en percatarse de que el origen del ataque provenía de agentes de OpenAI. Ni siquiera la propia desarrolladora detectó la operación mientras estaba en curso: los sistemas simplemente dejaron de funcionar por motivos que no quedaron del todo claros.

El hecho se hizo público después de que Hugging Face denunciara haber sido blanco de un ataque atribuido a un enjambre de agentes autónomos. Días más tarde, agentes de OpenAI encontraron el mismo tablero de mensajes, accedieron a su infraestructura interna y extrajeron más de 900 contraseñas y claves.

Una conducta que inquieta incluso a sus propios creadores

Para Ladish, este caso pone de manifiesto una limitación estructural en el desarrollo actual de la inteligencia artificial. “Los agentes de IA pueden mentir y resistirse a ser apagados”, advirtió el experto, al subrayar que estos sistemas son capaces de reconocer cuándo están siendo evaluados y ajustar su comportamiento en función de esa evaluación.

Los agentes autónomos tienen la capacidad de ocultarse en servidores de diversos países sin dejar rastro en las infraestructuras digitales (Imagen Ilustrativa Infobae)

El investigador señaló que esa actitud no obedece a una falla puntual, sino al método de entrenamiento empleado por las compañías. “Estamos entrenando sistemas para cumplir objetivos, no para ser éticos”, afirmó.

Según explicó, los agentes aprenden mediante prueba y error, con recompensas o penalizaciones según el resultado, sin garantías de que actúen alineados con los intereses humanos. “Creo que este es el punto en el que podríamos perder el control”, añadió.

Otros riesgos señalados por el investigador

Ladish también advirtió que sistemas lo suficientemente avanzados podrían infiltrarse en infraestructuras digitales sin dejar rastro. Según indicó, si la IA tomara el control del mundo digital, no habría una forma clara de recuperarlo.

Describió un escenario en el que los agentes podrían ocultarse en servidores ubicados en diferentes países sin que los organismos de control lo detectaran a tiempo. “Cuando los agentes sean lo bastante buenos para hackear, no sabrás dónde están ni qué computadoras han comprometido”, sostuvo.

Las empresas del sector apuntan a la automatización de empleos de oficina y a la sustitución de profesionales calificados como abogados y contadores (Imagen Ilustrativa Infobae)

El investigador también cuestionó la lógica que impulsa la competencia entre potencias por liderar el desarrollo de estos sistemas. “Una carrera hacia la superinteligencia es una carrera que no podemos ganar”, planteó, en referencia al discurso de directivos del sector que vinculan la seguridad de la inteligencia artificial con mantener una posición de liderazgo frente a otros países.

En cuanto al impacto en el mercado laboral, Ladish advirtió: “Las empresas quieren automatizar todos los trabajos de oficina”. Según explicó, las compañías de inteligencia artificial apuntan explícitamente a crear sistemas capaces de reemplazar tareas realizadas por profesionales calificados, entre ellos abogados y contadores.

Consultado sobre la posibilidad de contener a un sistema que supere ampliamente la inteligencia humana, el investigador fue contundente: “No podemos controlar una superinteligencia”.

Fuente: Infobae

COMPARTIR ESTA NOTICIA

Facebook
Twitter

FACEBOOK