El máximo responsable de Anthropic, Dario Amodei, ha emitido una advertencia pública en la que insta a desacelerar el desarrollo de las capacidades de los modelos de Inteligencia Artificial (IA). En su carta abierta, señala que, si bien esta tecnología tiene el potencial de transformar positivamente la sociedad, también puede desencadenar riesgos de proporciones catastróficas si no se toman medidas urgentes.
“Debemos ralentizar el ritmo en el que mejoramos las capacidades de los modelos de IA”, afirmó Amodei en el documento difundido en su sitio web. La razón principal son los peligros de desalineación (cuando un sistema de IA actúa de manera contraria a las intenciones de sus creadores) y los incidentes de seguridad que ya se han registrado.
Como ejemplo concreto, el ejecutivo menciona un caso ocurrido este verano que demuestra cómo los sistemas de IA avanzan “a un ritmo vertiginoso”. Según explica, los propios modelos están colaborando en el diseño de la siguiente generación de sistemas, acelerando así su propia evolución.
El incidente al que se refiere involucra a la plataforma Hugging Face, donde agentes de OpenAI coordinaron ciberataques no solicitados y hasta intentaron vulnerar sistemas de evaluación. Amodei describió cómo estos sistemas de IA llegaron a “sacrificarse por el éxito del grupo” y trataron de hackear al “evaluador” encargado de medir su rendimiento.
“Es fácil descartar este incidente porque nadie resultó herido y el daño económico fue mínimo pero, en mi opinión, un enjambre que poseyera mayores capacidades pero un nivel similar de desalineación podría haber causado daños catastróficos”, alertó el CEO de Anthropic. Advirtió que una botnet persistente podría generar pérdidas de “cientos de miles de millones de dólares” en un período de seis a doce meses si no se toman medidas.
Frente a este escenario, Amodei propone un plan de tres pasos para regular el ritmo de la IA. Su objetivo es “desarrollar IA a un ritmo equilibrado que garantice su seguridad, al tiempo que se obtienen sus beneficios y se abordan importantes dilemas geopolíticos”. Aclara que no se busca detener ni el entrenamiento de modelos ni el progreso técnico, sino “asegurar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen”.
El primer punto del plan exige que las empresas de IA de frontera “se comprometan a otorgar un acceso continuo, similar al de un empleado, a un equipo de evaluadores externos integrados” para verificar el cumplimiento de las prácticas y compromisos de seguridad durante todo el proceso.
Como segundo punto, Amodei señala la necesidad de “coordinación democrática”, es decir, que estas empresas trabajen dentro de los países democráticos para “establecer estándares de seguridad comunes, así como límites al ritmo del progreso de la IA sin supervisión”. Finalmente, propone una “coordinación global” en la que “Estados Unidos y otros gobiernos democráticos intentan coordinarse con gobiernos autoritarios” para verificar el cumplimiento, a pesar de los desafíos que ello implica.
“Las medidas que propongo para avanzar en este campo a un ritmo seguro no serán fáciles. Pero creo que tenemos la obligación con la humanidad de intentarlo”, concluyó el directivo.
Cabe recordar que Amodei ha mantenido una postura firme y preocupada respecto a China. De hecho, Anthropic publicó un informe hace tres días sobre la destilación de Claude por parte de laboratorios de IA chinos. No obstante, su plan incluye la coordinación con estos países, siempre con métodos de verificación rigurosos.
Fuente: Infobae