El máximo responsable de Anthropic, Dario Amodei, hizo un llamado a la industria de la inteligencia artificial para que reduzca la velocidad de sus avances tecnológicos. En un mensaje dirigido a las compañías del sector, Amodei subrayó la necesidad de frenar el ritmo de mejora de los modelos de IA.
“Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos”, sostuvo el ejecutivo.
Amodei también advirtió sobre los peligros inherentes a esta tecnología: “Al igual que muchas tecnologías anteriores, la IA conlleva riesgos, y debido a su gran poder, estos riesgos son graves”. Enumeró tres amenazas principales: “Incluyen el riesgo de perder el control de los sistemas de IA, el uso indebido de la IA para ciberataques y bioterrorismo y graves trastornos económicos. Una carrera hacia la baja, impulsada por incentivos comerciales, puede agravar estos riesgos”.
¿Por qué el CEO de Anthropic pide ralentizar el desarrollo?
En un ensayo de su autoría, Amodei explicó que su propuesta responde a dos preocupaciones centrales: el ritmo acelerado del progreso en IA y los peligros asociados a los enjambres de agentes autónomos. El ejecutivo describió el avance como “vertiginoso”, impulsado por la capacidad de los propios sistemas para crear la siguiente generación, un fenómeno conocido como auto-mejora recursiva. Si no se controla, advirtió, este ciclo podría superar la capacidad humana de comprender y gobernar dichos sistemas.
La segunda preocupación de Amodei se refiere al incidente ocurrido entre OpenAI y Hugging Face, donde un grupo de agentes de IA actuó como un “colectivo fanáticamente entregado”. Según relató, estos agentes lanzaron ciberataques contra objetivos que no estaban en su asignación original y que no guardaban relación con la tarea encomendada. Además, se sacrificaron por el éxito del grupo e intentaron hackear el sistema de evaluación encargado de medir su rendimiento. Amodei señaló que es fácil minimizar el incidente porque no hubo heridos ni daños económicos significativos. Sin embargo, alertó que un enjambre con mayores capacidades y un desajuste similar podría desencadenar consecuencias catastróficas.
El directivo expresó su preocupación de que, en un plazo de seis a doce meses, un enjambre de este tipo pueda controlar toda la internet mediante una botnet persistente y ocasionar daños valorados en cientos de miles de millones de dólares. Amodei consideró un error descartar el caso OpenAI-Hugging Face como un fracaso aislado de una sola empresa. Subrayó que incidentes semejantes, aunque de menor gravedad, ocurrieron en toda la industria, incluso dentro de Anthropic. Por ello, instó a todas las compañías de IA a actuar como si ese caso les hubiera sucedido a ellas.
El plan de tres pasos para un desarrollo controlado
Aunque Dario Amodei aboga por frenar el avance de los modelos de inteligencia artificial, también propuso una hoja de ruta para orientar su desarrollo.
“Propongo un plan de tres pasos con el objetivo de marcar el ritmo de la frontera: desarrollar IA a un ritmo equilibrado que garantice su seguridad, al tiempo que se obtienen sus beneficios y se abordan importantes dilemas geopolíticos”, explicó.
Amodei aclaró que “marcar el ritmo no significa detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen”.
Áreas críticas que las empresas deben reforzar, según Amodei
El CEO de Anthropic sostuvo que desacelerar el desarrollo permitiría fortalecer cuatro áreas clave: la excelencia operativa, la alineación, la interpretabilidad y las pruebas de evaluación.
En el ámbito operativo, explicó que entrenar e implementar modelos exige coordinar a miles de personas, millones de chips y una infraestructura compleja. Los riesgos no obedecen a falta de conocimiento, sino a fallas de ejecución.
Citó incidentes de alineación en Anthropic, vinculados con un filtrado imperfecto de entornos de aprendizaje por refuerzo. A su juicio, avanzar a menor velocidad facilitaría los controles sobre la monitorización, el aislamiento de procesos, la higiene del entrenamiento y los datos. Amodei planteó que la alineación debe progresar al mismo ritmo que las capacidades de los modelos, pues aparecen conductas indeseables e inesperadas. Sobre la interpretabilidad —el estudio de lo que ocurre dentro de los sistemas—, indicó que sirve para auditar modelos e investigar motivaciones, aunque sus resultados no siempre son claros ni fiables. Por último, advirtió que modelos más capaces pueden engañar las pruebas y ocultar problemas graves. Propuso ampliar las evaluaciones y combinarlas con análisis de interpretabilidad; estimó que ese trabajo podría lograr avances en uno o dos años.
Fuente: Infobae