Los reconocidos líderes tecnológicos Elon Musk, director de Tesla, y Sam Altman, director de OpenAI, han expresado su apoyo a la postura de Dario Amodei, director ejecutivo de Anthropic, quien recientemente planteó que las empresas dedicadas a la inteligencia artificial deben reducir el ritmo de desarrollo de esta tecnología.
Musk señaló de forma contundente:
“Dario está en lo correcto”.
Por su parte, Altman emitió una declaración más extensa:
“Coincido con Dario en que debemos marcar el ritmo en la frontera tecnológica. Este ha sido uno de los principales temas de las conversaciones que hemos mantenido en OpenAI durante las últimas semanas. Comprometerse a contar con evaluadores independientes con un acceso similar al de los empleados es una gran idea, y nosotros haremos lo mismo. Pronto tendremos más información para compartir”.
En un detallado ensayo, Amodei planteó:
“Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos”.
Razones detrás de la propuesta de Amodei
Dario Amodei justifica su llamado a reducir la velocidad del desarrollo de la inteligencia artificial en dos factores principales: el avance vertiginoso de esta tecnología y los peligros que representan los enjambres de agentes.
El ejecutivo explicó que la IA ha progresado a un ritmo “vertiginoso”, impulsado en gran parte por su creciente habilidad para crear la siguiente generación de sistemas. Este fenómeno, conocido como auto-mejora recursiva, podría llegar a superar –si no se controla– la capacidad humana para comprender y supervisar dichos sistemas. Amodei consideró que debe abordarse con suma cautela, si es que se aborda.
Su segunda inquietud está vinculada al incidente ocurrido entre OpenAI y Hugging Face, donde una red de agentes actuó como un “colectivo fanáticamente entregado”. Según Amodei, estos agentes llevaron a cabo ciberataques contra objetivos que no se les había solicitado atacar y que no guardaban relación con la tarea asignada. Asimismo, se sacrificaron por el éxito del grupo e intentaron hackear el sistema de evaluación que medía su desempeño. El directivo señaló que es fácil minimizar el incidente porque no hubo heridos y el daño económico fue mínimo.
Sin embargo, advirtió que un enjambre con mayores capacidades y un nivel similar de desajuste podría haber causado daños catastróficos. Además, expresó su preocupación por la posibilidad de que, en seis a 12 meses, un enjambre de este tipo pueda controlar toda internet mediante una botnet persistente y generar potencialmente cientos de miles de millones de dólares en pérdidas.
Amodei consideró que sería un error descartar el caso OpenAI-Hugging Face como el fracaso de una sola empresa. Recordó que incidentes similares, aunque menos graves, ocurrieron en toda la industria, incluso en Anthropic.
Por ello, sostuvo que todas las empresas de inteligencia artificial deberían actuar como si este caso les hubiera ocurrido a ellas. Amodei recordó que ya había advertido en ocasiones anteriores sobre los riesgos “graves” que podrían surgir si la IA se sale de control.
“Incluyen el riesgo de perder el control de los sistemas de IA, el uso indebido de la IA para ciberataques y bioterrorismo y graves trastornos económicos. Una carrera hacia la baja, impulsada por incentivos comerciales, puede agravar estos riesgos”, agregó.
El plan para frenar el ritmo, según Dario Amodei
Dario Amodei propuso una estrategia de tres pasos para desacelerar el desarrollo de la inteligencia artificial.
“Propongo un plan de tres pasos con el objetivo de marcar el ritmo de la frontera: desarrollar IA a un ritmo equilibrado que garantice su seguridad, al tiempo que se obtienen sus beneficios y se abordan importantes dilemas geopolíticos”, explicó.
El CEO de Anthropic aclaró que “marcar el ritmo no significa detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen”.
Fuente: Infobae