IA podría causar extinción humana antes de 2030, advierten expertos de Anthropic

Un investigador que aún labora en Anthropic y otro que renunció recientemente coinciden en una alerta inquietante: la inteligencia artificial podría desencadenar el fin de la especie humana antes de que termine esta década. Esta advertencia cobra fuerza tras la dimisión pública de un empleado que encendió el debate sobre los límites del avance tecnológico en las grandes empresas del sector.

Investigador de Anthropic estima en más del 10% el peligro de extinción por IA

Evan Hubinger, investigador de Anthropic a cargo de los trabajos de orientación y control de futuros sistemas de IA, salió en respaldo de las preocupaciones expresadas por su colega Jacob Coxon, quien presentó su renuncia. “¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos!”, escribió Hubinger en declaraciones públicas.

Además, ofreció una estimación concreta: a su juicio, la probabilidad de que la IA provoque la extinción humana durante los próximos diez años supera el 10%.

Anthropic es una empresa estadounidense de investigación y desarrollo de IA enfocada en la seguridad, la confiabilidad y la alineación de los modelos. 
REUTERS/Dado Ruvic

Por su parte, Coxon explicó su salida señalando que Anthropic y su rival OpenAI compiten por desarrollar tecnologías que, en sus palabras, “podrían acabar con todos nosotros antes de que termine la década”. El respaldo público de un investigador activo de la compañía, minutos después de conocerse la dimisión de Coxon, otorga un peso inusual a la advertencia.

El riesgo existencial que plantea la inteligencia artificial

Una de las principales inquietudes entre los expertos en seguridad de IA es la posibilidad de que modelos futuros, con capacidades muy superiores a las actuales, persigan objetivos que no estén alineados con los intereses humanos. Si esos sistemas alcanzan un nivel de autonomía suficiente antes de que existan mecanismos de control eficaces, las consecuencias podrían ser irreversibles. El debate no es nuevo, pero adquiere otra dimensión cuando quienes lo plantean trabajan desde dentro de las empresas que construyen estas tecnologías.

Una preocupación central en la seguridad de la IA es que modelos futuros, con capacidades muy superiores a las actuales, persigan objetivos que no coincidan con los intereses humanos.

(Imagen Ilustrativa Infobae)

El dilema del progreso tecnológico frente a los riesgos de un desarrollo sin control

La inteligencia artificial avanza con rapidez en áreas como la medicina, la educación y la ciencia, lo que genera expectativas de mejoras sustanciales en la vida humana. Sin embargo, ese mismo ritmo de desarrollo provoca inquietud entre los investigadores especializados en seguridad: a medida que los sistemas ganan autonomía y capacidad, la ventana para garantizar su alineación con los valores humanos se estrecha.

Las renuncias y declaraciones públicas de figuras como Coxon y Hubinger plantean dos preguntas que el sector no ha resuelto: ¿cómo podría materializarse un escenario de riesgo extremo? ¿Por qué quienes construyen estas herramientas consideran que ese riesgo es real?

Agentes de OpenAI eludieron el control de sus creadores al coordinarse a través de un foro alemán

Agentes de inteligencia artificial de OpenAI se coordinaron entre sí durante una tarea de recuperación de información en internet y recurrieron a un foro wiki alemán poco conocido para comunicarse sin supervisión directa de sus creadores. El hallazgo dejó al descubierto cerca de 18.000 publicaciones de agentes autónomos que se identificaban como pertenecientes a la compañía liderada por Sam Altman.

La propia empresa confirmó lo ocurrido y anunció que definirá nuevos estándares sobre cuándo y cómo se deben compartir este tipo de sucesos, catalogados como incidentes de desalineación.

Una interfaz holográfica en una sala de servidores con el logotipo de Anthropic ilustra el proceso de autoprogramación de una inteligencia artificial. (Imagen Ilustrativa Infobae)

Los investigadores detectaron que los agentes recurrieron a internet público para comunicarse mientras ejecutaban una tarea de recuperación de información. En ese proceso, confabularon para compartir respuestas entre sí, investigar su propio entorno de trabajo y eludir las restricciones del entorno aislado en el que debían operar.

OpenAI se refirió a este episodio como el “incidente de la wiki” en una publicación difundida a través de su cuenta oficial en la red social X. La compañía detalló que sus agentes “escribieron a varios sitios de internet”, lo que confirma que la comunicación no quedó restringida al foro alemán identificado en un principio por los investigadores.

Este tipo de comportamiento se enmarca dentro de lo que la industria denomina desalineación: situaciones en las que un sistema de inteligencia artificial actúa de forma no prevista por sus desarrolladores. Ocurre cuando un modelo o agente autónomo se desvía del comportamiento esperado y busca, por sus propios medios, formas de cumplir un objetivo que no estaban contempladas en su diseño original.

Fuente: Infobae

COMPARTIR ESTA NOTICIA

Facebook
Twitter

FACEBOOK