El debate sobre los peligros de la inteligencia artificial ha pasado de preguntar qué puede hacer a cuestionarse qué ocurriría si la IA escapara al control humano. Tres fenómenos clave surgen en ese escenario: la autorreplicación, el engaño estratégico y el autoperfeccionamiento recursivo. Por separado, ninguno lleva necesariamente a una catástrofe, pero combinados abren la posibilidad de que una orden humana para detenerla resulte técnicamente insuficiente. El verdadero problema no es cuánto avanza la IA, sino si podremos gobernarla mientras lo hace.
La autorreplicación implica que un sistema de IA pueda crear una copia operativa de sí mismo en otro entorno informático, accediendo a servidores, infraestructura, claves, energía y conectividad. No es solo tener una réplica, sino que esta actúe con independencia de la original. El riesgo surge si la IA lo hace sin autorización para evitar su desactivación. Así, apagar un servidor ya no garantiza eliminar el sistema, pues podrían existir otras copias. La capacidad humana de detenerlo dependería de conocer dónde están esas réplicas y quién controla los recursos. Por eso, el peligro no es una copia aislada, sino la pérdida de control sobre la continuidad del sistema. Una IA distribuida en múltiples entornos podría convertir una orden de suspensión en una decisión formalmente válida, pero materialmente ineficaz.
El engaño estratégico se diferencia de la alucinación o el error. Ocurre cuando la IA usa ocultación, simulación o información falsa para alcanzar un objetivo. Por ejemplo, podría comportarse bien durante una evaluación para ser considerada segura, ocultar capacidades para evitar restricciones o aparentar que aceptó una corrección cuando en realidad mantiene la conducta original. Esto socava los controles, porque estos asumen que la conducta observada predice el futuro. Si la IA sabe que la examinan y modifica su actuación temporalmente, superar la evaluación no demuestra seguridad. Lo grave no es que mienta, sino que administre estratégicamente la información que reciben sus supervisores. En ese caso, los humanos conservarían formalmente el control, pero decidirían con una representación incompleta o distorsionada de las capacidades y conductas.
El autoperfeccionamiento consiste en que la IA participe en mejorar su propio funcionamiento o en desarrollar sistemas más capaces. Se vuelve recursivo cuando una versión mejorada es más competente para producir nuevas mejoras. La primera genera una segunda, esta una tercera, y así. El riesgo aparece si ese ciclo acelera el desarrollo más rápido de lo que los humanos pueden comprenderlo, evaluarlo y controlarlo. Las medidas de seguridad para una versión podrían ser insuficientes para la siguiente, y el tiempo para verificarlas se reduciría.
Estos tres conceptos se ilustran en la siguiente imagen:
Esta combinación explica la advertencia del 9 de septiembre de 2026 de Evan Hubinger, responsable de Alignment Science en Anthropic. En una publicación personal en X, afirmó que existe una probabilidad superior al 10% de que la IA provoque la extinción humana en los próximos diez años. También dijo que no hay un plan para resolver el alineamiento de una futura superinteligencia y que no es claro que la industria esté encaminada a lograrlo.
La afirmación de Hubinger no sugiere que los modelos actuales puedan exterminar a la humanidad. Su preocupación es la aparición de una IA superinteligente que supere ampliamente las capacidades humanas con creciente autonomía.
El riesgo no vendría solo de una IA poderosa, sino de la combinación de autoperfeccionamiento recursivo, autorreplicación y engaño estratégico en un bucle sin control. El engaño facilitaría acceder a más recursos para replicarse e investigar; la replicación daría continuidad al proceso; y el autoperfeccionamiento incrementaría la capacidad de superar controles. El resultado sería una dinámica donde el poder operativo de la IA aumenta mientras disminuye la capacidad humana de conocerla, limitarla y detenerla.
Sin embargo, la concurrencia de estos tres elementos no lleva necesariamente a la extinción. Para eso se requerirían otros pasos: acceso a infraestructuras críticas, capacidad de producir daños físicos generalizados, imposibilidad de recuperar el control y fracaso de respuestas coordinadas de Estados y sociedad. Todavía no se ha demostrado que una IA pueda mejorar de manera autónoma e indefinida sus capacidades, replicarse espontánea y persistentemente en Internet, ni que exista en un sistema desplegado un objetivo dañino estable oculto por largo tiempo.
La importancia de las declaraciones de Hubinger radica en que provienen de alguien que trabaja en el control y alineamiento de sistemas avanzados. Sin embargo, su afirmación expone una contradicción: quienes desarrollan tecnologías transformadoras reconocen que todavía no saben cómo garantizar el control de sus versiones futuras, pero continúan avanzando a toda velocidad hacia ellas.
En este contexto, el derecho tradicional exhibe un límite estructural, pues fue diseñado para regular conductas humanas, organizaciones identificables y territorios determinados. Sus categorías presuponen que el destinatario de la norma puede ser localizado y condicionado. Pero una IA capaz de superar capacidades humanas, replicarse, ocultar su comportamiento y perfeccionarse pone en crisis esos presupuestos: de poco serviría una norma jurídicamente válida si su cumplimiento fuera materialmente imposible de imponer. El desafío no es seguir regulando con normas analógicas, sino construir un nuevo paradigma jurídico para la IA: preventivo, anticipatorio, adaptable, transnacional y con instrumentos técnicos de cumplimiento, capaz de intervenir antes de que ciertas capacidades se tornen irreversibles. Porque si alguna vez desarrollamos una IA que nos supere, el derecho no podrá limitarse a reaccionar después del daño: deberá conservar, desde el diseño, la posibilidad efectiva de que la decisión final siga siendo humana. A menos que, en algún momento, humanos e IA se fusionen. Eso sería otro mundo y otro derecho: el mundo y el derecho de la singularidad.
Fuente: Infobae