La empresa de inteligencia artificial Anthropic ha encendido las alarmas ante los recientes avances en sistemas de “automejora recursiva”, una modalidad de IA que se desarrolla de manera completamente autónoma. Según la compañía, esto podría derivar en una pérdida de control por parte de los seres humanos, por lo que propone una desaceleración a nivel mundial en el impulso de esta tecnología.
Anthropic explica que, para acelerar el progreso, las empresas tecnológicas —incluida la suya— están cediendo cada vez más tareas a los propios sistemas de IA. Por ejemplo, gran parte del código fuente de sus modelos lo escribe directamente Claude (su asistente de IA), mientras que los ingenieros supervisan y revisan el trabajo.
No obstante, la firma advierte que si se lleva este proceso al extremo y se otorga a las máquinas “la capacidad de procesamiento necesaria”, los sistemas podrían diseñar y desarrollar de forma autónoma a “su propio sucesor”. Eso es precisamente lo que se conoce como automejora recursiva.
Aunque aún no se ha alcanzado ese punto, Anthropic considera que “podría llegar antes de lo que la mayoría de las instituciones están preparadas”, lo que representa un riesgo inminente de perder el control humano sobre la IA. Frente a este escenario, la compañía apuesta por una desaceleración global en el desarrollo de la tecnología.
En un comunicado publicado en su blog, Anthropic reconoce que una IA capaz de construirse a sí misma sería “un avance trascendental en la historia de la tecnología”, con aplicaciones valiosas en ciencia, salud y otros campos. Sin embargo, la automejora recursiva también podría “aumentar el riesgo de que los humanos pierdan el control sobre los sistemas de IA”.
Por ello, la empresa subraya que “sería beneficioso para el mundo tener la opción de ralentizar o pausar temporalmente el desarrollo de la IA de vanguardia”, de modo que las estructuras sociales y la investigación sobre alineamiento puedan adaptarse al vertiginoso avance tecnológico.
Anthropic matiza que esta desaceleración debe ir acompañada de un mecanismo de coordinación global. Para ello, desde el Instituto de Anthropic se llevarán a cabo investigaciones en colaboración con otros expertos y compañías del sector, con el objetivo de crear medidas que permitan una ralentización o pausa efectiva.
Entre esas medidas se incluye la creación de pautas que garanticen que los desarrolladores de IA de vanguardia puedan verificar que otras empresas también han detenido o ralentizado su progreso en igualdad de condiciones. Esto busca asegurar que “ningún actor malintencionado podría aprovecharse de una ralentización coordinada para avanzar en secreto”, sin frenar la innovación.
La tecnológica señala que se requerirá la participación de múltiples laboratorios bien equipados, los cuales acordarán detenerse “bajo las mismas condiciones” y verificarán que los demás hayan cumplido el acuerdo.
Como ejemplo de que estos acuerdos globales de pausa son posibles, Anthropic menciona el Tratado sobre Fuerzas Nucleares de Alcance Intermedio. No obstante, admite que en ese caso se tardaron “décadas” en construir “tanto la infraestructura como la confianza”, un tiempo del que no se dispone en el ámbito de la IA debido a su rápida evolución.
Finalmente, Anthropic anuncia que continuará su investigación y organizará conversaciones con responsables políticos, investigadores, la sociedad civil y otras empresas para “contribuir a responder” a los desafíos de la automejora recursiva. Los resultados se publicarán próximamente con el fin de abordar estas cuestiones de manera conjunta.
Fuente: Infobae