Anthropic propone tres métricas clave para medir el avance de la IA

La empresa Anthropic dio a conocer un conjunto de tres indicadores diseñados para seguir de cerca la velocidad del progreso en inteligencia artificial de frontera, así como el nuevo rol que estos sistemas están ocupando dentro de los mismos centros de investigación que los crean.

Estas mediciones se enfocan en tres ejes: la automatización en la creación de modelos, la capacidad de supervisar a los agentes de inteligencia artificial y el volumen de recursos computacionales asignados tanto al desarrollo como a la seguridad.

Según la compañía, los modelos más avanzados no solo amplían sus capacidades, sino que también empiezan a intervenir en tareas vinculadas a la investigación y al desarrollo de nuevas versiones de inteligencia artificial.

Anthropic considera importante conocer cómo se están desarrollando las IA dentro de los labotarios. REUTERS/Carlos Barria

Anthropic busca comprender mejor cómo se relacionan los recursos invertidos en la creación de modelos con las capacidades finales que estos adquieren. La firma afirma que tener claridad sobre este vínculo permitirá prever la evolución de la inteligencia artificial y mejorar los mecanismos de control.

Esta propuesta surge luego de que Dario Amodei, director ejecutivo de Anthropic, alertara sobre los peligros que conlleva el ritmo acelerado de desarrollo de la inteligencia artificial de frontera.

Claude asume parte del desarrollo de IA

El primer indicador mide cuánto del trabajo de investigación y desarrollo de inteligencia artificial puede ser ejecutado directamente por Claude, el modelo insignia de Anthropic.

La empresa denomina a esta herramienta como Índice de Automatización de I+D de Anthropic y la emplea para determinar qué fracción de las tareas en sus laboratorios está siendo liderada por su propia inteligencia artificial.

Anthropic reveló que Claude ya participa en el 26 % de las investigaciones e ingeniería del desarrollo de nuevos modelos de IA. (Anthropic)

De acuerdo con los datos divulgados por la compañía, desde agosto Claude lidera el 26 % del trabajo de investigación y desarrollo de IA de Anthropic. Además, participa en más del 90 % de estas actividades de alguna forma.

La diferencia entre ambos porcentajes permite distinguir entre las labores en las que Claude simplemente colabora y aquellas que puede realizar de manera más autónoma.

Anthropic considera que seguir esta evolución es importante porque una aceleración de la automatización podría complicar que los investigadores humanos comprendan y controlen el proceso de desarrollo.

La supervisión de los agentes de IA bajo la lupa

La segunda métrica se centra en la supervisión de los agentes de inteligencia artificial. A medida que estos sistemas ejecutan más tareas sin intervención humana, crece la necesidad de detectar y frenar comportamientos que puedan ser problemáticos.

Anthropic analizó más de 30.000 agentes de investigación e ingeniería que operaban de forma simultánea en su plataforma interna. Para evaluar la eficacia de sus sistemas de supervisión emplea tres variables: cobertura, latencia y tasa de escalado.

Anthropic dio a conocer cómo supervisa a sus agentes de IA. REUTERS/Dado Ruvic/Illustration/File Photo

En el análisis de más de 1.000 millones de decisiones, los sistemas de monitorización bloquearon el 0,002 % de ellas, lo que equivale a una decisión de cada 47.000. El sistema de supervisión offline, encargado de revisar posteriormente ciertos registros, identifica entre uno y dos casos por cada 1.000.

La compañía señala que los agentes individuales rara vez presentan comportamientos indebidos, pero advierte que las consecuencias de una decisión podrían ser mayores conforme aumente la automatización.

Recursos informáticos destinados a la seguridad

La tercera métrica examina cómo se reparte la capacidad de cálculo utilizada por una empresa de inteligencia artificial.

Anthropic considera relevante conocer cuánto cómputo se dedica a desarrollar modelos y cuánto se asigna a cuestiones de seguridad, como alineamiento, interpretabilidad y evaluación.

En una medición realizada durante una semana, entre el 13 y el 20 de julio de 2026, la compañía calculó que el 6 % del cómputo utilizado para investigación y desarrollo de IA se destinó a trabajos de seguridad.

Anthropic precisó que destina un 6% de su cómputo para trabajos de seguridad.

Cuando se analizaron específicamente las tareas de I+D realizadas con ayuda de agentes de IA, la proporción dedicada a seguridad alcanzó el 12 %.

Anthropic reconoce que estos porcentajes deben interpretarse considerando que la investigación de seguridad puede requerir menos capacidad informática que el entrenamiento de modelos de frontera.

En conjunto, las tres métricas buscan ofrecer una visión integral del desarrollo de la IA: cuánto trabajo puede automatizar, qué capacidad existe para supervisar sus acciones y qué recursos se invierten en construir y proteger estos sistemas. Para Anthropic, el seguimiento de estos indicadores permitirá comprender mejor la velocidad con la que avanza una tecnología que cada vez participa más en su propio proceso de evolución.

Fuente: Infobae

COMPARTIR ESTA NOTICIA

Facebook
Twitter

FACEBOOK