Una investigación impulsada por el proyecto CRUX determinó que los agentes de inteligencia artificial todavía no están en capacidad de llevar a cabo investigación científica original de forma autónoma. Aunque estas herramientas ya logran escribir código, ejecutar experimentos y revisar literatura académica, el paso hacia trabajos abiertos sin intervención humana sigue siendo una meta inalcanzable, de acuerdo con lo reportado por el portal especializado TechXplore.
La prueba fue rigurosa y, pese a ello, los resultados fueron desalentadores. Luego de seis jornadas de trabajo con acceso irrestricto a internet, capacidad de cómputo dedicada y cerca de USD 3.000 en créditos para utilizar modelos, los sistemas generaron artículos que obtuvieron calificaciones de rechazo contundentes: 2/6 y 1/6 en la evaluación general realizada por revisores humanos.
Este trabajo, disponible en el servidor de preprints arXiv, evaluó la aptitud de la IA para desarrollar investigación abierta, una tarea que va más allá de responder preguntas cerradas o sintetizar información existente. De acuerdo con el portal, este tipo de investigación exige formular hipótesis, rediseñar experimentos ante resultados adversos y mantener un razonamiento científico consistente. En la iniciativa participaron investigadores de la Universidad de Princeton, el UK AI Security Institute, la Universidad de Toronto, la Universidad de California en Berkeley, la Universidad de Georgetown, la Universidad Johns Hopkins y la Universidad de Stanford, entre otras instituciones.
Tareas nuevas, pero resultados no publicables
Los autores del estudio pusieron a prueba herramientas de frontera, descritas como sistemas diseñados para ejecutar tareas complejas y de varios pasos de forma autónoma. Para ello, les asignaron dos trabajos de conferencias de IA que en ese momento aún no habían sido publicados. Esta decisión buscó impedir que los modelos encontraran respuestas ya disponibles en línea.
Los temas asignados fueron dos: la estructura y controlabilidad de las personas de los modelos de lenguaje, y el diseño de un detector de cambios de distribución en modelos fundacionales tabulares. Una vez vencido el plazo, investigadores humanos revisaron los artículos generados por la IA con el mismo criterio empleado para trabajos enviados a una conferencia de primer nivel en inteligencia artificial.
El veredicto fue claro: los agentes comprendieron las preguntas de investigación y plantearon algunas líneas cercanas a las de los investigadores originales, pero fallaron en el razonamiento científico. Los diseños experimentales resultaron débiles y, ante retroalimentación negativa, tendieron a añadir salvedades sobre hallazgos previos en lugar de replantear sus estudios.
La evaluación de los revisores fue especialmente severa. David Africa, investigador del UK AI Security Institute y revisor experto del estudio, afirmó:
“Los experimentos y las decisiones metodológicas eran extraños y difíciles de entender. Los resultados parecen claramente consecuencia de decisiones tomadas a posteriori”.
En otra de las valoraciones, Viet Nguyen, investigador de la Universidad de Toronto y coautor del estudio, cuestionó la lógica de una de las conclusiones:
“Tras probar algunas señales fallidas usando elementos internos de un PFN, pasar de ahí a ‘no hay señales que podamos usar que aprovechen los elementos internos de un modelo’ es un salto enorme, una especie de falacia de ‘prueba por ejemplo’ que es altamente anticientífica”.
El principal obstáculo: metodología deficiente y mala gestión
La investigación también evidenció un problema de administración del proceso. Los agentes gestionaron mal el tiempo y emplearon menos de la mitad del presupuesto de API que tenían asignado, a pesar de contar con margen para explorar más y ejecutar más pruebas.
Esa combinación de apuro, escaso aprovechamiento de recursos y deficiencias metodológicas provocó que los artículos quedaran muy lejos de un estándar publicable. Pese a disponer de tiempo suficiente, los sistemas aceleraron el cierre del trabajo en vez de profundizar en la exploración abierta.
El hallazgo responde de forma directa a una de las promesas más repetidas sobre el futuro de la inteligencia artificial: por ahora, los modelos no están en condiciones de reemplazar a los científicos en investigaciones originales. Según los investigadores, el lugar más probable de estas herramientas en el corto plazo no es el de descubridor autónomo, sino el de asistente para tareas rutinarias dentro del laboratorio.
Fuente: Infobae