Investigadores del Instituto Tecnológico de Massachusetts (MIT) y de la Universidad de Harvard lograron un avance significativo en inteligencia artificial al optimizar la forma en que un modelo de lenguaje formula preguntas en el clásico juego Batalla Naval. Como resultado, la tasa de victorias del sistema contra humanos saltó del 8% al 82%, un progreso que podría aplicarse a tareas inciertas como el diagnóstico médico o el descubrimiento científico.
El desafío de investigar en entornos inciertos
El estudio, presentado en abril en la Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR), aborda una limitación clave de los modelos de lenguaje: aunque responden bien a consultas complejas, no siempre saben explorar múltiples posibilidades en entornos inciertos. Esta carencia es crítica en áreas donde no basta con contestar, sino que se requiere buscar información útil paso a paso.
Para medir esta habilidad, el equipo del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT y la Escuela de Ingeniería de Harvard recurrió a Batalla Naval como banco de pruebas. El juego, ya utilizado por científicos cognitivos para estudiar la búsqueda de información en humanos, permitió analizar el comportamiento de los modelos de lenguaje.
Entrenando a los modelos para preguntar mejor
Los investigadores diseñaron una versión en lenguaje natural llamada Batalla Naval Colaborativa, donde un participante actúa como capitán y formula preguntas sobre la ubicación de barcos ocultos, mientras otro cumple el rol de observador y responde sí o no en tiempo real. Más de 40 personas participaron, generando el conjunto de datos BattleshipQA, usado como referencia para evaluar modelos como GPT-5 y otros más pequeños como Llama 4 Scout.
Las pruebas iniciales mostraron que, sin entrenamiento específico, los modelos más avanzados podían terminar la partida en menos turnos que los humanos, pero los sistemas pequeños resultaban menos racionales. El principal problema no era responder, sino formular preguntas útiles.
Para corregirlo, incorporaron un método de inferencia de Monte Carlo, que estima la probabilidad de que cada respuesta sea correcta. Así, los modelos comenzaron a elegir preguntas que revelaban más información sobre la posición de los barcos. El caso más notable fue Llama 4 Scout: antes del ajuste ganaba solo el 8% de las partidas; después alcanzó el 82%, superando incluso a GPT-5 con un costo de apenas el 1% del modelo de vanguardia.
“Los modelos de lenguaje actuales están optimizados principalmente para responder a consultas complejas, pero no está tan claro si aprenden a formular buenas preguntas por sí mismos”, señaló Gabriel Grand, estudiante de doctorado e investigador del CSAIL y autor principal del artículo. “Nuestro trabajo demuestra que formular preguntas informativas depende de la capacidad de predecir y simular el mundo. Descubrimos que cuando les damos a los agentes acceso a un ‘modelo del mundo’, formulan mejores preguntas y realizan descubrimientos de manera más eficiente”.
De preguntas a código
El equipo también identificó una segunda brecha: la precisión al responder. GPT-5 se comportó como un observador fiable, pero los sistemas pequeños solían equivocarse al indicar la posición de los barcos. La solución fue traducir cada pregunta del capitán a código en Python, permitiendo al observador verificar mediante instrucciones explícitas. Este cambio elevó la precisión media en un 15%; en casos como GPT-4o-mini, mejoró casi un 30%, y Claude 4 Opus sumó ocho puntos porcentuales.
“El sector ha tenido mucho éxito con las estrategias de ‘autoformalización’, en las que los modelos de lenguaje generan código para verificar sus soluciones”, indicó Jacob Andreas, profesor asociado de ingeniería eléctrica e investigador principal de CSAIL. El profesor añadió que el resultado abre la posibilidad de usar estas técnicas para generar mejores soluciones desde el inicio y extenderlas a la programación y a la resolución de problemas matemáticos.
El mismo enfoque se probó en el juego ¿Quién es quién?, donde los modelos debían descartar cien opciones hasta identificar un personaje oculto. Allí, Llama 4 Scout pasó del 30% al 72% de aciertos, mientras GPT-4o avanzó del 62% al 90%; en cada partida, GPT-5 actuó como observador para asegurar respuestas más precisas.
Limitaciones y próximos pasos
Pese a los avances, los modelos aún tienen dificultades con preguntas complejas comparados con humanos. Valerio Pepe, investigador de OpenAI y coautor, sostuvo que GPT-5 puede vencer al jugador promedio de Batalla Naval y mejora ligeramente con estos métodos, pero que los jugadores expertos aún son difíciles de superar para todos los modelos.
Los autores interpretan los resultados como una señal de que los agentes de IA tienen potencial sin explotar para problemas de “aguja en un pajar”, como identificar la estructura molecular de un compuesto. Sin embargo, advierten que la batalla naval colaborativa es una prueba sencilla y buscan llevar los modelos a entornos más complejos, con más alternativas. Grand prevé experimentos de colaboración humano-IA y ajustes finos en simulaciones de juegos, además de un mayor uso de capacidad de cómputo.
“A medida que los sistemas de IA se vuelven más autónomos, los problemas más difíciles resultan ser de índole social: encontrar puntos en común, resolver malentendidos y adaptarse a diferentes interlocutores con el tiempo”, señaló Robert Hawkins, profesor adjunto de lingüística en la Universidad de Stanford, que no participó en el artículo. Hawkins añadió que el estudio “capta con elegancia estos fenómenos en un entorno colaborativo controlado y presenta argumentos convincentes de que el verdadero cuello de botella para los agentes de IA no es solo el cálculo de preguntas óptimas, sino el razonamiento pragmático necesario para sacar el máximo provecho de sus respuestas”.
Fuente: Infobae