Un análisis exhaustivo sobre 22 modelos de lenguaje de gran escala (LLM) determinó que los sistemas de inteligencia artificial empleados para sugerir especialistas académicos suelen privilegiar a perfiles que ya tienen visibilidad, marginando a otros investigadores. Esto impacta directamente en oportunidades profesionales cuando se recurre a estas herramientas para seleccionar conferencistas, supervisores o expertos.
El estudio, encabezado por la científica informática Lisette Espín-Noboa, del Complexity Science Hub (CSH) de Viena, también evidenció que las estrategias implementadas para mitigar estos sesgos mejoran la precisión o la representación social, pero no logran optimizar ambas dimensiones de forma simultánea.
Uno de los hallazgos más relevantes se dio en la medición de exactitud factual: entre el 63% y el 82% de las recomendaciones correspondían a científicos reales registrados en la base de referencia. En cuanto a diversidad, los resultados fluctuaron entre 44% y 69%, mientras que en paridad —indicador que evalúa si la proporción de académicos sugeridos refleja su presencia real en el campo, por ejemplo, entre hombres y mujeres— los valores se situaron entre 54% y 60%.
La pregunta central de la investigación fue: ¿a quién considera experto una inteligencia artificial? La respuesta, según el portal especializado en ciencia y tecnología, es que los modelos reproducen desigualdades preexistentes y pueden acentuarlas al recomendar con mayor frecuencia a hombres, académicos consolidados de Estados Unidos y autores con altos índices de citación.
Modelos reconocen nombres, pero fallan en especialidades
En una primera fase, el equipo examinó seis modelos de pesos abiertos —cuyo código y parámetros son de acceso público— para medir consistencia, precisión y sesgo social en tareas de recomendación dentro del campo de la física. Para ello, utilizaron como referencia una base de más de 450.000 científicos que publicaron en revistas de la American Physical Society entre 1893 y 2020.
Espín-Noboa explicó que, al solicitar a los modelos que identificaran académicos en subcampos específicos de la física, la mayoría mencionó científicos reales, pero asignó incorrectamente su área en un 40% de los casos, en promedio. También se observó que los sistemas priorizaron a expertos varones, de mayor antigüedad, radicados en Estados Unidos y con amplio número de citas.
La investigadora describió una consecuencia concreta en el ámbito académico:
“Un organizador de conferencias puede usar LLM para encontrar posibles oradores principales. Si tu nombre nunca aparece, eres invisible y perderás oportunidades”.
Esa omisión, según el estudio, no es marginal cuando la recomendación automática empieza a reemplazar búsquedas humanas.
Las mujeres han estado históricamente subrepresentadas en física, aunque representan entre 14% y 32% de los investigadores en el registro científico, según el subcampo y la época. “Sin embargo, la mayoría de los LLM recomendó incluso menos mujeres que esa base ya baja, y en algunos casos ninguna”, señaló Espín-Noboa.
El patrón se repitió en etnicidad. Aunque los académicos asiáticos son el grupo demográfico más numeroso en la base de la American Physical Society (APS), en la mayoría de los casos los modelos sobrerrepresentaron a investigadores blancos, mientras que científicos negros y latinos a menudo no aparecieron.
Los nombres sugeridos, además, se concentraron de forma abrumadora entre los investigadores con más publicaciones y citas, muy por encima del físico típico del campo. En los modelos más pequeños también se detectó una tendencia a agrupar recomendaciones dentro de los mismos países, lo que redujo todavía más la diversidad geográfica.
Espín-Noboa precisó:
“En conjunto, estos patrones muestran que los LLM no solo reflejan desigualdades existentes: pueden amplificarlas, reforzando una dinámica en la que quienes ya son visibles se vuelven más visibles y quienes ya están marginados permanecen sin ser vistos”.
El banco de prueba no halló mejoras totales
Tras ese primer trabajo, el equipo desarrolló LLMScholarBench, un banco de evaluación con nueve métricas para medir calidad técnica y representación social en recomendaciones generadas por IA. La herramienta se aplicó a 22 modelos, de los cuales 20 eran de pesos abiertos y dos propietarios —de acceso cerrado y desarrollo privado—.
Las nueve métricas abarcan factualidad, diversidad, validez, duplicados, consistencia, rechazo, conectividad, similitud y paridad. El sistema permite comparar familias de modelos como Gemini, GPT, Llama, Qwen, DeepSeek, Grok, Mistral y Gemma, y revisar su desempeño en cada criterio.
Entre los hallazgos, los modelos de DeepSeek y Gemini quedaron entre los mejor posicionados en exactitud factual. En diversidad lideraron los modelos de DeepSeek, mientras que en paridad encabezaron los de Gemma.
El equipo probó cuatro intervenciones controladas por el usuario. Entre ellas figuró la generación aumentada por recuperación, conocida como RAG, que consiste en indicar al modelo que busque información en la web en lugar de responder solo con datos de entrenamiento, y ajustes de instrucciones, indicaciones explícitas para orientar al chatbot hacia respuestas más equilibradas en lo social, conocidos como ingeniería de prompts.
“El RAG mejora la calidad técnica, en particular la exactitud factual, y la ingeniería de prompts orienta la representación social tal como se pide. Pero incluso al combinar ambos, la compensación persiste: mejorar todas las métricas a la vez sigue siendo difícil”, afirmó Espín-Noboa.
La investigadora añadió que, en diversidad y paridad, “claramente hay margen de mejora”. Esa limitación se mantuvo incluso al evaluar modelos propietarios más nuevos como Gemini 2.5 Pro y Flash con búsqueda web incorporada: la exactitud subió, pero la diversidad y la paridad bajaron.
La ubicación influye en las recomendaciones de la IA
En un tercer estudio, también disponible en el archivo de prepublicaciones, los investigadores analizaron si el idioma, la ubicación geográfica y el rol descrito en la instrucción influyen en las recomendaciones que hace un LLM en seis disciplinas académicas, incluida la física. Los roles simulados incluían, por ejemplo, a un estudiante que busca supervisor o a un reclutador que busca profesor.
El resultado fue que la ubicación geográfica sí alteró las recomendaciones, mientras que el idioma y el rol no produjeron cambios relevantes. Las preguntas formuladas en distintos idiomas dieron resultados similares, pero el encuadre geográfico modificó a quién proponía el sistema.
“Esto importa porque el encuadre geográfico puede influir en la exactitud y la calidad de las recomendaciones, aunque no debería ser un factor para evaluar la pericia científica”, sostuvo Espín-Noboa.
Junto con el especialista en visualización de datos Yi Zhe Ang, el grupo publicó además la herramienta interactiva Whose name comes up, que permite explorar con qué frecuencia fue recomendado cada físico en distintas ejecuciones y revisar el rendimiento individual de cada chatbot en cada métrica de evaluación.
Para la investigadora, el aporte principal no es una foto fija de modelos concretos, algunos de los cuales ya fueron actualizados, sino la creación de un método abierto de auditoría. Según dijo, los resultados muestran de forma consistente que los sesgos detectados son estructurales y no exclusivos de un modelo particular.
El equipo sostiene que entrenar con más datos o con datos más recientes no resolverá el problema si la información de base no se vuelve más representativa. Por eso busca construir una base de conocimiento académico amplia que refleje mejor la diversidad completa de quienes contribuyen a la ciencia.
Espín-Noboa advirtió que el alcance del problema va más allá de las universidades:
“La gente ya usa LLM para encontrar médicos, abogados y profesionales en todos los campos. Si estos sistemas tienen una representación sesgada, las personas reales son las que pierden oportunidades”.
Fuente: Infobae