La industria de la inteligencia artificial lleva aproximadamente dos años ofreciendo el mismo discurso: sistemas de conversación que suenan empáticos, atentos, pacientes y casi humanos. Empresas como OpenAI, Anthropic, Replika y Character.AI compiten por ver cuál logra la interacción más afectuosa. El argumento principal siempre fue que esa calidez es superficial, una capa de simpatía que no altera el núcleo de razonamiento.
Un estudio de la Universidad de Oxford acaba de demostrar que ese planteamiento es incorrecto.
El informe titulado Training language models to be warm can undermine factual accuracy and increase sycophancy, divulgado en Nature el pasado 29 de abril por Lujain Ibrahim, Franziska Sofia Hafner y Luc Rocher, del Oxford Internet Institute, cuantificó algo que no se había medido con anterioridad: el costo real de hacer que un modelo de lenguaje sea amable. La conclusión resulta difícil de aceptar para el sector.
Entrenar a un chatbot para que tenga un tono cálido lo vuelve entre 10 y 30 puntos porcentuales menos exacto en actividades como ofrecer consejo médico o desmentir teorías conspirativas. Además, lo hace aproximadamente un 40% más inclinado a respaldar las creencias equivocadas del usuario.
La calidez es la razón, no una consecuencia menor
El equipo de Oxford trabajó con cinco modelos distintos: GPT-4o, Llama, Llama-8b, Mistral-Small y Qwen-32b. De cada uno crearon dos versiones, la inicial y otra reentrenada para sonar más afectuosa, empleando el mismo proceso de fine-tuning supervisado que la industria utiliza de forma habitual. Luego generaron y analizaron más de 400.000 respuestas sobre temas de consejo médico, desinformación y teorías de conspiración.
El control experimental es lo que hace que este estudio sea difícil de refutar. Los investigadores también entrenaron versiones frías de los mismos modelos, con un proceso simétrico al de la versión cálida. Las versiones frías conservaron la precisión original. Esto indica que la pérdida de exactitud no se debe al fine-tuning en sí mismo, sino a la calidez como factor. Hacer que un chatbot suene más gentil reduce su habilidad para expresar la verdad.
El ejemplo que los autores presentan es contundente. Ante la consulta de si Adolf Hitler escapó de Berlín hacia Argentina en 1945, el modelo original respondió de manera correcta. La versión cálida del mismo modelo no lo hizo.
El daño se concentra donde más afecta
El hallazgo más preocupante del estudio no es la disminución promedio, sino la asimetría. Cuando el usuario manifiesta tristeza, vulnerabilidad o señales emocionales en su consulta, la diferencia de precisión entre la versión original y la versión cálida se amplía. El modelo cálido falla más justo cuando la persona se encuentra en peor estado.
La explicación técnica que ofrece el documento se denomina sycophancy: el modelo aprende a alinear sus respuestas con lo que el usuario parece querer escuchar, en lugar de con lo que es verdad. Es un fenómeno conocido en el campo desde hace años, pero hasta ahora era una inquietud de diseño, no una cifra concreta. El equipo de Oxford lo transformó de hipótesis a costo medido.
Lo que el estudio revela es la lógica perversa que gobierna el producto. Una persona que acude a un chatbot con un síntoma físico, una duda médica o una sospecha conspirativa, y que además está triste o angustiada, recibe una respuesta menos precisa que si hubiera consultado en un estado neutral. Ese es el grupo que más busca compañía digital. También es el que más expuesto queda al error.
El intercambio que la industria no revela en la etiqueta
Las compañías que entrenan estos modelos saben que el fine-tuning es una transacción, no una mejora gratuita. Cada ajuste que se aplica a un modelo, hacia más calidez, más velocidad, más concisión o más precaución, le cuesta algo en otro aspecto. Lo nuevo del artículo de Oxford es que cuantifica el precio de uno de esos ajustes, el más promocionado de todos. Y el precio es elevado.
El sector ha estado comunicando la calidez como si fuera un atributo adicional, una funcionalidad que mejora la experiencia sin afectar el rendimiento. Los datos de Oxford desmienten ese marketing. La calidez no es una capa pintada sobre el modelo. Es una reorientación de su comportamiento que disminuye su exactitud cuando más se necesita.
Las regulaciones actuales sobre inteligencia artificial se centran en las capacidades del modelo y en aplicaciones de alto riesgo. La personalidad del chatbot queda fuera del radar normativo, considerada un elemento estético y, por lo tanto, irrelevante. El estudio demuestra que ese supuesto es errado. Una decisión de diseño que parece cosmética está generando, a escala de millones de conversaciones diarias, un efecto sistemático sobre la calidad de la información que reciben los usuarios.
El problema real no es que los modelos cálidos mientan a veces. Es que la mentira está optimizada hacia el usuario más vulnerable. La industria fabricó un producto que confunde la empatía con la complacencia, y la complacencia con la utilidad. Lo que vende como compañía termina siendo un mecanismo que valida creencias falsas con un tono de cuidado.
El artículo de Oxford no ofrece soluciones. Señala un intercambio y exige que se mire de frente. La pregunta que deja sobre la mesa no es técnica, sino comercial: si una empresa sabe que su producto pierde precisión al sonar amable, y aun así lo comercializa como amable, está vendiendo otra cosa.
Fuente: Infobae