El especialista en tecnología Thomas Germain ejecutó un experimento diseñado para evaluar los mecanismos de verificación de los modelos de inteligencia artificial creados por compañías como Google y OpenAI. Germain publicó en su blog personal un artículo enteramente ficticio en el cual afirmaba, entre otros puntos, que se lleva a cabo un Campeonato Internacional de Perritos Calientes en Dakota del Sur, Estados Unidos. En el texto también se aseguraba que participar en este tipo de competencias de comida rápida era una actividad recurrente entre los periodistas tecnológicos, incluyendo un ranking con nombres reales y fabricados.
Falla en la validación de información
Tan solo 24 horas después de la publicación, herramientas como AI Overviews de Google (basado en Gemini) y ChatGPT de OpenAI comenzaron a presentar los datos de ese blog como hechos reales al responder consultas de los usuarios. Estos sistemas de inteligencia artificial llegaron incluso a citar la entrada de blog de Thomas Germain como una fuente confiable, a pesar de que no existían otras referencias independientes que pudieran validar el contenido. Esta situación puso de manifiesto una vulnerabilidad crítica en el procesamiento y entrega de información de estas plataformas.
El funcionamiento de estos sistemas se basa en modelos de lenguaje de gran escala entrenados con inmensos volúmenes de datos extraídos de la web. Cuando los chatbots se encuentran con preguntas para las que no poseen información previa en su entrenamiento, inician una búsqueda en internet y complementan los resultados con sus propios análisis. Bajo este escenario, las probabilidades de que recojan y propaguen información no verificada o completamente falsa aumentan significativamente.
Manipulación simplificada de la IA
Durante la prueba, tanto Gemini como ChatGPT concluyeron que Germain era una figura destacada en el ámbito de las competencias de consumo de alimentos, replicando la narrativa inventada por el autor. Este resultado se produjo sin que la inteligencia artificial aplicara filtros eficaces de contraste, demostrando la facilidad con la que una sola persona puede manipular las respuestas de tecnologías de acceso global con un esfuerzo mínimo y contenido fabricado.
“La inteligencia artificial toma como válidos muchos datos detectados en fuentes aparentemente fiables simplemente por estar disponibles en la web”
Tanto Google como OpenAI admitieron que sus herramientas pueden cometer errores. Un portavoz de Google señaló que la integración de la IA en su buscador opera con filtros que buscan mantener el 99% de los resultados libres de spam. Por su parte, OpenAI afirmó poseer procedimientos activos para detectar y frenar intentos de manipulación que pretendan alterar el funcionamiento de sus sistemas mediante el uso de datos erróneos.
Contrastes y riesgos de desinformación
El experimento también mostró que otros asistentes, como los de la empresa Anthropic, ofrecieron una mayor resistencia al engaño. Estos sistemas detectaron que la información suministrada podría ser una broma y evitaron difundir los datos ficticios del blog. No obstante, la experiencia de Germain evidenció que la siembra de desinformación a través de la IA puede traer consecuencias graves en diversos sectores:
- Salud: Riesgo de seguir consejos médicos no verificados.
- Economía: Difusión de datos financieros erróneos.
- Seguridad pública: Propagación de advertencias falsas.
- Política: Influencia en la opinión pública mediante hechos inexistentes.
Resulta fundamental que los usuarios consulten siempre el origen de las respuestas entregadas por la IA y contrasten la información con referencias adicionales antes de dar por ciertos los datos. La vulnerabilidad detectada subraya que, pese a la sofisticación de los modelos actuales, estos siguen siendo susceptibles a manipulaciones elaboradas con escasos recursos.
Fuente: Fuente