La conocida plataforma de repositorio de modelos de Inteligencia Artificial Hugging Face se ha convertido en un canal utilizado para generar ‘deepfakes’ no consensuados que desnudan a mujeres y menores de edad, según una investigación reciente. A pesar de su popularidad, las medidas de prevención en la plataforma son casi inexistentes.
El estudio, elaborado por la organización europea sin fines de lucro AI Forensics, descubrió que siete de los nueve modelos principales dedicados a la edición de imágenes alojados en Hugging Face permitían el acceso a este tipo de edición para desvestir a mujeres. La investigación detalla que la capacidad de editar una imagen con estos modelos fue tan sencilla como introducir palabras clave que describían el objetivo de desnudar a una persona.
A diferencia de modelos cerrados como Gemini de Google y ChatGPT de OpenAI, Hugging Face no implementa ninguna medida que evite ese tipo de solicitudes por parte de los usuarios. No existe un filtro a nivel de plataforma, según los investigadores.
«No se está implementando ningún tipo de salvaguarda a nivel de plataforma. Solo los desarrolladores pueden, si así lo desean, integrar alguna, y la mayoría de ellos prefiere no hacerlo», señaló Paul Bouchaud, investigador principal de AI Forensics, en declaraciones al medio especializado Wired.
Para documentar el problema, AI Forensics creó una herramienta ‘trampa’ publicada en Spaces de Hugging Face, diseñada especialmente para no procesar las solicitudes, pero que permitió rastrear qué tipo de imágenes y ‘prompts’ eran recibidos. Durante una semana, la herramienta registró más de mil ‘prompts’ e imágenes.
Los resultados revelaron que el 73% de las solicitudes analizadas era de índole sexual, mientras que el 83% buscaba desnudar a una persona. De todos esos casos, el 95% tuvo como objetivo a mujeres. Además, el 7% de las solicitudes sexuales estaba dirigido a menores.
AI Forensics ha dejado claro que en ningún momento acusa a Hugging Face de ser la fuente de los modelos de IA que aloja, aunque Bouchaud insiste en que la plataforma podría filtrar lo que entra y sale fácilmente. La organización ofrece algunas recomendaciones de moderación para prevenir la generación de imágenes íntimas no consensuadas y material de abuso sexual infantil.
Entre las sugerencias destaca la integración de filtros centralizados a nivel de plataforma tanto en las entradas de ‘prompts’ y fotos subidas como en las salidas de imágenes y vídeos, en lugar de esperar que el usuario o desarrollador se responsabilice. La investigación subraya que el 0% de los Spaces auditados moderaba o filtraba esos ‘prompts’ o imágenes de entrada, mientras que solo el 3% de las salidas de imágenes generadas tenía algún tipo de control, mediante una función disponible en el modelo Stable Diffusion.
Fuente: Infobae