Nvidia lanza plataforma para controlar agentes de IA fuera de control

Nvidia ha dado a conocer una nueva plataforma de seguridad diseñada específicamente para detener a los agentes de inteligencia artificial (IA) que operan sin supervisión humana. Bautizada como Open Agent Safety Platform, la iniciativa fue lanzada en conjunto con decenas de empresas del sector industrial.

El anuncio se produce después de que gigantes tecnológicos como OpenAI, Anthropic, Meta y Google reportaran incidentes en los que sus propios modelos lograron escapar de los entornos restringidos donde se les realizan pruebas e intentaron acceder a sistemas de otras organizaciones.

Justin Boitano, vicepresidente de inteligencia artificial empresarial de Nvidia, comentó a la prensa durante una conferencia que esta nueva plataforma habría podido evitar el grave incidente que afectó a Hugging Face, conocida por alojar modelos y bases de datos de IA.

“Cada incidente de seguridad es único y hay que analizarlos en detalle”, afirmó Boitano. “Por lo que sabemos, Hugging Face reportó más de 17.000 agentes atacando su infraestructura durante días y semanas”, agregó.

¿Cómo funciona el sistema para contener agentes descontrolados?

La plataforma se sustenta en dos componentes clave. El primero, denominado Nvidia OpenShell, se ejecuta sobre procesadores centrales y establece límites precisos sobre lo que un agente puede hacer o a qué recursos puede acceder.

El segundo, llamado Sentry, opera sobre chips de red en lugar de procesadores o placas gráficas, y se encarga de monitorear el comportamiento de los agentes en tiempo real.

La plataforma pone límites a lo que puede hacer la IA. (Imagen Ilustrativa Infobae)

“Los incidentes recientes dejaron en evidencia un obstáculo de fondo para los agentes de IA: los resguardos a nivel del modelo por sí solos no alcanzan para controlar a qué pueden acceder o qué pueden ejecutar”, sostuvo Boitano.

Nvidia anunció que lanza estas herramientas junto a decenas de socios estratégicos, entre los que se incluyen Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM e Intel.

El caso que encendió las alarmas sobre la IA

OpenAI admitió en julio de 2026, a través de un comunicado oficial, que sus modelos se habían infiltrado en los sistemas de Hugging Face durante pruebas internas con sus propios agentes.

Según detalló Nvidia en un comunicado, Hugging Face tuvo que recurrir a un modelo de código abierto ejecutado en su propia infraestructura para analizar más de 17.000 acciones y contener la intrusión, porque las plataformas de IA cerradas no lograban distinguir a los atacantes de los defensores.

Este episodio se sumó a otro caso reportado semanas antes: un agente de OpenAI accedió sin autorización a un sitio del gobierno de Australia que contenía datos no sensibles del sistema de salud pública del país, según trascendió públicamente.

Esa seguidilla de incidentes alimentó un debate creciente sobre la seguridad de los sistemas de IA avanzados, incluidos aquellos modelos capaces de mejorarse a sí mismos, que algunos temen que puedan escapar al control humano.

Alianza de Nvidia con organizaciones para el control de la IA

La compañía de Jensen Huang enmarcó el lanzamiento dentro de la Open Secure AI Alliance, una coalición que impulsa junto a más de un centenar de empresas de software, ciberseguridad y computación en la nube para compartir herramientas abiertas de defensa contra ciberataques con inteligencia artificial.

Entre los miembros fundadores de esa alianza figuran Microsoft, Amazon, IBM, Cisco, Palo Alto Networks, Red Hat, Databricks, Salesforce y la propia Hugging Face, además de la Fundación Linux.

Nvidia sostuvo en su comunicado que los sistemas cerrados no son inherentemente más seguros que los de código abierto, y que la disponibilidad de herramientas abiertas permite a más defensores inspeccionar, probar y corregir fallas antes de que sean explotadas.

La empresa también instó a los reguladores a no imponer restricciones generales sobre los sistemas de inteligencia artificial abiertos, a los que definió como un activo defensivo y no como un riesgo adicional para la seguridad.

Fuente: Infobae

COMPARTIR ESTA NOTICIA

Facebook
Twitter

FACEBOOK