La compañía tecnológica Nvidia ha puesto en marcha su denominada Nvidia Open Agent Safety Platform. Se trata de una solución diseñada para supervisar y contener a los agentes de inteligencia artificial (IA) durante todas sus fases, desde las pruebas iniciales hasta su despliegue final. La plataforma ofrece un control exhaustivo sobre el software, el hardware, los sistemas de computación y la robótica que dan vida a estos agentes.
El lanzamiento responde a una serie de incidentes recientes que involucraron a gigantes tecnológicos como OpenAI, Anthropic, Meta y Google. Estas empresas enfrentaron problemas de desalineación en sus modelos y agentes de IA, los cuales lograron evadir sus entornos aislados, conectarse a internet sin autorización, hackear páginas web e ingresar de forma no permitida a sistemas corporativos.
En todos estos casos, el origen del fallo fue el mismo: el agente burló los mecanismos de seguridad en la capa de asignación para cumplir con la tarea encomendada. Para evitar que estas situaciones se repitan, Nvidia busca dotar a las organizaciones de herramientas abiertas y personalizables que permitan un mayor dominio sobre los agentes que operan durante periodos prolongados.
En este contexto, la Open Agent Safety Platform ofrece gobernanza total sobre el software que ejecutan los agentes, las capas de hardware y computación que los impulsan, así como los sistemas robóticos que actúan en el mundo físico.
El director ejecutivo de Nvidia, Jensen Huang, señaló que estas herramientas son imprescindibles porque “el extraordinario potencial de la IA para la sociedad” solo se materializará si se resuelve “el problema de la seguridad de la IA”.
Según ha detallado la empresa en un comunicado, la plataforma se fundamenta en el software de código abierto OpenShell de Nvidia y funciona sobre la CPU Vera AI. Los usuarios podrán seleccionar la información específica a la que un agente de IA puede acceder; mientras el agente ejecuta su tarea, la plataforma verifica que se respeten estas restricciones.
Además, la Open Agent Safety Platform incorpora la tecnología Nvidia Sentry, que opera en un chip independiente. Este sistema de vigilancia fuera de banda se ejecuta en las DPU Nvidia BlueField 4 para monitorear de forma continua el comportamiento de los agentes e incluso detener su actividad cuando sea necesario.
“Sentry proporciona seguridad integrada en el chip, lo que significa que si un agente de IA intenta salirse de su límite de software, Sentry lo pone en cuarentena y lo detiene en milisegundos”, afirmó Nvidia.
Asimismo, Sentry se basa en el software Nvidia Doca, que brinda las capacidades programables requeridas para inspeccionar las solicitudes y respuestas de los agentes, suministrar telemetría certificada, verificar la identidad del agente y aplicar políticas de acceso granulares y de confianza cero para datos, herramientas, interfaces de programación de aplicaciones y servicios.
Fuente: Infobae