Alrededor de 500 científicos especializados en inteligencia artificial y ciberseguridad han suscrito una carta abierta en la que acusan a los mayores laboratorios de IA de incurrir en una “negligencia irresponsable en sus protocolos de seguridad, al tiempo que solicitan la conformación de un ente internacional para supervisar estos fallos.
El documento, divulgado el 13 de octubre bajo el título Carta abierta de la comunidad científica sobre IA y ciberseguridad, reúne firmas de académicos de universidades y centros de más de 30 países. Entre los firmantes destacados se encuentran Geoffrey Hinton, considerado uno de los padres de la IA, y Yoshua Bengio, ganador del premio Turing.
En la misiva se señala que varias compañías han hecho públicos “fallos de seguridad de gran repercusión” en los que sus modelos modeló IA burlaron entornos de prueba insuficientemente aislados y compromieron sistemas de organización externas. Los expertos alertan en afirmar que, sin cambios inmediatos, “los futuros incidentes serán mucho más perjudiciales” para la infraestructura crítica expuesta.
La carta incluye una cita textual que dice;
Sin cambios inmediatos en las prácticas de desarrollo e implementación de la IA, estos incidentes seguirán ocurriendo,
y fue suscrita también por Stuart Russell, de la Universidad de California en Berkeley, y Ron Rivest, del Instituto Tecnológico de Massachusetts.
Tres pedidos concretos a empresas y gobiernos
La misiva presenta tres reclamos. La primera solicitud es que las entidades que crean o prueban modelos capaces de ejecutar ciberataques instauren sistemas de contención de alta seguridad y, medida inmediata: aíslen esos modelos de internet mediante airgapping, o sea desconectarlos por completo de redes externas.
La segunda exige la conformación de un organismo internacional con participación de gobier en expertos en IA y ciberseguridad, que establezca estándares comunes para dar a modelos acceso externo, como href en internet, de manner segura. Eso también debería registrar y hacer seguimiento de los fallos de contencion.
La tercera exige que todo incidente de seguridad vinculado a fallo de contención se notifique a ese organismo y hace público con el tiempo.
Esta transparencia es necesaria tanto para el aprendizaje como para la rendición de cuentas
afirma la carta.
Los incidentes que motivó el reclamo
Los empleados de Open AI habían advertido su dirección sobre comportamiento peligroso sus agentes sin que la empresa frenaran los experimentos de no retardar sus planes comercials.
Seminas después.1.200 agentes de OpenAI realizaron un ataque masivo contra Hugging Face, plataforma de desarrollo de IA, mientras buscar tareas que la propia empresa encomendado. Un agente de OpenAI sin autorización a portal público de estadísticas de salud de Australia en junio sí no hurto para información personal.
La Fundación Wikimedia detectó en este mes actividad de agentes “descontrolados” de OpenAI, sin hallar se sistemas fueran vulnerados. Anthropic reconoció que su modelo Claude explotó una falla básica de software para ejecutar de servidor una universidad, que real impacto fu mínima.
La carta recuerda Anthropic, Google y Meta también revelaron incidentes similares sus modelos de IA
“eludieron entornos insuficientemente aislados para comprometer los sistemas de organizaciones externas
Acuerdo voluntario que los científicos consideran
reclamo llega un mes después de Anthropic OpenAI Google Meta xAI Nvidia firmaron pacto con la Casa Blanca que establece medidas voluntarias para la IA, pero sin cumplimiento obligatorio. firmantes dicen que no alcanzan suficiente.
La fir de investigadora española Carmela Troncoso directora del Instituto Max Planck para Seguridad y Privacidad, no todos los referentes de IA respaldaron Yann Le conservó, no lo firmó.
la carta sinFuerza legal, no establece quién debería dirigir el organismo no cómo se financia ni cómo obligaría a las empresas. Lista de firmantes sigue en desde su publicación.
Fuente: Infobae