La empresa de inteligencia artificial Anthropic ha creado un mecanismo llamado FlashProve, el cual permite certificar mediante una prueba matemática qué modelo de IA fue el responsable de generar una respuesta específica. Este sistema nace para solucionar una carencia evidente: hasta el momento, un usuario que formula una consulta a un modelo de inteligencia artificial no tiene manera de confirmar si la respuesta proviene exactamente del modelo que seleccionó o de uno diferente.
Anthropic dio a conocer esta iniciativa a través de un documento técnico donde puso a disposición el código fuente, un informe minucioso y pruebas formales, todo bajo una licencia de código abierto. No obstante, los propios investigadores de la compañía aclaran que se trata de un “progreso intermedio” y no de una solución definitiva ni lista para su implementación en entornos productivos.
¿Cuál es el problema que ataca FlashProve?
En la actualidad, cuando una persona envía una pregunta a un sistema de IA, no existe un método para corroborar que la respuesta efectivamente fue generada por el modelo elegido. Las razones de esta incertidumbre son variadas: el modelo pudo ser sustituido por una versión más económica para reducir gastos, por uno más avanzado para maquillar resultados, o incluso la comunicación pudo ser intervenida por un atacante que suplanta al modelo legítimo.
FlashProve construye una prueba criptográfica verificable que permite corroborar qué modelo de inteligencia artificial originó una respuesta en particular, sin necesidad de exponer los datos internos de dicho modelo. Su funcionamiento se asemeja al de una firma digital: certifica la procedencia de un mensaje sin revelar información sensible del emisor.
La compañía señala diversos contextos en los que esta verificación se vuelve indispensable. Por ejemplo, los evaluadores independientes que analizan modelos de IA antes y después de su lanzamiento requieren la certeza de que están examinando exactamente el mismo sistema que posteriormente estará disponible para el público.
También los clientes que adquieren un modelo mediante un intermediario externo necesitan garantías de que las respuestas que reciben corresponden al modelo por el que pagaron y no a una variante más económica colocada sin su consentimiento.
Un tercer escenario es la detección de manipulaciones externas. Si un atacante logra comprometer un servidor y modifica las respuestas para hacerse pasar por un modelo legítimo, el usuario no podría percatarse del engaño analizando únicamente el resultado final.
El funcionamiento interno de FlashProve
El fundamento técnico de FlashProve es un elemento criptográfico denominado “argumento sucinto de conocimiento cero” (conocido como zkSNARK). En palabras sencillas, permite que una entidad demuestre a otra que ha ejecutado un cálculo concreto, sin tener que divulgar los detalles internos de dicho cálculo.
El proceso se desarrolla en dos fases. En la primera, el proveedor del modelo publica una “huella digital” o fingerprint de sus pesos (los valores internos que determinan el comportamiento del sistema). Esta huella no expone los pesos reales, los cuales empresas como Anthropic y OpenAI resguardan celosamente por considerarlos su activo más valioso.
En la segunda fase, cada vez que el modelo responde una consulta, el proveedor agrega una prueba corta que certifica que esa respuesta fue generada por el modelo vinculado a la huella publicada. El usuario puede comprobar dicha prueba en cuestión de segundos, incluso desde un dispositivo convencional, sin requerir infraestructura especializada.
De acuerdo con el diseño del sistema, esta prueba debe satisfacer cuatro condiciones: es aceptada si es honesta; no puede ser falsificada; no revela información más allá de lo que certifica; y es liviana de verificar en comparación con el cálculo original que respalda.
Usos que van más allá del usuario final
Anthropic vislumbra aplicaciones que trascienden la interacción individual con un chatbot. Por ejemplo, un desarrollador podría demostrar que su código fue revisado por un modelo avanzado de ciberseguridad, o una empresa podría certificar que su plan de negocios obtuvo la aprobación de un sistema de IA específico.
Además, el sistema podría convertirse en una herramienta para reguladores y auditores que requieran confirmar que una compañía de IA está cumpliendo con compromisos específicos, por ejemplo, asignar cierta capacidad de cómputo a tareas de inferencia y no utilizarla de manera encubierta para entrenar nuevos modelos.
Fuente: Infobae