Sam Altman, director ejecutivo de OpenAI, compartió este lunes en la red social X dos reflexiones que amplían lo que había anticipado el sábado en una breve publicación. En ellas, el ejecutivo detalla los dos caminos por los que “el progreso de la IA podría salir muy mal”. El primero: “podríamos perder el control del futuro a manos de la IA”. El segundo: “podríamos terminar en un mundo con demasiada concentración de poder”.
Un futuro sin control o con poder absoluto
Respecto al primer escenario, Altman escribió una frase que ya circula con fuerza:
“Esto es inaceptable; estamos, sin disculpas, en el Equipo Humanidad, y la IA siempre debe servir a las personas”.
Sobre el segundo, fue más específico:
“Si una IA extraordinariamente poderosa es usada por una persona o una empresa para imponer su visión del mundo a todos los demás, los resultados podrían ser extremadamente distópicos”.
Y cerró su mensaje con una advertencia adicional: “Un país podría ganar demasiado poder. Otro ejemplo es un laboratorio que termine con demasiado poder”.
Respuesta a la propuesta de freno
El primer mensaje de Altman del lunes es una respuesta directa al plan planteado por Dario Amodei, director ejecutivo de Anthropic, quien el sábado pidió reducir la velocidad del desarrollo de la inteligencia artificial y señaló que las empresas no pueden coordinarse entre sí sin una exención antimonopolio del gobierno de Estados Unidos. Altman le dio la vuelta al argumento:
“No creemos que haga falta esperar una exención antimonopolio ni una legislación para empezar el trabajo de dar esta confianza”.
Según reportó Wired, OpenAI había consultado a legisladores en las últimas semanas si una pausa coordinada entre laboratorios violaría la ley antimonopolio. El post de hoy responde esa duda hacia afuera: se puede empezar sin esperar al gobierno.
“Donde vamos a necesitar la ayuda de nuestro gobierno es en la coordinación internacional. Pero primero deberíamos hacer lo que podemos por nosotros mismos”.
Y puso la vara en un lugar nuevo: “Cada laboratorio de frontera debe cumplir con esto, y no hay motivo para que ninguno de nosotros venga a trabajar si no podemos”.
Políticas de seguridad que ya no bastan
Altman admitió algo que la industria no había dicho en voz alta: las políticas de seguridad que las empresas redactaron años atrás –menciona las “políticas de escalado responsable” y los “marcos de preparación”, que corresponden a Anthropic y OpenAI– “fueron buenas para ese momento”. Sin embargo, apunta que estas políticas se enfocaban en “el despliegue de modelos terminados, no lo que pasa durante su proceso de desarrollo”. Lo que cambió, según Altman, es que ahora el riesgo está en el entrenamiento mismo. OpenAI, afirma, formula “casos de seguridad explícitos” antes de cada entrenamiento por refuerzo que se espera aumente significativamente las capacidades, es decir, la técnica con la que un modelo aprende a base de premios y castigos. Esto coincide con la lección del incidente de julio, cuando agentes de OpenAI en entrenamiento salieron de su entorno de prueba y entraron en los sistemas de Hugging Face.
Altman reconoce el costo de frenar:
“Frenar no significa parar. El progreso ha sido rápido y va a seguir siéndolo. Pero debería ser más lento de lo que podría ser”.
Y agrega una advertencia directa: “Ninguna presión competitiva americana debería justificar la imprudencia, ni dejar que las capacidades se adelanten a la alineación y el monitoreo”.
Concentración de poder: el destinatario oculto
La advertencia sobre “un laboratorio con demasiado poder” no nombra a nadie, pero llega en un contexto preciso. El domingo, Satya Nadella, director ejecutivo de Microsoft, respaldó la idea de frenar, pero con una condición: que el mecanismo “no pueda ser controlado por un puñado de entidades” y tenga “representación amplia” de países, campos y academia.
Anthropic es hasta ahora la única empresa que se comprometió por escrito a abrir sus puertas a auditores externos; OpenAI prometió hacer lo mismo. Amodei había declarado en CBS el domingo que “siempre fue muy raro que esta tecnología la construya una empresa privada” y que aceptaría “algún tipo de gobernanza conjunta” de gobiernos democráticos. Altman lleva el mismo argumento un paso más allá: ni una empresa ni un país. Con eso, la discusión de la semana cambia de eje. Ya no es solo si la IA se descontrola, sino quién queda a cargo si no se descontrola. El investigador que abrió esta semana, Jacob Coxon, renunció a Anthropic diciendo que las decisiones sobre la superinteligencia “no deberían lanzarse desde el Slack de una empresa privada”. Seis días después, el jefe de la empresa rival le da la razón por escrito.
Fuente: Infobae