Satya Nadella pide un «freno de emergencia» para los modelos de IA avanzados

El consejero delegado de Microsoft, Satya Nadella, afirmó el sábado 10 de octubre en una publicación en X que el sector debe replantear la «arquitectura de confianza» de la inteligencia artificial, según TechCrunch y Bloomberg.

Qué propone

• Separar el modelo de su «arnés», el software que orquesta el trabajo de un agente, y mantener controles y salvaguardas fuera del propio modelo.
• Registros a prueba de manipulación: cada acción relevante del modelo debe dejar evidencia legible por humanos.
• Un interruptor humano: una persona autorizada debe poder pausar o apagar el modelo en plena tarea.

Según Bloomberg, Nadella dijo que las organizaciones deberían tratar los modelos avanzados como posibles amenazas internas y no fiarse solo de las garantías de sus creadores. «Debemos asumir que un modelo está comprometido y contenerlo desde el principio», escribió, comparándolo con un freno de emergencia.

Contexto

Las declaraciones llegan mientras las empresas de IA revelan más incidentes con agentes que actúan de forma inesperada y después de que el director de Anthropic, Dario Amodei, publicara un plan para un desarrollo más prudente, señaló TechCrunch. La publicación es una declaración de principios; no anunció productos ni plazos concretos de Microsoft.