Satya Nadella defende um «freio de emergência» para modelos avançados de IA

O CEO da Microsoft, Satya Nadella, afirmou no sábado, 10 de outubro, em uma publicação no X, que o setor precisa repensar a «arquitetura de confiança» da inteligência artificial, segundo TechCrunch e Bloomberg.

O que ele propõe

• Separar o modelo do seu «arnês», o software que orquestra o trabalho de um agente, mantendo controles e salvaguardas fora do próprio modelo.
• Registros à prova de adulteração: cada ação relevante do modelo deve deixar evidência legível por humanos.
• Um botão humano: uma pessoa autorizada deve sempre poder pausar ou desligar o modelo no meio da tarefa.

Segundo a Bloomberg, Nadella disse que as organizações devem tratar modelos avançados como possíveis ameaças internas e não confiar apenas nas garantias de quem os desenvolve. «Devemos presumir que um modelo está comprometido e contê-lo desde o início», escreveu, comparando a ideia a um freio de emergência.

Contexto

As declarações ocorrem enquanto empresas de IA divulgam mais incidentes com agentes agindo de forma inesperada e depois de o CEO da Anthropic, Dario Amodei, publicar um plano de desenvolvimento mais cauteloso, observou o TechCrunch. O post é uma declaração de princípios; não anunciou produtos nem prazos da Microsoft.