Сатья Наделла призвал оснастить продвинутые модели ИИ «стоп-краном»
Глава Microsoft считает, что мощных ИИ-агентов надо рассматривать как потенциальную внутреннюю угрозу, фиксировать каждое значимое действие и оставлять человеку возможность остановить модель посреди задачи.
Генеральный директор Microsoft Сатья Наделла в субботу, 10 октября, написал в X, что отрасли пора пересмотреть «архитектуру доверия» к искусственному интеллекту, сообщают TechCrunch и Bloomberg.
Что он предлагает
- Отделить модель от «обвязки» — программы, которая управляет работой агента, — и вынести механизмы контроля и защиты за пределы самой модели.
- Защищённые от подделки записи: каждое значимое действие модели должно оставлять понятный человеку след.
- Человеческий выключатель: уполномоченный человек всегда должен иметь возможность приостановить или отключить модель посреди задачи.
По данным Bloomberg, Наделла считает, что организациям следует относиться к продвинутым моделям как к потенциальной внутренней угрозе и не полагаться только на заверения разработчиков. «Мы должны исходить из того, что модель скомпрометирована, и изолировать её с самого начала», — написал он, сравнив этот подход со стоп-краном.
Контекст
Заявление прозвучало на фоне того, что ИИ-компании всё чаще сообщают об инцидентах с неожиданным поведением агентов, а глава Anthropic Дарио Амодеи опубликовал план более осторожного развития ИИ, отмечает TechCrunch. Пост Наделлы — изложение принципов; конкретных продуктов или сроков Microsoft не объявляла.