OpenAI, Google, Microsoft и Anthropic поддержали единый сигнал в robots.txt для отказа от обучения ИИ
Предложенный в IETF «policy token» позволит сайту один раз указать в robots.txt своё отношение к обучению ИИ, а не отдельно для краулера каждой компании.
OpenAI, Google, Microsoft и Anthropic заявили, что внедрят новый общий сигнал, с помощью которого издатели смогут запретить сбор своих сайтов для ИИ, сообщил The Verge 30 октября 2026 года вслед за Search Engine Roundtable.
Как это работает
- Сигнал — «policy token» в файле robots.txt, давно используемом файле, который сообщает краулерам, что им можно и нельзя загружать.
- Его предложил в Инженерном совете интернета (IETF) Кевин Келли, технический руководитель по стандартам в Anthropic.
- Сейчас сайту приходится указывать предпочтения по обучению ИИ отдельно для каждой компании; общий токен применит одно правило к нескольким краулерам.
Детали от компаний
Microsoft обещает более тонкие настройки — отдельно отказ от обучения ИИ и от grounding (когда модель опирается на проверенный источник, чтобы меньше выдумывать), причём сайты останутся в выдаче Bing при любом выборе. У Google похожие настройки уже есть, и они не влияют на видимость в поиске.
Оговорки
Токен пока остаётся предложением в IETF, а не готовым стандартом, а robots.txt носит добровольный характер: он работает только для краулеров, которые решают его соблюдать. Дату запуска у всех четырёх компаний The Verge не называет.