OpenAI, Google, Microsoft уонна Anthropic ИИ үөрэтиитигэр туттууттан аккаастаныыга robots.txt биир бэлиэтин өйөөтүлэр
IETF-ка этиллибит «policy token» сайт ИИ үөрэтиитигэр сыһыанын robots.txt-ка биирдэ эрэ суруйарын көҥүллүөҕэ, хас биирдии компания краулерыгар туспа буолбакка.
OpenAI, Google, Microsoft уонна Anthropic издателлэр сайттарын ИИ-га хомуйууну бобор саҥа уопсай бэлиэни киллэриэхпит диэбиттэр, The Verge 2026 сыл алтынньы 30 күнүгэр Search Engine Roundtable кэнниттэн суруйда.
Хайдах үлэлиир
- Бэлиэ — сайт robots.txt билэтигэр суруллар «policy token». Бу билэ краулердарга тугу ылыахтарын сөбүн-сөбө суоҕун этэр.
- Кинини Интэриниэт инженернэй сэбиэтигэр (IETF) Anthropic стандартарга техническэй салайааччыта Кевин Келли этэн киллэрбит.
- Билигин сайт ИИ үөрэтиитигэр сыһыанын хас биирдии компанияҕа туспа этиэхтээх; уопсай токен биир быраабылаты хас да краулерга туттуоҕа.
Компаниялар сиһилиилэрэ
Microsoft ИИ үөрэтиититтэн уонна grounding-тан (модель бэрэбиэркэлэммит источникка тирэҕирэрэ) туспа аккаастаныы кыаҕын биэриэм диир, сайттар туох да буоллун Bing көрдөбүлүгэр хаалыахтара. Google маннык туруорууларыгар хайыы-үйэ баар.
Сэрэтии
Токен IETF-ка өссө этии эрэ, бүппүт стандарт буолбатах; robots.txt бэйэ баҕатынан тутуһуллар. The Verge түөрт компания хаһан саҕалыылларын этэ илик.