OpenAI, Google, Microsoft y Anthropic respaldan una señal común en robots.txt para excluirse del entrenamiento de IA
Un «policy token» propuesto en el IETF permitiría a un sitio declarar una sola vez en robots.txt su preferencia sobre el entrenamiento de IA, en lugar de hacerlo por separado para el rastreador de cada empresa.
OpenAI, Google, Microsoft y Anthropic afirman que adoptarán una nueva señal común con la que los editores podrán impedir que sus sitios se rastreen para IA, informó The Verge el 30 de octubre de 2026, tras una noticia previa de Search Engine Roundtable.
Cómo funciona
- La señal es un «policy token» dentro del archivo robots.txt del sitio, el archivo que desde hace años indica a los rastreadores qué pueden y qué no pueden descargar.
- Lo propuso en el Internet Engineering Task Force (IETF) Kevin Kelley, responsable técnico de estándares en Anthropic.
- Hoy un sitio debe indicar su preferencia sobre el entrenamiento de IA por separado para cada empresa; el token común aplicaría una sola preferencia a varios rastreadores.
Detalles de las empresas
Microsoft ofrecerá controles más finos que separan la exclusión del entrenamiento de la exclusión del grounding (cuando un modelo se apoya en una fuente verificada para inventar menos), y los sitios seguirán en los resultados de Bing elijan lo que elijan. Google ya tiene controles similares que no afectan a la visibilidad en el buscador.
Advertencias
El token sigue siendo una propuesta en el IETF, no un estándar terminado, y robots.txt es voluntario: solo funciona con los rastreadores que deciden respetarlo. The Verge no da una fecha de inicio para las cuatro empresas.
También disponible en: EnglishСаха тылаРусский中文Portuguêsالعربية