OpenAI, Google, Microsoft і Anthropic підтримають спільний opt-out у robots.txt
Найбільші гравці в ШІ погодилися на єдиний сигнал у robots.txt, який дає видавцям можливість відмовитися від скрейпінгу для навчання моделей.
OpenAI, Google, Microsoft і Anthropic оголосили про підтримку спільного сигналу в robots.txt, що дозволить сайтам централізовано забороняти доступ AI-скрейперам для навчання моделей.
Що саме змінюється
Ідеться про так званий shared “policy token” — уніфіковану позначку в robots.txt, яка сигналізує ШІ-компаніям, чи можна використовувати матеріали сайту для тренування чи інших операцій зі штучним інтелектом. Наразі видавцям доводиться окремо вказувати свої вподобання для кожної компанії, що ускладнює контроль.
Хто ініціював і де це живе
Сигнал запропонував Kevin Kelley, технічний лід зі стандартів в Anthropic, у межах Internet Engineering Task Force (IETF). Його реалізація базується на звичному механізмі robots.txt, який історично керує доступом вебкроулерів до сайту — від індексації пошуком до архівування й тренування ШІ.
Плани впровадження
Anthropic уже підтримує новий сигнал. Google і Microsoft планують додати підтримку наступного року, OpenAI — «в найближчі місяці». Компанії заявляють, що обмежать доступ своїх AI-кроулерів до сайтів, де виявлять спільний токен.
Деталі від Microsoft
Microsoft запропонує більш деталізовані налаштування: видавці зможуть окремо відмовитися від використання контенту для навчання моделей або для grounding — підкріплення відповідей перевіреними джерелами, щоб зменшити галюцинації. Водночас сайти й надалі відображатимуться в результатах пошуку Bing незалежно від цих налаштувань.
Контекст і альтернативи
На тлі напливу AI-кроулерів частина організацій шукає інші способи контролю. Стандарт Really Simple Licensing (RSL) дає можливість виставляти умови оплати для кроулерів, а Cloudflare за замовчуванням блокує AI-скрейпери. Спільний policy token покликаний спростити видавцям централізоване керування доступом одразу для кількох компаній.
