Общий сигнал в robots.txt упростит настройку обучения ИИ на веб-контенте
OpenAI, Google и Microsoft поддержали общий сигнал в robots.txt, с помощью которого владельцы сайтов смогут обозначать предпочтения по использованию страниц для обучения генеративных моделей. Предложение оформлено как проект IETF и пока не является окончательным стандартом.
Главное
Сейчас издателям приходится отдельно учитывать правила и названия роботов каждого крупного провайдера. Новый подход вводит общий маркер __usage_ai-training в строке User-Agent обычной группы robots.txt: затем сайт может использовать знакомые правила Allow и Disallow, чтобы задать предпочтение для всего ресурса или отдельных путей.
Ключевое ограничение важно не потерять: маркер относится к использованию материалов для обучения, а не к запрету обхода сайта как такового. В проекте IETF прямо сказано, что он не заменяет обычные правила для конкретных поисковых роботов и сам по себе не является директивой, регулирующей загрузку страниц.
Подробности
Сроки внедрения различаются. OpenAI планирует добавить поддержку в ближайшие месяцы; Google ориентируется на следующий год, а Microsoft начнёт учитывать новые настройки по мере обхода сайтов с 1 февраля 2027 года. Компания также разделяет параметры AI Training и AI Grounding: они управляют разными сценариями использования материалов и не меняют право сайта появляться в обычной выдаче Bing.
Сам документ пока опубликован как Internet-Draft рабочей группы IETF, а не как завершённый RFC. Его автор — специалист по стандартам Anthropic Кевин Келли. Текст описывает механизм и примеры, но формулировки ещё могут меняться в ходе обсуждения и согласования между участниками рабочей группы.
Что это меняет
Для владельцев сайтов это скорее способ упростить декларацию предпочтений, чем техническая защита от копирования. Реальный эффект появится только у тех компаний, которые реализуют чтение маркера; отдельные правила для обхода и действующие настройки конкретных сервисов пока сохраняют значение. Поэтому одну новую запись в robots.txt не стоит считать универсальным выключателем всех AI-краулеров.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации The Verge. Текст и иллюстрации первоисточника не воспроизводятся целиком.