Cloudflare внедряет изменения в политику работы с веб-краулерами
Хостинг-платформа Cloudflare меняет подход к взаимодействию с веб-краулерами, блокируя их работу на сайтах, начиная с сентября этого года. Компания стремится вернуть контроль за контентом его владельцам.
Согласно новым правилам, которые начнут действовать с 15 сентября 2026 года, Cloudflare предоставит сайтам настройки, позволяющие индексирование для поисковых систем, но блокирующие использование страниц для обучения моделей искусственного интеллекта. Это касается новых клиентов и новых сайтов существующих пользователей. Также будут блокироваться смешанные веб-краулеры, которые не позволяют контролировать использование контента для ИИ.
Мэтью Принс, сооснователь и CEO Cloudflare, подчеркнул важность быстрого создания устойчивой экосистемы в условиях, когда большая часть интернет-трафика не принадлежит людям. Новые инструменты должны стимулировать операторов ботов разделять функции поиска и обучения моделей.
Cloudflare также перезапускает функцию Pay Per Crawl под названием Pay Per Use. Теперь выплаты владельцам сайтов будут осуществляться за отображение контента в ответах ИИ-чатботов, а не только за фактическое сканирование страницы.
Эксперты указывают, что такая политика может повлиять на компании как Google, чьи Googlebot одновременно индексируют страницы и собирает информацию для обучения ИИ. Новая политика Cloudflare стремится изменить эту практику, обеспечивая больший контроль для издателей.
Также напомним, что Cloudflare недавно объявила о сокращении более 1100 сотрудников в рамках перехода на модель, ориентированную на искусственный интеллект.
| Дата внедрения | Процесс | Последствия |
|---|---|---|
| 15 сентября 2026 | Блокировка веб-краулеров | Контроль за контентом у владельцев |
| 2025 (перезапуск) | Pay Per Use | Выплаты за появление в ответах ИИ |
