Cloudflare впроваджує зміни в політику роботи з вебкраулерами
Хостинг-платформа Cloudflare змінює підхід до взаємодії з вебкраулерами, блокуючи їхню роботу на сайтах, починаючи з вересня цього року. Компанія намагається повернути контроль за контентом його власникам.
Згідно з новими правилами, які почнуть діяти з 15 вересня 2026 року, Cloudflare надаватиме сайтам налаштування, що дозволяють індексацію для пошукових систем, але блокують використання сторінок для навчання моделей штучного інтелекту. Це стосується нових клієнтів та нових сайтів наявних користувачів. Також будуть блокуватися змішані вебкраулери, які не дають змоги контролювати використання контенту для ШІ.
Меттью Прінс, співзасновник та СЕО Cloudflare, наголосив на важливості швидкого створення сталої екосистеми в умовах, коли більша частина інтернет-трафіку не належить людям. Нові інструменти мають стимулювати операторів ботів розділяти функції пошуку та навчання моделей.
Cloudflare також перезапускає функцію Pay Per Crawl під назвою Pay Per Use. Тепер виплати власникам сайтів здійснюватимуться за відображення контенту у відповідях ШІ-чатботів, а не лише за фактичне сканування сторінки.
Експерти вказують, що така політика може вплинути на компанії як Google, чий Googlebot одночасно індексує сторінки та збирає інформацію для навчання ШІ. Нова політика Cloudflare прагне змінити цю практику, забезпечуючи більший контроль для видавців.
Також нагадаємо, що Cloudflare нещодавно оголосила про скорочення понад 1100 співробітників у рамках переходу на модель, орієнтовану на штучний інтелект.
| Дата впровадження | Процес | Наслідки |
|---|---|---|
| 15 вересня 2026 | Блокування вебкраулерів | Контроль за контентом у власників |
| 2025 (перезапуск) | Pay Per Use | Виплати за появу у відповідях ШІ |
