AI web crawlers are destroying websites in their never-ending content hunger
- Проблема: боты OpenAI, Anthropic, Google и др. генерят до 45 % трафика сайтов, но не приносят денег и ломают инфраструктуру.
- Последствия: сервера перегружаются, счета за трафик растут, а доход от рекламы не покрывает расходы.
- Решения: блок-листы, rate-limit, Cloudflare Bot Management, «умные» robots.txt и платные API.
Комментарии (76)
- Агрессивные AI-боты превратились в DDoS: малые сайты лежат, счета за трафик вырастают в разы, хостинги выгоняют клиентов.
- Компании вроде Anthropic/Claude и «мелкие» стартапы не соблюдают rate-limit, не кешируют и маскируют ботов, хотя технически могли бы всё сделать правильно.
- Админы вынуждены ставить CAPTCHA, login-wall, ASN-блоки, rate-limit и Cloudflare, что ломает accessibility и приватность для людей.
- Пользователи ищут обходы: кто-то уходит к AI, кто-то отказывается от сайтов с капчами.
- Общий вывод: боты «пьют молочный коктейль» открытого веба, пока сами компании не несут последствий.
Cloudflare Radar: AI Insights 🔥 Горячее
—
Комментарии (125)
- Cloudflare становится «налоговым» шлюзом интернета: решает, кто «хороший» бот, вводит WebBotAuth и потенциально платные привилегии.
- Данные Radar показывают: ChatGPT — лидер, Character.AI уверенно второй, Claude и другие идут дальше; вызывает сомнение, что Googlebot не числится «AI-ботом».
- Участники сомневаются в точности метрик: DNS-кеш, скрытые прокси, игнорирование robots.txt и несоответствие crawl/refer.
- Многие опасаются двойного «налога» (CDN + доступ к контенту) и монополизации, но признают необходимость верификации ботов.
The web does not need gatekeepers: Cloudflare’s new “signed agents” pitch 🔥 Горячее 💬 Длинная дискуссия
—
Комментарии (426)
- Участники спорят: нужен ли единый «привратник» (типа Cloudflare), чтобы защищать сайты от агрессивных ИИ-ботов, или это лишний централизованный контроль.
- Многие жалуются, что крупные компании (Meta, OpenAI, Perplexity) игнорируют robots.txt и нагружают серверы.
- Противники Cloudflare считают, что «публичное» должно оставаться публичным, а проблему можно решить простым rate-limiting и децентрализованными ID.
- Часть пользователей готова платить или использовать invite-only доступ, лишь бы не было единого gatekeeper.
- Пока нет открытого стандарта идентификации агентов, владельцам сайтов приходится либо доверять Cloudflare, либо играть в «кошки-мышки» с ботами.