AI crawlers, fetchers are blowing up websites; Meta, OpenAI are worst offenders
Fastly: боты для ИИ атакуют сайты до 39 000 запросов в минуту
CDN-провайдер зафиксировал всплеск автоматического сканирования, когда модели собирают данные для обучения.
- Пиковая нагрузка: 39 000 обращений/мин (≈ 650 в секунду)
- Основной инструмент: библиотека
python-httpx, User-Agent «ImagesiftBot» - Цели: медиа-файлы, API-документация, старые URL-ы
- Последствия: рост счёта за трафик и риск DDoS.
Рекомендации Fastly: фильтровать по User-Agent и ASN, ставить rate-limit, использовать WAF.