Messing with scraper bots

No post summary.

Боты-сканеры ищут уязвимости через PHP-файлы, а не скрапят контент, и часто прерывают запросы после получения HTTP-кода.
Для борьбы используются методы: блокировка по заголовкам (например, отсутствие Accept-Language), honeypots с ложными файлами, генерация бесполезных данных (Nepenthes) или zip-бомбы.
Этический спор: публичный контент доступен для скрапинга, но агрессивные боты создают нагрузку на серверы, а AI-скраперы воруют контент без отдачи владельцам.
Эффективные стратегии: фильтрация по User-Agent, возврат ошибок (418 I'm a teapot), ограничение доступа по регионам или использование fail2ban/crowdsec.
Проблема AI-скраперов: они могут "отравлять" модели мусором, но их защита сложнее из-за обхода мер (например, residential-IP).