Hacker News Digest

Автор столкнулся с проблемой агрессивных ботов, собирающих данные для обучения LLM, которые составили 99% трафика на его сервере. В отличие от поисковых роботов, эти боты игнорируют robots.txt, постоянно меняют IP-адреса и отправляют множество запросов в секунду. Попытки блокировать их через IP-списки, ограничения по скорости или защитные стены (CAPTCHA, paywall) оказались неэффективными, так как боты просто находили обходные пути, а защитные меры мешали обычным пользователям.

Самым эффективным решением оказалось создание динамического генератора бессмысленного контента — "Markov babbler", который потребляет всего около 60 микросекунд процессорного времени на запрос и использует 1.2 МБ памяти. Этот подход не требует поддержки черных списков и позволяет эффективно "кормить" ботов, не тратя ресурсы на передачу реальных данных. Автор подчеркивает, что его контент лицензирован CC BY-NC-SA 4.0, но явно не разрешен для использования в обучении ML/LLM.

• Основной метод борьбы с AI-скраперами — генерация бессмысленного контента через Markov-цепи или gzip-бомбы, чтобы увеличить затраты скраперов на обработку данных.
• Этические риски: загрязнение обучающих данных LLM может привести к непредсказуемым последствиям и нарушению доверия к системам ИИ.
• Технические альтернативы: использование Basic Auth с публичными учётными данными или редирект на специализированные сервисы вроде "Markov Babbler".
• Проблема масштабирования: массовое применение методов защиты может привести к блокировке легитимного трафика и снижению репутации сайта.
• Эффективность сомнительна: современные LLM могут детектировать мусорный контент, а скраперы легко обходят простые защиты (например, через браузерные прокси).

Dreamwidth Studios использует CAPTCHA для проверки пользователей, чтобы предотвратить автоматизированные запросы и защитить платформу от спама и злоупотреблений. Пользователям предлагается пройти проверку перед выполнением действий, таких как вход в систему или публикация контента. Это стандартная мера безопасности, распространённая на многих веб-сайтах для обеспечения честного использования ресурсов.

Помимо CAPTCHA, сайт предоставляет дополнительные опции: восстановление пароля, вход через OpenID и настройки учётной записи. Также доступны разделы для создания аккаунта, исследования контента и покупки услуг, что делает платформу удобной и многофункциональной для пользователей.

• Рекомендации по обращению в правоохранительные и государственные программы по борьбе с киберпреступлениями (Калифорния, ФБР) и к юридическому совету компании-владельца сервиса подписания.
• Обсуждение уязвимостей и недостатков цифрового подписания PDF-документов, включая возможность подделки метаданных и необходимость встроенной криптографической проверки.
• Предложения по юридическим действиям: от требования возврата депозита до подачи гражданского иска или уголовного дела за подлог документов.
• Важность наличия нескольких заверенных копий документа (в т.ч. цифровых) на случай спора, по аналогии с традиционной практикой у нотариусов.
• Отсутствие финального разрешения ситуации с агенством на момент обсуждения; автор составляет жалобу в государственный департамент.

Приложение использует систему геймификации для повышения эффективности работы парковочных инспекторов. Оно создает лидерборды, где сотрудники соревнуются по количеству выписанных штрафов, времени реакции на нарушения и другим метрикам. Это мотивирует команду на более активные действия через дух соперничества и видимость достижений.

Система также предоставляет данные в реальном времени: карту с отмеченными нарушениями, статистику по районам и напоминания о патрулировании. Такой подход не только увеличивает продуктивность, но и помогает равномерно распределять усилия инспекторов, сокращая количество пропущенных нарушений.

• Власти Сан-Франциско оперативно заблокировали источник данных сайта после его запуска, но затем данные снова стали доступны.
• Обсуждается алгоритм генерации номеров штрафов, предположительно использующий контрольную цифру по модулю 7.
• Проект вызвал дискуссию о балансе между общественным интересом к данным и потенциальными рисками для сотрудников.
• Упомянуты альтернативные источники данных: официальный открытый датасет SFMTA (с задержкой) и возможный слабый CAPTCHA на сайте платежной системы.
• Участники высоко оценили техническую реализацию и предложили идеи для улучшения: heatmap, уведомления, "доска позора" для наименее активных офицеров.

Нельзя сделать скриншот этого.

• Представлен эффект текста, который исчезает при попытке скриншота, но виден в движении.
• Обсуждаются технические обходные пути: запись видео, наложение кадров, изменение масштаба или режимов съёмки.
• Упоминаются аналогичные визуальные эффекты в играх (Branta Games) и на обложках альбомов (Soulwax).
• Предлагаются потенциальные применения: защита конфиденциальных данных, CAPTCHA, недоступные для ИИ задачи.
• Отмечаются проблемы доступности для людей с нарушениями зрения и вызываемая эффектом тошнота.
• Поднимается вопрос о возможности создания обратного эффекта — текста, читаемого только на скриншоте.
• Делается вывод, что метод не является абсолютной защитой, так как обходится видеозаписью.

• Пользователи делятся впечатлениями от прохождения уровней игры, отмечая креативность и юмор, но некоторые столкнулись с техническими сложностями или сдались на сложных этапах.
• Обсуждаются конкретные уровни: проблемы с точностью распознавания эмоций, сложности на мобильных устройствах, использование консольных команд для читерства и ироничный финал с сертификатом.
• Затрагиваются философские вопросы о природе человека и автоматизации, а также технические аспекты реализации игры, такие как локальное выполнение ML-моделей и обход CAPTCHA.

• Проблема: боты OpenAI, Anthropic, Google и др. генерят до 45 % трафика сайтов, но не приносят денег и ломают инфраструктуру.
• Последствия: сервера перегружаются, счета за трафик растут, а доход от рекламы не покрывает расходы.
• Решения: блок-листы, rate-limit, Cloudflare Bot Management, «умные» robots.txt и платные API.

• Агрессивные AI-боты превратились в DDoS: малые сайты лежат, счета за трафик вырастают в разы, хостинги выгоняют клиентов.
• Компании вроде Anthropic/Claude и «мелкие» стартапы не соблюдают rate-limit, не кешируют и маскируют ботов, хотя технически могли бы всё сделать правильно.
• Админы вынуждены ставить CAPTCHA, login-wall, ASN-блоки, rate-limit и Cloudflare, что ломает accessibility и приватность для людей.
• Пользователи ищут обходы: кто-то уходит к AI, кто-то отказывается от сайтов с капчами.
• Общий вывод: боты «пьют молочный коктейль» открытого веба, пока сами компании не несут последствий.

Пройдите CAPTCHA, чтобы подтвердить запрос.
Нажмите «Войти» или создайте аккаунт.

• Вход: имя аккаунта, пароль, «запомнить меня»
• Забыли пароль? | Войти через OpenID

Меню

• Создать аккаунт / настроить отображение
• Искать: интересы, каталог, случайные журналы и сообщества
• Магазин: услуги, подарки, мерч

Ссылки
Политика конфиденциальности • Условия • FAQ • Поддержка • Исходный код

© 2009-2025 Dreamwidth Studios, LLC.

• Пользователи обсуждают, как неуклюжие и противоречивые законы (Миссисипи, UK Online Safety Bill) заставляют сайты блокировать целые штаты и страны, хотя геоблокировка легко обходится VPN.
• Все жалуются на невозможность отслеживать сотни подобных законов: запустил маленький сайт — и уже нарушил законы в семи штатах и тринадцати странах.
• Поднимается вопрос: почему сайт, расположенный в другом штате или стране, должен подчиняться миссисипскому закону, если это межгосударственная или международная коммуникация?
• Многие отмечают, что штрафы огромны ($10 000 за каждого «непроверенного» пользователя), а сроки вступления закона — буквально недели, что делает соблюдение невозможным для мелких площадок.
• Итог: законодатели не понимают технологий, геолокация неточна, VPN всё равно всё обходит, а интернет всё больше дробится на «свободные» и «пуританские» зоны.

Thinkbot — бот, представляющийся строкой
Mozilla/5.0 (compatible; Thinkbot/0.5.8 … please_block_its_IP_address),
игнорирует robots.txt и предлагает просто банить его по IP.
За август он зашёл с 74 адресов, разбросанных по 41 сетевому блоку,
все принадлежат Tencent. Автор блокирует 40 подсетей Tencent,
покрывающих ≈ 476 590 IP-адресов, и подозревает,
что КНР внешне перекладывает затраты «Великого файрвола» на остальной мир.

• Большинство жалуется на агрессивных ботов, особенно из Китая (Tencent, Alibaba и др.); многие просто банят весь CN-диапазон ASN.
• Роботы маскируются под браузеры, пренебрегают robots.txt и генерируют основную нагрузку; честные UA всё равно блокируют «на всякий случай».
• Популярные защиты: Cloudflare + CrowdSec/ModSecurity, geoblock, rate-limit, tarpit, «zip-bomb» или ложные данные вместо 403.
• Участники спорят о легитимности скрапинга и этике блокировок; предлагают whitelist-ASN, централизованные чёрные списки, CAPTCHA или авторизацию.
• Итог: без идеального решения; все методы похожи на «кот и мышь», а модель «блокировать всё подозрительное» становится нормой.

Codeberg: похоже, ИИ-боты научились обходить CAPTCHA.

I just found out about this when it came to the front page of Hacker News. I really wish I was given advanced notice. I haven't been able to put as much energy into Anubis as I've wanted because I've been incredibly overwhelmed by life and need to be able to afford to make this m