Hacker News Digest

В индустрии безопасности наблюдается растущая проблема: ИИ-системы массово генерируют ложные сообщения об уязвимостях, которые затем отправляются настоящим экспертам на проверку.

Автор, имеющий десятилетний опыт в этой сфере, объясняет, что типичный ИИ-отчёт — это результат паттер-матчинга: система видит код, похожий на уязвимый, и генерирует сообщение, даже если уязвимости на самом деле нет. При этом некоторые участники просто бомбят системы, отправляя всё, что ИИ сгенерировал, надеясь, что какая-то часть окажется правдой.

Результат? По данным Дэниела Стернхауса (maintainer curl), до 20% всех сообщений об уязвимостях — это ложные срабатывания ИИ, в то время как реальные уязвимости составляют лишь около 5%. Это означает, что на каждую реальную проблему приходится четыре ложных, а на их проверку уходят часы работы экспертов-добровольцев.

Ситуация усугубляется тем, что проверка каждого такого отчёта требует совместных усилий нескольких человек. Например, один человек пытается воспроизвести проблему по шагам из отчёта (но шаги могут вести к несуществующим функциям). Другой — анализирует исходный код, чтобы понять, есть ли там такая уязвимость. Третий — проверяет гипотезы коллег. В итоге, одна ложная тревога съедает несколько человек-часов.

Автор призывает сообщество признать проблему и начать действовать: например, игнорировать сообщения, не подкреплённые реальными доказательствами, и сосредоточиться на реальных угрозах. В противном случае эксперты просто сгорят, и проекты лишатся защитников.

• Тема: «богатство, созданное на неоплаченном труде» — и LLM-технологии усугубляют проблему, а не GPL/AGPL-лицензии, как будто бы это имело значение.
• Проблема «hallucination» в LLM — это не просто баг, а фундаментальная проблема, и неясно, можно ли ее решить без радикального изменения архитектуры.
• Вопрос о том, что open-source сообщество может быть «обязано» Google, если бы они использовали GPL-библиотеки, остается открытым.
• И, возможно, что-то вроде «поддержки» open-source сообщества со стороны крупных технологических компаний может быть не столько «добровольной» инициативой, сколько необходимостью.

Бенн Джордан:
Сегодня мне пришло несколько сообщений с просьбой «уточнить позицию по Израилю». Странно — я всегда открыто выступал против геноцида и за палестинское государство.

• Google AI Overview приписало музыканту Benn Jordan видео «Was Wrong About Israel» другого автора (Ryan McBeth), выдав вымышленную дату 18 августа 2025.
• Участники обсуждения считают это ярким примером опасности «галлюцинаций» ИИ: ложь становится заголовками, а пользователи без проверки верят результатам.
• Многие подчеркивают, что мелкий дисклеймер «AI может ошибаться» не решает проблему репутационного ущерба и требуют юридической ответственности Google.
• Приводятся аналогичные случаи: мелкому бизнесу приписывают мошенничество, людям — смерть, а HR-системы уже фильтруют кандидатов по ошибочным AI-досье.
• Общий вывод: общественно значимые системы запущены на публику как бета-тест без должной безопасности, и без законодательного давления ситуация ухудшится.