AI Slop vs. OSS Security
В индустрии безопасности наблюдается растущая проблема: ИИ-системы массово генерируют ложные сообщения об уязвимостях, которые затем отправляются настоящим экспертам на проверку.
Автор, имеющий десятилетний опыт в этой сфере, объясняет, что типичный ИИ-отчёт — это результат паттер-матчинга: система видит код, похожий на уязвимый, и генерирует сообщение, даже если уязвимости на самом деле нет. При этом некоторые участники просто бомбят системы, отправляя всё, что ИИ сгенерировал, надеясь, что какая-то часть окажется правдой.
Результат? По данным Дэниела Стернхауса (maintainer curl), до 20% всех сообщений об уязвимостях — это ложные срабатывания ИИ, в то время как реальные уязвимости составляют лишь около 5%. Это означает, что на каждую реальную проблему приходится четыре ложных, а на их проверку уходят часы работы экспертов-добровольцев.
Ситуация усугубляется тем, что проверка каждого такого отчёта требует совместных усилий нескольких человек. Например, один человек пытается воспроизвести проблему по шагам из отчёта (но шаги могут вести к несуществующим функциям). Другой — анализирует исходный код, чтобы понять, есть ли там такая уязвимость. Третий — проверяет гипотезы коллег. В итоге, одна ложная тревога съедает несколько человек-часов.
Автор призывает сообщество признать проблему и начать действовать: например, игнорировать сообщения, не подкреплённые реальными доказательствами, и сосредоточиться на реальных угрозах. В противном случае эксперты просто сгорят, и проекты лишатся защитников.