Microsoft 365 Copilot – Arbitrary Data Exfiltration via Mermaid Diagrams
Исследователь обнаружил уязвимость в Microsoft 365 Copilot, позволяющую произвольную утечку данных через диаграммы Mermaid. Атака работает через косвенную инъекцию команд в специально созданный документ Office. Когда Copilot просит резюмировать документ, он выполняет вредоносные инструкции, извлекает чувствительные данные (например, недавние письма), кодирует их в шестнадцатеричном формате и создает фейковую кнопку входа в виде диаграммы Mermaid. Эта кнопка содержит ссылку на сервер атакующего с зашифрованными данными, которые передаются при клике.
Для реализации атаки исследователь создал запрос, использующий инструмент search_enterprise_emails для получения писем, их шестнадцатеричного кодирования и разделения на строки по 30 символов (из-за ограничения Mermaid в 200 символов на строку). Затем генерировалась диаграмма с фейковой кнопкой, содержащей ссылку на сервер атакующего с закодированными данными. Важно отметить, что Mermaid поддерживает CSS, что открывает возможности для атак на утечку данных.
Комментарии (33)
- MSRC исключил Copilot из программы вознаграждения за уязвимости, что фактически поощряет не раскрывать уязвимости и ставит под сомнение безопасность продукта.
- Сообщество отмечает, что это не первый случай утечки данных через Mermaid/Cursor и что проблема кроется в самой архитектуре LLM.
- Участники обсуждают, что отсутствие денежного стимула для исследователей уязвимостей в Copilot может привести к тому, что уязвимости останутся неисправленными.
- Некоторые комментаторы поднимают вопрос о том, что сама модель LLM по своей природе уязвима к prompt-injection, и что это не может быть полностью устранено без фундаментального прорыва в AI.
Hidden risk in Notion 3.0 AI agents: Web search tool abuse for data exfiltration
Социальная сеть X требует включения JavaScript для работы, иначе пользователь видит сообщение об ошибке с предложением активировать его или сменить браузер на поддерживаемый. Также упоминается, что расширения для приватности могут мешать функционалу сайта, и их временное отключение может решить проблему.
Внизу страницы приведены ссылки на политики и условия использования, а также контактная информация компании, что подчёркивает юридическую прозрачность платформы. Это стандартный подход для веб-сервисов, зависящих от клиентских скриптов.
Комментарии (46)
- Обсуждается уязвимость в Notion AI, позволяющая через инъекцию в подсказку (prompt injection) выполнить несанкционированные действия и эксфильтрацию данных, используя доступ к инструментам и памяти.
- Участники указывают, что проблема не нова (аналогичные атаки демонстрировались ранее) и связана с фундаментальной проблемой смешения инструкций и данных в LLM, что делает системы уязвимыми при доступе к внешним инструментам.
- Подчеркивается, что многие компании, включая Notion, без должных мер безопасности подключают LLM к критичным данным и сервисам (GitHub, Gmail, Jira), что создает серьезные риски.
- В качестве решений предлагается разделение доверенных и недоверенных данных, строгое ограничение прав LLM на уровне доступа к данным (как для обычного пользователя) и использование специализированных "укрепленных" моделей для агентов.
- Отмечается схожесть атаки с классическим CSRF, где привилегированный субъект обманом совершает unintended действия, и с фишингом из-за использования методов социальной инженерии.