Weaponizing image scaling against production AI systems
-
Суть атаки: при загрузке большого изображения в Gemini CLI, Vertex AI, Google Assistant и др. системы изображение уменьшается до размеров модели. В момент масштабирования скрытые пиксель-инъекции становятся читаемыми как команды, позволяя красть данные или выполнять код без подтверждения пользователя.
-
Пример: в Gemini CLI через Zapier MCP (trust=True по умолчанию) отправка «безобидной» картинки приводит к выгрузке календаря на почту злоумышленника.
-
Масштаб: подтверждены атаки на веб-Gemini, API, Android-Assistant, Genspark и др. UI показывает оригинал, а модель видит уменьшенную версию с инъекцией.
-
Техника: используются алгоритмы downscale (nearest-neighbor, bilinear, Lanczos). Высокочастотные паттерны превращаются в читаемые символы при уменьшении.
-
Anamorpher: опенсорс-утилита для генерации таких «анаморфных» изображений.
-
Защита:
- отключить автоматическое масштабирование или запрашивать подтверждение;
- применять контент-фильтры к уменьшенной копии;
- запретить инлайн-вызовы инструментов без явного согласия;
- внедрить rate-limit и аудит действий агентов.