Anything can be a message queue if you use it wrongly enough (2023)
Предупреждение: это сатира, не используйте в проде. Читая, вы клянётесь не повторять описанное.
Проблема
Managed NAT Gateway в AWS тарифицирует исходящий трафик по 0,07 $/ГБ и убивает стартапы счетами за облако.
Решение
Вместо него для веб-хуков можно:
- поднять exit-ноду Tailscale с публичным IP;
- привязать её к той же VPC;
- получить шифрование и экономию до 700 %.
Это единственный безопасный фрагмент статьи.
S3 как очередь
AWS начинался с S3, SQS и EC2. S3 — это malloc()
для облака:
- выделяете «память» (бакет);
- кладёте туда объекты любой длины;
- освобождаете, когда надоедает.
Аналогия с C: malloc()
→ указатель, free()
→ удаление объекта. Ошибка выделения → ENOMEM
, дальше — краш.
Как превратить S3 в очередь
- Писать сообщения в виде объектов с ключом
queue/<uuid>.json
. - Читать через
ListObjectsV2
иGetObject
. - Удалять после обработки.
- Повторять раз в секунду — получаем «очередь» с задержкой ~1 с и бесплатным исходящим трафиком внутри региона.
Плюсы:
- нет платы за NAT Gateway;
- S3 дёшев и масштабируем;
- можно шифровать объекты.
Минусы:
- eventual consistency: сообщения могут дублироваться или задерживаться;
- rate limit 3 500 PUT/COPY/POST/DELETE и 5 500 GET/HEAD на префикс;
- ListObjects дорогой (0,005 $ за 1 000 запросов);
- придётся реализовать ack/nack, dead-letter и backoff самому.
«Продвинутые» техники
- Long polling: ждать, пока в бакете появится новый объект.
- Fan-out: несколько читателей по префиксам.
- Batching: складывать сообщения в один объект gzipом.
- Priority: префиксы
high/
,low/
. - FIFO: ключ
queue/<timestamp>-<uuid>.json
. - DLQ: префикс
failed/
. - Крон: Lambda по расписанию чистит старые сообщения.
Итог
S3-очередь — это пародия на архитектуру, но она работает и экономит деньги. Для настоящих задач используйте SQS, Kafka или RabbitMQ.