Hacker News Digest

28 августа 2025 г. в 15:14 • xeiaso.net • ⭐ 145 • 💬 48

OriginalHN

#aws#s3#sqs#kafka#rabbitmq#tailscale#vpc#message-queues#cloud-computing

Anything can be a message queue if you use it wrongly enough (2023)

Предупреждение: это сатира, не используйте в проде. Читая, вы клянётесь не повторять описанное.

Проблема

Managed NAT Gateway в AWS тарифицирует исходящий трафик по 0,07 $/ГБ и убивает стартапы счетами за облако.

Решение

Вместо него для веб-хуков можно:

  • поднять exit-ноду Tailscale с публичным IP;
  • привязать её к той же VPC;
  • получить шифрование и экономию до 700 %.
    Это единственный безопасный фрагмент статьи.

S3 как очередь

AWS начинался с S3, SQS и EC2. S3 — это malloc() для облака:

  • выделяете «память» (бакет);
  • кладёте туда объекты любой длины;
  • освобождаете, когда надоедает.

Аналогия с C: malloc() → указатель, free() → удаление объекта. Ошибка выделения → ENOMEM, дальше — краш.


Как превратить S3 в очередь

  1. Писать сообщения в виде объектов с ключом queue/<uuid>.json.
  2. Читать через ListObjectsV2 и GetObject.
  3. Удалять после обработки.
  4. Повторять раз в секунду — получаем «очередь» с задержкой ~1 с и бесплатным исходящим трафиком внутри региона.

Плюсы:

  • нет платы за NAT Gateway;
  • S3 дёшев и масштабируем;
  • можно шифровать объекты.

Минусы:

  • eventual consistency: сообщения могут дублироваться или задерживаться;
  • rate limit 3 500 PUT/COPY/POST/DELETE и 5 500 GET/HEAD на префикс;
  • ListObjects дорогой (0,005 $ за 1 000 запросов);
  • придётся реализовать ack/nack, dead-letter и backoff самому.

«Продвинутые» техники

  • Long polling: ждать, пока в бакете появится новый объект.
  • Fan-out: несколько читателей по префиксам.
  • Batching: складывать сообщения в один объект gzipом.
  • Priority: префиксы high/, low/.
  • FIFO: ключ queue/<timestamp>-<uuid>.json.
  • DLQ: префикс failed/.
  • Крон: Lambda по расписанию чистит старые сообщения.

Итог

S3-очередь — это пародия на архитектуру, но она работает и экономит деньги. Для настоящих задач используйте SQS, Kafka или RabbitMQ.