Hacker News Digest

Разработчик с 18-летним опытом работы с AWS столкнулся с неожиданным счетом в $1000 за синхронизацию данных с S3. Несмотря на подтвержденную бесплатность передачи данных между EC2 и S3 в одном регионе, система показала 20 167 GB трафика через NAT Gateway за один день, что составило $907.53.

Проблема заключалась в том, что при использовании VPC с NAT Gateway весь трафик к S3 по умолчанию маршрутизируется через него, даже при работе в одном регионе. Решением стало создание бесплатного VPC Gateway Endpoint для S3, который обеспечивает прямой доступ к сервису без прохождения через NAT Gateway.

Эта ошибка подчеркивает скрытую сложность AWS-сетей и важность мониторинга расходов. Автор рекомендует включить AWS Cost Anomaly Detection для раннего обнаружения аномалий, что помогло ему избежать еще больших трат.

• AWS и другие облачные провайдеры не предоставляют механизмов жёсткого ограничения расходов, что приводит к «потерянным» счетам в тысячи долларов, и это рассматривается как «бизнес-модель».
• Сервисы вроде NAT Gateway и S3 VPC endpoints не только дорогие, но и неочевидны для новичков, что приводит к неожиданным счетам.
• AWS и другие облачные провайдеры не предоставляют прозрачных и понятных ценовых моделей, что делает невозможным для пользователей предвидеть и контролировать свои расходы.
• Пользователи, особенно стартапы и индивидуальные разработчики, не могут позволить себе такие счета, что делает их уязвимыми к таким ситуациям.
• Вместо того, чтобы предоставлять инструменты для контроля расходов, AWS и другие провайдеры полагаются на то, что пользователи будут внимательны и не сделают ошибок, что не является реалистичным ожиданием.

Предупреждение: это сатира, не используйте в проде. Читая, вы клянётесь не повторять описанное.

Проблема

Managed NAT Gateway в AWS тарифицирует исходящий трафик по 0,07 $/ГБ и убивает стартапы счетами за облако.

Решение

Вместо него для веб-хуков можно:

• поднять exit-ноду Tailscale с публичным IP;
• привязать её к той же VPC;
• получить шифрование и экономию до 700 %.
  Это единственный безопасный фрагмент статьи.

---

S3 как очередь

AWS начинался с S3, SQS и EC2. S3 — это malloc() для облака:

• выделяете «память» (бакет);
• кладёте туда объекты любой длины;
• освобождаете, когда надоедает.

Аналогия с C: malloc() → указатель, free() → удаление объекта. Ошибка выделения → ENOMEM, дальше — краш.

---

Как превратить S3 в очередь

1. Писать сообщения в виде объектов с ключом queue/<uuid>.json.
2. Читать через ListObjectsV2 и GetObject.
3. Удалять после обработки.
4. Повторять раз в секунду — получаем «очередь» с задержкой ~1 с и бесплатным исходящим трафиком внутри региона.

Плюсы:

• нет платы за NAT Gateway;
• S3 дёшев и масштабируем;
• можно шифровать объекты.

Минусы:

• eventual consistency: сообщения могут дублироваться или задерживаться;
• rate limit 3 500 PUT/COPY/POST/DELETE и 5 500 GET/HEAD на префикс;
• ListObjects дорогой (0,005 $ за 1 000 запросов);
• придётся реализовать ack/nack, dead-letter и backoff самому.

---

«Продвинутые» техники

• Long polling: ждать, пока в бакете появится новый объект.
• Fan-out: несколько читателей по префиксам.
• Batching: складывать сообщения в один объект gzipом.
• Priority: префиксы high/, low/.
• FIFO: ключ queue/<timestamp>-<uuid>.json.
• DLQ: префикс failed/.
• Крон: Lambda по расписанию чистит старые сообщения.

---

Итог

S3-очередь — это пародия на архитектуру, но она работает и экономит деньги. Для настоящих задач используйте SQS, Kafka или RabbitMQ.

• Участники вспомнили, как в 90-х использовали Microsoft Exchange вместо дорогого TIBCO, а Amazon Video — S3 вместо очереди, и оба решения оказались «костылями».
• Подчеркивают, что очередь — это просто быстрый конечный автомат, но самописные варианты на SQL или Git-вебхуках быстро ломаются под нагрузкой.
• Некоторые шутят, что любую технологию можно превратить в очередь или базу, если использовать её «достаточно неправильно».
• Обсуждают юридические проблемы с IP, когда хобби-проект пересекается с работой, и сравнивают цены AWS с Whole Foods.
• В итоге сходятся во мнении: костыль может работать, но рано или поздно придётся платить за правильное решение.