Hacker News Digest

Разработчик с 18-летним опытом работы с AWS столкнулся с неожиданным счетом в $1000 за синхронизацию данных с S3. Несмотря на подтвержденную бесплатность передачи данных между EC2 и S3 в одном регионе, система показала 20 167 GB трафика через NAT Gateway за один день, что составило $907.53.

Проблема заключалась в том, что при использовании VPC с NAT Gateway весь трафик к S3 по умолчанию маршрутизируется через него, даже при работе в одном регионе. Решением стало создание бесплатного VPC Gateway Endpoint для S3, который обеспечивает прямой доступ к сервису без прохождения через NAT Gateway.

Эта ошибка подчеркивает скрытую сложность AWS-сетей и важность мониторинга расходов. Автор рекомендует включить AWS Cost Anomaly Detection для раннего обнаружения аномалий, что помогло ему избежать еще больших трат.

• AWS и другие облачные провайдеры не предоставляют механизмов жёсткого ограничения расходов, что приводит к «потерянным» счетам в тысячи долларов, и это рассматривается как «бизнес-модель».
• Сервисы вроде NAT Gateway и S3 VPC endpoints не только дорогие, но и неочевидны для новичков, что приводит к неожиданным счетам.
• AWS и другие облачные провайдеры не предоставляют прозрачных и понятных ценовых моделей, что делает невозможным для пользователей предвидеть и контролировать свои расходы.
• Пользователи, особенно стартапы и индивидуальные разработчики, не могут позволить себе такие счета, что делает их уязвимыми к таким ситуациям.
• Вместо того, чтобы предоставлять инструменты для контроля расходов, AWS и другие провайдеры полагаются на то, что пользователи будут внимательны и не сделают ошибок, что не является реалистичным ожиданием.

• EC2

  • Менять IAM-роли и security-groups можно без остановки инстанса.
  • EBS можно расширять, подключать и отключать «на горячую».
  • Принудительный stop/terminate без ожидания таймаута.
  • Live-migration между хостами почти убрала деградацию инстансов.
  • Надёжность выросла: «исчезновение» инстансов стало редкостью.
  • Spot-рынок стал стабильнее, без аукционов.
  • Dedicated Instances почти не нужны — даже для HIPAA.
  • AMI Block Public Access включён по умолчанию.

• S3

  • Стал строго согласованным (read-after-write).
  • Не нужно рандомить префиксы ключей для равномерного распределения.
  • ACL устарели и отключены по умолчанию.
  • Block Public Access включён на новых бакетах.
  • Шифрование покоя включено по умолчанию.

• AWS теперь по умолчанию блокирует публичный доступ к новым S3-бакетам; это снижает утечки, но усложняет легитимное открытие доступа.
• Пользователи обсуждают, что многие «улучшения» AWS — это просто исправление первоначально неудобных решений, и это влияет на репутацию.
• По-прежнему спорны детали: нужно ли случайное префиксирование ключей S3, почему NAT Gateway взимается за трафик внутри одного региона и почему Transit Gateway дороже peering.
• Некоторые разработчели «деградируют» от сложных serverless-стеков к простым EC2 + S3 + Route 53 ради простоты и экономии времени на IAM.
• Участники просят ежегодные сводки изменений и жалуются на ослабление платной поддержки AWS.