Hacker News Digest

Автор успешно развернул самодельный S3-совместимый сервер на 10 ТБ, используя б/у Framework-ноутбук без экрана и внешний JBOD-массив дисков. В качестве ПО выбраны ZFS для файловой системы и Garage S3 для объектного хранилища. Система стабильно работала автономно несколько месяцев, накопив 10 ТБ данных, а после перезагрузки и обновления Garage с v1 до v2 продолжила работу без сбоев.

Изначально возникали проблемы из-за хранения метаданных SQLite на JBOD, подключённом по USB, что вызывало ошибки ZFS при высокой нагрузке. Решением стало перенос метаданных на внутренний накопитель ноутбука. Проект демонстрирует, что даже нестандартные конфигурации могут быть надёжными при грамотной настройке.

• Обсуждаются альтернативы для создания домашнего NAS: использование старого ноутбука Framework в корпусе Cooler Master, Raspberry Pi с LVM2, Dell T30 с ZFS или готовые решения вроде Ubiquti.
• Сравниваются S3-совместимые объектные хранилища: Minio (критика из-за урезания бесплатной версии), Garage (простота настройки), Ceph (сложность, но гибкость) и SeaweedFS (меньше ручной конфигурации).
• Поднимаются вопросы о конфигурации ZFS (использование RAIDZ1, зеркал, отправка снапшотов) и её пригодности для USB-подключений, а также альтернативах вроде btrfs.
• Обсуждаются сценарии использования самодельного S3: бэкапы (включая гибридные сценарии с AWS Glacier), хранение логов, APK и медиатеки.
• Высказываются опасения по поводу надежности JBOD over USB, рисков потери данных при случайном отключении и отсутствия избыточности для метаданных.

AWS S3 достигает экстремальной производительности в 1 петабайт в секунду и 150 миллионов запросов в секунду, несмотря на использование медленных жёстких дисков (HDD). Ключ к масштабированию — дешёвая экономика HDD: их цена за байт упала в 6 миллиардов раз с поправкой на инфляцию, а ёмкость выросла в 7,2 миллиона раз. Однако физические ограничения — механическое движение считывающих головок и скорость вращения пластин (~7200 оборотов в минуту — держат IOPS на уровне всего ~120 на диск уже 30 лет.

Система компенсирует это массовым параллелизмом: десятки миллионов дисков работают вместе, распределяя нагрузку. S3 использует многопользовательскую архитектуру, обеспечивая высокую доступность и долговечность данных при низкой стоимости. Это инженерное чудо, превращающее медленные, но дёшевые компоненты в мощнейший бэкбон современного интернета.

• Обсуждается архитектура AWS S3, включая использование HDD для хранения данных и SSD для метаданных и кеширования, а также применение эратур-кодирования и шардинга для повышения надежности и производительности.
• Поднимается вопрос о том, как S3 достигает высокой пропускной способности благодаря массовому параллелизму миллионов дисков, что позволяет превысить производительность отдельного HDD.
• Участники обсуждают возможные альтернативы S3 для развертывания в homelab или частных облаках, такие как Ceph, MinIO, SeaweedFS, Garage и Gluster, отмечая их особенности и требования к железу.
• Затрагивается экономический аспект: несмотря на падение цен на HDD, стоимость S3 остается стабильной годами, что связывают с недостатком конкуренции и высокой рентабельностью для AWS.
• В комментариях уточняются технические детали, например, расчет среднего времени поиска на диске и использование различных схем шардинга, отличных от упомянутых в исходной статье.