Hacker News Digest

Рост центров обработки данных для искусственного интеллекта вызвал дефицит жестких дисков, достигнув беспрецедентного уровня - некоторые корпоративные HDD заказаны на два года вперед. Гипермасштабные провайдеры вынуждены срочно переходить на QLC SSD, так как традиционные накопители не могут удовлетворить возросший спрос. Эксперты отмечают, что этот сдвиг происходит на фоне общего сжатия рынка DRAM, усугубляющего ситуацию с компонентами для хранения данных.

Производители HDD, такие как Seagate и Western Digital, не успевают наращивать мощности из-за ограниченных производственных линий и логистических проблем. В то же время, QLC SSD, хотя и дороже на гигабайт, предлагают более высокую производительность и плотность записи, что делает их привлекательными для ИИ-приложений. Аналитики прогнозируют, что этот переход может ускорить внедрение новых технологий хранения данных в отрасли.

• Задержки поставок корпоративных HDD увеличились на два года.
• Гипермасштабирующие компании переходят на QLC NAND-SSD для обхода дефицита HDD.
• Рост спроса на SSD может привести к повышению их цен по всему миру.

Судя по данным, жесткие диски действительно стали надежнее. Исследование Backblaze, ведущего поставщика облачных сервисов, показывает, что современные диски служат дольше и стабильнее работают в течение жизненного цикла.

Первоначальная модель "ванны" (bathtub curve) предполагала три фазы: ранние отказы, стабильный период и рост отказов по мере износа. Но данные Backblaze за 13 лет показывают, что современные диски начинают с минимальным числом ранних отказов, затем работают годами без сбоев, и только позже начинают увеличивать частоту отказов. Это больше похоже на пологий склон, чем на ванну.

В частности, средний возраст дисков в пуле Backblaze увеличился с 6-8 месяцев в 2013 году до 6-7 лет в 2024. При этом годовая норма отказов снизилась с 6,39% в 2014 году до 1,17% в 2024. Это демонстрирует значительное улучшение надежности, даже с учетом роста объема данных и изменения состава пула дисков.

Основные выводы:

• Современные диски имеют минимальные ранние отказы, что указывает на улучшенный контроль качества.
• Период стабильной работы удлинился, иногда до 8 лет и более.
• Даже при увеличении срока службы, годовая норма отказов снижается, что подтверждает улучшение надежности.

Это подтверждается данными Backblaze, которые включают миллионы дней работы диска. Тенденция ясна: диски не просто служат дольше; они стабильнее на протяжении всего срока службы.

• Обсуждение охватывает широкий спектр тем: от анализа отказов жестких дисков и их долговечности до стратегий резервного копирования и восстановления данных, включая использование ZFS, RAID и облачных хранилищ.
• Участники обмениваются личным опытом и мнениями о надежности различных производителей и моделей HDD и SSD, а также обсуждают влияние условий эксплуатации на срок службы накопителей.
• Обсуждаются практические аспекты, такие как стоимость, энергопотребление и плотность хранения данных, а также влияние технологических усовершенствований на эти параметры.
• Участники также затрагивают тему долгосрочного хранения данных, включая использование оптических носителей, магнитной ленты и облачных сервисов, и обсуждают их достоинства и недостатки.
• В обсуждении также поднимается вопрос о том, какие факторы влияют на отказы накопителей и какие меры можно предпринять для обеспечения целостности данных, включая использование корректных файловых систем и регулярное тестирование состояния накопителей.

Два 18 ТБ SATA-диска без бренда, купленные у европейского магазина datablocks.dev, оказались внешне слегка потертыми, но полностью рабочими. Цена — €13 за терабайт, что на 16,7 % дешевле, чем перепроданный Seagate. Диски пришли в картонной коробке с вмятиной и в антистатических пакетах, но без каких-либо кабелей или винтов. Автор тестирует их в домашнем сервере и делится впечатлениями: шум, энергопотребление и цена за гигабайт.

• Обсуждение показало, что пользователи используют ноутбуки как серверы и NAS, несмотря на ограничения вроде отсутствия ECC-RAM и множества SATA-портов.
• Участники обсуждали, что использование ноутбука в качестве сервера или NAS может быть экономически выгодным, особенно если учитывать стоимость электроэнергии и покупка готового решения.
• Обсуждались преимущества и недостатки использования ноутбука в качестве сервера, включая вопросы энергоэффективности, шумности, и возможность подключения внешних накопителей.
• Участники также обсудили, что использование ноутбука как сервера или NAS может быть более экономически выгодным, особенно если учитывать стоимость электроэнергии и покупка готового решения.