Hacker News Digest

Проект k8s-1m ставит амбициозную цель создать полностью функциональный Kubernetes-кластер на 1 миллион узлов. В то время как текущие облачные провайдеры поддерживают кластеры до 100 тысяч узлов (AWS) и 65 тысяч (Google), существует много споров о практических ограничениях масштабирования Kubernetes. Автор подчеркивает, что дискуссии часто не подкреплены конкретными данными и доказательствами, что приводит к излишней осторожности при масштабировании.

Проект нацелен на выявление фундаментальных ограничений, мешающих масштабированию, и понимание того, являются ли эти ограничения программными или аппаратными. Автор отмечает: "Многие ограничения накладываются программным обеспечением. Как инженеры-программисты, именно нам нужно работать над этими ограничениями". Первым серьезным вызовом становится масштабируемость etcd — ключевого компонента хранения Kubernetes, который столкнется с огромным объемом данных при работе с миллионом узлов.

• Обсуждение показало, что масштабирование Kubernetes до 1 млн узлов требует отказа от etcd в пользу собственного хранилища состояния, что вызывает споры о ценности гарантий согласованности состояния кластера.
• Участники обсуждали, что гипотетически кластер с 1 млн узлов может быть не более чем совокупность изолированных кластеров, каждый из которых имеет собственное хранилище состояния.
• Были упомянуты альтернативы вроде FoundationDB и FoundationDB, но не было представлено никаких конкретных данных о том, как они ведут себя при таком масштабе.
• Участники также обсудили, что гипотетический кластер с 1 млн узлов может быть не более чем совокупность изолированных кластеров, каждый из которых имеет собственное хранилище состояния.

TigerBeetle — это финансовый транзакционный движок, построенный на принципах, противоположных общепринятым: медленная разработка кода, детерминированное симуляционное тестирование и нулевые зависимости. Вместо SQL он использует примитивы дебета и кредита, что соответствует изначальной цели транзакционных систем — обеспечению бизнес-операций, как описал ещё Джим Грей в 1985 году.

Традиционные SQL-базы требуют 10–20 запросов для обработки одной финансовой транзакции, создавая узкие места, особенно при работе с «горячими» счетами. TigerBeetle, написанный на Zig, предлагает распределённую архитектуру по умолчанию, статическое выделение памяти и assertions в продакшене. Это ответ на растущие потребности в мгновенных платежах и реальном биллинге, где скорость и надёжность критичны.

• Участники обсуждают технические особенности TigerBeetle, включая его специализацию на финансовых операциях, детерминированное тестирование и минималистичный подход к зависимостям.
• Высказываются критические замечания: отсутствие поддержки многопоточности для масштабирования, проблемы с аутентификацией и совместимостью с облачными платформами, такими как Cloudflare Workers.
• Поднимается вопрос о потенциальной предвзятости статьи, так как её автор является инвестором проекта.
• Отмечается, что традиционные SQL-базы данных по-прежнему эффективно справляются с большинством задач, несмотря на возраст.
• Обсуждаются возможные аналоги TigerBeetle, такие как FoundationDB, и его применимость за пределами финансового сектора.