Hacker News Digest

• Цель: создать единый фреймворк для тестов производительности Ollama на двух конфигурациях:

  1. настольная материнка (1×CPU, 1×GPU, 128 ГБ ОЗУ);
  2. кластер из 4 узлов (по 64 ГБ ОЗУ, 1×GPU, 10 GbE).

• Методика

  • Одинаковые образы Docker/Podman на обеих платформах.
  • Набор моделей: llama3.1:8b, codellama:13b, mistral:7b, qwen2.5:32b.
  • Метрики: t/s, TTFT, TPS, Watts, $/1k токенов.
  • Повторять 3×, усреднять, выводить ±σ.

• Автоматизация

  • Ansible-playbook разворачивает Ollama, node-exporter, prometheus, grafana.
  • Скрипт run-suite.sh последовательно запускает каждую модель с 512, 2 048, 4 096 токенов ввода/вывода.
  • Результаты пишутся в CSV и публикуются в PR как results-<platform>-<date>.md.

• Сравнение

  • Построить графики «токен/с vs. Watts» и «$/1k токенов vs. модель».
  • Выделить break-even точку, где кластер начинает выигрывать по стоимости при одновременной обработке ≥3 моделей.

• AMD Framework Desktop (AI Max+ 395) показывает 2,5–3× прирост к RTX 4000 SFF Ada 20 ГБ, но уступает 9950X из-за низкого TDP.
• Для локального запуска LLM рекомендуют RTX 3090 (24 ГБ) как лучшее ценовое решение, либо Apple/AMD при необходимости >20 ГБ памяти.
• ROCm и Linux-стек работают стабильно, но потенциал iGPU/NPU ещё не раскрыт; тесты велись в llama.cpp.
• Для масштабирования предлагают distributed-llama, Exo и llama.cpp-RPC, а также Oculink/eGPU-конфигурации.
• Продукт выглядит нишевым: ML-инференс дома, но для «обычных» задач лучше Threadripper или сервер.

• Цель: перенести все сервисы с VPS домой на Minisforum UM880 Plus (Ryzen 7 8840U, 32 ГБ ОЗУ).
• Задачи: безопасные эксперименты, изучение k3s → k8s/Talos, отказ от облаков.
• Угрозы: кража, выход железа, человеческий фактор.
• Меры: полное шифрование диска, автоматические бэкапы, восстановление по Ansible, Wake-on-LAN через KVM.

Подготовка хоста Proxmox

1. Чистая установка Debian 12 с LVM-on-LUKS, отдельный /boot на флешке.
2. Proxmox VE 8 ставится поверх Debian:
   • добавить репу pve-no-subscription;
   • после установки сломалась сеть — оказалось, ifupdown2 не ставится, надо ifupdown + ручной /etc/network/interfaces.
3. Bridge vmbr0 на основе enp3s0 для ВМ.

Автоматизация Ansible

• Плейбук proxmox.yml:
  • ставит ключи, репу, пакеты, настраивает сеть, отключает подписку.
• Запуск:

  ansible-playbook -i hosts.ini proxmox.yml -K
  

Итого: за час получаем переустанавливаемый, зашифрованный, готовый к ВМ кластер без облаков.

• Участники обсуждают, стоит ли вообще строить домашний сервер: кто-то считает это дорогим хобби и источником постоянных проблем, кто-то — отличным способом учиться и сохранять контроль над данными.
• Главные минусы: высокая стоимость электричества в ряде регионов, отсутствие ECC-памяти у дешёвых железок, риск отключения питания и необходимость ручного восстановления.
• Часть людей экономит на VPS и облаке, собирая NAS из подержанных Dell Wyse 5070 или Minisforum-мини-ПК; другие предпочитают б/у серверные Xeon-ы за расширяемость.
• Безопасность и надёжность: кто-то ставит UPS и даже солнечные панели, кто-то сознательно принимает простои и использует WireGuard для удалённого включения.
• Подводный итог: если цель — учёба и полный контроль, хоумлаб «свой»; если нужен 100 % uptime и минимум времени — дешевле и проще взять облако или VPS.