Hacker News Digest

• Скептик, но люблю эксперименты: качаю 12-ГБ модель и мак говорит почти как человек.
• Плюсы LLM: кратко пересказать текст, «погуглить» бытовые советы, выговориться в 4 часа ночи.
• Минусы: врут, не умеют творить, вызывают антропоморфизацию. Не доверяю корпорациям — хранят и тренируются на данных.

Зачем локально:

1. Интересно — магия без суперкомпьютера.
2. Секреты не уходят в облако.
3. Не плачу компаниям, которые врут, воруют и губят природу.

Как запустить на macOS:

Llama.cpp (open-source)

nix profile install nixpkgs#llama-cpp
llama-server -hf ggml-org/gemma-3-4b-it-qat-GGUF

Открыть http://127.0.0.1:8080 — минималистичный чат.

LM Studio (проприетарный, но красивый)
Скачать → выбрать модель → готово. Следит, чтобы не упал RAM, но риск эншитификации есть.