Hacker News Digest

Тег: #ubuntu

Постов: 2

Ollama and gguf (github.com)

Проблема: модель gpt-oss-20b.gguf не запускается в Ollama.
Симптом: при попытке ollama run процесс зависает на 0 % и через минуту падает без явной ошибки.

Окружение:

  • Ubuntu 22.04, 64 ГБ ОЗУ, RTX 4090
  • Ollama 0.3.6 (AppImage и Docker)
  • Файл gpt-oss-20b.q4_0.gguf взят из официального репозитория TheBloke, 11 ГБ

Лог:

ggml_cuda_init: found 1 CUDA device
llama_model_load: error loading model: missing tensor 'token_embd.weight'
llama_load_model_from_file: failed to load model

Причина: в GGUF-файле отсутствует обязательный тензор token_embd.weight.

Решение:

  1. Перекачать модель (curl -L -o gpt-oss-20b.q4_0.gguf …) и проверить хэш.
  2. Если проблема сохраняется — использовать другой квант (q4_K_M или q5_0).
  3. Либо конвертировать оригинальные веса самостоятельно через llama.cpp/convert.py.

by indigodaddy • 11 августа 2025 г. в 17:54 • 156 points

Оригинал • HN

#ollama#gguf#llama.cpp#ggml#cuda#quantization#docker#ubuntu#github

Комментарии (70)

  • Ollama отказалась от llama.cpp в пользу собственной обвязки над ggml, что ломает совместимость с GGUF-моделями и вынуждает «переизобретать велосипед».
  • Пользователи жалуются на проприетарные квантизации, отсутствие поддержки шардированных GGUF > 48 ГБ и игнорирование upstream.
  • Альтернативы: запуск llama-server напрямую или готовые контейнеры Ramalama / Docker Model Runner.
  • Сторонники Ollama отмечают удобство установки и готовые модели, но критики считают это «эншитификацией» и подготовкой к монетизации.

RISC-V single-board computer for less than 40 euros (heise.de)

  • Pine64 Star64 — плата на RISC-V за €39,99

    • 4-ядерный JH7110 (1,5 ГГц), 2 ГБ LPDDR4, Wi-Fi 5/BT 5.2, HDMI 4K, PCIe, GPIO 40-pin.
    • Поддерживает Linux (Ubuntu, Fedora) и RTOS (Zephyr).
    • Питание через USB-C 5 В/3 А; корпус и eMMC опционально.

  • Доступность

    • Продажи стартуют 12 августа в магазине Pine64 и у партнёров.

by doener • 08 августа 2025 г. в 21:59 • 161 points

Оригинал • HN

#risc-v#pine64#linux#ubuntu#fedora#zephyr#pci-e#gpio

Комментарии (80)

  • VisionFive 2 Lite — дешёвая RISC-V плата, но JH7110 не соответствует RVA23, что может вызвать проблемы с Ubuntu.
  • Производительность ближе к Pi 4 при CLI-задачах, но без SIMD; для GUI и современных ПО памяти может не хватить.
  • Поддержка Linux/Fedora/Debian хорошая, но многое из «обычного» ПО не тестируется на riscv64.
  • Нет полноценного PCIe-слота и открытого GPU-драйвера; нужна M.2-SSD и максимум ОЗУ.
  • Питание можно через PoE-сплиттер, встроенной flash нет, что полезно для офлайн-криптографии.
  • Cookie-баннер статьи вызвал бурю негодования: отсутствует кнопка «отклонить всё», приходится пользоваться блокировщиками или зеркалами.