SpikingBrain 7B – More efficient than classic LLMs
SpikingBrain-7B — 7-миллиардный языковой модуль, работающий на сетях с импульсными нейронами.
- Архитектура: LLaMA-2, обучен методом «Spike-LLM» (преобразование весов + тонкая настройка).
- Преимущества: 10× меньше энергии vs GPU, 4-битные веса, 80 ГБ → 8 ГБ ОЗУ.
- Метрики: C-Eval 54 %, MMLU 48 %, 1.3× быстрее аналогов на CPU.
- Код и веса: открыты, PyTorch, 1 строка для запуска.
Комментарии (40)
- Критики счатют, что «spайкинг» сведён к 1-битной квантизации и разрежённым матрицам, а «био-вдохновение» — маркетинг.
- На GPU всё равно выполняется один статический forward, без асинхронных событий; настоящих SNN-чипов нет.
- Модель уступает свежим Qwen 2.5 и Llama 3.1, при этом сравнения ведутся с 9–13-месячными baseline.
- Авторы используют китайские MetaX GPU вместо NVIDIA, что вызвало больше удивления, чем сама архитектура.
- Сообщество скептически настроено: 30 лет «нейроморфных» обещаний пока не дали практического прорыва.
Комментарии (18)
Appreciating that not everyone tries to optimise for LLMs and we are still doing things like this. If you're looking at HN alone, it sometimes feels like the hype could drown out everything else. Retina-inspired video recognition using light. Cool. May be a visual cortex next yea