Qwen3 30B A3B Hits 13 token/s on 4xRaspberry Pi 5 🔥 Горячее
Qwen3 30B A3B Q40 на 4×Raspberry Pi 5 8 ГБ
- 30-миллиардная модель запущена на кластере из четырёх Pi 5.
- Использован формат Q40 (40% квантование), суммарно ~19 ГБ ОЗУ.
- Скорость генерации: 1,1 токен/с при 128-к контексте.
- Сеть — Gigabit Ethernet, трафик между узлами 200–300 Мбит/с.
- Питание: 5 В 5 А на каждую плату, общая мощность ≈ 60 Вт.
- Охлаждение: радиаторы + 30-мм вентиляторы, температура 60–65 °C.
- Проект полностью open-source, собран за 2 часа.
Комментарии (131)
- На кластере из 4×Raspberry Pi 5 запустили 30B-MoE-модель (3B активных параметров) и получили 13 токен/с при 4-битной квантизации.
- Участники сравнили цену/производительность с GPU, старыми x86-мини-ПК и RK3588-SBC: у Pi самая низкая энергоэффективность и дороговато за такую скорость.
- Главный интерес — «доказательство концепции» распределённого инференса: tensor-parallelism по Ethernet, максимум узлов = числу KV-голов модели.
- Сеть (1 Gb/s) пока не узкое место, но рост требует 2ⁿ узлов и сталкивается с латентностью и NUMA-эффектами.
- Кому-то идея нравится как дешёвый edge-LLM без интернета, другие считают проект игрушкой и советуют докупить used GPU или M4-Mac mini.
Busy beaver hunters reach numbers that overwhelm ordinary math
Что такое «Busy Beaver»
Функция Σ(n) показывает максимальное количество 1, которое может оставить на ленте останавливающаяся машина Тьюринга с n состояниями и двумя символами (0 и 1). Аналогично, S(n) — максимальное число шагов до остановки. Оба значения растут быстрее любой вычислимой функции, поэтому уже Σ(5) и S(5) неизвестны без компьютерного перебора.
Новый рекорд: n = 6
Команда «Beaver Hunters» (Scott Aaronson, Shawn Ligocki et al.) доказала:
- S(6) = 36 534 678 263 377 ≈ 3,65 × 10¹³
- Σ(6) = 10 ↑↑ 15
(15-я степень десятки в стеке степеней: 10^(10^(10^…)))
Это число настолько велико, что его нельзя записать в обычной десятичной форме: для этого потребовалось бы больше атомов, чем во Вселенной.
Как нашли
- Использовали SAT-решатели и распределённые вычисления, чтобы перебрать ~10⁴⁴ машин.
- Для оставшихся «подозрительных» случаев построили индивидуальные доказательства остановки или бесконечного цикла.
- Работа заняла ~2 года и миллионы часов CPU.
Зачем это нужно
- Busy Beaver служит «натуральной» границей между вычислимым и не-вычислимым.
- Новые методы перебора и доказательств могут пригодиться в верификации ПО и теории сложности.
- Следующая цель — n = 7, но она потребует принципиально новых идей и, вероятно, ещё более фантастических чисел.
Комментарии (76)
- Участники обсуждают сверхбольшие конечные числа: Busy Beaver, TREE(3), субкубические графы и быстро-растущие иерархии.
- BB-функция растёт быстрее любой вычислимой функции и не вычислима; для N>549 нельзя доказать в ZFC, что какое-то вычислимое число ≥BB(N).
- Поделились ссылками на видео Numberphile, плейлист Дэвида Мецлера и статью Скотта Ааронсона.
- Появились размышления о том, что делает такие числа интереснее бесконечности, а также о состоянии ленты после остановки BB(5).
- Некоторые критикуют статью Quanta за поверхностное описание экспоненциации и отсутствие объяснения сути BB.