Hacker News Digest

OpenPCC — это open-source фреймворк, обеспечивающий доказуемо приватный вывод для моделей искусственного интеллекта. Проект фокусируется на защите конфиденциальности данных при выполнении инференса, позволяя организациям использовать ИИ без компромиссов в безопасности. Фреймворк реализует криптографические протоколы, гарантирующие, что исходные данные пользователей остаются защищенными даже при обработке на сторонних серверах.

Ключевая особенность — возможность математически доказать соблюдение приватности через криптографические примитивы. Поддерживает различные архитектуры моделей и оптимизирован для производительности. Разработчики подчеркивают, что система не требует изменения существующего кода моделей, что упрощает интеграцию. Проект призван решить растущую проблему конфиденциальности в эпоху облачных вычислений и распределенного ИИ, предлагая прозрачный и верifiable подход к защите пользовательских данных.

• Обсуждение вращается вокруг конфиденциального вычисления: участники обсуждают, какие именно гарантии предоставляет Apple и другие решения, и какие уязвимости остаются.
• Поднимается вопрос, что именно подразумевается под "конфиденциальностью" и какие именно угрозы мы пытаемся предотвратить.
• Участники спорят, насколько критично важно иметь открытый исходный код и возможность самостоятельно собрать бинарник, чтобы убедиться, что в нем нет бэкдоров.
• Обсуждается, что на практике может означать "открытый исходный код" и почему это важно для безопасности и конфиденциальности.
• Некоторые участники высказывают мнение, что в конечном счете важно не столько само решение, сколько доверие к провайдеру, и что в конечном счете доверие к провайдеру может быть важнее, чем к конкретному техническому решению.

Tinker — это гибкий API для тонкой настройки языковых моделей, который позволяет исследователям и разработчикам экспериментировать с алгоритмами и данными, абстрагируясь от сложностей распределённого обучения. Сервис поддерживает модели разных масштабов, включая крупные смешанные экспертные архитектуры вроде Qwen-235B-A22B, и переключение между ними сводится к изменению одной строки в коде.

Tinker работает как управляемый сервис на внутренней инфраструктуре, автоматизируя планирование, распределение ресурсов и восстановление после сбоев, а для снижения затрат использует LoRA. API предоставляет низкоуровневые примитивы вроде forward_backward и sample, а открытая библиотека Tinker Cookbook содержит готовые реализации современных методов пост-обучения. Уже использовался группами из Принстона, Стэнфорда, Беркли и Redwood Research для задач от доказательства теорем до RL-настройки моделей.

• Критика условий обслуживания (TOS) за предоставление компании неограниченного доступа к данным пользователей
• Обсуждение технических преимуществ Tinker как единого фреймворка для пост-обучения моделей с управлением сложностью
• Вопросы о уникальном торговом предложении (USP) и практической пользе тонкой настройки моделей по сравнению с использованием флагманских продуктов
• Скептицизм относительно бизнес-модели и целесообразности запуска инфраструктурного продукта стартапом с высокой оценкой
• Дебаты о названии компании и его возможных оскорбительных коннотациях в англоязычных странах

Qwen3 30B A3B Q40 на 4×Raspberry Pi 5 8 ГБ

• 30-миллиардная модель запущена на кластере из четырёх Pi 5.
• Использован формат Q40 (40% квантование), суммарно ~19 ГБ ОЗУ.
• Скорость генерации: 1,1 токен/с при 128-к контексте.
• Сеть — Gigabit Ethernet, трафик между узлами 200–300 Мбит/с.
• Питание: 5 В 5 А на каждую плату, общая мощность ≈ 60 Вт.
• Охлаждение: радиаторы + 30-мм вентиляторы, температура 60–65 °C.
• Проект полностью open-source, собран за 2 часа.

• На кластере из 4×Raspberry Pi 5 запустили 30B-MoE-модель (3B активных параметров) и получили 13 токен/с при 4-битной квантизации.
• Участники сравнили цену/производительность с GPU, старыми x86-мини-ПК и RK3588-SBC: у Pi самая низкая энергоэффективность и дороговато за такую скорость.
• Главный интерес — «доказательство концепции» распределённого инференса: tensor-parallelism по Ethernet, максимум узлов = числу KV-голов модели.
• Сеть (1 Gb/s) пока не узкое место, но рост требует 2ⁿ узлов и сталкивается с латентностью и NUMA-эффектами.
• Кому-то идея нравится как дешёвый edge-LLM без интернета, другие считают проект игрушкой и советуют докупить used GPU или M4-Mac mini.

Что такое «Busy Beaver»
Функция Σ(n) показывает максимальное количество 1, которое может оставить на ленте останавливающаяся машина Тьюринга с n состояниями и двумя символами (0 и 1). Аналогично, S(n) — максимальное число шагов до остановки. Оба значения растут быстрее любой вычислимой функции, поэтому уже Σ(5) и S(5) неизвестны без компьютерного перебора.

Новый рекорд: n = 6
Команда «Beaver Hunters» (Scott Aaronson, Shawn Ligocki et al.) доказала:

• S(6) = 36 534 678 263 377 ≈ 3,65 × 10¹³
• Σ(6) = 10 ↑↑ 15
  (15-я степень десятки в стеке степеней: 10^(10^(10^…)))

Это число настолько велико, что его нельзя записать в обычной десятичной форме: для этого потребовалось бы больше атомов, чем во Вселенной.

Как нашли

• Использовали SAT-решатели и распределённые вычисления, чтобы перебрать ~10⁴⁴ машин.
• Для оставшихся «подозрительных» случаев построили индивидуальные доказательства остановки или бесконечного цикла.
• Работа заняла ~2 года и миллионы часов CPU.

Зачем это нужно

• Busy Beaver служит «натуральной» границей между вычислимым и не-вычислимым.
• Новые методы перебора и доказательств могут пригодиться в верификации ПО и теории сложности.
• Следующая цель — n = 7, но она потребует принципиально новых идей и, вероятно, ещё более фантастических чисел.

• Участники обсуждают сверхбольшие конечные числа: Busy Beaver, TREE(3), субкубические графы и быстро-растущие иерархии.
• BB-функция растёт быстрее любой вычислимой функции и не вычислима; для N>549 нельзя доказать в ZFC, что какое-то вычислимое число ≥BB(N).
• Поделились ссылками на видео Numberphile, плейлист Дэвида Мецлера и статью Скотта Ааронсона.
• Появились размышления о том, что делает такие числа интереснее бесконечности, а также о состоянии ленты после остановки BB(5).
• Некоторые критикуют статью Quanta за поверхностное описание экспоненциации и отсутствие объяснения сути BB.