Комментарии (63)
- Пользователи жалуются, что при росте контекста модель «убивается» скоростью обработки, хотя генерация токенов быстрая.
- Вопросы безопасности: guard-rails вшиты, но есть форки «abliterated» и джейлбрейки, хотя они делают модель глупее.
- Дискуссия о цене: 64–128 ГБ ОЗУ и RTX 3060 называют как «дешёвое» железо (< $1000), но для многих всё ещё дорого.
- На 64 ГБ Mac и 16 ГБ MacBook Air удаётся запускать 20B и 4B квантованные модели, но function calling в llama.cpp пока сломан.
- Появился патч, который должен починить llama.cpp; оптимизация экспертных слоёв через regex работает и на других MoE-моделях.
PCIe 8.0 announced by the PCI-Sig will double throughput again 💬 Длинная дискуссия
PCI-SIG анонсировала PCIe 8.0
- Пропускная способность вдвое выше PCIe 7.0: до 256 ГТ/с на линию.
- Технология: PAM4, 32 ГТ/с, 0,5 В амплитуда, < 1 Вт/лейн энергопотребление.
- Обратная совместимость с предыдущими поколениями.
- Спецификация выйдет в 2027 г., первые продукты — 2028–2029 гг.
- Цели: ИИ-акселераторы, HPC, NVMe-накопители, 800 Гбит/с сети.
Комментарии (188)
- Кто-то предлагает «перевернуть» архитектуру: пусть GPU-PCB станет материнской платой, а CPU с памятью встаёт в PCIe-слот.
- Обсуждают, что PCIe-спецификация всегда на три поколения впереди реальных продуктов: сейчас в работе уже Gen 8.
- Пользователи жалуются на нехватку линий PCIe в десктопах и мечтают о GPU-сокете с собственными слотами RAM.
- EE и другие специалисты считают это скорее проблемой экосистемы и совместимости, чем чисто инженерной.
- Упоминают, что в дата-центрах (DGX, DPU, NVMe-«без-сервера») похожая идея уже реализована.