Комментарии (63)
- Пользователи жалуются, что при росте контекста модель «убивается» скоростью обработки, хотя генерация токенов быстрая.
- Вопросы безопасности: guard-rails вшиты, но есть форки «abliterated» и джейлбрейки, хотя они делают модель глупее.
- Дискуссия о цене: 64–128 ГБ ОЗУ и RTX 3060 называют как «дешёвое» железо (< $1000), но для многих всё ещё дорого.
- На 64 ГБ Mac и 16 ГБ MacBook Air удаётся запускать 20B и 4B квантованные модели, но function calling в llama.cpp пока сломан.
- Появился патч, который должен починить llama.cpp; оптимизация экспертных слоёв через regex работает и на других MoE-моделях.
Teacher AI use is already out of control and it's not ok 💬 Длинная дискуссия
—
Комментарии (171)
These examples show that we have a serious social issue, and it's not limited to teachers. People misuse LLMs. We engineers understand that LLMs are products under development. They only work correctly under certain circumstances, and they have limitations and non-perfect evaluat