Hacker News Digest

Тег: #vram

Постов: 2

GPT-OSS-120B runs on just 8GB VRAM & 64GB+ system RAM (old.reddit.com)

by zigzag312 • 11 августа 2025 г. в 10:02 • 188 points

ОригиналHN

#llm#oss#llama.cpp#quantization#rtx-3060#macos#vram#ram#reddit

Комментарии (63)

  • Пользователи жалуются, что при росте контекста модель «убивается» скоростью обработки, хотя генерация токенов быстрая.
  • Вопросы безопасности: guard-rails вшиты, но есть форки «abliterated» и джейлбрейки, хотя они делают модель глупее.
  • Дискуссия о цене: 64–128 ГБ ОЗУ и RTX 3060 называют как «дешёвое» железо (< $1000), но для многих всё ещё дорого.
  • На 64 ГБ Mac и 16 ГБ MacBook Air удаётся запускать 20B и 4B квантованные модели, но function calling в llama.cpp пока сломан.
  • Появился патч, который должен починить llama.cpp; оптимизация экспертных слоёв через regex работает и на других MoE-моделях.

Open SWE: An open-source asynchronous coding agent (blog.langchain.com)

Open SWE — первый open-source агент для асинхронной разработки в облаке.
Подключается к вашим репозиториям GitHub, берёт задачи из issue и самостоятельно исследует код, пишет, тестирует, исправляет ошибки и открывает pull-request.

Как попробовать

  1. Перейдите на swe.langchain.com.
  2. Авторизуйтесь в GitHub и выберите репозитории.
  3. Добавьте ключ Anthropic в настройках.
  4. Создайте задачу и наблюдайте.

Особенности

  • Человек в цикле: агент показывает план, вы можете править, удалять или дополнять его без перезапуска.
  • Обратная связь на ходу: во время выполнения можно отправить новое сообщение — агент учтёт его без сбоя.
  • GitHub-нативность: задача = issue, результат = PR. Достаточно добавить метку open-swe-auto, чтобы агент начал работу.
  • Безопасность: каждая задача запускается в изолированном контейнере Daytona.
  • Облако: параллельные задачи, никакой нагрузки на ваш ПК.
  • Планирование и ревью: отдельные агенты Planner и Reviewer минимизируют поломки CI.

by palashshah • 08 августа 2025 г. в 16:16 • 95 points

ОригиналHN

#open-source#asynchronous#github#cloud#anthropic#agpl#vram

Комментарии (22)

  • Часть сообщества мечтает о полностью локальных, прозрачных агентах без облачных «чёрных ящиков» и навязанных UI.
  • Другие уверены, что будущее за долгоживущими, асинхронными, облачными агентами, которые уже почти умещаются в памяти пары вкладок Chrome.
  • Утилита вызывает подозрения: AGPL-код Daytona не раскрывает control-plane, а README сразу предлагает регистрацию в сервисе.
  • Пользователи жалуются на невосстановимые ошибки и просят переноса контекста между сессиями.
  • Скептики напоминают: VRAM всё ещё редкость, а «облачная» модель потребления данных не способствует технологической независимости.