Hacker News Digest

Большинство ИИ-агентов (95%) терпят неудачу в продакшене не из-за недостатка интеллекта моделей, а из-за проблем с контекстной инженерией, управлением памятью и безопасностью. Ключевая идея: базовые модели — это почва, а контекст — семя. Успешные команды избегают тонкой настройки, вместо этого фокусируясь на продвинутом RAG с селективным отбором контекста, валидацией и гибридными архитектурами (семантический слой + метаданные).

Они применяют подход, схожий с feature engineering: версионирование, аудит и тестирование контекста, а не работа с ним как с неструктурированным текстом. Например, text-to-SQL системы редко работают из-за неоднозначности естественного языка и специфичности бизнес-терминологии. Решение — встраивание доменных онтологий и строгих схем, превращающих контекст в управляемый актив, а не в случайный набор данных.

• Обсуждается разрыв между завышенными ожиданиями от AI (восприятие как "магии") и реальностью, где 95% развертываний AI-агентов терпят неудачу из-за проблем с инфраструктурой, а не с моделями.
• Подчеркивается важность контекстного инжиниринга, проверенных бизнес-логик и шаблонов, а не прямого генеративного подхода (например, text-to-SQL).
• Многие решения на основе LLM сводятся к детерминированным системам (деревьям решений), что ставит под вопрос их необходимость вместо более простых и надежных альтернатив.
• Отмечается, что успех зависит от инженерии ("строительных лесов") — валидации, безопасности, слоев памяти — а не от интеллекта модели.
• Высказывается критика в адрес маркетинга AI как "волшебства" и генерации контента с помощью AI, который часто оказывается многословным и бессодержательным.

LLaMA-Factory — это унифицированный инструмент для эффективной тонкой настройки более 100 языковых и визуально-языковых моделей, представленный на ACL 2024. Он позволяет разработчикам адаптировать модели под конкретные задачи с минимальными затратами ресурсов, поддерживая популярные архитектуры вроде LLaMA и Mistral, а также многомодальные модели.

Инструмент предлагает гибкие методы обучения, включая LoRA и полную настройку параметров, и работает с различными аппаратными конфигурациями, от одного GPU до распределённых кластеров. Это значительно упрощает эксперименты и развёртывание кастомизированных моделей, экономя время и вычислительные мощности.

• Обсуждаются возможности и библиотеки для тонкой настройки (SFT), предобучения и RL-тренировки больших языковых моделей, включая LLaMA Factory и сравнение с Unsloth.
• Подчёркивается важность качественного подбора данных и аппаратного обеспечения (например, 8xH200 или A100 для серьёзных задач, потребительского GPU для меньших моделей).
• Отмечается практическая пользя тонкой настройки для создания узкоспециализированных моделей под конкретные задачи (например, text-to-SQL), способных конкурировать с большими hosted-моделями.
• Упоминаются альтернативные инструменты и подходы, такие как Axolotl для потребительского железа, Oumi (с синтезом данных и LLM-as-a-Judge) и коммерческие решения типа Nvidia NIM.
• Высказываются критические замечания о поддержке конкретных моделей (например, Deepseek) и локализации документации.