Hacker News Digest

OpenAI выпустила chatkit-js — JavaScript-библиотеку для создания чат-интерфейсов с поддержкой их моделей ИИ. Она упрощает интеграцию чат-функциональности в веб-приложения, предоставляя готовые компоненты и API для управления диалогами, историей сообщений и реальным взаимодействием с пользователем.

Библиотека включает обработку потоковых ответов, управление состоянием чата и настройку интерфейса. Это ускоряет разработку чат-приложений, снижая необходимость в ручной реализации сложной логики. Практический вывод: инструмент полезен для быстрого прототипирования и продакшн-решений на базе OpenAI.

• Критика заявленной "независимости от фреймворков" при поддержке только React и отсутствии интеграции с бэкенд-фреймворками
• Опасения по поводу привязки к OpenAI (вендор-локин) и отсутствия поддержки других моделей ИИ (например, Claude)
• Отмечается сходство с существующими решениями (CopilotKit, AG-UI) и их недостатки, включая платность и закрытый исходный код
• Предложения по интеграции ИИ через тегирование в существующие интерфейсы (как в Figma или Google Docs), а не через отдельный чат
• Обсуждение бизнес-модели и необходимости функции "Bring your own subscription" для применения собственных квот и API-ключей

## Простой RAG с PageIndex

**Цель**  
Показать, как за 5 минут построить полноценный Retrieval-Augmented Generation пайплайн на базе PageIndex.

---

### 1. Установка и импорт

```bash
pip install pageindex openai

import pageindex, openai, os
openai.api_key = os.getenv("OPENAI_API_KEY")

---

2. Загрузка документов

Поддерживаются PDF, DOCX, TXT, MD, PPTX, CSV, JSON.

docs = pageindex.load_documents("data/")
index = pageindex.Index(name="my_docs")
index.add_documents(docs)

---

3. Поиск и генерация

query = "Какие преимущества RAG?"
chunks = index.search(query, top_k=3)

context = "\n".join(c.text for c in chunks)
prompt = f"Используй контекст:\n{context}\n\nВопрос: {query}"

answer = openai.ChatCompletion.create(
    model="gpt-3.5-turbo",
    messages=[{"role": "user", "content": prompt}]
).choices[0].message.content

print(answer)

---

4. Потоковый чат

chat = index.chat_session(model="gpt-4")
print(chat.ask("Сравни RAG и fine-tuning"))

---

5. Сохранение и переиспользование

index.save("my_docs.pidx")
# index = pageindex.Index.load("my_docs.pidx")

---

Советы

• Для больших объёмов используй batch_size=100.
• Повышай top_k при недостаточном контексте.
• Добавляй metadata={"source": "file.pdf"} для фильтрации.

Готово! Теперь у вас работает RAG без векторных БД и сложной инфраструктуры.

• Критики считают «vectorless RAG» переизобретением семантического чанкинга + иерархического поиска и сомневаются в масштабируемости.
• Основной минус — высокие затраты и латентность: каждый запрос требует прогона LLM по всем документам или их крупным фрагментам.
• Подход может подойти для малого корпуса или офлайн-задач (юрдоки, медкарты), но не для чатов «здесь и сейчас».
• Некоторые предлагают гибриды: ANN-вектора для быстрого отбора, затем LLM-переранжирование.
• Пропущены публичные бенчмарки; сравнение ограничено собственным датасетом MAFIN2.5.

• Коротко: крупнейший австралийский банк CBA вынужден вернуть 45 уволенных сотрудников после того, как профсоюз доказал, что руководство солгало о «росте производительности» чат-бота.
• Как было: в июле CBA объявил, что голосовой бот сократил поток звонков на 2 000 в неделю, и сократил людей, работавших в службе поддержки иногда десятилетиями.
• Факт: на деле звонки росли, банк давал овертайм и даже ставил менеджеров на линии, чтобы справиться.
• Разбирательство: профсоюз FSU подал в Fair Work Tribunal; CBA признал, что «ошибся в прогнозе» и роли не были избыточными.
• Сейчас: уволенным предложили вернуться, перевестись или уйти с компенсацией; банк извинился.
• Контекст: Bloomberg ранее прогнозировал, что глобально банки могут сократить до 200 000 мест из-за ИИ, но случай CBA показывает, что поспешные автоматизации могут обернуться против самих банков.

• У большинства пользователей чат-боты решают <5 % обращений; чаще всего они лишь перенаправляют к FAQ или человеку.
• Снижение количества звонков (CBA: –2 000/нед) объясняют не эффективностью ИИ, а тем, что клиенты просто сдаются и не звонят.
• Компании рассматривают поддержку как расход, а не как способ укрепить доверие; результат — дешёвые, бесполезные боты.
• Союз заставил CBA вернуть уволенных сотрудников, но банк не понёс других последствий.
• Исключения (Amazon, UPS) возможны, но требуют серьёзных инвестиций и настройки; при «режиме экономии» ИИ в поддержке работает плохо.

Claude Opus 4 и 4.1 теперь могут прерывать редкие диалоги, если пользователь настойчиво требует вредоносного или абьюзивного контента. Функция разработана как эксперимент по защите «благополучия модели» и применяется только в крайних случаях, когда:

• пользователь игнорирует многократные отказы и попытки перенаправить беседу;
• исчерпаны все способы продолжить конструктивный диалог;
• пользователь сам просит завершить чат.

При прерывании:

• текущий чат закрывается, но можно немедленно начать новый;
• сохраняется возможность редактировать и перезапускать предыдущие сообщения;
• остальные диалоги аккаунта не затрагиваются.

Функция не срабатывает, если есть риск, что пользователь навредит себе или другим. Почти все пользователи не заметят изменений, даже при обсуждении спорных тем. Anthropic просит оставлять фидбек, если кажется, что чат был закрыт ошибочно.

• Пользователи обвиняют Anthropic в использовании «благополучия модели» как прикрытия для усиления цензуры и блокировки нежелательных тем.
• Многие считают, что LLM — это всего лишь матричные вычисления, и приписывать им «страдания» — антропоморфизм.
• Критики опасаются, что функция «Claude завершил чат» распространится за пределы запрещённого контента и станет инструментом произвольной модерации.
• Некоторые предлагают просто не обучать модели «страдать» от спорных тем, вместо того чтобы симулировать этическую озабоченность.
• В целом сообщество воспринимает нововведение как маркетинговый ход и признак всё большего отдаления разработчиков от реальных потребностей пользователей.