Why language models hallucinate

No post summary.

«Hallucination» — не баг, а природа LLM: система просто строит вероятностное продолжение текста, не проверяя истинность.
Часть комментаторов считает, что любой вывод LLM — уже галлюцинация, просто некоторые совпадают с фактами.
OpenAI предлагает учить модель «не знать» и отказываться от ответа, но критики сомневаются в надёжности оценки уверенности.
Текущие бенчмарки поощряют угадывание: за ошибку не штрафуют, за отказ — наказывают, поэтому модель вынуждена «брехать».
Пользователи тоже не любят «не знаю» и предпочитают быстрый ответ правильному, усиливая инженерный цикл.
Пока данные и сам язык неполны и противоречивы, 100 %-ное устранение галлюцинаций невозможно; можно лишь снизить частоту.