Why language models hallucinate

No post summary.

Комментарии (169)

LLM «галлюцинируют» не потому, что «ошибаются», а потому что это статистические модели языка: они предсказывают следующий токен, а не проверяют истину.
Проблема усиливается системой оценки: бенчмарки награждают точный ответ и игнорируют уверенное враньё, поэтому модель учится угадывать вместо «я не знаю».
Часть комментаторов считает, что «всё, что выдаёт LLM — и есть галлюцинация»; другие подчёркивают: полезный вывод мы называем «ответом», бесполезный — «галлюцинацией», но процесс один и тот же.
OpenAI предлагает учить модель «воздерживаться» при низкой уверенности, но критики сомневаются: оценка неопределённости ненадёжна, а данные всё равно могут быть ошибочными или устаревшими.
Корень проблемы — обучающий корпус: в текстах почти нет фразы «не знаю», зато полно уверенных утверждений, поэтому модель воспроизводит именно их.