Ask HN: How are Markov chains so different from tiny LLMs?

No post summary.

Обсуждение показало, что цепи Маркова и современные LLM имеют общую структуру автопрегрессии, но различаются в способе представления контекста и в способе обучения.
LLM используют внимание и эмбеддинги, чтобы моделировать длинные зависимости, тогда как цепи Маркова ограничены коротким контекстом.
Обсуждение также подчеркнуло, что LLM могут быть рассмотрены как очень высокого порядка цепи Маркова, но с очень большим контекстом.
Участники также обсудили, что обучение на большом и разнообразном корпусе критично для LLM, в то время как цепи Маркова могут быть обучены на маленьком и специфическом наборе данных.