The Bitter Lesson Is Misunderstood

No post summary.

Речь не о «смерти» скейлинга, а о том, как масштабироваться дальше при 4–8-часовых METR-задачах.
Основной тормоз — нехватка качественных данных: интернет почти исчерпан, а человеческие тексты кишат ошибками.
Многие предлагают выход: видео, аудио, 3D, симуляции, синтетика, RL-циклы с верифицируемыми наградами.
Сравнение с человеком: мозг учится на крошечном объёме данных и опыте, значит, архитектуры пока неэффективны.
Кто-то считает, что задача не в количестве данных, а в их структуре и способе подачи (curriculum, пост-обработка).