I got the highest score on ARC-AGI again swapping Python for English

No post summary.

Комментарии (71)

LLMs демонстрируют сильные способности в математике и науке, но проваливаются на простых визуальных и пространственных головоломках, таких как Sokoban или ARC-AGI.
Основная проблема LLM — отсутствие подлинного понимания и рассуждений; они работают через распознавание паттернов, а не через логическое мышление.
LLMs особенно слабы в пространственных рассуждениях, так как обучались в основном на текстовых данных, а не на визуальной информации.
Некоторые участники связывают неудачи LLM с форматом представления данных (например, визуальные головоломки в текстовом виде) и отсутствием мощных препроцессинговых блоков для изображений.
Предлагаются методы улучшения, включая эволюционные алгоритмы, поиск с подкреплением (RL) и создание каркасов (scaffolding) для решения задач.
Есть скептицизм относительно того, что улучшение производительности на узких тестах (как ARC-AGI) свидетельствует о прогрессе к AGI.
Обсуждается, является ли решение головоломок LLM результатом доступа к публичным обсуждениям этих задач, а не новыми возможностями рассуждений.