Hacker News Digest

Исследователи из Google DeepMind и Университета Монреаля показали, что современные LLM не используют формальное рассуждение, а вместо этого ищут решение в пространстве возможных решений. Это открытие ставит под сомнение саму идею, что масштабные языковые модели "рассуждают" как люди.

Команда обучила модель, которая решает задачи, используя цепочку мыслей, и другую, которая не использует. Оказалось, что вторая модель достигает такой же точности, как и первая. Это показывает, что LLM не используют формальное рассуждение, а вместо этого ищут решение в пространстве возможных решений. Исследование также показало, что модели становятся менее уверенными в своих ответах, когда задачи становятся сложнее.

• Обсуждение показало, что LLM не «рассуждают», а лишь сглаживают контекст, и что «цепочка мыслей» не более чем маркетинговый термин.
• Участники подчеркнули, что вместо поиска решения модель выдает токены до тех пор, пока не сгенерится выглядящий правильным ответ, и что это не исследование пространства решений, а его выборка.
• Сообщество отметило, что в отсутствии прозрачности внутреннего состояния LLM, невозможно достоверно оценить или обеспечить корректность его выводов, что ставит под сомнение саму идею «объяснимого ИИ».
• Участники также обсудили, что вопрос остается открытым, какие именно задачи могут быть решены с помощью LLM, и что такое «рассуждение» и как его измерять.

Как ИИ узнаёт кота? Краткий путеводитель

Нейросеть — это просто карта высокой размерности. Чтобы понять, как она отличает кота от собаки, представьте:

1. Пиксель → координата
   Каждый пиксель картинки — это ось в многомерном пространстве. 1-мегапиксель = 1 млн осей.

2. Слои = фильтры
   Первые слои выделяют простые черты: края, текстуры. Следующие комбинируют их в уши, усы, глаза. Последний слой решает: «кот» или «не кот».

3. Границы классов
   Внутри пространства сети строит гиперплоскости, разделяющие «котов» и «собак». Обучение — это подбор положения этих плоскостей так, чтобы ошибок было меньше.

4. Точки и расстояния
   Похожие картинки оказываются рядом. Если точка оказалась по «ту сторону» границы, сеть штрафуется и корректирует веса.

5. Тысячи измерений
   Мы не можем их увидеть, но алгоритм «гуляет» по этому лабиринту и выводит: «Это 97 % кот».

Главное: никакой магии — только геометрия в пространстве с миллионами осей.

• Современные нейросети не выделяют «сущность кошачности», а просто учатся разделять пространство признаков.
• Apple/Google Photos хорошо группируют котов, но путают серых полосатых братьев и кроликов.
• Explainable-AI (saliency-карты) показывает, что модели часто опираются на глаза или цвет шерсти.
• Идея «кошачьего Face-ID» реальна, но требует большого и сложного набора данных.
• Практически уже работают дверцы с RFID-чипами, а в DIY-проектах используют камеры и Raspberry Pi.