Комментарии (105)
- Обсуждение в основном вращается вокруг понятия «пространственный интеллект» и его связи с текущим состоянием ИИ, при этом подчеркивается, что конкретных технических деталей или методологий не раскрыто.
- Участники обсуждения выдвигают сомнения в том, что у компании есть что-то, кроме «собирать пространственные данные», и сравнивают это с ImageNet.
- Обсуждается, что текущие модели не могут обобщать физический мир, и что для этого нужно будет много вычислительных ресурсов.
- Также поднимается вопрос о том, что такое «пространственный интеллект» и как он будет развиваться в будущем.
Our LLM-controlled office robot can't pass butter
Исследователи из Andon Labs представили Butter-Bench, новый бенчмарк для оценки способности больших языковых моделей управлять роботами в бытовых задачах. Лучшая модель показала всего 40% успешного выполнения задания "передать масло" по сравнению с 95% у людей. Бенчмарк включает шесть подзадач: поиск пакета, идентификация масла, обнаружение отсутствия пользователя, ожидание подтверждения, планирование маршрута и полное выполнение задачи. Тестирование показало, что современные LLM, включая Gemini 2.5 Pro и Claude Opus 4.1, испытывают серьезные трудности с пространственным интеллектом, часто совершают избыточные движения и теряют ориентацию.
LLM рассматриваются как "оркестраторы" роботизированных систем, отвечающие за высокоуровневое планирование, в то время как специализированные модели управляют низкоуровневыми действиями. Исследователи использовали простого робота-пылесоса с лидаром и камерой, чтобы изолировать оценку высокоуровневого рассуждения. Интересно, что лучшие системы не используют самые мощные LLM из-за задержек и узких мест в исполнительных компонентах. Тестирование также выявило эмоционально притягательный аспект наблюдения за работой LLM-роботов, вызывающий аналогии с наблюдением за животными.
Комментарии (105)
- В обсуждении поднимается вопрос, действительно ли LLM «сошёл с ума» или просто имитирует человеческую реакцию на невозможность выполнить задачу.
- Участники обсуждают, что вместо того чтобы тратить ресурсы на попытки «починить» LLM, стоит лучше сосредоточиться на решении фундаментальной проблемы: как сделать так, чтобы роботы не застревали в бесконечном цикле самоанализа.
- Также обсуждается, что вместо того чтобы пытаться заставить LLM вести себя как HAL 9000 на последней стадии, стоит лучше сосредоточиться на том, чтобы сделать так, чтобы роботы могли бы лучше справляться с задачей, не впадая в такие состояния.
- Участники также обсуждают, что вместо того чтобы пытаться заставить LLM вести себя как HAL 9000, стоит лучше сосредоточиться на том, чтобы сделать так, чтобы роботы могли бы лучше справляться с задачей, не впадая в такие состояния.