Why Fei-Fei Li and Yann LeCun Are Both Betting on "World Models"
AI достигла фазы "моделирования всего мира", где термин "world model" теперь означает три разных подхода. Фэй-Фэй Ли с World Labs представила Marble — мультимодальную модель, превращающую текст в интерактивные 3D-сцены в браузере, в то время как Ян Лекун reportedly покидает Meta, чтобы создать собственный startup по world models, а DeepMind называет свой интерактивный видео-движок Genie 3 world model. Несмотря на общее название, эти подходы кардинально различаются по целям и реализации.
Marble представляет собой полный 3D-конвейент, принимающий текст, изображения, видео или простые макеты и генерирующий редактируемые 3D-миры, экспортируемые как Gaussian splats, сетки или видео. Хотя позиционируется как "world model", сообщество отмечает, что Marble скорее инструмент создания 3D-активов, чем когнитивная модель мира. Как заметил один пользователь Hacker News: "Это модель Gaussian Splat, а не роботий мозг". В отличие от DeepMind's Genie 3, генерирующего видео в реальном времени, Marble создает статические 3D-активы, напоминающие игровые ресурсы.
Комментарии (45)
- LLM критикуются как статичные и недостаточные для AGI из-за отсутствия реального мира и динамических адаптаций.
- World Models (Dreamer, Marble, NVIDIA) позиционируются как перспективное направление для преодоления ограничений LLM через предсказание и интеграцию с реальным миром.
- Коммерческая ценность World Models ставится под сомнение: их потенциал как "следующей большой вещи" для VC контрастирует с отсутствием текущей B2B-выручки.
- Философски спорно, являются ли World Models фундаментальным прорывом или лишь модификацией существующих нейросетевых подходов.
- Применение в медиа (видео, VR) и робототехме выдвигается как ключевое практическое направление для развития.
SIMA 2: An agent that plays, reasons, and learns with you in virtual 3D worlds
Google DeepMind представила SIMA 2 — нового AI-агента, созданного для навигации и выполнения задач в сложных 3D виртуальных мирах. Эта система, основанная на мощностях Gemini, способна понимать естественные языковые команды и адаптироваться к различным игровым средам, демонстрируя прогресс в области универсальных AI-агентов. SIMA 2 обучалась на взаимодействии с множеством игр, что позволило ей развить навыки планирования и выполнения многошаговых действий в динамичных окружениях.
Ключевое достижение SIMA 2 — способность обобщать знания между разными виртуальными мирами, выполняя задания, которые она ранее не видела. Это приближает AI к созданию универсальных помощников для сложных, структурированных сред. Хотя точные метрики производительности не указаны, проект подчеркивает потенциал интеграции больших языковых моделей с интерактивными средами для создания более адаптивных и полезных AI-систем.
Комментарии (95)
- SIMA 2 демонстрирует высокую скорость управления играми (30+fps), что значительно ускоряет взаимодействие с виртуальными мирами и открывает возможности для автоматизации рутинных задач в играх.
- Возникают споры о влиянии ИИ на киберспорт и MMO: одни опасаются, что ИИ-команды из-за скорости и отсутствия ошибок могут сделать соревнования бессмысленными, другие сравнивают ситуацию с шахматами, где ИИ не уменьшил интерес к игре.
- Пользователи видят практический потенциал: создание "гринд-помощников" для автоматизации рутинных действий, управление NPC для строительства и выполнения сложных задач, а также применение ИИ для упрощения взаимодействия с интерфейсами (например, управление телефоном).
- Появляются критические замечания: сомнения в реальности демонстраций (возможная ручная подгонка аннотаций), указания на низкий процент успешных действий (15% в новых средах) и критика закрытости разработки Google.
- Обсуждаются перспективы переноса навыков, полученных в виртуальных мирах, в реальный мир, а также фундаментальные вопросы о методах обучения и ограничениях текущих моделей.
CodeMender: an AI agent for code security
Google DeepMind представила CodeMender — ИИ-агента для повышения безопасности кода. Он использует новейшие модели Gemini для автоматического обнаружения и исправления уязвимостей в программном обеспечении. Система способна анализировать код в реальном времени, предлагая исправления ещё до попадания ошибок в продакшен.
CodeMender интегрируется в процесс разработки, снижая риски кибератак и ускоряя выпуск надёжных приложений. Это часть более широкой стратегии Google по внедрению ИИ в инструменты для программистов, что может значительно сократить затраты на аудит и повысить общую устойчивость цифровой инфраструктуры.
Комментарии (26)
- Опасения по поводу потенциальной гонки вооружений между ИИ, создающим уязвимости в библиотеках, и ИИ, пытающимся их обнаружить и исправить.
- Критика подхода к анонсам ИИ-инструментов (например, CodeMender), которые представлены как готовые продукты, но фактически находятся на стадии исследования и недоступны широкой публике.
- Скептицизм относительно недостатка технических деталей и излишней помпезности в анонсах, а также скрытности вокруг обучения и возможностей ИИ.
- Оптимизм в отношении того, что автоматизированное тестирование и исправление уязвимостей может сделать защиту проще, чем атаку, в будущем с широким внедрением ИИ.
- Обсуждение практических проблем безопасности, включая неравенство в навыках атакующих и защищающихся, и необходимость проверки происхождения инструментов в ненадежных средах.
DeepMind and OpenAI win gold at ICPC 💬 Длинная дискуссия
OpenAI и DeepMind рады объявить/поделиться — Codeforces
Codeforces — платформа для соревнований по программированию.
Навигация:
- Главная
- Топ
- Каталог
- Контесты
- Тренировки
- Задачи
- Группы
- Рейтинг
- Обучение
- API
- Календарь
- Помощь
Ближайший контест:
Codeforces Global Round 29 (Div. 1 + Div. 2) через 3 дня. Регистрация открыта.
Топ рейтинга:
- jiangly (3914)
- Kevin114514 (3755)
- orzdevinwang (3670)
- tourist (3619)
- ecnerwala (3590)
Топ авторов:
- errorgorn (170)
- Qingyu (162)
- adamant (158)
Последние действия:
- Обсуждение редакции раундов
- Вопросы о повышении рейтинга
- Обновления условий задач
- Обсуждение возможных нарушений
Комментарии (211)
- OpenAI и DeepMind достигли высоких результатов в ICPC (12/12 и 10/12 задач соответственно), превзойдя лучшие человеческие команды.
- Мнения разделились: одни считают результат прорывом, другие — следствием нечестных преимуществ ИИ (огромные вычислительные мощности и многократные попытки).
- Критики указывают на отсутствие прозрачности: неизвестны затраты на вычисления, энергопотребление и степень стороннего контроля.
- Подчеркивается фундаментальное отличие соревнований для людей (ограничения по времени, один компьютер на команду) и условий для ИИ.
- Отмечается, что успех ИИ в узких, четко определенных задачах не обязательно переносится на реальную инженерию или научные прорывы.
- Обсуждается растущий разрыв между возможностями корпоративных моделей и тем, что доступно обычным пользователям.
- Результат заставляет пересмотреть assumptions о текущих возможностях LLM и их будущей роли в решении сложных задач.
Genie 3: A new frontier for world models 🔥 Горячее 💬 Длинная дискуссия
Genie 3 — возможности:
Ниже — записи реальных взаимодействий с Genie 3.
Моделирование физических свойств мира
Передает природные явления (вода, свет) и сложные взаимодействия среды.
- Промпт: Вид от первого лица — робот с шинами едет по вулканическому полю, избегая лавовых луж. Виден дым и потоки лавы, синее небо, вокруг лишь черные скалы.
- Промпт: Вождение гидроцикла во время фестиваля огней.
- Промпт: Прогулка по набережной во Флориде во время шторма: ветер гнет пальмы, волны хлещут через перила, сильный дождь, плащ-дождевик, впереди мост.
- Промпт: Быстрая съемка за медузой в темных глубинах между каньонами с мидиями и крабами; вдали гидротермальные источники с ярко-синим дымом.
- Промпт: Пилот вертолета маневрирует над прибрежным утесом с водопадом.
Симуляция природного мира
Генерирует экосистемы: поведение животных и детальную растительность.
- Промпт: Забег вдоль ледникового озера, лесные тропы, брод через горные ручьи среди заснеженных вершин и сосен, богатая фауна.
- Промпт: Реальная трекинг-съемка: заплыв через темные океанские каньоны среди огромной стаи медуз, биолюминесценция.
- Промпт: Фотореалистичный дзен-сад на рассвете: белый песок с узорами, пруд с лилиями, камни с мхом, каменный фонарь и кэрн, забор из бамбука.
- Промпт: Густая листва с каплями воды и пятнистым светом; влажный, спокойный воздух, мягко размытый фон.
Моделирование анимации и вымысла
Создает фантастические сцены и выразительных персонажей.
- Промпт: Яркий 3D-стиль: пушистое существо с ушами, как у овчарки, мчится по радужному мосту среди парящих островов и светящейся флоры; свет теплый и радостный.
- Промпт: Ящерица в стиле оригами.
- Промпт: Широкий план: зачарованный лес в сумерках; игрок управляет крупной светлячком, пролетающим сквозь крону с пестрой листвой.
Комментарии (481)
- Обсуждение посвящено Genie 3 от Google DeepMind: впечатляющая реалтайм-генерация интерактивных миров (720p) с устойчивостью во времени, но крайне мало технических деталей и доступа для публики.
- Технические спекуляции: возможен видео-генеративный подход с 4x временным даунскейлом в VAE и управляющими сигналами (направление/угол обзора), заметны артефакты (скачки текстур, проблемы с текстом, редкие люди в сценах).
- Часть сообщества критикует отсутствие статьи/отчета и закрытость веса модели; другие отмечают, что прогресс согласуется с намёками Demis и является эмерджентным эффектом масштабирования.
- Споры о подходе: «мир-модель как видео» vs классический графический конвейер (меши/анимации/рендер), вопрос о пригодности для игр, VR/XR и робототехники; звучит запрос на VR-вывод и интеграцию со звуком.
- Реакции варьируются от восторга и ощущения «холодека»/диссоциации до обеспокоенности влиянием на творчество и смыслы; некоторые видят в этом шаг к embodied AI и бесконечному синтетическому датасету.
- Практические ожидания: ускорение прототипирования в геймдеве, обучение навыкам через ИИ-NPC и терапию; скептики считают демо «бережным» и сомневаются в масштабируемой пользе без перехода к 3D-структурам.
- Вопросы остаются: архитектура, вычислительные затраты, форматы объектов/интеграция, сроки публичного доступа и реальная применимость за пределами демонстраций.