Hacker News Digest

Исследователи из CMU предлагают BaNEL для решения задач с экстремально разреженными вознаграждениями, где стандартные методы неэффективны. Такие проблемы, как разработка лекарств от рака или создание молекул с заданными свойствами, характеризуются почти нулевой вероятностью успеха (sparsity) и дорогой оценкой вознаграждений. Например, GPT-5 при попытке разработать лекарство получает нулевое вознаграждение, а проверка решений требует дорогостоящих клинических испытаний. При таких условиях методы вроде policy gradients вырождаются в случайный поиск, а подходы с бонусами за новизну требуют слишком многих оценок вознаграждений.

BaNEL (Bayesian Negative Evidence Learning) обучает генеративные модели, используя только отрицательные примеры и минимизируя число дорогостоящих оценок вознаграждений (NRE). В отличие от других методов, BaNEL функционален при нулевых вознаграждениях и требует минимальных NRE, что подтверждается сравнительным анализом подходов. Метод позволяет извлекать полезные сигналы из неудачных попыток, открывая путь к решению задач, где положительные примеры недоступны, а успех практически невозможен.

• Ключевой тезис: «самое важное — знать, что кто-то уже решил задачу» — иллюстрация от @Nevermark.
• Парадокс: «провал» и «успех» часто отличаются лишь одним параметром, но мы не умеем его измерять.
• Сообщество в целом скептически относится к тому, что ML-исследователи ставят себе целью «решать теоремы лучше людей» или «открывать лекарства», пока не показано, что они имеют в виду именно помощь, а не замену.
• Несколько участников подчеркнули, что важно не путать «решение» и «поиск решения» и что ML в первую очередь помогает с последним.

ICLR 2025 приняла статью о Discrete Distribution Networks (DDN) — новой генеративной модели, которая аппроксимирует распределение данных с помощью дискретных распределений. DDN генерирует сразу несколько семплов, а не один, и выбирает наиболее близкий к цели. Это позволяет модели обучаться без обратного распространения градиента и делать zero-shot условную генерацию без градиента. Авторы также предложили алгоритм оптимизации Split-and-Prune и выложили код и демо.

• Обсуждение охватывает широкий спектр тем: от архитектуры модели до философских вопросов, включая сравнение с другими подходами, будущие направления исследований и даже метафоры с И-Цзин и Тайцзи.
• Участники обсуждали, как модель может быть масштабирована и применена к другим задачам, включая генерацию текста и аудио.
• Обсуждались практические вопросы, такие как стоимость инференса и обучения, а также сравнение с другими подходами.
• Участники также обсуждали, как модель может быть использована для детекции объектов и как она может быть интегрирована в другие системы.
• Некоторые комментарии касались философских и метафорических аспектов, включая ссылки на И-Цзин и Тайцзи.

Spectral Labs представила SGS-1 — первую генеративную модель для создания структурированных CAD-моделей. Она преобразует изображения или 3D-меши в параметрические B-Rep детали в формате STEP, которые полностью готовы к производству и легко редактируются в стандартном ПО типа Fusion360. В отличие от существующих методов, включая GPT-5 и HoLa, SGS-1 демонстрирует точное пространственное понимание, создавая сложные и разнообразные формы.

На тестах из 75 изображений средней и высокой сложности SGS-1 показала наивысший успех: хотя конкуренты справлялись лишь с простейшими объектами, она стабильно генерировала водонепроницаемые твёрдые тела, пригодные для сборки. Например, при проектировании кронштейна для роликовой системы модель корректно интегрировала деталь в контекст сборки, тогда как выводы GPT-5 оказались нефункциональными из-за ошибок в геометрии. Это открывает возможности для автоматизации инженерных задач, сокращая время на ручное моделирование.

• Участники подвергают сомнению заявленные возможности модели SGS-1, особенно её способность генерировать параметрическую геометрию в STEP-файлах, которая в этом формате не поддерживается.
• Обсуждается потенциальная полезность технологии для конкретных задач, таких как преобразование 3D-сканов в чистые CAD-модели и ускорение процесса прототипирования.
• Высказываются опасения, что ИИ может устранить творческую и наиболее сложную часть инженерного проектирования, связанную с расчетами нагрузок и технологичностью изготовления.
• Основатель компании-разработчика признает текущие ограничения модели, объясняет терминологические расхождения и обещает улучшения в будущих версиях.
• Мнения о потенциале технологии разделились: от скептицизма и обвинений в обмане инвесторов до оптимизма о революции в 3D-печати и реставрации.

• Gemini
  • 2.5 Pro, Flash, Flash Image, Flash-Lite — самые мощные модели
• Gemma
  • Gemma 3, 3n и ShieldGemma 2 — лёгкие open-модели
• Генеративные модели
  • Imagen, Lyria, Veo — картинки, музыка, видео
• Эксперименты
  • Project Astra, Mariner, Gemini Diffusion — прототипы

---

• Исследования
  • Проекты, публикации, новости

---

• Наука с ИИ
  • Биология: AlphaFold, AlphaGenome, AlphaMissense, AlphaProteo
  • Климат: WeatherNext, Weather Lab
  • Математика: AlphaEvolve, AlphaProof, AlphaGeometry
  • Физика/химия: GNoME, Fusion, AlphaQubit
  • Прозрачность: SynthID — водяные знаки для ИИ-контента

---

• О нас
  • Новости, карьера, вехи, образование, безопасность, подкаст

• SynthID встрачивает невидимый водяной знак, меняя вероятности токенов при генерации текста.
• Критика: одиночный фрагмент не детектируется, легко обойти конкурентами, редактирование/шум ломает метку.
• Пользователи опасаются потери приватности и ложных срабатываний; спор о том, нужно ли вообще помечать AI-контент.
• Предложены альтернативы: цифровые подписи авторов, C2PA, open-source-детекторы.
• Обсуждается «гонка вооружений» между генераторами и детекторами, а также возможное регулирование.

GAN: математика в двух словах

• Модели: генератор G(z) и дискриминатор D(x) играют в минимакс-игру.
• Обозначения:
  x – реальные данные, z – скрытый вектор, D(x) – вероятность «реальности».
• Функции ошибок
  • Дискриминатор: L_D = –[log D(x) + log(1 – D(G(z)))] (минимизирует).
  • Генератор: L_G = –log D(G(z)) (хочет D(G(z)) ≈ 1).
• Оптимизация
  1. Фиксируем G, обучаем D, максимизируя log D(x) + log(1 – D(G(z))).
  2. Фиксируем D, обучаем G, минимизируя log(1 – D(G(z))) (или максимизируя log D(G(z)) – стабильнее).
• Итог: игра min_G max_D [log D(x) + log(1 – D(G(z)))] сводится к минимизации расстояния JS между реальным и сгенерированным распределениями.

• Для многоклассовых задач GAN лучше подавать классы как side-information, а не встраивать в основную цель.
• GAN «древние», но всё ещё живы: обучают VAE/VQ-VAE для латентных пространств diffusion-моделей и добавляют adversarial-loss в декодеры.
• Сами архитектуры меняются, а adversarial-training как метод остаётся релевантным, хотя diffusion сейчас предпочтительнее из-за стабильности.
• Главная проблема GAN — нестабильность и mode collapse, поэтому их чаще используют как небольшую регуляризацию, а не для полной генерации.
• Знание GAN всё ещё полезно для вдохновения и понимания истории нейросетей, даже если вы не собираетесь их тренировать с нуля.