Skyfall-GS — это инновационный фреймворк, преобразующий спутниковые изображения в интерактивные 3D городские сцены без необходимости в дорогих 3D аннотациях. Исследователи из Национального университета Ян Мин Чао Тунг и других институтов объединили спутниковые снимки для создания базовой геометрии с диффузионными моделями для детализированных текстур, что позволило создать масштабируемые городские кварталы с реалистичной визуализацией.

Метод работает в два этапа: сначала реконструирует начальную 3D-сцену с помощью 3DGS и псевдо-глубинного контроля, затем применяет итеративную технику обновления наборов данных (IDU) с использованием предобученной диффузионной модели. Это значительно снижает артефакты и повышает точность геометрии и реализм текстур. Результаты демонстрируют улучшенную согласованность геометрии и более реалистичные текстуры по сравнению с существующими подходами, с возможностью реального времени и свободного навигации по созданным сценам.

• Обсуждение началось с критики маркетингового словосочетания «explorable» и «immersive» при невозможности проникнуть под уровень крыш зданий из-за ограничений спутниковых снимков и последующих артефактов Gaussian Splatting'а.
• Участники обсудили, что Microsoft Flight Simulator использует подобную технологию, но при этом в игре используется треугольная геометрия, а не гауссовы сплаты, потому что последние не позволяют создать коллизионную геометрию и другие ограничения.
• Была высказана идея, что в будущем можно будет интегрировать Street View данные, что может привести к еще более детальному и точному моделированию.
• Также было отмечено, что в будущем можно будет использовать дроновые снимки для более детального моделирования, что может привести к более иммерсивному опыту.

Генерация процедурных островов (часть III)

Продолжаем с части II, где была создана основа карты высот и система горных хребтов. Теперь добавим детализированные шумовые слои, горные пики на основе расстояния и выполним смешивание для финального рельефа.

Карта высот (повтор)

Исходная карта высот из части I задаёт базовое распределение суши и воды:

Для визуализации используется палитра magma из matplotlib с искусственным затемнением океанских областей. Карта семплируется по центроидам треугольников Делоне.

Многоуровневые шумовые слои

Накладываем несколько октав шума Симплекса на разных частотах поверх базовой карты. Каждый слой добавляет детали разного масштаба.

Используется шесть слоёв с частотами: 1x, 2x, 4x, 16x, 32x, 64x. Отсутствует слой 8x (n₃).

Усиление прибрежного шума

Применяем высокочастотный шум specifically вдоль береговой линии:

\[e_{coast} = e + \alpha \cdot (1 - e^4) \cdot \left(n_4 + \frac{n_5}{2} + \frac{n_6}{4}\right)\]

Множитель \((1 - e^4)\) создает колоколообразную кривую, пикующуюся на береговой линии (e=0).

Поле расстояний до гор

Для горных пиков предварительно вычисляем поле расстояний через топологию триангуляции Делоне с использованием BFS:

1. Начинаем от треугольников с горными точками (расстояние = 0)
2. Посещаем соседние треугольники, увеличивая расстояние на рандомизированную величину
3. Рандомизация создает естественные формы вместо идеальных конусов

Формула приращения расстояния: \[\Delta = s \cdot (1 + j \cdot r)\] где r использует треугольное распределение для естественного вида.

Порядок обработки соседей случайно перемешивается алгоритмом Фишера-Йейтса для избежания направленных смещений.

Смешивание высот

Финальная высота комбинирует все компоненты через взвешенное смешивание.

• Автор выбрал подход на основе графа (Voronoi) и сетки (mesh), а не шума или фракталов, для большей структурной целостности и контроля над формами рельефа.
• Основная критика существующих методов (шум, фракталы) — их недостаточный реализм и неестественность, поскольку они не моделируют геологические процессы.
• Уникальность подхода в статье — комбинация Voronoi-диаграмм с добавлением шума к расстояниям и последующим моделированием эрозии.
• Обсуждается ценность альтернативных, телеологических (основанных на моделировании процессов) методов: тектоники, эрозии, климата для достижения максимального реализма.
• Отмечается, что физически-обусловленное моделирование — это сложно и вычислительно дорого, но используется в высокоточных профессиональных инструментах.
• Упомянуто разделение алгоритмов на онтогенетические (создающие конечную форму) и телеологические (симулирующие процесс формирования).
• Подчёркивается, что выбор метода отражает то, как автор концептуализирует процесс генерации, а не подход, основанный на данных.

• Критики: нестабильность картинки между кадрами, высокие затраты, бессмысленность по сравнению с обычными движками.
• Плюсы: экономия энергии за счёт «запечённого» освещения, возможность менять стиль на лету, потенциал для доступности и бесконечного контента.
• Технические идеи: запуск генерации локально, гибридные схемы «AI + традиционный рендер», маскированный инпейнтинг для стабильности.
• Настроения: от «это просто весёлая демка» до «дистопия в реальном времени», но большинство сходится — пока это скорее интересный эксперимент, чем готовая замена движкам.