Skyfall-GS – Synthesizing Immersive 3D Urban Scenes from Satellite Imagery
Skyfall-GS — это инновационный фреймворк, преобразующий спутниковые изображения в интерактивные 3D городские сцены без необходимости в дорогих 3D аннотациях. Исследователи из Национального университета Ян Мин Чао Тунг и других институтов объединили спутниковые снимки для создания базовой геометрии с диффузионными моделями для детализированных текстур, что позволило создать масштабируемые городские кварталы с реалистичной визуализацией.
Метод работает в два этапа: сначала реконструирует начальную 3D-сцену с помощью 3DGS и псевдо-глубинного контроля, затем применяет итеративную технику обновления наборов данных (IDU) с использованием предобученной диффузионной модели. Это значительно снижает артефакты и повышает точность геометрии и реализм текстур. Результаты демонстрируют улучшенную согласованность геометрии и более реалистичные текстуры по сравнению с существующими подходами, с возможностью реального времени и свободного навигации по созданным сценам.