FlowR — уточнение 3D Gaussian Splatting по сгенерированным видам

FlowR — многоракурсная генеративная модель на основе flow matching для улучшения 3D-реконструкций. Она дополняет разреженные реконструкции Gaussian Splatting и предназначена для исследований восстановления сцен по ограниченному набору изображений.
Возможности и состав проекта
Рабочий процесс FlowR состоит из трёх этапов. Сначала выполняется начальная реконструкция с использованием 3D Gaussian Splatting по разреженным входным данным. Затем FlowR, как мульти-видовая модель, генерирует фотореалистичные новые виды, используя карты лучей Плюккера и результаты первого этапа. Наконец, 3D-реконструкция уточняется путём повторного обучения 3DGS с использованием как исходных, так и сгенерированных видов для улучшения геометрии и внешнего вида.
Начало работы и требования
Для установки FlowR требуется Conda, CUDA Toolkit 12.2 и GCC 12. Проект использует PyTorch, PyTorch3D и pycolmap. Код распространяется под лицензией Apache 2.0. Текущий код основан на Stable Diffusion 3.
Ограничения и выбор сценария
Сгенерированные ракурсы добавляют модельные предположения, а не новые измерения сцены. Они могут улучшить визуальный результат и одновременно закрепить неверную геометрию. Проверяйте исходные камеры, качество первой реконструкции и итог с независимых наблюдений. Установщик создаёт отдельное окружение с закреплёнными CUDA, GCC, COLMAP и Python-пакетами; произвольная замена версий может нарушить сборку. Условия Stable Diffusion 3 и других компонентов отделены от Apache-2.0 кода FlowR.
Лицензия и условия использования
GitHub определяет лицензию репозитория как Apache-2.0. Перед использованием и распространением проверьте полный текст LICENSE и отдельные условия зависимостей, данных или моделей: лицензия репозитория не заменяет их лицензии.





