Open-source

FlowR — уточнение 3D Gaussian Splatting по сгенерированным видам

Обзор по документации проекта · Проверено

FlowR — изображение проекта

FlowR — многоракурсная генеративная модель на основе flow matching для улучшения 3D-реконструкций. Она дополняет разреженные реконструкции Gaussian Splatting и предназначена для исследований восстановления сцен по ограниченному набору изображений.

Возможности и состав проекта

Рабочий процесс FlowR состоит из трёх этапов. Сначала выполняется начальная реконструкция с использованием 3D Gaussian Splatting по разреженным входным данным. Затем FlowR, как мульти-видовая модель, генерирует фотореалистичные новые виды, используя карты лучей Плюккера и результаты первого этапа. Наконец, 3D-реконструкция уточняется путём повторного обучения 3DGS с использованием как исходных, так и сгенерированных видов для улучшения геометрии и внешнего вида.

Начало работы и требования

Для установки FlowR требуется Conda, CUDA Toolkit 12.2 и GCC 12. Проект использует PyTorch, PyTorch3D и pycolmap. Код распространяется под лицензией Apache 2.0. Текущий код основан на Stable Diffusion 3.

Ограничения и выбор сценария

Сгенерированные ракурсы добавляют модельные предположения, а не новые измерения сцены. Они могут улучшить визуальный результат и одновременно закрепить неверную геометрию. Проверяйте исходные камеры, качество первой реконструкции и итог с независимых наблюдений. Установщик создаёт отдельное окружение с закреплёнными CUDA, GCC, COLMAP и Python-пакетами; произвольная замена версий может нарушить сборку. Условия Stable Diffusion 3 и других компонентов отделены от Apache-2.0 кода FlowR.

Лицензия и условия использования

GitHub определяет лицензию репозитория как Apache-2.0. Перед использованием и распространением проверьте полный текст LICENSE и отдельные условия зависимостей, данных или моделей: лицензия репозитория не заменяет их лицензии.

Источники и документация