GLD — многоракурсная диффузия в геометрическом пространстве признаков

Geometric Latent Diffusion (GLD) — исследовательский код и модели для синтеза новых ракурсов сцены. Проект использует геометрические базовые модели для многоракурсной диффузии в пространстве признаков.

Возможности и состав проекта

В качестве основы используются Depth Anything 3 или VGGT, а замороженные декодеры восстанавливают глубину и геометрию из синтезированных представлений. В README трёхмерная реконструкция доступна для DA3; реализация для чекпойнта VGGT обозначена как планируемая. В репозитории есть скрипты демонстрации, обучения и оценки.

Начало работы и требования

Для работы проекта рекомендуется графический процессор с объемом видеопамяти от 48 ГБ, например, A6000 или A100, и Python версии 3.10 или выше. Код и модели были представлены на конференции ECCV 2026.

Ограничения и выбор сценария

Для cascade-режима одновременно загружаются две DiT-модели, что объясняет рекомендацию 48 ГБ VRAM. Новые виды и восстановленная геометрия являются прогнозом модели, а не измерением невидимой сцены. README разделяет возможности DA3 и VGGT: планируемую реконструкцию для VGGT нельзя считать доступной. Для воспроизведения нужны подходящие checkpoint и отдельные условия базовых моделей. Записывайте режим генерации, входные ракурсы и используемые веса, чтобы отделить влияние модели от изменений входного набора.

Лицензия и условия использования

GitHub определяет лицензию репозитория как MIT. Перед использованием и распространением проверьте полный текст LICENSE и отдельные условия зависимостей, данных или моделей: лицензия репозитория не заменяет их лицензии.