AlayaRenderer
AlayaRenderer — исследовательский набор моделей, данных и инструментов для обработки видео из игр и виртуальных миров. Он объединяет обратный рендеринг, который оценивает свойства сцены по изображению, и генерацию нового видео по этим свойствам.
Компонент Inverse Renderer преобразует RGB-видео в карты цвета поверхности, нормалей, глубины, шероховатости и металличности. Game Editing использует эти карты и текстовую подсказку для изменения освещения и стиля сцены. В основе компонентов — дообученные видеодиффузионные модели.
Авторы публикуют веса на Hugging Face и рекомендуют отдельные среды Conda для компонентов из-за различий в зависимостях. Для Game Editing используется DiffSynth-Studio. В репозитории также описан набор игровых записей с синхронизированными каналами сцены.
https://github.com/ShandaAI/AlayaRenderer | 648 звёзд
#сервисы