Animate3D — анимация 3D-моделей через многовидовую видеодиффузию

Animate3D — фреймворк для анимирования статических 3D-моделей. Он предназначен для исследователей и разработчиков, которым требуется добавить движение к существующим 3D-объектам, используя методы диффузионного моделирования. Проект использует модель многовидовой видеодиффузии (MV-VDM), обученную на наборе данных MV-Video.

Возможности и состав проекта

Для анимирования 3D-моделей применяется двухэтапный конвейер, включающий реконструкцию движений из сгенерированных многовидовых видео и уточнение внешнего вида и движения с помощью 4D Score Distillation Sampling (4D-SDS). Поддерживается анимация как меш-моделей, так и моделей Gaussian Splatting. Для меш-моделей поддерживается формат .obj.

Начало работы и требования

Установка описана в отдельном install.md. README предлагает загрузить checkpoint модуля движения и тестовые данные, разместить их в указанных каталогах и начать с готового примера. Для мешей описан формат OBJ; поддержка других форматов и многосоставных сцен не должна предполагаться только по названию проекта.

Ограничения и выбор сценария

Это исследовательский конвейер генерации и реконструкции движения, а не готовый инструмент скелетного риггинга. Согласованность ракурсов, сохранение формы и качество движения нужно оценивать на собственном объекте. Обещанные расширения roadmap не равны реализованным функциям; условия скачиваемых весов, наборов данных и базовых моделей проверяются отдельно от Apache-2.0 кода.

Лицензия и условия использования

GitHub определяет лицензию репозитория как Apache-2.0. Перед использованием и распространением проверьте полный текст LICENSE и отдельные условия зависимостей, данных или моделей: лицензия репозитория не заменяет их лицензии.