SparkVSR — повышение разрешения видео по выбранным ключевым кадрам
SparkVSR — исследовательский конвейер повышения разрешения видео с управлением через отдельные ключевые кадры. Сначала пользователь готовит улучшенные изображения, затем модель переносит их информацию на последовательность. Такой подход позволяет проверять и корректировать визуальный результат через ограниченный набор кадров.
Возможности и состав проекта
Проект позволяет сначала улучшить небольшое количество ключевых кадров с помощью любой модели повышения разрешения изображений, а затем SparkVSR распространяет эти улучшения на всю видеопоследовательность, сохраняя при этом движение исходного видео низкого разрешения. Система поддерживает гибкий выбор ключевых кадров: ручное указание, извлечение I-кадров из кодека или случайную выборку. SparkVSR может применяться для таких задач, как восстановление старых фильмов и перенос стиля видео.
Начало работы и требования
Для запуска SparkVSR требуется Python 3.10+ и PyTorch версии 2.5.0 или выше. Проект использует предварительно обученные веса, основанные на базовой модели CogVideoX1.5-5B-I2V, и предоставляет веса для двух стадий обучения: Stage-1 (в латентном пространстве) и Stage-2 (в пиксельном пространстве). Для инференса рекомендуется использовать веса Stage-2. Обучение модели требует использования 4×A100 GPU.
Ограничения и выбор сценария
Детали, дорисованные моделью повышения разрешения, не являются подтверждённой информацией исходного видео. Перенос ключевых кадров может давать артефакты на перекрытиях и сложном движении, поэтому результат нужно просматривать во времени. README приводит конкретное окружение PyTorch/CUDA и несколько стадий весов; выбирайте совместимые версии и нужный checkpoint. Условия CogVideoX и других моделей проверяются отдельно от Apache-2.0 кода SparkVSR.
Лицензия и условия использования
GitHub определяет лицензию репозитория как Apache-2.0. Перед использованием и распространением проверьте полный текст LICENSE и отдельные условия зависимостей, данных или моделей: лицензия репозитория не заменяет их лицензии.
