Burstormer — восстановление изображения из серии кадров
Burstormer — исследовательская трансформерная архитектура для слияния нескольких кадров серийной съёмки. Она рассматривает сверхразрешение, улучшение слабого освещения и подавление шума; несколько снимков дают дополнительную информацию для восстановления одного результата.
Возможности и состав проекта
Архитектура Burstormer использует многомасштабные локальные и нелокальные признаки для улучшения выравнивания и слияния данных. Ключевая идея заключается в обмене информацией между кадрами в серии снимков для агрегации данных и постепенного слияния, учитывая при этом контекст всей серии. Для выравнивания признаков кадров относительно опорного кадра используется модуль деформируемого выравнивания, который также обменивается информацией и поддерживает сфокусированную связь с опорным кадром.
Начало работы и требования
Зависимости описаны в install.yml и устанавливаются в отдельное Conda-окружение. Репозиторий сопровождает работу CVPR 2023 и основан на инструментарии NTIRE21_BURSTSR. Для воспроизведения нужно выбрать соответствующие задаче модель, данные и сценарий оценки, а не переносить любой одиночный кадр в burst-конвейер.
Ограничения и выбор сценария
Качество зависит от согласованности кадров, движения, шума и соответствия обучающему набору. Улучшение изображения может создавать детали, которые не подтверждены исходной сценой. Результаты статьи относятся к её протоколу; статус CVPR 2023 сам по себе не доказывает актуальное лидерство. Совместимость окружения и доступность весов нужно сверять до воспроизведения.
Лицензия и условия использования
GitHub определяет лицензию репозитория как MIT. Перед использованием и распространением проверьте полный текст LICENSE и отдельные условия зависимостей, данных или моделей: лицензия репозитория не заменяет их лицензии.
