deltatok
DeltaTok — исследовательская модель, которая сжимает изменения между кадрами в признаковом пространстве модели компьютерного зрения до одного дельта-токена. Связанная с ней DeltaWorld использует такие токены для генерации возможного будущего видео.
Опубликованные модели работают с разрешением 512 × 512 и замороженной основой DINOv3 ViT-B. Кроме токенизатора и предиктора доступны оценочные модули для сегментации и глубины. README отдельно отмечает, что выпущенные веса обучены на Kinetics-700, а в статье использован более крупный набор.
Описанная установка требует Conda, учётных записей Hugging Face и Weights & Biases. Для загрузки основы DINOv3 нужно принять её лицензионные условия. Подготовка данных и вычислительные ресурсы зависят от выбранного этапа обучения или оценки; примеры конфигураций приведены в репозитории.
https://github.com/amazon-far/deltatok | 273 звезды
#сервисы