SimpleStream — базовый подход к пониманию потокового видео
SimpleStream — программная реализация базового подхода для анализа потокового видео. Проект предназначен для исследователей и разработчиков, работающих с моделями понимания видео, и демонстрирует подход, при котором для анализа используются только последние N кадров видеопотока.
SimpleStream применяет готовые визуально-языковые модели (VLM), такие как Qwen2.5-VL и Qwen3-VL, без дополнительного обучения. Он обрабатывает видеопоток, передавая VLM только последние несколько кадров. Проект включает скрипты для оценки производительности и точности на наборах данных OVO-Bench и StreamingBench.
Для работы SimpleStream требуется установка PyTorch и torchvision, а также библиотек transformers и accelerate. Модели Qwen3-VL и Qwen2.5-VL загружаются автоматически с HuggingFace. Для проведения экспериментов необходимо предварительно загрузить и подготовить данные из наборов OVO-Bench и StreamingBench, разместив их в соответствующих директориях.
https://github.com/EvolvingLMMs-Lab/SimpleStream | 174 звезды
#сервисы
