Awesome Edge AI for Multimodal Agents

Awesome Edge AI for Multimodal Agents — подборка научных работ, фреймворков, бенчмарков и приложений, посвящённых эффективным мультимодальным агентам для мобильных и периферийных устройств. Она охватывает большие языковые модели, модели преобразования текста в изображение, речевые модели и модели мира. Подборка предназначена для исследователей и разработчиков, интересующихся развёртыванием ИИ на устройствах с ограниченными ресурсами.
Подборка включает разделы по инференсу больших языковых моделей на периферии, мультимодальным и генеративным моделям, обработке речи и аудио, а также моделям мира и воплощённому ИИ. Также представлены оптимизационные техники, аппаратные платформы и бенчмарки. Это помогает понять, как эффективно запускать сложные модели на устройствах с низким энергопотреблением.
Особое внимание уделяется моделям, способным работать на мобильных устройствах, нейропроцессорных устройствах и одноплатных компьютерах, с указанием их размера и модальности. В подборке перечислены различные среды выполнения LLM/VLM, такие как llama.cpp, MLC-LLM и ExecuTorch, которые поддерживают развёртывание на разных платформах, включая iOS, Android и WebGPU.
Awesome Edge AI for Multimodal Agents на GitHub · 41 звезда
Источники и документация
После подготовки описания документация изменилась. Перед установкой проверьте актуальные инструкции проекта.