Open-source

Awesome Edge AI for Multimodal Agents

Изображение из Telegram поста

Awesome Edge AI for Multimodal Agents — подборка научных работ, фреймворков, бенчмарков и приложений, посвящённых эффективным мультимодальным агентам для мобильных и периферийных устройств. Она охватывает большие языковые модели, модели преобразования текста в изображение, речевые модели и модели мира. Подборка предназначена для исследователей и разработчиков, интересующихся развёртыванием ИИ на устройствах с ограниченными ресурсами.

Подборка включает разделы по инференсу больших языковых моделей на периферии, мультимодальным и генеративным моделям, обработке речи и аудио, а также моделям мира и воплощённому ИИ. Также представлены оптимизационные техники, аппаратные платформы и бенчмарки. Это помогает понять, как эффективно запускать сложные модели на устройствах с низким энергопотреблением.

Особое внимание уделяется моделям, способным работать на мобильных устройствах, нейропроцессорных устройствах и одноплатных компьютерах, с указанием их размера и модальности. В подборке перечислены различные среды выполнения LLM/VLM, такие как llama.cpp, MLC-LLM и ExecuTorch, которые поддерживают развёртывание на разных платформах, включая iOS, Android и WebGPU.

Awesome Edge AI for Multimodal Agents на GitHub · 41 звезда

Источники и документация

После подготовки описания документация изменилась. Перед установкой проверьте актуальные инструкции проекта.