EffGen — агенты малых языковых моделей и управление инструментами
effGen — фреймворк для создания агентов на основе малых языковых моделей. Он объединяет локальные модели, облачных провайдеров и совместимые API, предоставляя инструменты, шаблоны и управление выполнением агента.
Возможности и состав проекта
Фреймворк позволяет загружать модели с квантованием. Он интегрируется с инструментами, такими как калькулятор или Python REPL. effGen поддерживает мультимодальные возможности, включая обработку изображений, аудио и видео. Проект предлагает библиотеку из 35 шаблонов промптов для 8 предметных областей.
Начало работы и требования
Для работы effGen требуется Python версии 3.11 или выше. Проект распространяется под лицензией Apache 2.0 и доступен для установки через PyPI. Фреймворк поддерживает развертывание в Docker, Kubernetes (через Helm), AWS Lambda и Cloudflare, а также предлагает расширение для VS Code.
Ограничения и выбор сценария
Поддержка мультимодальности и инструментов определяется конкретной моделью, backend и установленными extras. Наличие Docker, Helm или serverless-примера не означает, что любой локальный checkpoint поместится в выбранную инфраструктуру. Перед автономной работой ограничьте Python REPL, файловые и сетевые действия агента. Меньший размер модели снижает некоторые затраты, но не гарантирует качество или безопасность её решений.
Лицензия и условия использования
GitHub определяет лицензию репозитория как Apache-2.0. Перед использованием и распространением проверьте полный текст LICENSE и отдельные условия зависимостей, данных или моделей: лицензия репозитория не заменяет их лицензии.
