PegaInfer
PegaInfer — инструмент для инференса больших языковых моделей (LLM) через API, совместимый с OpenAI. Он предназначен для развёртывания LLM в производственной среде, не используя PyTorch или Python в процессе выполнения.
Проект позволяет запускать различные модели, такие как Qwen3, Qwen3.5 и Gemma 4. Каждая модель управляет своим планировщиком, состоянием и ядрами, используя общую инфраструктуру для обслуживания и хранения ключей/значений. PegaInfer предоставляет общий интерфейс для работы с LLM.
Для использования PegaInfer требуется операционная система Linux x86_64, графический процессор NVIDIA с определёнными вычислительными возможностями, а также соответствующие версии драйвера, glibc и OpenSSL. Сборка из исходного кода требует наличия Rust toolchain и CUDA Toolkit. По умолчанию поддерживается только модель Qwen3; другие модели требуют активации соответствующих функций при сборке.
https://github.com/xiaguan/pegainfer | 720 звёзд
#сервисы