vmlx
vMLX — сервер для локального запуска языковых, языково-визуальных и генеративных моделей на Apple Silicon. Он предоставляет HTTP API, совместимый с интерфейсами OpenAI, Anthropic и Ollama, для подключения приложений к моделям на собственном Mac.
Сервер поддерживает непрерывную пакетную обработку запросов, кэширование префиксов и состояний, а также спекулятивное декодирование. В README описано распределённое выполнение на нескольких Mac. Применимость настроек кэширования и ускорения зависит от семейства модели.
Нужны macOS на Apple Silicon и Python 3.10 или новее. Установка доступна из PyPI; для части функций генерации изображений нужны дополнительные зависимости. Веса берутся из совместимых репозиториев Hugging Face, а настольный вариант представлен отдельным приложением MLX Studio.
https://github.com/jjang-ai/vmlx | 890 звёзд
#сервисы