Xinity AI

Xinity AI — платформа для развёртывания и управления моделями искусственного интеллекта на собственной инфраструктуре. Проект предназначен для организаций, которым необходимо запускать модели ИИ без передачи данных в облако. Это актуально для работы с конфиденциальными данными, подпадающими под законодательные ограничения, такие как GDPR, или требования по защите коммерческой тайны.

Платформа предлагает оркестрацию моделей, совместимый с OpenAI API, панель управления для мониторинга и администрирования, а также инструменты для разметки и экспорта данных для последующей донастройки моделей. Xinity AI поддерживает масштабирование на нескольких узлах и позволяет использовать существующие OpenAI SDK, направляя запросы на локальный инстанс. Проект использует Ollama и vLLM в качестве движков вывода.

Для локальной разработки Xinity AI требует установки Bun (версия 1.3 и выше) и Docker с Compose. Проект использует PostgreSQL и Redis для хранения данных и кэширования. Лицензируется по Apache 2.0 / ELv2.

Xinity AI на GitHub · 59 звёзд