Gemma на JAX — использование и дообучение языковых моделей

Gemma — библиотека Python для использования и тонкой настройки семейства больших языковых моделей Gemma от Google DeepMind. Модели Gemma основаны на исследованиях и технологиях Gemini.

Возможности и состав проекта

Библиотека позволяет вести многооборотные и мультимодальные беседы с моделями Gemma, используя единый API ChatSampler для различных версий моделей. Поддерживается тонкая настройка моделей, включая использование методов LoRA.

Начало работы и требования

Для установки необходимо сначала настроить JAX для работы с CPU, GPU или TPU, а затем установить пакет gemma через pip. Для работы 2B-модели рекомендуется иметь не менее 8 ГБ оперативной памяти на GPU, для 7B-модели — не менее 24 ГБ.

Ограничения и выбор сценария

Apache-2.0 в метаданных относится к библиотеке; веса Gemma имеют собственные условия доступа и использования. Приведённые в README 8 и 24 ГБ GPU-памяти относятся к указанным 2B/7B checkpoint, а не ко всему семейству. Сначала выбирают модель и backend JAX, затем оценивают требования.

Лицензия и условия использования

GitHub определяет лицензию репозитория как Apache-2.0. Перед использованием и распространением проверьте полный текст LICENSE и отдельные условия зависимостей, данных или моделей: лицензия репозитория не заменяет их лицензии.