LeJEPA — самоконтролируемое обучение и функция потерь SIGReg

LeJEPA — фреймворк для самоконтролируемого обучения представлениям, основанный на архитектурах совместного встраивания с предсказанием (JEPA). Он предназначен для исследователей и разработчиков, работающих с задачами обучения без учителя, и предлагает масштабируемые модели. Фреймворк использует метод Sketched Isotropic Gaussian Regularization (SIGReg), который нормализует полученные встраивания до изотропного гауссова распределения.

Возможности и состав проекта

SIGReg — новый подход, который, по утверждению авторов, минимизирует риск ошибок при дальнейшем предсказании. LeJEPA поддерживает аугментацию данных, создавая несколько представлений каждого изображения с разными масштабами. Это позволяет модели изучать как общую семантическую информацию, так и локальные детали. Фреймворк не использует стоп-градиент, архитектуру учитель-ученик или планировщики.

Начало работы и требования

Для использования LeJEPA требуется Python версии 3.8 или выше, PyTorch версии 1.10 или новее и библиотека NumPy. Проект можно установить через pip. Он предоставляет примеры использования функции потерь SIGReg, которую можно интегрировать в существующие кодовые базы для предварительного обучения моделей. LeJEPA также поддерживает распределенное обучение.

Ограничения и выбор сценария

Теоретические свойства и результаты в таблицах принадлежат исследованию авторов и не означают гарантированное качество на любом датасете. SIGReg можно подключать отдельно; примеры предобучения используют дополнительные зависимости. Минимальные версии Python/PyTorch из README не описывают требования к памяти конкретного эксперимента.

Лицензия и условия использования

GitHub не определяет однозначную стандартную лицензию этого репозитория. Условия использования нужно проверить в README, LICENSE и документации авторов; доступность файлов на GitHub сама по себе не разрешает любое распространение или коммерческое использование.