Relational Transformer

Relational Transformer — реализация архитектуры Transformer для прогнозирования по реляционным данным. Репозиторий объединяет рецепты предварительного обучения, дообучения и запуска моделей на данных, организованных в связанные таблицы.

Проект позволяет воспроизводить результаты моделей RT-J и RT-PluRel, используя примеры для инференса и тонкой настройки. Пользователи могут предварительно обрабатывать свои базы данных для работы с RT, а также выполнять инференс с помощью предварительно обученных моделей. Предоставляются примеры для оценки чекпоинтов на задачах RelBench и для выполнения in-context prediction.

Для установки проекта требуется Python, а зависимости управляются с помощью pixi, при этом среда разработки определена только для Linux x86_64. Проект распространяется под лицензией MIT, но выпущенные чекпоинты и наборы данных имеют собственные лицензии, а данные «The Join» сохраняют лицензии своих исходных сторонних баз данных.

Relational Transformer на GitHub · 101 звезда