Autoresearch-MLX — циклы ML-экспериментов на Apple Silicon

Autoresearch-MLX — инструмент для автоматизированного исследования моделей машинного обучения. Он предназначен для разработчиков, которые хотят экспериментировать с различными конфигурациями моделей и гиперпараметрами, используя фиксированный бюджет времени на обучение на устройствах Apple Silicon.

Возможности и состав проекта

Проект позволяет запускать циклы автономных экспериментов, где агент редактирует файл train.py для изменения модели, оптимизатора или цикла обучения. Затем запускается тренировочный эксперимент с фиксированным бюджетом времени, после которого результат оценивается по метрике val_bpb. Изменения сохраняются, если они улучшают метрику, или отменяются, если ухудшают. Для более строгой оценки изменений можно использовать скрипт rigor.py, который запускает несколько прогонов с разными начальными значениями и принимает решение о сохранении изменений с заданной уверенностью.

Начало работы и требования

Для работы Autoresearch-MLX требуется компьютер с процессором Apple Silicon, Python 3.10+ и утилита uv. Проект использует фреймворк MLX для нативного выполнения на Apple Silicon, исключая зависимости от PyTorch или CUDA. Лицензия MIT позволяет свободное использование и распространение.

Ограничения и выбор сценария

Улучшение val_bpb в коротком эксперименте не подтверждает универсальное улучшение модели. Повторные запуски с разными seed помогают оценить устойчивость результата. Агент изменяет код и выполняет обучение: используйте отдельную рабочую копию и контролируйте время, место на диске и доступы.

Лицензия и условия использования

GitHub определяет лицензию репозитория как MIT. Перед использованием и распространением проверьте полный текст LICENSE и отдельные условия зависимостей, данных или моделей: лицензия репозитория не заменяет их лицензии.