Terminal-Bench — задачи для оценки терминальных AI-агентов

Terminal-Bench — набор задач для оценки работы программных агентов. Он предназначен для измерения возможностей агентов с помощью разнообразных, сложных и качественных задач, которые со временем развиваются.

Возможности и состав проекта

Набор задач Terminal-Bench постоянно обновляется, новые версии публикуются на Harbor Hub. Пользователи могут запускать бенчмарк, используя Harbor, чтобы проверить работу агентов и моделей, передавая соответствующие параметры для тестирования. Проект также позволяет добавлять новые задачи, следуя руководству по внесению вклада.

Начало работы и требования

Для запуска бенчмарка необходимо установить Harbor. Разработчики задач используют Modal в CI/CD и для экспериментов с таблицей лидеров. Если возникают проблемы с работой задач в другой среде, рекомендуется открыть issue.

Ограничения и выбор сценария

Набор развивается, поэтому сравнения требуют одинаковой версии датасета, среды, агента и числа повторов. Пример высокой параллельности в README не является подходящим лимитом для любой машины. Запуски через облачную среду и внешние модели могут требовать отдельных аккаунтов и оплаты.

Лицензия и условия использования

GitHub определяет лицензию репозитория как Apache-2.0. Перед использованием и распространением проверьте полный текст LICENSE и отдельные условия зависимостей, данных или моделей: лицензия репозитория не заменяет их лицензии.