ToolCall-15 — бенчмарк вызовов инструментов для BenchLocal

ToolCall-15 — пакет для оценки моделей искусственного интеллекта, предназначенный для использования с приложением BenchLocal. Он позволяет тестировать и сравнивать, насколько точно модели справляются с использованием инструментов, их выбором, точностью параметров, многошаговыми цепочками инструментов, а также способностью к сдержанности и восстановлению после ошибок.
Пакет ToolCall-15 содержит определения сценариев, логику оценки, методологию, адаптер для BenchLocal и CLI-раннер для локальной разработки. Он измеряет производительность моделей в пяти категориях, по три сценария в каждой: выбор инструмента, точность параметров, многошаговые цепочки, сдержанность и отказ, а также восстановление после ошибок. Каждый сценарий оценивается по балльной системе: 2 балла за успешное прохождение, 1 балл за частичное прохождение и 0 баллов за провал.
Для использования ToolCall-15 необходимо установить настольное приложение BenchLocal. Этот проект является пакетом Bench Pack, который устанавливается и запускается внутри BenchLocal. В репозитории поддерживается актуальная версия Bench Pack, а старая реализация в виде веб-приложения доступна в ветке legacy/web-app.
https://github.com/stevibe/ToolCall-15 | 342 звезды
#сервисы





