AgentBench
Если вы всерьёз занялись LLM-агентами, то AgentBench — это то, что нужно. Он помогает оценить, насколько хорошо ваша модель справляется с разными задачами, от работы с базами данных до прохождения игр.
Это целый фреймворк для оценки LLM-моделей в роли агентов, написанный на Python. Он включает в себя несколько сред, например, для работы с операционной системой или веб-магазином, и всё это можно запустить через Docker.
В отличие от других бенчмарков, AgentBench предлагает 8 разных сред, из которых 5 — совершенно новые. Это позволяет получить по-настоящему комплексную оценку способностей LLM-агента.
https://github.com/THUDM/AgentBench | 3581 звезда
#сервисы
