AgentProbe — запись, проверки и сравнение запусков ИИ-агентов

AgentProbe — инструмент для тестирования AI-агентов, который можно использовать локально и интегрировать в CI-пайплайн. Он предназначен для разработчиков, создающих агентов, взаимодействующих с большими языковыми моделями (LLM) и внешними инструментами. AgentProbe помогает проверять их поведение, стоимость и безопасность.

Возможности и состав проекта

Инструмент записывает «прогоны» агентов, фиксируя вызовы LLM, использование инструментов и принятие решений. Эти записи можно тестировать с помощью более чем 35 встроенных утверждений, проверяющих качество вывода, использование инструментов, стоимость, задержку и безопасность. Также есть функции для «перепроигрывания» записей с разными моделями или конфигурациями, что помогает сравнивать результаты и анализировать изменения в поведении.

Начало работы и требования

Проект распространяется по лицензии MIT и поддерживает Python 3.10+. Для работы требуется установка через pip или однострочный скрипт. AgentProbe включает локальную веб-панель управления для просмотра трассировок, анализа затрат и результатов утверждений. Некоторые функции, такие как «Arena», «Autopsy» и «Compliance», доступны в Pro-версии.

Ограничения и выбор сценария

Запись прогона и повторный вызов модели — разные режимы: replay с внешним провайдером может снова тратить средства и получать иной ответ. Проверки и fuzzing покрывают заданные сценарии, а не доказывают безопасность любого поведения. Трассировки могут содержать запросы, ответы и секреты инструментов; нужны правила хранения и удаления. Local-first относится к организации продукта, но не делает внешнюю LLM локальной. Также отделяйте MIT-ядро от функций, отмеченных как Pro.

Лицензия и условия использования

GitHub определяет лицензию репозитория как MIT. Перед использованием и распространением проверьте полный текст LICENSE и отдельные условия зависимостей, данных или моделей: лицензия репозитория не заменяет их лицензии.