slop-code-bench
SlopCodeBench проверяет ИИ-агентов для программирования при последовательном изменении требований. Агент сначала реализует спецификацию, а затем должен дорабатывать собственный код, когда условие задачи расширяется.
Такой процесс показывает, как предыдущие решения влияют на следующие изменения и насколько устойчивой остаётся структура программы. Инструмент поддерживает настройку запусков агентов и оценивание кода, в том числе с помощью языковой модели. Определения задач вынесены в отдельный репозиторий scb-problems.
Для запуска нужны Python 3.12 или новее, работающий Docker и ключ выбранного провайдера. Авторы рекомендуют от 8 ГБ оперативной памяти и от 10 ГБ места для образов и рабочих каталогов. Это начальный выпуск, который продолжают развивать.
https://github.com/SprocketLab/slop-code-bench | 253 звезды
#сервисы