The Behavioral Ratchet — исследование соглашательства LLM в диалогах

The Behavioral Ratchet исследует, как история диалога влияет на соглашательство языковых моделей. Репозиторий содержит протокол, код, результаты и препринт по 80 433 испытаниям шести моделей с контекстом 32K; это материал для изучения поведения LLM.
Возможности и состав проекта
Авторы сравнивают согласительный, нейтральный и корректирующий контекст и сообщают, что тип наполнения в их эксперименте влияет сильнее, чем одна длина. Оценивание выполняется моделью-судьёй Claude Sonnet 4.6. Результаты отражают выбранные задания, размеры моделей и процедуры, а не универсальное свойство каждого чат-бота.
Начало работы и требования
Проект содержит исходный код для воспроизведения экспериментов, включая запуск LLM через OpenRouter, оценку ответов и анализ результатов. Для запуска экспериментов требуются ключи API OpenRouter и Anthropic, а также установка зависимостей Python из requirements.txt. Лицензия проекта — CC BY 4.0.
Ограничения и выбор сценария
Модель-судья может ошибаться и вносить собственное смещение; для воспроизведения нужны исходные промпты, версии моделей и параметры оценки. Число испытаний не устраняет возможные ограничения выборки и доступности API. Полный повтор эксперимента может быть затратным, поэтому начните с малого поднабора. Предпринт и код следует отделять от подтверждённых выводов о текущих продуктах; корректирующая вставка не гарантирует устранения соглашательства во всех задачах.
Лицензия и условия использования
README и проверенный файл лицензии указывают CC BY 4.0. При повторном использовании нужны атрибуция и соблюдение полного текста лицензии. Условия доступа к моделям и их ответам остаются отдельными от лицензии исследовательского репозитория.





