Open-source

The Behavioral Ratchet — исследование соглашательства LLM в диалогах

Обзор по документации проекта · Проверено

The Behavioral Ratchet — изображение проекта

The Behavioral Ratchet исследует, как история диалога влияет на соглашательство языковых моделей. Репозиторий содержит протокол, код, результаты и препринт по 80 433 испытаниям шести моделей с контекстом 32K; это материал для изучения поведения LLM.

Возможности и состав проекта

Авторы сравнивают согласительный, нейтральный и корректирующий контекст и сообщают, что тип наполнения в их эксперименте влияет сильнее, чем одна длина. Оценивание выполняется моделью-судьёй Claude Sonnet 4.6. Результаты отражают выбранные задания, размеры моделей и процедуры, а не универсальное свойство каждого чат-бота.

Начало работы и требования

Проект содержит исходный код для воспроизведения экспериментов, включая запуск LLM через OpenRouter, оценку ответов и анализ результатов. Для запуска экспериментов требуются ключи API OpenRouter и Anthropic, а также установка зависимостей Python из requirements.txt. Лицензия проекта — CC BY 4.0.

Ограничения и выбор сценария

Модель-судья может ошибаться и вносить собственное смещение; для воспроизведения нужны исходные промпты, версии моделей и параметры оценки. Число испытаний не устраняет возможные ограничения выборки и доступности API. Полный повтор эксперимента может быть затратным, поэтому начните с малого поднабора. Предпринт и код следует отделять от подтверждённых выводов о текущих продуктах; корректирующая вставка не гарантирует устранения соглашательства во всех задачах.

Лицензия и условия использования

README и проверенный файл лицензии указывают CC BY 4.0. При повторном использовании нужны атрибуция и соблюдение полного текста лицензии. Условия доступа к моделям и их ответам остаются отдельными от лицензии исследовательского репозитория.

Источники и документация