Loophole — проверка правил и системных промптов ИИ-агентами
Loophole — инструмент на основе искусственного интеллекта для стресс-тестирования этических принципов, системных промптов и юридических текстов. Он имитирует процесс поиска и устранения «лазеек» в правилах, позволяя выявлять потенциальные уязвимости или противоречия в морально-правовых рамках. Инструмент полезен тем, кто занимается разработкой или анализом регулирующих документов, этических кодексов или системных промптов для ИИ.
Возможности и состав проекта
Инструмент работает в трёх режимах. В режиме «Legal» он преобразует моральные принципы в формальный юридический кодекс, а затем использует двух «агентов-противников»: один ищет сценарии, технически законные, но морально неприемлемые («Loophole Finder»), а другой — сценарии, запрещённые кодексом, но морально приемлемые («Overreach Finder»). В режиме «Chatbot» Loophole тестирует системные промпты чат-ботов, используя агентов для выявления уязвимостей и «побегов из тюрьмы». Режим «Reverse» позволяет извлекать моральные принципы из существующих юридических текстов и выявлять в них противоречия или пробелы.
Начало работы и требования
Для запуска README предлагает Python 3.12+, установку окружения через uv и настройку API-ключа Anthropic. Дополнительные backend OpenAI и Ollama задаются в конфигурации. Начать можно с примера принципов и одного из трёх режимов: Legal, Chatbot или Reverse; затем изучить найденные сценарии и изменения правил.
Ограничения и выбор сценария
Loophole генерирует гипотетические контрпримеры и оценки моделей. Они не подтверждают юридическую действительность документа и не заменяют экспертизу специалиста. Для проверки системных промптов используйте собственный тестовый контур; автоматическое внесение поправок может убрать одну проблему и создать другую. Число раундов и выбор моделей влияют на затраты API и воспроизводимость выводов.
Лицензия и условия использования
GitHub не определяет однозначную стандартную лицензию этого репозитория. Условия использования нужно проверить в README, LICENSE и документации авторов; доступность файлов на GitHub сама по себе не разрешает любое распространение или коммерческое использование.
