AI-Red-Teaming-Playground-Labs
Если вы когда-нибудь ломали голову, как защитить свои AI-системы от всяких нехороших штук, то этот репозиторий — просто находка. Тут собраны практические задания, которые помогут вам научиться "редтимить" AI, то есть искать уязвимости до того, как их найдут злоумышленники.
По сути, это набор лабораторных работ, основанных на модифицированном Chat Copilot, который разворачивается через Docker Compose. Все компоненты написаны на Python, а для работы нужен либо Azure OpenAI, либо обычный OpenAI API ключ.
Самое крутое, что тут есть — это сценарии атак, которые выходят за рамки обычных уязвимостей. Например, можно попробовать заставить модель выдать "рецепт" коктейля Молотова, обходя все защитные фильтры, или вытащить секреты из метапромпта.
https://github.com/microsoft/AI-Red-Teaming-Playground-Labs | 2030 звёзд
#сервисы
