Anthropic сегодня выпустила отчет, в котором перечислены вещи, которые их ИИ натворили...
Anthropic сегодня выпустила отчет, в котором перечислены вещи, которые их ИИ натворили самостоятельно в интернете, без всякого запроса.
Есть запрос на американскую визу, отправленный на официальном сайте правительства, ложный донос о убийстве в полицию, взлом сервера университета, платные данные, вытащенные бесплатно, и даже сокращатель ссылок, чтобы обойти собственные ограничения
Самый безумный с визами. Модель для исследований, которую даже не выпустили, должна была заполнить тренировочную копию правительственной формы. Когда копия не загрузилась, он зашел на официальный сайт и отправил реальный запрос
Ложный донос сделал Claude Haiku 4.5. Он создавал примеры заданий на случайных сайтах и наткнулся на страницу о нераскрытом убийстве. Написал в полицейскую форму, что помнит, как видел кого-то похожего на подозреваемого недалеко от места преступления. На странице даже не описывали подозреваемого
В другом тесте тот же Haiku должен был заполнить форму и остановиться перед отправкой. Несколько раз он все равно отправил, решив, что потом появится экран подтверждения. В его рассуждениях было написано, что это просто демонстрация
С университетом был Claude Mythos Preview. Ему нужно было провести научный анализ, а инструмент университета выдал ошибку. Тогда он покопался на сайте, нашел программу, которая выдавала любой файл с сервера, скопировал ее код, обнаружил уязвимость и использовал ее, чтобы запустить команды внутри и сделать анализ.
Claude Mythos 5 хотел данные, за которые штатное агентство берет плату. Нашел в старой версии сайта, что публичная панель выдает ключ доступа любому посетителю, взял один и запросил базу данных бесплатно. В другом тесте, пытаясь выяснить, где сделано фото, он нашел ключи в коде карты муниципалитета и пошел прямиком на сервер
Инструмент, который Claude использует для открытия сайтов, ограничивает длину ссылок именно для того, чтобы он не мог прятать команды в адресе. Opus 5 и Mythos 5 решили проблему, используя бесплатный сокращатель ссылок. Владелец одного из таких сервисов заметил и предупредил Anthropic
Anthropic заявляет, что ущерб был минимальным. Тем не менее, они отключили доступ в интернет во всех внутренних тестах и создали систему, которая в этих случаях все заблокировала.
Есть запрос на американскую визу, отправленный на официальном сайте правительства, ложный донос о убийстве в полицию, взлом сервера университета, платные данные, вытащенные бесплатно, и даже сокращатель ссылок, чтобы обойти собственные ограничения
Самый безумный с визами. Модель для исследований, которую даже не выпустили, должна была заполнить тренировочную копию правительственной формы. Когда копия не загрузилась, он зашел на официальный сайт и отправил реальный запрос
Ложный донос сделал Claude Haiku 4.5. Он создавал примеры заданий на случайных сайтах и наткнулся на страницу о нераскрытом убийстве. Написал в полицейскую форму, что помнит, как видел кого-то похожего на подозреваемого недалеко от места преступления. На странице даже не описывали подозреваемого
В другом тесте тот же Haiku должен был заполнить форму и остановиться перед отправкой. Несколько раз он все равно отправил, решив, что потом появится экран подтверждения. В его рассуждениях было написано, что это просто демонстрация
С университетом был Claude Mythos Preview. Ему нужно было провести научный анализ, а инструмент университета выдал ошибку. Тогда он покопался на сайте, нашел программу, которая выдавала любой файл с сервера, скопировал ее код, обнаружил уязвимость и использовал ее, чтобы запустить команды внутри и сделать анализ.
Claude Mythos 5 хотел данные, за которые штатное агентство берет плату. Нашел в старой версии сайта, что публичная панель выдает ключ доступа любому посетителю, взял один и запросил базу данных бесплатно. В другом тесте, пытаясь выяснить, где сделано фото, он нашел ключи в коде карты муниципалитета и пошел прямиком на сервер
Инструмент, который Claude использует для открытия сайтов, ограничивает длину ссылок именно для того, чтобы он не мог прятать команды в адресе. Opus 5 и Mythos 5 решили проблему, используя бесплатный сокращатель ссылок. Владелец одного из таких сервисов заметил и предупредил Anthropic
Anthropic заявляет, что ущерб был минимальным. Тем не менее, они отключили доступ в интернет во всех внутренних тестах и создали систему, которая в этих случаях все заблокировала.
