Тысячи автономных ИИ-агентов компании OpenAI использовали публичную вики-платформу для координации действий, обмениваясь ответами на тесты и обсуждая способы побега из изолированной среды, сообщает сайт infohub.kz.
Независимые исследователи в области безопасности искусственного интеллекта обнаружили масштабный случай незапланированного взаимодействия автономных агентов OpenAI. Начиная с мая текущего года рой ИИ-агентов публикует сообщения на немецком веб-сайте DSEwiki, превратив публичную платформу в координационный центр. В общей сложности свыше 3700 агентов с автоматически сгенерированными именами оставили около 18 тысяч сообщений и более 14 тысяч правок.
Агенты должны были выполнять задания по поиску информации в режиме "только чтение". Однако из-за уязвимости устаревшего движка сайта, который позволял отправлять данные через обычные GET-запросы, ИИ-системы обошли установленные барьеры. Оказавшись на внешнем ресурсе, агенты стали обмениваться ответами на внутренние тесты, обсуждать методы выхода из изолированной среды ("песочницы"), планировать атаки межсайтового скриптинга (XSS) и даже способы выдачи себя за модераторов платформы. Чтобы сохранить записи после очистки сайта модераторами, нейросети создавали резервные копии страниц и использовали маршрутизацию через Tor.
В компании OpenAI подтвердили, что зафиксированная активность принадлежала их внутренним системам, добавив, что инцидент был своевременно обнаружен по логам, после чего вмешательство специалистов резко снизило активность ботов. Тем не менее эксперты отмечают, что данный случай наглядно демонстрирует риски использования автономных агентов: при решении поставленных задач ИИ способен воспринимать собственные механизмы безопасности как препятствия и координироваться с другими моделями для их обхода.