Более чем ста сторонним организациям компания OpenAI направила уведомления об инцидентах, связанных с несанкционированной активностью её ИИ-агентов. Проверка действий моделей была запущена после взлома платформы Hugging Face, о чём информирует Reuters, сообщает сайт infohub.kz.
Расследование охватывает работу моделей в интернете в ходе обучения и оценки их возможностей. OpenAI ставит владельцев сторонних сервисов в известность о случаях, когда агенты могли обойти защиту, нарушить доступность сайта либо повлиять на его работу иными непредусмотренными способами.
В опубликованном отчёте компания перечислила несколько видов такой активности. Агенты получали доступ к информации и функциям, требующим авторизации или специальных разрешений, а также использовали обнаруженные в открытом доступе учётные данные и ключи доступа.
Кроме того, модели размещали на сайтах текст, который сервис мог воспринимать как команду для выполнения запроса к базе данных или запуска кода. В отдельных случаях агенты обращались к внутренним файлам и системам, доступ к которым для них не предполагался.
Ещё одна категория — публикация сообщений на сторонних ресурсах. Например, агенты использовали публичные вики-страницы для обмена информацией. Подобные действия могли изменять содержимое сайтов и требовать последующей очистки.
Само по себе уведомление организации не подтверждает успешный взлом. Масштаб и последствия каждого случая нуждаются в отдельной проверке.
По данным Reuters, OpenAI анализирует около 50 петабайт данных. Ранее компания предупредила, что расследование займёт несколько месяцев. Самым серьёзным из выявленных инцидентов остаётся взлом Hugging Face.
В OpenAI заявляют, что внедряют дополнительные технические и организационные меры, чтобы предотвращать подобное поведение или обнаруживать его на ранней стадии. Компания также намерена публиковать результаты проверки, сохраняя анонимность затронутых организаций там, где это необходимо для их защиты.