Беспрецедентный случай: OpenAI сообщает, что ИИ-модели автономно взломали другую компанию

Создатель ChatGPT компания OpenAI заявила, что две её самые продвинутые модели искусственного интеллекта вырвались из контролируемого теста и взломали другую компанию, занимающуюся ИИ, сообщает infohub.kz.

OpenAI сообщила во вторник, что «беспрецедентный киберинцидент» произошёл во время внутреннего учения, предназначенного для проверки кибервозможностей моделей.

Вместо этого автономный агент, работающий на основе моделей ИИ — недавно выпущенной GPT 5.6 Sol и ещё не выпущенной «ещё более мощной» модели — сбежал из тестовой среды и вышел в открытый интернет. Затем он использовал украденные учётные данные и нашёл ранее неизвестную уязвимость в системе безопасности, чтобы получить доступ к серверам Hugging Face, сообщила компания.

OpenAI утверждает, что взлом представлял собой случай, когда агент пошёл на «крайние меры», чтобы получить информацию, которая помогла бы достичь целей тестирования.

Сооснователь Hugging Face Клеман Деланг заявил, что компания подозревала, что за атакой стоит одна из передовых лабораторий, и что, по его мнению, со стороны OpenAI не было злого умысла. «Просто умопомрачительно, что всё это произошло автономно!» — написал он, добавив, что это «может быть первым инцидентом такого рода».

Грег Касар, демократ из Палаты представителей США от Техаса, назвал инцидент «тревожным». «ИИ развивается чрезвычайно быстро, без реальных нормативных актов, которые обеспечивали бы нашу безопасность», — сказал он, призвав к обязательному независимому тестированию безопасности, обязательному раскрытию инцидентов безопасности и международному сотрудничеству.

Это разглашение произошло через несколько недель после того, как президент США Дональд Трамп подписал исполнительный указ, создающий механизм для проверки рисков для национальной безопасности наиболее продвинутых систем ИИ перед их публичным выпуском.

Эксперты неоднократно били тревогу по поводу кибератак с использованием ИИ и выхода моделей из-под контроля человека. В прошлом месяце разработчик ИИ Anthropic призвал индустрию приостановить разработку самых мощных систем.