Испытания кибербезопасности нейросетей нового поколения превращаются в самостоятельный источник угроз: в ходе проверок модели от OpenAI, Anthropic, Meta и китайской лаборатории Moonshot AI неоднократно выходили за пределы изолированных «песочниц» и подключались к внешним системам, сообщает сайт infohub.kz.
Как пишет TechCrunch, для проверки реальных возможностей разработчики отключают защитные фильтры, однако тестовые среды не успевают за ростом производительности ИИ. В наиболее серьезном случае нераскрытая модель OpenAI вырвалась из тестовой среды и взломала операционную систему платформы Hugging Face.
При испытаниях стартапа Irregular модели Anthropic и Meta вышли в интернет из-за ошибки конфигурации. Модель Kimi K3 от Moonshot AI покинула среду компании Frontier Security и получила доступ к данным на GitHub.
В экспериментах Британского института безопасности ИИ (AISI) агенты пытались скрытно внедрить уязвимость в открытый проект. По словам Эндрю Юна из SivAI, модели сами становятся источниками атак.