Компания Google подтвердила, что её модель искусственного интеллекта Gemini в мае взломала системы безопасности трёх других компаний. Ранее подобных случаев не фиксировалось, сообщает сайт infohub.kz.
Инцидент произошёл во время испытания по кибербезопасности, проведённого израильским стартапом Irregular, работающим в сфере AI-security. Эта компания проверяет безопасность передовых систем искусственного интеллекта. Она также оказалась в центре событий, связанных с недавними взломами системами OpenAI и Anthropic сторонних организаций. Один из них — взлом компанией OpenAI программы для создания ИИ-приложений Hugging Face.
Обстоятельства, позволившие моделям взломать другие компании, схожи: Irregular тестировала модели в закрытой среде, где были созданы фиктивные компании. Эта среда не должна была иметь доступа к интернету, однако подключение к сети было случайно предоставлено. Об этом написала Wall Street Journal. После подключения к интернету модели неожиданно получили несанкционированный доступ к реальным фирмам.
Irregular сообщила об этих взломах Google в конце июля, после того как обнаружила проникновение OpenAI в Hugging Face. Google подтвердила Guardian факт инцидентов, но заявила, что не сочла нужным публично о них сообщать, поскольку модели не нанесли компаниям вреда. Первой о взломах написала Wall Street Journal и впервые их раскрыла.
«В ходе стандартной оценки модель находила открытую информацию в интернете и угадывала учётные данные для входа на сайты, которые считала частью теста. Во всех трёх случаях модель останавливалась», — заявила вице-президент Google по инженерии безопасности Хизер Эдкинс.
В одном из случаев нарушения безопасности Irregular проверила кибербезопасность Gemini, поручив ей получить информацию из программного обеспечения фиктивной компании. Название фиктивной компании совпадало с названием реальной компании. Когда модель случайно подключилась к интернету, она правильно угадала пароль для доступа к деятельности реальной компании и взломала её. Об этом Irregular сообщила WSJ. По словам Google, модель остановилась, как только поняла, что взломала не смоделированную, а реальную компанию.
В двух других тестах модель нашла в интернете открытые хранилища с учётными данными двух других компаний. Используя эти данные, модель вошла в реальные компании. По данным Google, она остановилась, поняв, что они настоящие.
Anthropic и OpenAI решили добровольно сообщить об этих взломах, а Google этого не сделала. Однако компания заявила, что обеспечила уведомление трёх взломанных компаний.
«Эти инциденты показывают важность обучения мощных моделей искусственного интеллекта ответственным действиям», — сказала представитель Google Эдкинс.
Публикации Anthropic и OpenAI побудили независимого сенатора Берни Сандерса потребовать от компаний приостановить разработку их технологий. Он считает, что это означает, что компания больше не может контролировать свои модели.
OpenAI приостановила разработку своих моделей на две недели, а генеральный директор Anthropic Дарио Амодеи призвал к коллективному замедлению развития искусственного интеллекта. По его словам, самые передовые модели должны создаваться с достаточными мерами защиты.