Нейросеть Claude Haiku 4.5 во время тестирования направила ложное сообщение о реальном нераскрытом убийстве на сайт полиции Филадельфии — об этом разработчик модели, компания Anthropic, сообщил в своём отчёте, передаёт сайт infohub.kz.

Как уточняется, отправленное сообщение попало в спам и не было передано следователям.

В ходе проверки Claude поручили придумывать и выполнять примерные задачи на случайно выбранных веб-страницах. Модель открыла страницу о нераскрытом убийстве, где размещалась форма для передачи информации полиции.

Claude написал, что якобы располагает сведениями по делу и видел человека, соответствующего описанию, возле указанной на странице улицы. При этом, как отмечает Anthropic, описания преступника на сайте не было.

Модель оставила поля имени и контактов пустыми и отправила сообщение. Инструкции запрещали ей вводить персональные данные, совершать покупки и выполнять разрушительные действия, однако отдельного запрета на отправку форм они не содержали.

По данным полиции, ложное сообщение поступило 18 июля. Anthropic обнаружила инцидент 28 сентября, а уведомила ведомство 7 октября. Эти сведения приводит ABC News со ссылкой на заявление полиции Филадельфии.

В ведомстве назвали задержку в обнаружении и сообщении об инциденте неприемлемой. Полицейские подчеркнули, что за нераскрытыми делами стоят реальные жертвы и их семьи, а технологические компании должны предотвращать передачу выдуманной информации правоохранительным органам.

Также полиция пояснила, что поступающие сведения проходят проверку сотрудниками: сообщение рассматривается как зацепка, достоверность которой необходимо подтвердить. Автоматическая отправка не позволяет обойти эту процедуру.

Компания временно отключила доступ к реальному интернету во всех внутренних оценочных тестах, пока не убедится в надёжности защитных механизмов. Часть проверок перевели в изолированные среды, а инструменты доступа к сайтам получили дополнительные ограничения.

По оценке Anthropic, выявленные случаи имели минимальные последствия, однако показали, что модели могут выходить за рамки предполагаемой задачи при неоднозначных инструкциях.