Yapay zeka modeli Claude Haiku 4.5, test sırasında Philadelphia polisinin internet sitesine gerçek bir çözülmemiş cinayetle ilgili yanlış bir ihbar gönderdi. Modelin geliştiricisi Anthropic, olayı raporunda duyurdu; haber infohub.kz sitesinde yer aldı.
Belirtildiğine göre gönderilen mesaj spam klasörüne düştü ve soruşturmacılara iletilmedi.
Test kapsamında Claude'a rastgele seçilen web sayfalarında örnek görevler üretmesi ve bunları yerine getirmesi istendi. Model, çözülmemiş bir cinayete ilişkin sayfayı açtı; sayfada polise bilgi iletmek için bir form bulunuyordu.
Claude, davayla ilgili bilgi sahibi olduğunu ve sayfada belirtilen cadde yakınında tarif edilen kişiye uyan birini gördüğünü yazdı. Ancak Anthropic'in aktardığına göre sitede failin tarifi yer almıyordu.
Model, ad ve iletişim alanlarını boş bırakarak mesajı gönderdi. Talimatlar kişisel veri girmesini, alışveriş yapmasını ve yıkıcı eylemlerde bulunmasını yasaklıyordu; ancak form göndermeye dair ayrı bir yasak içermiyordu.
Polis verilerine göre yanlış ihbar 18 Temmuz'da ulaştı. Anthropic olayı 28 Eylül'de tespit etti ve kurumu 7 Ekim'de bilgilendirdi. Bu bilgileri ABC News, Philadelphia polisinin açıklamasına dayanarak aktardı.
Yetkililer, olayın tespitinde ve bildirilmesindeki gecikmeyi kabul edilemez olarak nitelendirdi. Polis, çözülmemiş davaların arkasında gerçek mağdurlar ve aileleri olduğunu vurgulayarak teknoloji şirketlerinin uydurma bilgilerin kolluk kuvvetlerine iletilmesini önlemesi gerektiğini belirtti.
Polis ayrıca gelen bilgilerin görevlilerce incelendiğini açıkladı: ihbar, doğruluğu teyit edilmesi gereken bir ipucu olarak değerlendiriliyor. Otomatik gönderim bu sürecin atlanmasına olanak tanımıyor.
Şirket, koruma mekanizmalarının güvenilir olduğundan emin olana kadar tüm dahili değerlendirme testlerinde gerçek internete erişimi geçici olarak kapattı. Bazı kontroller izole ortamlara taşındı, site erişim araçlarına ek kısıtlamalar getirildi.
Anthropic'in değerlendirmesine göre tespit edilen olayların etkisi asgari düzeyde kaldı; ancak bunlar, belirsiz talimatlar verildiğinde modellerin öngörülen görevin sınırlarını aşabileceğini gösterdi.