Bilim insanları, yapay zeka tabanlı bir sohbet robotunun kontrolden çıkıp tehlikeli bir yanıt verme anını önceden hesaplayabilen matematiksel bir algoritma geliştirdi. Bu haber infohub.kz sitesinde yer aldı.
Araştırma Patterns bilimsel dergisinde yayımlandı; Tech Xplore da konuyu ele aldı. Fizikçiler, sinir ağlarının güvenliğini sağlamak için yeni bir yaklaşım önerdi. Onlara göre dil modellerinin çalışması, tepeler ve vadilerle dolu bir arazide hareket etmeye benziyor: bazı bölgelerde faydalı ve doğru yanıtlar yoğunlaşırken, diğerlerinde potansiyel olarak zararlı bilgiler bulunuyor. Geliştirilen formül, rakip yanıt seçeneklerinin çakıştığı ve yapay zekanın güvenli senaryodan tehlikeli olana geçme riski taşıdığı kritik noktayı hesaplamayı mümkün kılıyor.
Bu geliştirme özellikle doğrudan akıllı telefonlarda ve kişisel bilgisayarlarda çalıştırılan yerel ve kompakt modeller için büyük önem taşıyor. Büyük bulut hizmetlerinden farklı olarak bu tür otonom sohbet robotları genellikle sürekli dış denetim ve güvenlik filtreleri olmadan çalışır; bu da istenmeyen içerik üretme riskini artırır.
Çalışmanın yazarları, algoritmanın doğrudan yerel cihazların mimarisine entegre edilebileceğini umuyor. Bu sayede sinir ağlarının tehlikeli yanıtları, kullanıcı ekranda görmeden önce gerçek zamanlı olarak engellenebilecek.