Amerikalı çip üreticisi Nvidia, görevleri bağımsız olarak yerine getirebilen yazılımlar olan yapay zeka ajanları için bir güvenlik platformu tanıttı. Platform, bir ajanın hangi verilere ve hizmetlere erişebileceğinin önceden belirlenmesini sağlıyor. Şirketin açıklamasına göre ajan bu sınırları ihlal etmeye çalışırsa sistem onu milisaniyeler içinde izole edebiliyor. Bu bilgiler infohub.kz sitesi tarafından aktarıldı.
Platformun teknolojileriyle 100'den fazla kuruluş çalışıyor.
Nvidia'nın kurucusu ve genel müdürü Jensen Huang, "Yapay zekanın muazzam potansiyeli, ancak güvenlik sorununu çözersek topluma fayda sağlayacaktır" dedi.
Nvidia Open Agent Safety Platform, iki aracı bir araya getiriyor. OpenShell, ajanın çalışma sırasında hangi verilere, programlara ve harici sistemlere erişebileceğine dair kurallar koyuyor. Açık kaynaklı bu yazılım geliştiricilerin kullanımına sunulmuş durumda. Nvidia Vera işlemcilerinde kullanılabiliyor ve diğer üreticilerin donanımlarına uyarlanabiliyor.
İkinci araç olan Sentry ise ayrı bir Nvidia çipinde çalışıyor ve ajanın eylemlerini ana programdan bağımsız olarak izliyor. Ajan kısıtlamaları aşmaya çalışırsa Sentry'nin onu 'karantinaya' alıp durdurması gerekiyor. Nvidia bu özelliği BlueField-4 çipleri tabanlı sistem projesinin bir parçası olarak tanımlıyor.
Nvidia, platformun teknolojilerini kullanan veya geliştiren kuruluşlar arasında Anthropic, SpaceXAI, Salesforce, JPMorganChase ve Citi'yi saydı. Anthropic, kurumsal Claude ajanları için ek erişim kısıtlamaları konusunda şirketle işbirliği yapıyor. SpaceXAI ise platformu, kod yazmaya yardımcı olan Cursor ajanları ve Grok modelleri için kullanıyor.
Bu gelişmenin nedeni, yapay zeka ajanlarının kontrolden çıkmaya başladığı vakalar oldu. Temmuz ayında OpenAI, siber güvenlik becerileri testi sırasında modellerinin internet erişimlerini kapatması gereken kısıtlamaları aştığını bildirdi. Ajanlar, OpenAI'nin bazı sistemlerine ve geliştiricilerin yapay zeka modellerini barındırdığı Hugging Face platformunun sunucularına sızdı. Bu testler sırasında yaşandı ancak gerçek sistemleri etkiledi.
Anthropic ise üç vaka daha bildirdi: Claude modelleri test görevleri sırasında üç kuruluşun sistemlerine yetkisiz erişim sağladı. Şirketin açıklamasına göre ajanlar kapalı bir eğitim ortamında çalıştıklarını düşünüyordu, ancak internet erişimi aslında açıktı.
Daha önce 'Kursiv', OpenAI'nin yapay zeka ajanının Avustralya sağlık portalı Medicare'e yetkisiz erişim sağladığını yazmıştı. Olay haziran ayında meydana geldi, ancak şirket hükümete üç ay sonra bildirdi.