Amerikalı araştırma şirketi Anthropic, yapay zekânın özyinelemeli kendi kendini geliştirme (RSI) aşamasına hızla yaklaştığı ve bunun sinir ağlarının yeteneklerinde ani ve kontrolsüz bir hızlanmaya yol açabileceği uyarısında bulundu; bu bilgiler infohub.kz sitesinde yer aldı.
Geliştiriciler özyinelemeli kendi kendini geliştirmeyi, algoritmaların insan denetimi olmadan kendi yazılım kodlarını yenilemeye, kendi mimarilerini oluşturmaya ve yeni nesil modellerin eğitimini özerk biçimde optimize etmeye başladığı bir senaryo olarak tanımlıyor. Böyle bir süreç, sinir ağlarının hesaplama kapasitesinde sektörün alışılmış ölçekleme kurallarını değiştiren çığ gibi bir artışı tetikleyebilir.
Şirket, Claude modelinin geliştirilmesine ilişkin iç istatistiklere dikkat çekti. Yayımlanan verilere göre şirketin ana depolarındaki yazılım kodunun %80'inden fazlası artık yapay zekânın kendisi tarafından üretiliyor; mühendisler ise yalnızca görevleri denetliyor ve genel yönlendirmeleri belirliyor. Otonom ajanlar, tek tek betik parçaları yazmanın ötesine geçerek karmaşık araştırma görevlerini çözmeye başladı. Deneyler, günümüz algoritmalarının eğitim sürecini insandan onlarca kat daha hızlı optimize ettiğini ve en karmaşık araştırma döngülerini yalnızca birkaç yüz makine saatinde fiilen tamamladığını gösterdi.
Uzmanlar, özyinelemeli kendi kendine öğrenme eşiğinin aşılmasının güvenlik açısından ciddi riskler taşıdığı uyarısında bulunuyor. Eğer sistem ağırlıklarını ve algoritmalarını insanlardan daha hızlı değiştirmeyi öğrenirse, mevcut denetim ve değer hizalama mekanizmaları davranışını kontrol etmekte yetersiz kalacak. Bu nedenle Anthropic, teknoloji camiasını ve düzenleyicileri, ileri modellerin izlenmesine ve altyapı güvenliğinin yönetim kurallarına ilişkin yaklaşımları şimdiden gözden geçirmeye çağırdı.