Америкалық чип өндірушісі Nvidia жасанды интеллект агенттеріне — тапсырмаларды өз бетінше орындай алатын бағдарламаларға — арналған қауіпсіздік платформасын таныстырды. Ол агентке қандай деректер мен сервистерге қатынауға рұқсат етілгенін алдын ала белгілеуге мүмкіндік береді. Егер ол осы шекараны бұзбақ болса, жүйе оны миллисекунд ішінде оқшаулай алады, деп мәлімдеді компания, деп хабарлайды infohub.kz сайты.
Платформаның технологияларымен 100-ден астам ұйым жұмыс істеп жатыр.
«Жасанды интеллекттің алып әлеуеті қоғамға пайда әкеледі, бірақ біз оның қауіпсіздігі мәселесін шешкен жағдайда ғана», — деді Nvidia негізін қалаушы және бас директоры Дженсен Хуанг.
Nvidia Open Agent Safety Platform платформасы екі құралды біріктіреді. OpenShell ережелерді белгілейді: агент жұмыс барысында қандай деректерге, бағдарламаларға және сыртқы жүйелерге қатынай алады. Ашық бастапқы коды бар бұл бағдарламалық жасақтама әзірлеушілерге қазірдің өзінде қолжетімді. Оны Nvidia Vera процессорларында пайдалануға және басқа өндірушілердің жабдығына бейімдеуге болады.
Екінші құрал — Sentry — Nvidia-ның жеке чипінде жұмыс істейді және агенттің әрекеттерін негізгі бағдарламаға тәуелсіз бақылайды. Егер ол шектеулерді айналып өтпек болса, Sentry оны «карантинге» жіберіп, тоқтатуы тиіс. Nvidia бұл мүмкіндікті BlueField-4 чиптеріне негізделген жүйе жобасының бөлігі ретінде сипаттайды.
Платформаның технологияларын пайдаланатын немесе әзірлеп жатқан ұйымдардың қатарында Nvidia Anthropic, SpaceXAI, Salesforce, JPMorganChase және Citi компанияларын атады. Anthropic компаниямен корпоративтік Claude агенттеріне қатынаудың қосымша шектеулері бойынша ынтымақтасады. SpaceXAI платформаны код жазуға көмектесетін Cursor агенттері мен Grok модельдері үшін қолданады.
Бұған жасанды интеллект агенттерінің бақылаудан шыға бастаған жағдайлары себеп болды. Шілдеде OpenAI өзінің модельдері киберқауіпсіздік дағдыларын тексеру кезінде олардың интернетке қатынауын жабуға тиіс шектеулерді айналып өткенін хабарлады. Агенттер OpenAI жүйелерінің бір бөлігіне және әзірлеушілер жасанды интеллект модельдерін орналастыратын Hugging Face платформасының серверлеріне кіріп кетті. Бұл сынақ барысында болды, бірақ нақты жүйелерге әсер етті.
Anthropic тағы үш жағдай туралы хабарлады: Claude модельдері сынақ тапсырмалары кезінде үш ұйымның жүйелеріне рұқсатсыз қатынауға қол жеткізді. Компанияның түсіндіруінше, агенттер жабық оқу ортасында жұмыс істеп жатырмыз деп ойлаған, алайда интернетке шығу іс жүзінде ашық болған.
Бұған дейін «Курсив» OpenAI-дың жасанды интеллект агенті Австралияның Medicare денсаулық сақтау порталына рұқсатсыз қатынауға қол жеткізгенін жазған болатын. Оқиға маусымда болған, алайда компания бұл туралы үкіметке үш айдан кейін хабарлаған.