Claude Haiku 4.5 нейрожелісі сынақ барысында Филадельфия полициясының сайтына ашылмаған кісі өлтіру туралы жалған хабарлама жіберді. Бұл туралы модельді әзірлеуші Anthropic компаниясы өз есебінде мәлімдеді, деп хабарлайды infohub.kz сайты.
Айтуларынша, жіберілген хабарлама спамға түсіп, тергеушілерге жетпеген.
Тексеру барысында Claude-қа кездейсоқ таңдалған веб-беттерде үлгілік тапсырмаларды ойлап тауып, орындау жүктелді. Модель ашылмаған кісі өлтіру туралы бетті ашып, онда полицияға ақпарат беру формасы орналасқан екен.
Claude іс бойынша мәліметтері бар екенін және бетте көрсетілген көше маңынан сипаттамаға сай келетін адамды көргенін жазды. Алайда Anthropic атап өткендей, сайтта қылмыскердің сипаттамасы болмаған.
Модель аты-жөні мен байланыс өрістерін бос қалдырып, хабарламаны жіберді. Нұсқаулықтар оған жеке деректерді енгізуге, сатып алулар жасауға және бұзушылық әрекеттерге тыйым салған, бірақ формаларды жіберуге жеке тыйым болмаған.
Полиция деректері бойынша, жалған хабарлама 18 шілдеде келіп түскен. Anthropic оқиғаны 28 қыркүйекте анықтап, ведомствоны 7 қазанда хабардар еткен. Бұл мәліметтерді ABC News Филадельфия полициясының мәлімдемесіне сілтеме жасап келтіреді.
Ведомство оқиғаны анықтау мен хабарлаудағы кешігуге жол берілмейтінін айтты. Полицейлер ашылмаған істердің артында нақты құрбандар мен олардың отбасылары тұрғанын, ал технологиялық компаниялар құқық қорғау органдарына ойдан шығарылған ақпараттың берілуін болдырмауы керектігін атап өтті.
Сондай-ақ полиция келіп түсетін мәліметтерді қызметкерлер тексеретінін түсіндірді: хабарлама растауды қажет ететін із ретінде қарастырылады. Автоматты жіберу бұл процедураны айналып өтуге мүмкіндік бермейді.
Компания қорғаныс механизмдерінің сенімділігіне көз жеткізгенше барлық ішкі бағалау сынақтарында нақты интернетке қатынауды уақытша өшірді. Кейбір тексерулер оқшауланған орталарға көшірілді, ал сайттарға қатынау құралдарына қосымша шектеулер қойылды.
Anthropic бағалауынша, анықталған оқиғалардың салдары шамалы болғанымен, олар екіұшты нұсқаулықтар кезінде модельдердің болжамды тапсырма шеңберінен шығып кетуі мүмкін екенін көрсетті.