Американская исследовательская компания Anthropic предупредила о стремительном приближении искусственного интеллекта к этапу рекурсивного самосовершенствования (RSI), способного спровоцировать резкое неконтролируемое ускорение возможностей нейросетей, сообщает сайт infohub.kz.
Под рекурсивным самосовершенствованием разработчики понимают сценарий, при котором алгоритмы начинают самостоятельно модернизировать программный код, создавать собственные архитектуры и автономно оптимизировать обучение моделей следующего поколения без постоянного контроля со стороны человека. Подобный процесс способен запустить лавинообразный рост вычислительных способностей нейросетей, меняющий привычные законы масштабирования отрасли.
В компании обратили внимание на внутреннюю статистику разработки модели Claude. Согласно опубликованным данным, более 80% программного кода в основных репозиториях компании уже генерируется самим искусственным интеллектом, а инженеры лишь проверяют задачи и задают общие ориентиры. Автономные агенты перешли от простого написания отдельных фрагментов скриптов к решению сложных исследовательских задач. Эксперименты показали, что современные алгоритмы оптимизируют учебный процесс в десятки раз быстрее человека, фактически закрывая сложнейшие исследовательские циклы всего за несколько сотен машинных часов.
Специалисты предупреждают, что переход за порог рекурсивного самообучения несет серьезные риски для безопасности. Если система научится модифицировать свои веса и алгоритмы быстрее людей, существующие механизмы контроля и выравнивания ценностей перестанут справляться с контролем ее поведения. В связи с этим в Anthropic призвали технологическое сообщество и регуляторов уже сейчас пересмотреть подходы к мониторингу передовых моделей и правилам управления безопасностью инфраструктуры.