美国研究公司Anthropic警告称,人工智能正迅速逼近递归自我完善(RSI)阶段,可能引发神经网络能力急剧且失控的加速,据infohub.kz网站报道。
开发者所说的递归自我完善,是指算法开始自行升级软件代码、创建自身架构,并在没有人类持续监督的情况下自主优化下一代模型的训练。这一过程可能引发神经网络计算能力的雪崩式增长,从而改变行业惯有的扩展规律。
该公司注意到Claude模型开发过程中的内部统计数据。根据公布的数据,公司主要代码库中超过80%的软件代码已由人工智能自身生成,工程师只负责检查任务并设定总体方向。自主智能体已从简单编写零散脚本片段,转向解决复杂的研究任务。实验表明,现代算法优化训练流程的速度比人类快数十倍,实际上仅用数百个机器小时就能完成极其复杂的研究循环。
专家警告称,跨越递归自我学习的门槛会给安全带来严重风险。如果系统学会比人类更快地修改自身权重和算法,现有的控制机制和价值对齐机制将无法再有效约束其行为。因此,Anthropic呼吁技术界和监管机构现在就重新审视对前沿模型的监测方式以及基础设施安全管理规则。


