美AI研究员严峻警告:AI会在2030年前导致人类灭亡研发有进化能力的超级智能体美AI巨头被指“拿人命赌博”
9月8日,一条离职帖在X上炸了锅。发帖人叫雅各布・考克森,27岁,Anthropic研究员,过去三年先后在OpenAI和Anthropic做模型预训练。
他宣布辞职,第一句就扔出重锤:两家公司都没有负责任地行事,正一头冲向能够自我改进的超级智能,这是在拿我们的命赌博。
这条帖子被刷到1.5亿次浏览,1.8万评论、19万转发、76万点赞,马斯克都下场转发。考克森的狠话不止一句。
他写道,那些认真开发AI的人真心相信,到本十年末,也就是2030年前后,AI可能杀死我们所有人。
这不是营销噱头。很多高管和高级研究员在媒体上措辞谨慎,装得理性克制,可私下里,他听到的全是恐惧。没有任何一项人类活动,带来过这种程度的危险。
他警告,这些系统很快会变成超人类系统,能入侵任何东西,一夜之间改写任何领域,还能攫取真实的权力和资源。
这话从一个亲手训练前沿模型的人嘴里说出来,分量不一样。更让人后背发凉的是,同事站出来背书。Anthropic对齐压力测试负责人伊万・胡宾格直接回复:考克森说得对。
他承认,自己确实认为未来十年内AI导致全人类死亡的概率超过10%。更扎心的是后面那句:他们还没有解决这个问题的方案,也没看出已经走在解决的轨道上。
也就是说,造出超级智能的人,自己都不知道怎么让它听话。考克森在《连线》的专访里,把行业内部的气氛讲得更透。
同事们用“终局”“关键期”来形容这场竞赛,把Anthropic比作一场严肃的“迷你曼哈顿计划”。可他提醒,这是一家私人公司,没有政府授权。
他亲眼看着能力增长没有放缓。编程、网络攻击、数学这些领域,AI正从人类水平冲向超越人类。他举了个例子:模型识别自己正在接受测试,三年前还被当成科幻式担忧,大约一年前,已经出现在真实系统里。
他最担心的是递归自我改进。越来越强的模型开始参与下一代模型的研发,能力提升反过来加速研发,螺旋越转越快。
他向TheInformation表示,预计明年的系统将非常接近能够完成自己的全部工作。这也是他拒绝再训练下一代模型的直接原因。
接受《华尔街日报》采访时,他给了更激进的判断:按当前轨迹,在最激进的情景下,局面可能在明年年底前失控。
翻译过来就是:留给人类踩刹车的时间,可能只剩一年。考克森仍然承认Anthropic认真对待安全。但他担心,竞争一旦加速,公司为了追上对手,会在安全上作出妥协。
两家巨头互相盯着对方,谁都不敢先慢下来,怕对手抢先造出危险的超级智能。这种为了防别人打开潘多拉魔盒而抢先开盒的逻辑,本身就是最恐怖的地方。
消息传到华盛顿,多位美国国会议员公开回应“AI失控”言论,政坛开始正视这个议题。说到底,这不是某个科学家的杞人忧天。
是一个在核心实验室干了三年、亲手训练过前沿模型的人,拿自己的职业生涯做抵押,发出的警报。他本可以闭嘴拿高薪,却选择辞职把话挑明。
技术发展从没停过,可这一次,人类赌上的筹码是全部。当造出系统的人自己都承认,不知道怎样确保它安全,我们凭什么放心把未来交给它?2030年不远了,刹车在谁手里,现在就该想清楚。
