谷歌在 NeurIPS 2025 发了一篇非常前瞻性的论文:《Nested Learning: The Illusion of Deep Learning Architectures》。它试图重塑深度学习的基本范式,直击当前大模型的三大痛点:模型无法持续学习:每次推理产生的反馈都无法写入长期记忆,下一次还是“从零开始”;版本之间也无法真正继承(RAG 只是外挂式补丁)。训练结束即“脑死亡”:参数一旦固化就无法再吸收新知识;所谓微调,本质是加一个旁路参数,不是真正的持续学习。Transformer 的更新方式过于粗粒度:参数是全局统一更新的;而 Nested Learning 引入了“快记忆/慢记忆”的多时间尺度,真正做到分层学习、分层更新。如果未来模型沿着这种方向演进,意味着:1)对算力与能耗的依赖将明显下降;2)模型可以在使用过程中不断与人类专家交互、共同进化;3)头部模型由于拥有更长的“经验链条”,领先优势会越拉越大,后来者越来越难追。综合来看,谷歌依然是这个赛道最值得保持高度关注的玩家之一,谢谢。
谷歌在NeurIPS2025发了一篇非常前瞻性的论文:《NestedLe
梁斌聊商业
2025-12-02 14:49:59
0
阅读:0