它从“开放问题”到实际落地大模型,仅用了短短两年时间,已有 Mercury、Gemma Diffusion、Nemotron Diffusion 等重量级开源/工业界实现。
Cornell 大学的 Volodymyr Kuleshov 教授(Inception AI 首席科学家)及其团队最新发布的博文 《How to Build a Diffusion Language Model》,正是目前最系统、最实操向的构建指南之一,强烈推荐给所有关注 LLM 架构创新、生成效率和可控性的开发者阅读。
博文从自回归模型的局限性(不可纠错、顺序生成慢、仅因果注意力)切入,对比介绍了扩散模型的核心优势:并行生成、可迭代精炼、双向上下文、全序列同时优化。
它以Masked Diffusion(掩码扩散,MDLM) 为基础起点,将其类比为“生成式的 BERT”或“unmasking transformer”,详细拆解了前向过程和逆向过程。
在此基础上,系统梳理了构建真实世界扩散 LLM 的关键技术栈:迭代精炼、可变长度生成、可控生成、快速采样器、RL后训练等。
文章结合当下开源大扩散模型实例,层层递进,适合从入门到进阶。
内容改编自作者在 ICLR 2026 和 MLSS 2026 的演讲,理论与实践结合紧密。
无论你是从事 LLM 预训练、推理优化、生成控制,还是探索下一代生成范式的研究者/工程师,都强烈建议收藏并细读。




