英伟达（NVIDIA）团队最新发表了名为《Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMs》的重磅技术论文。
论文主要介绍了一种针对复杂“混合专家模型（Hybrid MoE）”的压缩优化方案，并推出了一个极高推理效率的衍生大模型：Nemotron-Labs-3-Puzzle-75B-A9B。
当前的顶级大模型为了兼顾各种能力，越来越趋向于使用将 Mamba、MoE（专家模型）和 Attention（注意力机制）缝合在一起的“异构混合架构”。
这类模型虽然性能极强，但参数量过于臃肿，导致在实际商用和交互式服务中，面临显存占用过高、多并发请求承载力极低、传统单剪枝技术无法适配的严重落地痛点。
论文提出了一套名为 Iterative Puzzle（迭代拼图） 的多阶段剪枝压缩框架。
它打破了传统纯 Transformer 剪枝的局限，实现了对 MoE 路由通道、激活专家数量以及 Mamba 状态大小的“多维异构联合裁剪”；同时辅以知识蒸馏（KD）、多Token预测（MTP）和量化技术，让剪枝后的模型完美找回了原有的下游任务能力。
团队成功将原 120.7B 的基座模型压缩成了 75.3B 的 Puzzle-75B-A9B。
实验结果惊人：
🔷 在 8×B200 的交互式部署测试中，服务器总吞吐量直接翻倍（提升约 2 倍）。
🔷 在单张 H100 运行 1M 超长文本的极端场景下，单卡并发请求数从 1 个暴增至 8 个。
🔷 推理、代码、长文本等基准测试准确率几乎无损，用更低的资源跑出了平替母模型的超强表现。
这篇论文证明庞大且异构的混合 MoE 模型，可以通过精细化、多维度的迭代剪枝方案，在几乎不损失核心下游能力的前提下，获得成倍的工程落地与推理效率红利。
LLM推理优化、MoE架构、部署工程、Agent系统开发者强烈关注！
开源模型已上HF，论文也给大家准备好了，已上传到文件~ 👇🏻直接取哦~
