字节跳动内部严禁蒸馏开源模型的消息传开,在AI圈内吵开了。这件事表面是一条企业内部技术禁令,本质上折射出国内大模型行业当下非常现实的竞争困境。
所谓模型蒸馏,简单说就是拿别家开源大模型的输出数据,训练自家模型,用低成本的方式快速补齐能力短板。对很多团队来讲,蒸馏是捷径,不用投入海量算力做预训练,就能快速把模型效果拉到接近头部水平。
网上两种完全对立的看法很有代表性。一部分从业者觉得,禁止蒸馏是正确的长期选择。AI真正的壁垒,根源来自底层预训练、数据体系与技术架构。过度依赖蒸馏,相当于站在别人的地基上盖楼,看似迭代很快,但永远拿不到核心技术,一旦上游开源模型迭代、协议变更,自身产品就会处处被动。拒绝走捷径,逼着团队啃硬骨头做原生自研,短期成本暴涨,但能够沉淀真正属于自己的技术家底。
但也有不少声音提出质疑,现在大模型赛道卷到白热化,算力、数据集成本居高不下。完全切断蒸馏这条路径,中小团队生存空间会被进一步挤压。大厂可以烧钱做完整预训练,小团队没有充足资源,蒸馏本就是缩小差距为数不多的手段。一刀切禁令,会不会进一步加速行业向头部集中,扼杀创新活力。
放到整个行业视角看,开源不等于可以无底线拿来。开源协议本身就划定了使用边界,蒸馏行为常常游走在协议的灰色地带,知识产权争议一直不断。可现实矛盾在于,目前行业还没有一套清晰统一的规则,哪些蒸馏可以做,哪些属于抄袭剽窃,边界十分模糊,大多只能靠企业自律。
字节的禁令,更多是企业层面的战略取舍,不等于全行业标准答案。选择自研,就要承担更高的成本与失败风险;选择蒸馏捷径,就要面对知识产权与技术空心化隐患。
AI行业不能只比拼上线速度,更要比拼底层技术沉淀。但也不能用一套标准去要求所有玩家。真正健康的行业环境,既需要头部企业愿意沉下心攻坚原生技术,也需要完善行业规则,厘清开源、蒸馏、抄袭之间的界限,给不同体量的团队留出合理生存空间。捷径可以跑得快,但只有原生自研,才能走得更远。
华俊竹有话说