昊梵体育网

张一鸣 字节不走模型蒸馏捷径模型蒸馏的核心是:用一个强大的“教师模型”的输出,来

张一鸣 字节不走模型蒸馏捷径模型蒸馏的核心是:用一个强大的“教师模型”的输出,来训练一个更小、更便宜的“学生模型”。学生模型学习教师的行为、答案分布,甚至推理过程,从而在特定任务上接近教师水平,但参数量、训练算力和推理成本大幅降低。

这对于初创模型来说可以绕过最昂贵的从头训练阶段,属于成本极低、见效快的方法,弊端是天花板效应明显,容易削弱真正的创新,业内也会被视为工程取巧而非科学突破。

张一鸣拒绝蒸馏的主要原因来自于字节与美国政府的复杂关系,担心被抓到蒸馏美国前沿模型的把柄,给监管方递刀子,所以必须谨慎。

这不是单纯技术洁癖,而是战略选择。字节有豆包、Seedance这样的全球分发能力,更在意长期信任和技术合规,而不是国内排行榜上的短期领先。宁愿慢一点,也要避免能力来源被永远质疑。这在高度竞争、高度监管的AI时代,是一种更昂贵、也更审慎的长期主义。