张一鸣在一个月前举行的 Seed 全员会上明确表示:字节跳动不会利用模型蒸馏,加速自身大语言模型的能力提升
字节拒绝蒸馏美国前沿 AI 实验室的模型,是担心蒸馏行为引发华盛顿方面的报复,进而危及公司旗下备受瞩目的社交媒体资产 TikTok
而我们了解到的是:TikTok 的前景,占禁止 Seed 蒸馏美国前沿模型的考虑要素权重几乎为零。
张一鸣解释禁止蒸馏其他模型的原因时说:为了实现长远目标,我们应该愿意牺牲一些短期利益
这句话更应该被理解为:为了追求模型的长期智能上限,Seed 可以接受现阶段的能力差距,也不应该通过蒸馏竞争对手消除这种差距。
我们可以接受暂时的落后,但不要蒸馏,知情人士对我们称,张一鸣曾在 Seed 内部多次做过如是表态。
更重要的是,字节对蒸馏训练数据的警惕,早于今天围绕蒸馏形成的中美 AI 竞争叙事。

