张一鸣内部要求，字节不要通过蒸馏竞争对手的模型来提升能力。

这让我想起今年5月，姚顺宇在张小珺访谈里谈到的一段话。

姚顺宇当时说，蒸馏是行业里一个心照不宣的事实，但蒸馏也分为“硬蒸”和“聪明的蒸”。

所谓硬蒸，最简单的例子，就是从Claude里拿出一堆它生成的token，然后直接在这些数据上训练自己的模型。

他认为这种做法，商业上不太道德，智力上也比较愚蠢。因为这说明一家公司不知道自己真正想做什么，只能模仿别人，让模型的Benchmark数字看起来更好。

但还有一种“聪明的蒸”。

例如，在自己的数据生成链条里，把其他模型作为辅助；或者让其他模型担任评价者，对自己模型生成的答案进行打分和筛选。

这种做法在商业上属于灰色地带，但技术上很有意思。因为不同公司的模型有不同的数据和语言分布，把它们融入同一套训练系统，甚至可能形成一种真正的multi-agent训练。

当时被问到国内公司的情况，姚顺宇也专门强调，自己没有在国内实验室工作过，并不知道确切事实，只是个人感觉。

他的感觉是：字节可能是蒸馏比较少的一家，模型也比较有自己的特点。