“梁博，你好像做蒸馏比较专业，能谈谈嘛？真的在蒸馏嘛？”答：我厂没有参与蒸馏，大家可能对这个方向理解出现了偏差，蒸馏的强度根本不是我这种小厂能搞的，是大规模工业蒸馏，流水极大，极大的。不是普通小厂能搞的，所有小厂加一起也搞不了。系统性的通过全面的方法把先进大模型的大部分参数权重给“拿”过来，需要的强度大到超出大家的想象。

我是知道一些情况的，但是这种说出来就百分百被告了，我是不会说的，只能告诉大家一点，这种玩法存在，而且小厂完全参与不了，大家了解到这一步就够了。