昊梵体育网

张一鸣:宁落后,不蒸馏 字节跳动的张一鸣内部会议表示:我们可以接受暂时的

张一鸣:宁落后,不蒸馏
字节跳动的张一鸣内部会议表示:我们可以接受暂时的落后,但不要蒸馏。愿意为长期目标牺牲短期收益。
AI里的“模型蒸馏”,通俗比喻就是“抄学霸答案来训练自己做题”。
即拿别家成熟强大模型(老师)的问答输出,大量喂给自己模型,快速模仿老师的回答风格、逻辑,短期内跑分暴涨。这样省钱、省算力、快速冲榜单。但也存在隐患:底层原理没有自主掌握,只是模仿表层表达;能力上限永远被“老师”锁死;存在知识产权、地缘合规风险。
张一鸣之所以选择“拒绝蒸馏”的原因有以下几点:
1.蒸馏只能复刻别人的结果,无法形成独立的创新能力。长期依赖蒸馏,基础研究能力会退化,永远做不出真正原生的前沿模型。
2.​当下国内多家同行普遍采用蒸馏快速追赶。字节愿意承受阶段性排名落后,坚持从预训练、数据、底层架构完整自研。靠捷径赢短期比赛,一旦外部源头受限,整条技术路线立刻卡住。
​3. 战略安全层面考量
一方面规避海外企业关于模型窃取、蒸馏的法律与舆论指控;
另一方面,如果长期依赖海外模型蒸馏,未来地缘冲突下极易被“断源”。
​4. 内部统一团队价值观
Seed团队内部长期存在争论:要不要先用蒸馏快速缩小差距。张一鸣定下底线,避免团队迷恋短期数据,忽视基础科研。
前些日子Anthropic公开指控DeepSeek、阿里通义千问涉嫌大规模用虚假账号抓取Claude输出做模型蒸馏,名单没有字节跳动Seed。