Take away: 1. 蒸馏不是模型能力的决定性来源。预训练底座、架构、数据、算法和基础设施决定基本上限。中国开源模型的进步不能简单归因于“蒸馏美国模型”。 2. 蒸馏模型可以在特定任务上超过教师,但能否仅靠蒸馏在通用能力上持续超越前沿教师模型,仍未得到证明。 3. 推理模型产生的思维链、工具调
Take away:
1. 蒸馏不是模型能力的决定性来源。预训练底座、架构、数据、算法和基础设施决定基本上限。中国开源模型的进步不能简单归因于“蒸馏美国模型”。
2. 蒸馏模型可以在特定任务上超过教师,但能否仅靠蒸馏在通用能力上持续超越前沿教师模型,仍未得到证明。
3. 推理模型产生的思维链、工具调