昊梵体育网

从大模型蒸馏的角度,聊聊辅助驾驶模型的蒸馏:其实本质还是老师带徒弟,可以理解为:

从大模型蒸馏的角度,聊聊辅助驾驶模型的蒸馏:

其实本质还是老师带徒弟,可以理解为:让一个“小模型”模仿“大模型”的判断方式,而不是完全依靠原始数据,从头学习驾驶。

比如,徒弟可以学习:什么时候该减速、遇到加塞如何让行、弯道如何控制轨迹、如何选择跟车距离、什么时候可以变道,以及如何在多条可行轨迹中,选出“更好”的一条。

即使小模型的参数量明显下降,也有机会保留大模型相当一部分的驾驶策略和行为习惯。

所以你能看到,FSD V14 Lite在很多方面的体验,和V14是类似的。

大模型使用海量真实驾驶数据、困难场景数据,以及接管、纠错等反馈数据进行训练。通过蒸馏,小模型可以间接继承大模型从这些数据中总结出的知识。

但蒸馏一定会有代价。

蒸馏一般更容易保住高频、稳定、数据覆盖充分的能力,但会损失低频、复杂、边界模糊的场景。

比如:异形障碍物的识别和处理、多车连续博弈、极端天气、逆光以及严重遮挡等等。

大模型可以依靠更高的模型容量,保留更多细粒度特征;小模型则容易把几个看起来相似、但实际处理方式不同的场景,压缩成同一种情况。

还是拿FSD举例。V14 Lite的低速通用障碍物避让能力,明显弱于V14,倒车撞锥桶的案例很多。

而辅助驾驶真正决定安全性和能力上限的,恰恰是这些低频的长尾场景。

这也是为什么马斯克提到,AI3无法实现无监督FSD,直接原因是它的算力和内存带宽不足,而不是再做一次蒸馏就能解决。

那蒸馏还有意义吗?当然有。

如果大模型本身的能力足够好,通过蒸馏,可以把其中大量已经验证过的能力带到低算力平台上,延长老产品的生命周期。

但它是有经济代价的,车企需要为老平台单独训练、适配、测试和验证,后续还要持续维护,这也是目前老平台蒸馏最大的挑战。

而恰恰我们的L2辅助驾驶,都是买硬件送软件,对于那些已经退出销售的老车,每一次训练投入,在财报上都是负数的体现。