【什么是人工智能模型蒸馏——越来越多的模型都是建立在巨人的肩膀上，无论好坏】
（Gizmodo）当你决心掌握一项新技能时，拥有一位导师大有裨益——这位导师已经走过这条路，并能凭借其来之不易的经验，为你提供一份大致的路线图供你遵循。学习并非发生在真空中：正如艾萨克·牛顿所言：“如果我看得更远，那是因为我站在巨人的肩膀上。”
人工智能领域也是如此。
一提到人工智能，我们往往会想到所谓的旗舰模型——诸如ChatGPT、Claude和Gemini这类数字巨无霸，它们需要数十亿美元的投入以及互联网上大量的内容才能运行。可以说，这些巨头是从零开始构建的（尽管在模型训练过程中，许多艺术家和新闻出版商的作品被偷偷抓取，他们可能会认为这种说法过于简单化）。
但这并非开发人工智能的唯一途径——甚至不是最高效的方式。与其从零开始构建，不如利用一个更强大的模型，让它承担繁重的工作，而你的新模型（规模较小）则从中获益。简而言之，这就是科技行业所称的“模型蒸馏”背后的基本过程。随着中美之间的人工智能竞赛日益白热化，这一话题正引发越来越多的争议。
——什么是模型蒸馏？
从宏观角度来看，蒸馏可以被视为一种炼金术过程，即从大量原本无用的物质中提取出少量有价值的精华。例如，要蒸馏酒精，需要将发酵后的液体煮沸，收集乙醇蒸汽，然后将其冷却；通过这种方式，纯酒精便能被分离、提取并转化为商品。
同样地，人工智能模型蒸馏——正如科技圈所称——旨在从更大的预训练模型中提取有价值的训练数据。通常情况下，一个模型需要经历漫长的试错过程，才能建立起对人类儿童看来不言自明的事实的理解，例如如何区分猫和狗、2+2永远等于4，或者“树”这个词代表户外那些高大茂密的植物。这种最常见的学习阶段，在计算上极其耗费资源。（尽管这仍是一个耗资数十亿美元的未解之谜，但人们普遍认为这是通往通用人工智能的最可靠途径，因此各家公司都愿意投入相当于一个小国GDP的资金来构建此类模型。）
模型蒸馏（也称为知识蒸馏）通过本质上模仿旗舰模型的行为，跳过了这一关键的学习阶段。新模型随着时间的推移，仍在不断提升实现特定目标的能力——若无此能力，便不能真正称为人工智能——但它无需经历获取关于世界“真实知识”的艰辛过程，而是借助旗舰模型来之不易的知识，以此来指导自身的行为。
类比而言，你可以把旗舰模型看作一位土生土长的纽约人，她对这片区域的深入了解，源于一生中无数次的漫游和走错路。而精简模型则像是一位初次来城里探访她的朋友，跟在她身后漫步于城市之中，沿途画出一幅粗略的地图草图。或者想想飞机的发明。莱特兄弟在经历了多次失败尝试，以及众多其他创新者尝试却未能成功之后，于1903年驾驶他们的第一架飞行器成功升空。但他们成功之后，其他创新者便能以此为基础进行进一步开发。真正艰难的学习过程已经完成，未来的大门向其他人敞开，供他们在此基础上进行迭代和改进。
——这是如何运作的？
模型蒸馏通过将较小的“学生”模型与旗舰级的“教师”模型配对来实现。在两者多次交互的过程中，前者逐渐学会更准确地预测后者的响应，从而以教师模型为范本进行自我调整。同样，学生模型仍处于学习过程中，但与教师模型所需经历的学习过程相比，这一过程成本更低、流程更简化。
但就像一位优秀的人类教师一样，“老师”模型不会仅仅以非黑即白、非是即非的方式回答“学生”的问题：它会培养“学生”的推理能力。
例如，一个教师模型可能通过分析从社交媒体和其他在线数据库中抓取的数百万张摩托车图片，并在人类协助填写数百万个验证码（CAPTCHA）的帮助下，学会了识别摩托车图像——这些验证码有助于它将摩托车与外观相似的物体区分开来。当学生模型试图发展自身的识别能力时，它不会仅仅观察教师模型如何给摩托车图片标注“是”或“否”的标签；相反，它会观察教师模型如何通过演绎推理的过程来分析特定图像中所展示的内容。例如，教师模型可能会得出结论：图像中的物体有 85% 的概率是摩托车，12% 的概率是电动自行车，2.7% 的概率是驴，0.3% 的概率是斯纳夫勒帕格斯先生。这些所谓的“软标签”有助于学生模型建立自己的推理和统计预测能力。
——为何引起如此大的轰动？
大多数专家会告诉你，模型蒸馏本身并不一定不道德。这并非窃取，而是基于他人的创新进行构建——正如牛顿的名言所言，这正是真正科学进步的基石。事实上，甚至可以认为蒸馏总体上是利大于弊的，因为它使构建强大人工智能的能力得以普及。
然而，最近，“蒸馏”已成为人工智能行业内一个极具争议的话题。这几乎完全源于美国开发者和政界人士的担忧，即他们的中国同行将占据上风。
这一切始于去年1月，当时中国人工智能初创公司DeepSeek发布了其首款AI模型R1。在某些关键基准测试中，R1的表现已接近前沿模型的水准。最重要的是，据传其开发成本仅为美国顶尖实验室开发旗舰模型所花费成本的一小部分。发布不久后，OpenAI便指控DeepSeek通过蒸馏ChatGPT背后的模型来训练DeepSeek。一年多后，Anthropic指控DeepSeek及其中国同行Moonshot和MiniMax对Claude模型进行了同样的操作。Anthropic还于6月指控中国科技巨头阿里巴巴“非法”使用Claude进行模型蒸馏。
需要注意的是，Anthropic并未使用“非法”一词：正如当前AI行业这片“蛮荒之地”中常有的情况一样，围绕模型蒸馏的法律规则界定模糊，但特朗普政府已誓言要打击中国实验室对美国制造模型进行蒸馏的行为，一如既往地将两国之间的AI竞赛描绘成具有至高地缘政治重要性的问题。
“当AI蒸馏被合法用于从更先进的系统中生成更小、更轻量级的模型时，它是[AI]生态系统中至关重要的一部分，”白宫科技政策办公室主任迈克尔·克拉齐奥斯在4月的一份备忘录中写道。“然而，那些旨在系统性地破坏美国研发并获取专有信息的工业蒸馏活动，是不可接受的。”
——风险
不过，模型蒸馏的危险性远不止于地缘政治层面。
人工智能，说得委婉些，是一门不精确的科学。当你用几乎整个互联网的数据集来训练一个旗舰模型时，它不仅会习得诸如如何构建句子或识别猫咪图片等无害的模式识别规则，还会吸收人类根深蒂固的偏见。好消息是，只要拥有足够的计算能力，就可以逐步训练模型识别并规避这些偏见。此外，还可以对模型进行微调，使其能够检测到用户试图将其用于恶意目的（例如生成生物武器配方）的情况，并拒绝响应。
不过，这些安全保障措施并不总能通过知识蒸馏完整传递。学生模型或许能习得基础行为，但不太可能继承教师模型所具备的更深层次的安全知识——例如，教师模型正是依靠这些知识来判断何时不应满足危险请求。这种对齐性在知识传递过程中会丢失。
此外，还存在通过蒸馏将有害偏见从一个模型传递到另一个模型的风险。正如即使是最尽责的父母也可能无意识地将某些坏习惯传给孩子一样，学生模型也可能从其教师模型那里学到一些对世界的扭曲看法。如果该学生模型随后被用于训练另一个模型，最初的偏见可能会再次被传递下去，如此循环往复。
