微软的新工作非常有趣。
这项工作与利用 harness 进行模型后训练这一新兴主题相关。
现代代理在拥有工具、上下文和控制流的 harness 内运行。当你训练它们时,harness 拥有环境循环,训练器仅看到 LLM 请求和响应对。
它是如何工作的。
Agent Lightning v1.0 通过一个端点代理将任何 harness 连接到 RL,大约 3,500 行代码,然后解决该设置中出现的问题,包括重新标记化、样本合并、优势计算、损失归一化和后端调度。
使用 6K 个训练示例和适度的计算,它将 Qwen3.5-9B 在 SWE-bench Verified 上的表现从 41.8% 提升到 56.4%。
论文:https://arxiv.org/abs/2608.17528
#howto用好AI #ai #大模型 #神机攻略howto

