🔥 RAG 成本砍 6 倍 秘诀
1. 速览
砍 RAG 成本别只盯模型. 真烧钱的, 是脏数据 / 重复 query 反复灌. 编排层多拦一道, token 账单直降一个量级.
2. 核心
RAG 成本 = token 数 × 单价. 选小模型 / 量化顶多省 2-3 成; 决定"什么不送"能砍 5-6 倍.
3. 3 个坑
① 脏 query 没缓存反复调 LLM
② context 没截断, 上万 token 灌 prompt
③ 没重排没路由, 简单问题也走大模型
RAG LLM成本 AI推理
