存储确实在模型推理中起到很大作用,能大幅减少GPU计算,减少消耗
-把 KV 缓存当作笔记:
命中:要用到的内容已经写在笔记本上,直接抄笔记,不用重新推导。
未命中:笔记本上没有,要从头演算一遍,写完再记到本子上。
而且这个笔记本只认开头一模一样的内容;只要中间改一个字,后面笔记全部作废,得重新算。
存储确实在模型推理中起到很大作用,能大幅减少GPU计算,减少消耗 -把 KV
阅读:0
点赞:0
存储确实在模型推理中起到很大作用,能大幅减少GPU计算,减少消耗
-把 KV 缓存当作笔记:
命中:要用到的内容已经写在笔记本上,直接抄笔记,不用重新推导。
未命中:笔记本上没有,要从头演算一遍,写完再记到本子上。
而且这个笔记本只认开头一模一样的内容;只要中间改一个字,后面笔记全部作废,得重新算。