用4GB GPU就能运行Kimi K3？

你现在可以在 4GB GPU 上运行一个 2.8 万亿参数的模型。

有人开源了一个工具，使用“逐层推理”。它一次只将一层加载到你的 GPU 上。所以你需要的显存取决于层大小，而不是模型大小。

无量化。无蒸馏。无剪枝。

→ DeepSeek-V3 (671B) on 12GB→ Llama 3.1 405B on 8GB→ Kimi K3 (2.8 万亿参数) on under 4GB→ 几乎适用于所有开源模型

它上面最大的模型需要的显存最少。K3 是稀疏 MoE，所以它只流式传输令牌实际路由到的专家，而不是整个密集层。

2.8 万亿参数运行的显存比 70B 还少。