昊梵体育网

让Kimi K3真的能在笔记本上跑起来的方案地址:github.com/sqli

让Kimi K3真的能在笔记本上跑起来的方案地址:github.com/sqliteai/wasteC 写的推理引擎,把约 27GB 的主干权重留在内存,将每个 token 实际激活的 MoE experts 从 NVMe 流式读取,并用剩余内存做 expert 缓存。跑起来至少要在64GB的Mac上,速度大概两秒一个token。How I AI