昊梵体育网

Swiftlet 是一个面向 Apple 设备的本地大模型推理运行时:它让普通配

Swiftlet 是一个面向 Apple 设备的本地大模型推理运行时:它让普通配置的 iPhone 和 Mac 就能运行 Qwen 的 35B / 80B 稀疏 MoE 模型(不需要把全部模型权重都塞进内存)

地址:github.com/leonickson1/Swiftlet

技术原理是“按需流式加载专家(expert streaming)”项目作者给出的 4-bit 模型数据是:35B 模型约占 18 GB 磁盘、峰值内存约 2.6 GB,在 M5 Mac 上约 7–11 token/s;80B 约 42 GB 磁盘、4.3 GB RAM、4.5–5 token/s。