一块 4GB 显卡也能跑 70B 大模型
用单块 4GB 显存 GPU 就能做 70B 参数大模型的推理。

思路是分层卸载 不把整模型塞进显存。

对想本地跑大模型、又不想换显卡的人 这是实打实的省钱：旧显卡、轻薄本甚至小显存机器 都能拉起原本「必须旗舰卡」的模型。

大模型推理的硬件门槛被一层层扒掉

本地私有 AI 离普通人越来越近。

本地ai 端侧ai airllm