闲来无事用两张5090把Qwen3.8 27B彻底玩透:测试了两个推理栈(NInfer和vllm)、三种权重和投机解码(官方nvfp4 MTP3、Quasar nvfp4 MTP3、Quasar nvfp4 Dflash2)和三种部署方式(单卡、双卡各1实例、双卡张量并行TP2)。 首先在打通p2p的情况下,双卡TP2是比双卡各跑一个实例要更优,解码吞吐更高、k
闲来无事用两张5090把Qwen3.8 27B彻底玩透:测试了两个推理栈(NInfer和vllm)、三种权重和投机解码(官方nvfp4 MTP3、Quasar nvfp4 MTP3、Quasar nvfp4 Dflash2)和三种部署方式(单卡、双卡各1实例、双卡张量并行TP2)。
首先在打通p2p的情况下,双卡TP2是比双卡各跑一个实例要更优,解码吞吐更高、k