CSP 的角度看 Hot chips 2026，网络/通信这回当上了主角

Google发布TPU 8t和8i，Microsoft展示Maia 200，Meta则将MTIA推进到300和400。单独看，每家公司都在发布一颗更强的AI ASIC；放在一起看，却能看到一条比峰值算力更重要的技术主线：

当FP4算力、芯片规模和模型并行度继续上升，AI系统的约束正在从“能不能算”，逐渐转向“数据能否以足够低的延迟、功耗和成本到达计算单元”。

Google扩大HBM和SRAM，Microsoft把NIC与数据搬运引擎集成进芯片，Meta把Collective计算推到内存附近。三家公司选择了不同的芯片架构，最后却都在处理同一个问题：Data Movement。

这里的Data Movement并不只是网络，而是数据在HBM与计算核心、CPU与加速器、加速器之间、机架之间以及存储与计算之间的完整流动。只要其中任何一段跟不上，昂贵的Tensor Core就会等待，芯片标称算力也无法转化为有效Token。

推理并没有降低内存需求

Google TPU 8i提供了最直观的证据。

面向大规模训练的TPU 8t配置216GB HBM；针对推理和Reasoning负载的TPU 8i，HBM容量反而增加到288GB，片上SRAM由128MB提高到384MB，HBM带宽达到8.6TB/s。Google给出的原因是，长上下文、KV Cache和MoE模型让推理相对于单位算力需要更大的内存容量、更高的局部缓存比例和更低的数据访问延迟。

这改变了过去对训练与推理的简单划分。训练仍然需要巨大的计算集群，但进入Agent和长上下文阶段以后，推理也不再只是一次短促的前向计算。模型需要持续读取权重、维护KV Cache、调用不同Expert，并保存越来越多的运行状态。

因此，推理系统需要解决的不只是FLOPS，还包括每颗芯片能够容纳多少模型与上下文、能够支持多大的Batch和并发，以及数据能否在Decode过程中及时送达计算核心。HBM容量决定“放得下多少”，带宽和片上SRAM则影响“取得有多快”。它们共同构成Token生产函数的一部分。

Google甚至为TPU 8i重新设计了互连拓扑。相较更适合规则化训练通信的3D Torus，Boardfly把1024颗芯片之间的最远通信距离由16跳压缩至7跳；Collectives Acceleration Engine也被部署在接近ICI接口的位置，避免Collective数据反复返回Compute Die或访问HBM。

这不是简单地给芯片增加缓存，而是在重新规划数据路径。

三家CSP正在把通信能力推入芯片

Microsoft在Maia 200上走向了同一个方向。

Maia 200配置216GB HBM3e、7TB/s内存带宽和272MB SRAM，FP4峰值算力超过10 PetaOPS。Microsoft宣称其单位成本性能相较现有系统提高超过30%，但比这个厂商口径更值得关注的，是Maia 200内部的Data Movement Fabric。

Microsoft将NIC直接集成到芯片，提供2.8TB/s双向I/O，通过标准Ethernet构建两层Scale-up网络，规模最高可扩展到6,144颗加速器。NIC、DMA与计算单元被更紧密地耦合，目的就是减少外部网卡、交换跳数和重复的数据搬运。

Meta的MTIA 400则把通信计算进一步推向内存侧。该芯片配置8颗HBM3e，内存带宽达到9.4TB/s，并提供1.2TB/s的Ethernet Scale-up Fabric，可组成72颗ASIC的Scale-up Domain。

其中最有代表性的变化是Messaging Engine。Meta没有继续让AllReduce、AllToAll等Collective操作大量占用通用计算核心，而是在靠近HBM和Cache的位置部署Near-Memory Compute模块，通过独立RISC-V核心和通信引擎完成Reduction及数据调度。

Google把Collective加速放到I/O附近，Microsoft把NIC和DMA做进Maia，Meta则把部分通信计算搬到HBM旁边。三条路线共同说明：AI加速器的竞争边界正在从计算核心扩展到内存、I/O和互连系统。

Ethernet开始争夺Scale-up价值池

这一变化还会重新划分AI网络市场。

过去，Ethernet主要承担服务器和机架之间的Scale-out连接，Scale-up则更多由NVLink等专有互连主导。Maia 200、MTIA 400以及Google的新型互连拓扑表明，CSP正在尝试用更开放的Ethernet体系扩大Scale-up Domain。

Ethernet是否能够全面替代专有互连，目前还不能下结论。Scale-up网络对时延、拥塞控制、可靠性和Collective效率的要求远高于传统数据中心网络。但只要Ethernet能够进入更多机架内和跨机架的Scale-up场景，AI网络的增量就不再只是更多800G、1.6T端口，而是NIC、交换芯片、SerDes、DSP和光互连在每套计算系统中的含量同时提升。

Google TPU 8t披露的一个细节也具有象征意义：Google首次开始对Optics进行液冷。这说明光模块的功耗密度已经高到需要被纳入整机热设计。随着带宽由800G升级至1.6T并向3.2T演进，前面板密度、电气SerDes传输距离和光模块功耗正在共同逼近工程极限，也会继续推动LPO、CPO和更高集成度的Photonic Fabric。

增量价值正在向计算周边扩散

这也是Broadcom和Marvell越来越值得关注的原因。

过去市场研究AI基础设施，核心问题往往是NVIDIA还能卖出多少GPU。接下来还要追问：每增加一颗GPU、TPU、Maia或MTIA，需要增加多少HBM、Memory Interface、NIC、Switch、SerDes、Storage Controller和Optical Interconnect？

Broadcom占据交换芯片、SerDes、定制ASIC和光互连等关键位置。Marvell的布局则更接近一张Data Movement产品地图：据此前公布的合作范围，其与Google的Custom Products协议覆盖Inference Accelerator、Storage Controller、NIC、Memory Interface Controller和Near-Memory Compute；结合Marvell在FMS 2026展示的CXL Memory Pooling、Storage Controller与Photonic Fabric，可以看出，它押注的并不是某一颗AI芯片，而是不同加速器扩张后共同面对的数据供给问题。

不过，这不等于GPU或者计算核心的价值会下降。更准确的说法是：当计算能力增长快于内存与互连效率时，新增资本将不得不更多投向计算周边，才能释放已经购买的算力。行业利润池能否同步迁移，还取决于供应稀缺性、产品认证周期、客户自研比例以及厂商能否把技术优势转化为份额和毛利。

如果KV Cache压缩、稀疏化和模型架构优化显著降低内存需求，或者Ethernet长期无法满足大规模Scale-up的时延与可靠性要求，这条价值迁移路径就会弱于当前预期。但至少从Hot Chips 2026披露的芯片设计看，Google、Microsoft和Meta已经在用真实的晶体管面积、HBM容量和系统成本为Data Movement投票。

CSP下一阶段比较的，也不会只是单颗芯片拥有多少PetaOPS，而是在同样的电力、资本开支和机房面积下，谁能生产更多有效Token。

当AI工厂的目标从购买峰值算力转向提高算力利用率，决定系统回报率的就不再只有计算核心。内存、网络、存储和光互连，正在从GPU的配套部件，变成AI系统性能与成本的一部分。这才是Hot Chips 2026释放出的更深层信号。