谷歌悄无声息地发布了一种方法，可能终结整个 AI的Transformer 时代。

整整十年，地球上每一个主要 AI 模型——ChatGPT、Claude、Gemini——都被束缚在完全相同的架构上。

Transformer。

它通过让模型一次性查看整个序列，改变了所有一切。但它有一个致命缺陷。

其内存消耗呈二次方增长。$O(L^2)$。随着上下文窗口扩展到数百万个标记，计算成本呈爆炸式增长。它需要庞大的数据中心、数千个 GPU，以及巨额的电力开支。

多年来，研究人员试图用老派的循环神经网络 (RNN) 取代 Transformer，以实现闪电般的线性速度。

问题在于？RNN 具有固定大小的内存。当文本变长时，它们会遗忘。它们在复杂推理和回忆任务中会卡壳。

于是每个人都回到了 Transformer。

直到谷歌扔下了一枚重磅炸弹新论文。

他们引入了 Memory Caching (MC)。

谷歌的技术不是强迫 RNN 依赖固定、静态的内存，而是让模型的有效内存容量随着序列长度动态增长。

它就像神经网络的虚拟内存。

通过缓存隐藏状态的检查点，并集成智能机制如稀疏选择性检索，模型动态回顾它需要的内容，而无需 Transformer 那令人窒息的数学开销。

结果完全打破了序列建模的旧规则：

• 在复杂上下文内回忆任务上匹配 Transformer 级别的准确性。

• 完全弥合了多年来让 RNN 边缘化的性能差距。• 保持线性复杂度，使长上下文处理变得激进地更便宜、更快。我们花了多年时间相信，庞大的、沉重的注意力机制是构建智能系统的唯一途径。

谷歌刚刚证明，你可以拥有 Transformer 的无限内存，同时具备 RNN 的惊人速度和效率。

用二次方注意力蛮力扩展的时代，正撞上了一堵墙。