闪迪(Sandisk)首席技术官阿尔珀·伊尔克巴哈尔近日表示,随着AI大模型、KV缓存(键值缓存)以及专家混合模型(MoE)等技术的发展,全球AI竞赛正日益“以内存为中心”。客户争相签署长期采购协议的力度,前所未见。
阿尔珀指出,当前AI领域的多个趋势都在将内存推向前所未有的关键位置。
首先,大语言模型变得更大、更智能,运行它们需要显著增加内存容量。其次,像OpenAI的ChatGPT、谷歌的Gemini和Anthropic的Claude这类系统,正越来越依赖所谓的KV缓存。
KV缓存可以理解为AI的“短期记忆”,帮助模型记住用户之前的输入和对话内容。随着上下文窗口不断增长,KV缓存对内存容量的需求也在急剧扩大。
与此同时,正逐步成为行业主流的“专家混合模型”——在一个大模型内部集成多个小型专家模型,仅针对特定请求调用所需部分——虽然节省了算力,却也带来了更高的内存需求。
近期,闪迪宣布达成5份供应协议,协议期限最长可达5年,预计将带来至少420亿美元的收入。