707
就在3月26日，美光、三星、西数这些平时稳如老狗的存储巨头们，集体懵圈了！一供应链没断，二财报也问题，结果股价却全部来了个大跳水，你说冤不冤？
这几位老哥仔细一盘发现，好家伙，罪魁祸首原来是谷歌刚展示的一篇论文（将在下个月的 ICLR 2026 上正式发表）。
如今，大模型领域一直流传着一句话：“算力决定上限，内存决定生死。” 随着长文本需求的爆发，显存压力成了所有开发者头顶的乌云。如果你尝试过在本地跑一个128k长度的模型，你会发现最先崩掉的往往不是显卡的算力，而是显存。因为在大模型推理中，为了避免重复计算，系统会把之前的对话记录存成 KV Cache（键值缓存）。这玩意儿简直是内存杀手：模型上下文越长，它占用的内存就呈几何倍数增长。 TurboQuant
而谷歌刚发布的最新技术 TurboQuant 就是针对这个的。它能将大语言模型的 KV Cache 压缩 6 倍以上。这意味着原本需要大量显存存储的上下文信息，现在占用的空间大幅减少。 一般来说，传统量化会带来精度下降，但谷歌在 Gemma、Mistral 和 Llama 等模型上进行了测试。结果显示即便在极端的 3-bit 量化 下，模型在长文本检索（如 Needle In A Haystack）和基准测试（MMLU）中的表现几乎没有下降。简单说就是虽然 KV Cache 缓存大幅压缩了，但是几乎是无损压缩，几乎不损失性能，能够基本保持模型准确率不变。TurboQuant 还有一个关键点是开发者无需针对特定数据集重新训练或微调模型，即可直接部署。也就是可以直接套在现有模型上，这对于企业来说是可以直接降成本的，因为不用重做模型。另外，因为内存变小，数据搬运更快，因此使得推理更快，谷歌在英伟达 H100 等显卡上，通过优化算子，使推理速度最高提升了 8 倍。TurboQuant背后的核心技术，简单来说就是引入了两个关键技术：第一个是PolarQuant：简单说就是将数据向量从传统的笛卡尔坐标系转换为极坐标系（分解为模长和角度）。这种几何变换使得数据分布更均匀，从而在低位宽量化时保留更多核心信息，提高压缩质量。第二个是QJL：利用 1-bit 的符号位来修正量化过程中产生的残差，从而消除系统性偏差，保证了长距离注意力计算的准确性，从而使模型不会因为“误差积累”而胡言乱语。可能技术上比较复杂，但本质上来说，这是一种更聪明的“向量量化”算法。那为什么会引发行业大震动呢？首先是AI成本可能会被重写。一般来说，KV Cache 是长文本推理中最烧钱的部分，而 TurboQuant 的出现也就意味着同等显存下可以支持更长的上下文，或者显著提升单台服务器的并发处理能力。也就是说原本需要 8 张 H100 才能跑起来的长文本并发，现在可能 1-2 张卡就能搞定。这就使得 API 供应商的成本将大幅下降，长文本推理可能会迎来新一轮的降价潮。其次是手机跑大模型不再是梦。原本由于内存限制无法在手机或 PC 上运行的中大型模型，而现在 TurboQuant 的出现，意味着 7B 甚至 13B 规模的模型，未来可以流畅地运行在你的手机和电脑本地，且支持超长对话记录。再来是谷歌把 TurboQuant 开源了。也就是说 TurboQuant 的数学蓝图、算法理论以及相关研究论文均对公众免费开放，包括企业级用途。所以，这绝不仅仅是一个技术参数的提升，它将重塑整个 AI 产业链。那为什么存储股会集体大跌呢？
其实很简单，本来大家预测 AI 发展会无休止地消耗 HBM（高带宽显存），但随着 TurboQuant 这种神级算法的普及，单位算力对内存的渴求被算法稀释了。也就是说有了TurboQuant这个算法，那未来 AI 就不需要那么多内存了。所以就导致了全球存储芯片巨头们的集体下跌。不过，目前 TurboQuant 还未得到大规模广泛部署。所以能否真正落地还要看未来实际部署中是否稳定？是否通用（能不能跨模型）？是否被主流框架采纳？另外，TurboQuant 虽然可以使模型在推理过程中占用更少的内存。但它未必能解决 AI 导致的内存短缺问题，因为它只针对推理阶段的内存，而训练阶段仍然需要大量的内存。所以长期来看，可能不会颠覆存储需求，只是提高效率。
