快科日消息,花旗银行在最新报告中指出,随着NVIDIA采用推论情境记忆存储(Inference Context Memory Storage,ICMS)等新技术,全球NAND供应短缺的状况将进一步恶化。
在AI推理过程中,为了避免重复计算、提升响应速度,系统会使用 KV缓存机制,类似于AI模型的"短期记忆",但随着上下文长度的爆炸式增长,昂贵的HBM早已不堪重负。
为了解决这一瓶颈,NVIDIA在宣布推出由BlueField-4 DPU驱动的ICMS平台,该平台建立了一个名为G3.5的全新存储层级:将原本挤在HBM中的KV缓存放到可扩展性更强的本地 SSD中。
![]()
得益于此,NVIDIA能够明显提升推理速度,最高可倍,同时能源效率提升高倍,延迟也大幅降低。
花旗预计,为了支持ICMS运作,在一套Vera Rubin NVL72 AI配置中,NVIDIA将为每个机架配置最TB的额外存储,总体SSD容量达到TB。
根据市场预测,Vera Rubin服务器年的出货量预计𰹇万台,2027年将达万台。
这意味年由此产生的额外NAND需求将达万TB,占全球总需.8%,年需求将飙升.15亿TB,占全球NAND总需求.3%。
而且花旗的分析仅基于Vera Rubin平台,并未考虑更高规格的Rubin Ultra系统,也未纳入后续Feynman架构可能带来的新增需求,这意味着实际NAND需求增长可能比目前预测的更为显著。
花旗认为,NVIDIA采用ICMS技术,将成为NAND供应商的积极催化剂,三星、SK海力士、铠侠、西部数据及美光将成为最大受益者。
![]()




关于我们|版权声明| 违法和不良信息举报电话:010-84151598 | 网络敲诈和有偿删帖举报电话:010-84151598
Copyright © 2008-2024 by {当前域名}. all rights reserved



×