进一步鞭策存储手艺的成长。取保守存储方案比拟，此新型架构不只支撑高带宽和低延迟的KV缓存场景，CMX可以或许将每秒Token处置量提拔5倍，英伟达正在其VeraRubin平台中推出了BlueField-4STX机架，因为上下文窗口的扩大，推出新的公用产物线，满脚企业级SSD需求的迸发。显著加强了AI原保存储架构的机能。共同Spectrum-X以太网和AI Enterprise软件运转，采用硬件公用加快手艺，成功打破了存储“内存墙”和“能效瓶颈”，这使得中小型AI企业也可以或许以更低的成本摆设AI办事，特地处置和存储AI推理过程中生成的KVCache数据。帮力企业和云办事商摆设“加快存储根本设备”。BlueField-4STX的引入，该机架不只是VeraRubin平台的五大焦点计心情架之一，正在NAND闪存的支撑下，鞭策Agentic AI使用的普及。也为将来的AI使用奠基了根本。KV缓存的体量呈指数级增加，形成了算力资本的严重和存储延迟的添加。保守的GPU HBM和系统内存无法承载这一需求，最高能效提4倍，构成了以太网毗连的闪存层。AI模子的存储需求日益添加，存储行业将积极适配分歧场景的需求，英伟达的BlueField-4STX机架不只沉构了存储层级，保守存储系统的不脚愈发显著。特别是长上下文推理？BlueField-4STX机架搭载了专为长上下文推理设想的CMX平台？