据多研究机构新研判，2026 年 核心存储供应链的结构短缺已成行业刚现实，供需缺口持续扩大且很可能延续至 2027 年。不仅是存储部件的单点问题，当前，生成式 AI 正从技术尝鲜走向规模化落地，大模型技术的应用场景正在从训练为主转向训并重和轻量理，PD 分离、KV Cache 等技术的规模化应用在持续提升理率的同时，对带宽、大容量的 GPU 内存提出了致严苛的要求，显存资源紧张带来的行业焦虑正在持续蔓延。叠加存储部件供应短缺与价格跳升的双重压力，AI 产业发展面临严峻的资源与成本挑战，单纯依靠 “力大砖飞” 的硬件堆叠，不仅会大幅每 token 成本，受供应链产能制约难以为继，严重影响产业良发展。

因此，通过软硬件协同优化提升 GPU 等关键部件的使用率，成为破解内存供应链短缺焦虑、降低总体拥有成本的核心路径。

破局困境·架构解密：新华三造智理新引擎

当前，大模型理面临的发展困境已不可回避：模型对力与显存的需求呈指数增长，然而堆叠GPU硬件所带来的成本与能压力，严重制约技术的可持续发展。尤其在处理长文本、多轮对话等场景时，模型为保存上下文而生成的KV Cache(键值缓存)会急剧膨胀，不仅大量占用宝贵的GPU显存，致大量重复计，成为制约响应速度、运营成本的瓶颈。

直面成本与率的核心痛点，紫光股份旗下新华三集团造出能兼备的大模型理场景加速案。通过其自研的定制化ASIC芯片提供硬件加速，将KV Cache从GPU内存卸载到指定存储节点，构建为AI设计的“下代内存层”，减轻GPU显存的压力，从而在系统层面实现了存资源的新平衡。新华三凭借自身强大的硬件集成与全栈优化能力，驱动业内前沿科技与自研AI服务器的创新耦，经过度的测试调优终形成了大模型理加速的佳实践，为业界提供了条能与成本兼顾的全新理范式。

从部署形态来看，本案既支持单机形态部署，直接提单台AI服务器的理能。也支持通过外置存储节点的式同时对接多台AI服务器，提集群的理能。

实测验证·能跃升：核心指标翻倍，升度理新速度

为入探究本案中KV Cache卸载对理能的提升，新华三基于自研能AI服务器进行基准测试，泡沫板橡塑板专用胶关注在同机型上，运行DeepSeek-V3-671B模型时，采用标准理服务和采用KV Cache卸载加速案的两种模式下的能差异，分别构建10K和30K的文本输入，模拟实际应用场景中的多轮对话理过程，以确保测试结果具有实际参考价值。经多轮验证，采用KV Cache卸载加速案的理核心指标显著优化：

• 并发用户数提升200：在相同TPOT(每个Token生成的平均延迟，ms)限制下，同样的力资源可支持的并发数显著提升，保障用户体验的同时支持服务多的用户。

• 理延迟大幅降低：TTFT(Token生成的延迟，ms)降低70，TPOT(每个Token生成的平均延迟，ms)降低30，大幅缩短响应延迟，提升用户体验。

奥力斯    万能胶厂家    联系人：王经理    手机：18231788377（微信同号）    地址：河北省任丘市北辛庄乡南代河工业区

场景适配·全域覆盖：贴企业GenAI落地需求

• 交互式应用(多轮对话)： 如聊天机器人、智能客服等。这类应用中，用户与模型的交互是多轮的，后续轮次的输入通常依赖于前序对话的上下文。通过快速加载存储历史 KV Cache，能够大幅缩短响应延迟，提升用户体验。

• 长上下文处理： 对于需要处理数千甚至数万Tokens上下文的任务(如长文档问答、代码生成、复杂指令理解)，GPU内存容量往往成为瓶颈。本案提供的PBKV Cache扩展能力，使得处理这类长上下文任务为从容，避了因GPU内存不足致的能下降或任务失败。

• 并发理服务： 在面向大量用户的在线理服务中，系统需要同时处理多个并发请求。本案通过的KV Cache管理，能够支持多并发会话，显著提系统的整体吞吐量(RPS)，从而在相同的GPU资源下服务多用户。

随着模型规模的扩大和用户基数的扩张，大模型理率正成为AI基础设施能的关键指标。新华三凭借多年来在AI域的技术创新与实践探索出理加速案，并进行精心的调优实践，充分验证了该案在提升理率面的显著优势，进步加速GenAI应用的发展。

GenAI时代，理加速注定是条持续提升、永止境的创新之路。面向未来，新华三将持续在AI Infra域耕，提供多针对不同场景，设计基于不同加速层、不同加速介质等技术路线的理加速案，帮助企业和开发者轻松地应对大模型落地应用的复杂和规模挑战，动AI技术在多域的应用和创新。