随着AI计算对内存需求持续扩大,全球存储技术创新进入“加速期”。
据韩国经济日报报道,SK海力士在IEEE(电气与电子工程师协会)全球半导体大会上发表论文,提出全新存储架构“H³(hybrid semiconductor structure)”,该架构融合高带宽内存(HBM)与高带宽闪存(HBF)两种技术。
在仿真实验中,SK海力士将8个HBM3E与8个HBF显存并置于英伟达Blackwell GPU旁,由GPU负责计算任务。结果显示,与单独使用HBM相比,此配置可将每瓦性能提升高达2.69倍。
(图源:SK海力士)
H³架构在AI推理领域优势显著,其核心依赖键值缓存(KV cache)——用于临时存储数据,支撑AI服务与用户交互的流程及“上下文”处理。随着AI性能提升,KV缓存容量持续增长,导致HBM与GPU逐渐面临存储压力。
HBF作为架构核心,通过堆叠NAND闪存制成,与堆叠DRAM芯片的HBM技术路径类似。“HBM之父”韩国科学技术院(KAIST)教授金正浩类比称,HBM与HBF分别对应“书房”与“图书馆”:前者容量有限但访问速度快,后者容量更大但延迟更高。
通过在HBF中存储...000万令牌规模键值缓存的场景,结果表明,与仅用HBM配置相比,该系统并发查询处理能力提升了高达18.8倍;原需32个GPU完成的工作负载,现仅需2个GPU即可实现。
The complete content requires login
You can view the full content after logging in. If you don't have an account, please register first.