位置:中游情绪:利好参考度:4/10


随着AI计算对内存需求持续扩大,全球存储技术创新进入“加速期”。

据韩国经济日报报道,SK海力士在IEEE(电气与电子工程师协会)全球半导体大会上发表论文,提出全新存储架构“H³(hybrid semiconductor structure)”,该架构融合高带宽内存(HBM)与高带宽闪存(HBF)两种技术。

在仿真实验中,SK海力士将8个HBM3E与8个HBF显存并置于英伟达Blackwell GPU旁,由GPU负责计算任务。结果显示,与单独使用HBM相比,此配置可将每瓦性能提升高达2.69倍。

(图源:SK海力士)

H³架构在AI推理领域优势显著,其核心依赖键值缓存(KV cache)——用于临时存储数据,支撑AI服务与用户交互的流程及“上下文”处理。随着AI性能提升,KV缓存容量持续增长,导致HBM与GPU逐渐面临存储压力。

HBF作为架构核心,通过堆叠NAND闪存制成,与堆叠DRAM芯片的HBM技术路径类似。“HBM之父”韩国科学技术院(KAIST)教授金正浩类比称,HBM与HBF分别对应“书房”与“图书馆”:前者容量有限但访问速度快,后者容量更大但延迟更高。

通过在HBF中存储...000万令牌规模键值缓存的场景,结果表明,与仅用HBM配置相比,该系统并发查询处理能力提升了高达18.8倍;原需32个GPU完成的工作负载,现仅需2个GPU即可实现。

The complete content requires login

You can view the full content after logging in. If you don't have an account, please register first.

Log in to view the full text

This Website publishes publicly available information that SMMNN deems reliable, but makes no warranty as to the accuracy or completeness of such information. The information provided by SMMNN is for reference only and does not constitute investment advice to any entity. Members of the Website shall not replace their own independent judgment with such information.
[ai_simple_sources]