幻兹快讯
芯展速发布AI90推理加速方案,首Token延迟降至亚秒级
幻兹快讯
2026年07月20日
阅读 23 次

7月20日,芯展速(GenStorAIGE)在WAIC 2026展会发布AI90软硬件一体化AI推理加速方案。该方案创新性地将高性能SSD纳入GPU显存体系,实现KV Cache向SSD卸载,构建HBM+DRAM+SSD三级存储架构。实测首Token延迟降低50倍至亚秒级,吞吐量提升5.1倍,显存节省39%;配合智能P2P多卡互联技术,8卡RTX 5090集群推理加速达5.8倍,支持128K+上下文。同步推出的PT200Z AI SSD采用pSLC闪存与PCIe Gen5接口,写入时延仅10μs,DWPD高达100。

Copyright © 幻兹网 All Rights Reserved粤ICP备2026034579号粤公网安备44030002012995号