7月8日，法国AI初创公司ZML发布支持异构硬件的开源推理服务框架ZML/LLMD（Large Language Model Distributor）。ZML的核心能力是让AI模型在英伟达、AMD和Apple Silicon等不同GPU上协同推理。

杨立昆已转发推荐，称这是解决GPU短缺和供应商锁定问题的实用工具。ZML/LLMD解决了AI工程团队在基础设施层面面临的一个现实问题：GPU短缺迫使团队使用多品牌、多代际的混合硬件，但现有推理框架无法灵活调度异构计算资源。

ZML的框架通过统一的调度层实现跨平台协同，开发人员无需为每种硬件单独编写推理代码。多芯片推理可能成为AI基础设施的下一波标准化方向。