【全球网络技术综合报道】10月28日，高通宣布推出面向数据中心的下一代AI推理优化解决方案，包括基于高通AI200和AI250芯片的加速卡和机架系统。该系列解决方案依托其在NPU技术领域的积累，重点关注机架级性能和内存容量优化。可以为高效构建AI推理提供支撑，帮助各行业推动AI的可扩展、高效部署。 Qualcomm AI200解决方案专为机架级AI识别而设计，专注于大型语言模型（LLM）、多模态模型（LMM）推理等AI工作负载。其主要优点是总拥有成本低和性能优化。每张加速卡均支持768GB LPDDR内存，不仅可以满足更高内存容量的需求，还可以控制成本，并提供可扩展性和灵活性适用于AI识别场景。 高通AI250解决方案率先采用创新的近内存计算（nearcomputememory）内存架构，可将有效内存带宽提升10倍以上，同时显着降低功耗，为AI推理工作负载带来能效和性能提升。此外，其支持的解耦AI推理功能可以实现硬件资源的高效利用，适应不同客户的性能和成本需求。高通AI200和AI250机架解决方案在技术设计上有很多共性：均支持直接液冷，提高散热效率；兼容PCIe垂直扩展和以太网水平扩展，满足不同规模的扩展需求；它们内置机密计算功能，确保人工智能工作负载的安全运行；耗电量为整个机架统一调节为160千瓦，符合数据能耗管理标准。 Qualcomm Technologies高级副总裁兼技术规划、边缘解决方案和数据中心业务总经理Durga Malladi表示，为了配合硬件解决方案的实施，Qualcomm Technologies提供了超大规模的AI软件堆栈，覆盖从应用层到系统软件层的整个链路，并针对AI推理场景进行了优化。据报道，该软件堆栈支持主流机器学习 (ML) 框架、推理引擎、生成式 AI 框架、解耦服务和其他 LLM/LMM 优化技术。开发者可以利用高通强大的Transformer库和高通AI推理套件实现无缝模型接入，一键部署人脸模型。同时，该软件组件提供AI应用程序和代理、完整的工具、libr云、API接口和AI运营服务，降低企业和开发者的集成、管理和扩展成本。高通AI200预计将于2026年商用，高通AI250计划于2027年上市。未来，高通技术将以每年迭代的成本推动数据中心生产。产品路线图继续关注人工智能识别性能、能源效率和总体拥有成本优化，帮助数据中心更好地适应人工智能发展不断变化的需求。 (心月)