雷峰网消息显示，本地时光10月27日，高通宣布推出针对数据中间场景的AI推理优化解决筹划。该筹划由Qualcomm AI200、AI250云端AI芯片，及对应的加快卡、机架等构成。
“站在美国的角度看，英伟达的市值已经很高了，再向上涨一个数量级有比较高的难度，而美股近期可以或许上涨的股票都跟AI概念相挂钩，高通推出AI推理芯片属于补涨。”芯片行业分析师陈冲表示。
但这份行业预期背后，高通的低TCO主意可否真正形成竞争力，仍需接收考验。
“高通主打行业最低总拥有成本（TCO）的概念，而其高能效和内存处理才能是否有足够的竞争优势还须要在实际场景中验证后才能断定。”二级市场分析师张翔表示，“AI推理芯片重要看的是固定成本下的Token吞吐率，即在一段时光内产生的Token数量与总成本的比例，在这个方面，英伟达具备很大年夜的优势，其迭代才能太强了。”
从Blackwell到新一代Rubin，英伟达的迭代速度在赓续加快。
Rubin CPX以解耦推理设计支撑百万级Token处理，GDDR7内存让成本大年夜降，投资回报率达30-50倍，Vera Rubin NVL144平台算力较前代晋升3.3倍，单位Token成本进一步摊薄。
面对竞争，高通也在经由过程实际合作推动产品落地验证，其宣布了与沙特AI公司HUMAIN的合作。
根据筹划，HUMAIN将从2026年起安排高通AI200、AI250机架解决筹划，总范围达200兆瓦，同时两边还将结合开辟尖端AI数据中间，落地云到边沿混淆AI推理办事。
“大年夜范围订单合作往往伴随定制化开辟逻辑。现阶段模型收集架构已趋于成熟，不会出现颠覆性变更，是以无需过度寻求通用性很高的产品，经由过程定制化模式可以精准匹配客户特定需求，实现深度机能优化。”国产芯片厂商从业者李沐表示，“而高通在成本治理及端侧NPU范畴积聚的经验，也能为这种模式供给支撑，理论上具备必定可行空间。”
不少行业人士告诉雷峰网("大众,"号：雷峰网)，高通在端侧芯片有很多经验和技巧上的积聚，进军AI推理芯片可认为高通带来新的营业增量，并且市场也不想看到英伟达一家独大年夜，是以此举在行业预期之内。关于国表里AI芯片市场的竞争格局，迎接添加微信 YONGGANLL6662 交换更多信息。
聚焦AI推理赛道，则是当前高通面对英伟达的最优选。
据QYResearch调研显示，2024年全球推理AI芯片市场范围大年夜约为142.1亿美元，估计2031年将达到690.1亿美元，2025-2031时代，年复合增长率为25.7%。
除了硬件上的显存容量与内存架构立异，高通在软件生态扶植上也同步发力，为产品落地铺路。
千亿级云端推理市场的入局动态，让高通在本钱市场收成积极反馈。其股价在交易时段内最高上涨22%，收盘时涨幅收窄至11%。截至美股10月27日收盘，高通股价报187.68美元/股，公司市值约2025亿美元，市值单日增长近200亿美元。
AI推理包含Prefill（预填充）和Decode（解码）两个阶段，和模型练习比拟，它对硬件的请求存在明显差别，推理更看重显存带宽的稳定性、适配性以及充分的显存容量，同时无需练习所需的极致浮点算力，转而寻求高效能效比与低延迟。
在集群扶植方面，存力的重要性也日益凸显。
“算力集群的计算过程是将数据从存储搬运到计算单位，计算完成之后，计算的中心成果以及最终成果会返存回存力集群，在这个过程中，存力是不是能以更大年夜的带宽、更低的时延将数据搬移到算力集群中进行计算，将影响全部计算单位的算力应用率。”存储芯片专家陈峰表示。
此外，因为计算集群会不准时产生故障，此时须要将中心的参数以及计算成果按期保存回存力集群，这个检查点的保存时光耗时越短，那全部计算过程被中断的时光便越少，同样可以进一步晋升计算的效力，且包管计算的靠得住性。
高通此次推出AI推理芯片的重要亮点就是更高的内存容量，Qualcomm AI200支撑每卡768 GB LPDDR，而Qualcomm AI250则将初次采取基于近内存计算的立异内存架构，经由过程供给跨越10倍的有效内存带宽和更低的功耗，实现AI推理工作负载效能的晋升。
“如今推理Token用量每个月都在大年夜幅上涨，高通的推理卡显存异常大年夜，单卡可以支撑768GB，相当于单卡可以跑完全的DeepSeek，是当前所有卡中显存最大年夜的，便利私有化安排。”陈冲表示。
其AI软件栈覆盖从应用层到体系层的端到端链路，并针对AI推理场景做了优化，支撑领先的机械进修框架、推理引擎、生成式AI框架及LLM/LMM推理优化技巧。开辟者可以经由过程相干套件，实现模型导入与Hugging Face模型一键安排。
“英伟达在云端芯片市场一家独大年夜，但凭借差别化的硬件设计以及丰富的软件栈，高通的入局具有合理性，后续将其收集芯片集成进去，能打造出具有机能优势的产品。”大年夜厂数据中间专家江杰表示。
作者经久追踪芯片行业相干动态，迎接添加微信 YONGGANLL6662 互通有无。
注：文中陈冲、张翔、李沐、陈峰、江杰均为化名。
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
发表评论 取消回复