
在 2024 年 6 月 18 日 Copilot+ PC 正式宣布时,微软向外传达的信息异常明白:专用 AI 硬件是必须前提。 这类设备的部分定义特点,就是内置神经处理单位(NPU),以及 16GB 内存和固态硬盘等基本设备。 个中,NPU 被克意塑造为解锁 Windows 本地 AI 功能的关键地点。
在此次调剂之前,微软一向把大年夜部分内置 AI 功能限制在配有 NPU 的设备上。 这让不少算力充分、仅依附 GPU 的 PC 无法应用本地文本与图像生成,以及 Windows Recall 等一系列 AI 对象。 如今,这道鸿沟开端被填平。 微软在更新的技巧文档和 GitHub 帖子中确认,开辟者如今可以在非 Copilot+ PC 上,应用受支撑的 GPU 来运行说话模型 API。
微软在介绍中称,此项才能为“说话模型 API 在 GPU 上运行(实验性)”,并指出这些 API 现已能在配备受支撑 GPU 的非 Copilot+ PC 上运行,为更广泛的 Windows 11 设备带来本地说话模型才能。 官方同时明白,今朝受支撑的硬件包含配备 6GB 以上显存的 NVIDIA GeForce RTX 30 系列及更新产品。
就当前阶段而言,这一才能仍然重要逗留在开辟者层面,而非直接面向通俗终端用户开放。 要调用这些 API,须要开辟或应用集成 Windows AI 框架的应用法度榜样。 不过,这已经为本地 AI 功能大年夜范围拓展到更多 Windows 设备奠定了基本。
然而,可以或许承担 AI 负载的并不只有 NPU。 尤其是现代 GPU,本来就是为大年夜范围并行计算而生,经久以来一向被用于运行机械进修模型。 在实际应用中,对于很多 AI 工作负载,GPU 往往可以供给比当前 NPU 更高的吞吐才能,只是平日会付出更高的功耗价值。
在这一框架的核心,是一个名为 Phi Silica 的小型本地说话模型。 与预装在所有体系中的筹划不合,Phi Silica 经由过程 Windows Update 按需分发:当某个应用提出需求时,体系才会下载该模型。 模型安装完成后,即可在本地硬件上运行,当检测到可用 GPU 时,便会优先应用 GPU 加快推理。
今朝公开的功能重要聚焦文本相关义务。 经由过程 Windows.AI.Text API,应用可以履行内容摘要、文本重写、将文本转换为构造化格局,以及生成提示语等操作。 从用户视角看,这些才能与云端 AI 对象供给的体验类似,只是计算完全在本地完成。
本地运行带来了一些实际优势。 因为削减了对云端算力的依附,体系响应速度有望晋升,同时数据不必上传外部办事器,有助于数据留在本机之内。 对开辟者和企业用户而言,这种模式在延迟、带宽成本与隐私合规方面都有潜在吸引力,可能影响其对 AI 功能的采取方法。
须要指出的是,此次开放并不料味着 Copilot+ 体系周全“解锁”。 一些更具可见性的 Copilot+ 功能,例如 Windows Recall 和 Click to Do,今朝仍然绑定于搭载 NPU 的体系。 就近况来看,GPU 支撑重要局限在说话模型 API 层,而不是全部 AI 体验的完全集成。
尽管限制尚存,趋势已经十分明显:微软不再把 NPU 视作 Windows 本地 AI 的独一进口。 许可 GPU 承担这部分工作负载,明显扩大年夜了可兼容硬件的范围,也减弱了 Copilot+ PC 在宣布之初那种“独有本地 AI”的形象。

发表评论 取消回复