OpenAI推出全新筹划 推理成本直接减半

这将进一步巩固 OpenAI 高性价比模型办事商的市场定位，近期竞品 Anthropic 就因模型订价偏高饱受争议 —— 即便其模型输出后果更优良。

工程师将这套新技巧应用于未注册免费 / 付费账号的访客拜访 ChatGPT 场景后，峰值时段所需的英伟达显卡算力范围一度仅需几百块，这一数字低得超乎预期。（当然，OpenAI 针对这类匿名访客设置了调用频次限制，该群体的 ChatGPT 整体应用量并不算高。）

今朝 OpenAI 并未公开本次效力晋升所采取的具体技巧细节，业内推想常用优化手段包含：模型量化、键值缓存（让模型记忆过往计算信息，避免反复运算）、请求批量处理（批量应答用户查询而非逐条处理）、调剂请求至低功耗轻量化模型或模型子模块来完成应答等。

不过比及本年晚些时刻 OpenAI 推出参数量更大年夜的新一代模型后，这批优化技巧带来的降本后果或许会有所减弱，因为大年夜参数模型本身的运行成本会明显走高。

这类推理优化技巧被竞品 Anthropic 称作算力倍增技巧，也是各大年夜 AI 实验室重点攻坚的偏向。至少从 2023 年年中开端，Anthropic 首席履行官达里奥・阿莫代伊就曾在播客节目中公开说起这一概念。他当时表示，公司严格限制知晓单套算力优化筹划的内部人员范围，一旦相干技巧被同业复刻，将会让其他 AI 实验室获得竞争优势。（算力倍增技巧同样也可指代模型练习阶段的各类效力优化手段。）

另一方面，OpenAI 也可以选择用降本收益晋升毛利率，而公司毛利率重要由推理算力成本决定。本年一季度 OpenAI 毛利率为 39%，较客岁同期的 33% 有所晋升，但距离岁终 52% 的目标毛利率仍有不小差距。

这类优化技巧的重要性愈发凸显，当下头部 AI 研发企业广泛面对办事器算力供给紧缺的困境。即便企业签约新建或租赁数据中间，项目从开工到正式投产往往须要数月甚至数年时光。（OpenAI 也在结合博通自研面向大年夜模型运行的专用芯片，试图进一步压低推理成本，目标是比拟英伟达商用芯片实现降本。）

OpenAI 本次技巧优化落地后，市场也十分存眷企业将若何处理省下的算力成本。一方面，OpenAI 可以把红利让渡给用户：要么晋升付费订阅用户的 ChatGPT 调用额度，要么下调面向开辟者开放的模型接口订价。如今老版本模型的调用价格已经降至最初订价的几分之一，推理优化恰是核心原因之一。

想要杀青年度目标，公司在本年残剩时光须要实现平均 56% 的毛利率。Anthropic 本年上半年营收大年夜幅暴涨，本季度有望实现不测盈利，也充分印证了行业景气周期下毛利率的晋升速度。

现阶段 OpenAI 尚不具备绝对的订价话语权，但本次推理优化技巧将大年夜幅拓宽其毛利率改良的路径。