22:13
OpenAI研发出新方案,可将推理成本减半
格隆汇6月30日|据一位知晓相关讨论的知情人士透露,有一则此前从未对外披露的消息:本月早些时候,OpenAI 工程师向部分同事表示,依托几项全新研发的优化技术,他们找到了一套方案,能将模型推理成本削减一半以上。工程师将这套新技术应用于无免费 / 付费账号访客使用 ChatGPT 的场景后,一度把所需英伟达图形处理器(GPU)数量压至仅数百块 —— 这一数字低得令人震惊。目前外界尚不清楚 OpenAI 实现此番算力效率大幅提升的具体技术手段,业内常用优化方案大致包括:量化压缩、键值缓存、批量处理用户查询而非逐条单独运算,以及将部分请求分流至功耗更低的轻量化模型或模型分片进行应答。

2026-06-30438.0k

商务、渠道、广告合作/招聘立即咨询

相关文章

外交部:中俄美三国元首将就事关全球和平的重要问题深入交换意见

默德君 · 3小时前

cover_pic

老黄深陷风波,苏妈趁乱发力

阿拉贡 · 1小时前

cover_pic

降息要等到2028年?大摩:AI撑起增长,油价成最大变量

山顶的太阳 · 3小时前

cover_pic

AI疯狂烧钱!腾讯Q3“增收不增利”,资本开支暴增527%

白野橘 · 27分钟前

cover_pic