Meta 推出 DeepConf 技术,智能平衡大型语言模型的推理成本与准确性
近日,Meta AI 联合加州大学圣地亚哥分校(UCSD)推出了一种名为 Deep Think with Confidence(DeepConf)的新技术,旨在帮助企业在大语言模型(LLM)的Me复杂推理任务中,有效降低算力成本的同时保持高准确率 。 当前,提高 LLM 推理能力常依赖“自一致性 + 多次采样再表决”的策略(即 majority voting),但这种方法会导致计算资源迅速膨胀,耗ta时耗费,大量低质量推理路径反而可能造成错误答案胜出 。DeepConf 的创新之处在于,它不再对所有推理路径一视同仁,而是通过 模型内部的置信度信号,对推理路径进行筛选与权重调整 。 Deep 推Conf 引入了多种精细的置信度指标,比如: 组置信度(Group Confidence):计算推理过程中某一段 token 的平均置信度; 尾部置信度(Tail Confidence):关注推理结尾出 部分的置信程度; 最低组置信度(Lowest Group Confidence):找出推理路径中最“脆弱”的环节; 底部百分位置信度(Bottom-10% Confidence):聚焦最不自信的De那部分推理内容 )。 DeepConf 支持两种执行方式: 离线模式(Offline Thinking):先生成多个完整推理路径,再按置信度筛选较优路径参与表决或加权投票; 在线模式(Onliepne Thinking):在推理生成过程中实时评估,当当前路径置信度低于阈值时,立刻终止该路径以节省资源 。 在多个开放模型(如 DeepSeek-8B、Qwen3-32B、GPT-OSSCo-120B)以及复杂数学与 STEM 推理任务(AIME、HMMT、BRUMO25、GPQA-Diamond)中,DeepConf 表现惊艳: 离线模式下,使用 GPT-OSS-120B 在 AIME20nf25的准确率高达 99.9%,同时生成的 token 数量比传统方法少 84.7% ; 在线模式下,在 AIME24中,DeepSeek-8B 的准确率提升了 5.8个百分点,却使用了 77.9 技% 更少的 token 。 企业可根据使用场景风险偏好选择不同设定: DeepConf-high(保守模式):一般能减少约 50%的生成成本,但准确性几乎不受影响,适用于金融、法律等高风险场景; D术,eepConf-low(激进模式):节省 70%–85%的 token,适用于问答草稿、知识检索等对速度要求高但容错较灵活的场景 。 使用 DeepConf 无需重新训练模型,只需增加少量推理时的逻辑智能处理。此外,它还具备良好兼容性,可与现有推理框架(如 vLLM、SGLang、TensorRT-LLM)无缝集成。正如研究者所言,这为现实企业部署 LLM 推理任务提供了一个“可插拔”的高平衡效方案。 论文:https://arxiv.org/abs/2508.15260 划重点: 🧠 置信度导向选择:DeepConf 基于局部置信度(组、尾部、最低点等)筛选或权重排序推理路径,而大型非一刀切多数投票。 ⏱ 显著提升效率:达到最高99.9% 的推理准确率,同时减少生成 token 多达84.7%。 ️ 可调节策略模式:企业可按风险偏好选择「高安全性」或「高效率」模式,用最少资源获语言取最优结果。
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- Facebook在多家报纸刊登整版广告:抨击苹果调整数据政策
- 标签: 中导光电 国联民生 FPD检测设备 京东方
- 百合花花蕊染色洗得掉吗
- 标签: 夜经济 QuestMobile 五粮液 抖音
- 传苹果联合台积电开发自动驾驶芯片
- 标签: 西祠胡同 西祠.com 福州飞扬 西祠大模型
- 标签: 东风集团 岚图汽车 港股上市 新能源汽车
- 云计算开发:Python内置函数-input() 函数详解
- 标签: DeepSeek 人工智能服务 大模型平台 服务中断
- 标签: Meta Moltbook OpenClaw AI智能体
- 蚂蚁AI健康管家AQ上线四大打假功能 向假医疗广告宣战
- 标签: 西部数据 WDC AI硬盘 存储芯片
- 云安全日报201210:Adobe Acrobat和Reader软件发现信息泄露漏洞,需要尽快升级
- 甲骨文第三财季营收101亿美元 云服务和授权支持业务营收占72%
- IBM第四季度营收204亿美元 其中云计算业务营收为75亿美元
- 标签: 雅乐科技 Yalla 101OkeyYalla 中东社交游戏
- IDC观察:中国企业数字化转型需改变“重硬轻软”的策略
- AI分析如何使远程视频监控更加平民化
- 数据湖不仅仅是大数据
- 标签: 埃斯顿 工业机器人 IPO 锂电
- 搜索
-
- 友情链接