数学推理验证器实测:精度提升显著,但覆盖率代价高昂
这项研究评估一种将模型数学解答改写为类型化证明步骤,再交由 LLM 审查器逐项认证或拒绝的验证管线。开放权重模型在 GPQA 和 AIME-2025 上获得更高答案匹配精度,但只处…
智客 ZICQ 每日整理大模型、开源基础设施与开发者现场的 AI 新闻与深度文章。
投稿技术文章当前筛选: 分类: 大模型 清除筛选
这项研究评估一种将模型数学解答改写为类型化证明步骤,再交由 LLM 审查器逐项认证或拒绝的验证管线。开放权重模型在 GPQA 和 AIME-2025 上获得更高答案匹配精度,但只处…
大模型· 2026-11-13
研究团队在四个带有人工标注的多语言基准上,以最多47种语言变体和三种判断格式评测Jev。对比结果显示,Jev在多数多语言评审任务上具有竞争力,评测成本约为GPT-6.1的1/31至…
大模型· 2026-11-13
FairSumEval 提出面向临床出院摘要的证据感知、事实级评测框架,将参考摘要与生成摘要中的事实分别映射到既有病历证据,并进一步划分匹配、遗漏与新增。其核心指标 Soft Io…
大模型· 2026-11-13
MDU 为视觉语言模型建立覆盖 13 类任务、5 种语言和 23,146 个样本的文档理解评测,在统一协议下测试 45 个开放权重模型及一个商业系统。最佳平均分仅为 69.0,参数…
大模型· 2026-11-13
MITRA-Swarm把古典梵文翻译拆分为Sandhi切分、通用与领域模型并行翻译、语篇级省略补全三个阶段,并通过注册标签约束法律与哲学文本中的主语恢复。在覆盖五种文体、1,000…
大模型· 2026-11-12
Google 正将 Gemini 4 Hydrogen 引入搜索 AI Mode,重点提升对多部分、拼写错误及高度具体问题的理解能力,并通过问题拆解、相关链接筛选和更丰富的视觉结果…
大模型· 2026-11-12
Google 发布 Gemini 4 Hydrogen,并将其设为搜索 AI Mode 的默认模型,用于处理多部分请求、包含严重拼写错误的提问及高度具体的需求。新模型可先拆解问题,…
大模型· 2026-11-12
微软研究第98期汇总了语音翻译、KLS猜想、编码智能体效率和多语言分词等进展。开发者最值得关注的两项工作是:COMPACTIONBENCH与APEC针对长周期编码会话中的上下文压缩…
大模型· 2026-11-12
AWS给出Amazon Bedrock推理计费的工程化拆解:缓存TTL、服务层级、推理强度和maxTokens都会改变实际计费。缓存长TTL在高频复用时可降低读取成本,但写入溢价可…
大模型· 2026-11-12
Google 开始面向全球用户将 Gemini 4 Hydrogen 集成至 Google Search,目标是提供更直观、视觉化且具有交互性的搜索回答。此次更新把生成式模型从独立…
大模型· 2026-11-12
LlamaIndex 发布 ParseBench-2,将文档解析评测从表面格式匹配推进到面向下游任务的错误严重度评估。新版基准把语料从 2,100 扩展至 4,300 个案例,覆盖…
大模型· 2026-11-11
SO-Arena 将快速、非长链式推理的 System One 模型置于 11 个领域和 5 类能力中评测,并从能力广度与决策可靠性两个维度拆分表现。基准引入可核验证据、细粒度难度…