RICoT以递归交错思维链重构多页文档分段
摘要:RICoT把多页文件切分从相邻页边界分类改写为整条页面流上的序列推理:模型在滑动窗口内逐页推理并提交边界决策,再把已读内容的紧凑状态传给下一窗口,使单次上下文保持有界。论文同时构建含205组去标识化金融页面流的FinancePSS-205,并计划公开。RICoT在三种开放权重模型上不弱于成对与普通窗口提示;GLM-5在TABME子集取得文档F1 0.847、边界F1 0.915。2B蒸馏学生距最强提示模型不超过0.05文档F1。摘要仍缺少窗口参数、时延成本、方差和完整基线。
核心结论
RICoT不是新的底座模型,而是一种面向多页文件切分的递归式提示框架。它把页面流分段从相邻页之间的局部边界分类,改写为沿整条页面顺序推进的序列决策:模型逐页阅读、交错生成推理与边界决策,并把已处理内容的紧凑状态传递到下一个窗口。
这一设计的核心价值是用有限窗口换取长程一致性。单次调用不必携带此前所有页面,但系统仍能依据摘要状态维持对前文文档结构的认识。配套的FinancePSS-205包含205组真实、去标识化的金融页面流,为该任务提供了比合成样本更贴近生产环境的测试基础。
从局部边界分类到序列分割
页面流分割需要判断多页文件在何处开始或结束一份独立文档。成对提示只比较当前页与前一页或后一页,普通窗口提示则一次处理若干页面,但两者都可能丢失长距离证据。例如,两张版式相似的页面可能属于不同文件,而一张外观孤立的续页也可能必须归入此前文档。
RICoT将每页视为序列中的一个决策节点。设页面为 x_i,跨窗口状态为 s_k,模型在当前窗口内为页面生成边界决策 b_i。当窗口向前推进时,系统将已经读取的文档结构、关键续接线索和既有决策压缩进 s_k,供下一窗口继续使用。这样,模型处理的是有状态的阅读过程,而不是彼此独立的页面对分类任务。
技术机制:窗口内推理与窗口外递归
一次RICoT调用可以拆成四个阶段:
- 将当前滑动窗口内的页面、相邻页关系及上一窗口状态送入模型。
- 按页生成中间推理,并在提交边界判断后再推进到下一页。
- 在窗口结束后提取结构化摘要,更新跨窗口状态。
- 将更新后的状态和后续页面交给下一次调用。
若窗口包含 W 页、每页平均为 L 个Token、跨窗口状态占 S 个Token、推理与决策输出占 R 个Token,则单次调用的输入输出规模可粗略表示为:
C_call ≈ C(W·L + S + R)
这只是工程估算,不是论文报告的实测值。若窗口无重叠推进,调用次数约为 N/W,总输入量仍大致随页面数线性增长;重叠窗口还会增加重复读取。RICoT真正约束的是每次调用的上下文规模,而不是自动降低整条流水线的总Token、总时延或费用。
“提交后继续”的约束使后续判断建立在已经形成的状态上,能够减少不同窗口反复改写同一决策的倾向,但也带来错误传播风险:若早期边界被误判,摘要状态可能把错误继续传递。与一次塞入全文相比,RICoT牺牲部分并行度,换取更低的上下文峰值和较稳定的跨窗口行为。
工程权衡:有界上下文并非免费午餐
吞吐与一致性。 把全部页面放进一次长上下文调用可以并行处理页面,却会抬高输入Token、KV Cache和显存占用,并放大无关页面造成的注意力干扰。RICoT把长文档拆成多个顺序请求,峰值上下文更可控,但每个窗口都增加调度开销,页面级推理输出也会拉高首字节时间与总延迟。
状态压缩与信息损失。 跨窗口状态是框架的承重结构。摘要过短会遗漏续接依据,摘要过长又会推高每轮输入成本。工程实现应为状态定义稳定字段,例如当前文档类型、已见标题、表格连续性、待确认边界和置信度,而不是仅依赖自由文本复述。
可审计性与隐私。 交错推理有助于定位错误发生在哪一页,但页面中的敏感信息也可能进入推理文本、状态缓存或日志。金融文档场景需要对推理内容实施保留期限、访问控制和脱敏策略;生产系统也不应把长思维链默认暴露给终端用户。
小模型蒸馏。 论文报告,2B学生模型在接收大教师决策后,无论是否保留页面级推理,表现都相近,并距FinancePSS-205上最强的提示模型不超过0.05文档F1。这说明最终边界决策本身可以承载大部分可迁移信号。更实用的架构可能是:2B学生负责常规分流,低置信度或结构异常样本再升级到大模型复核,从而减少推理Token和端到端成本。不过摘要没有提供绝对成绩、蒸馏数据量或训练开销。
实测表现与评测边界
| 实验设置 | 报告结果 | 可以支持的结论 | 仍需核验 | |---|---|---|---| | FinancePSS-205,三种开放权重模型 | RICoT均不弱于相同底座的成对提示和普通窗口提示 | 在控制底座差异后,递归状态与交错决策可能优于简单局部提示 | 三种模型名称、绝对分数、窗口大小、重复实验方差 | | TABME测试子集,GLM-5 | 文档F1 0.847,边界F1 0.915 | 边界定位和文档分组均达到较高水平,并高于已发表的零样本结果 | 对照方法绝对值、统计显著性、测试集规模与标注一致性 | | 教师蒸馏的2B学生 | 与有无页面级推理的模式表现相近,距最强提示模型不超过0.05文档F1 | 页面级推理可以在较大模型推理阶段被蒸馏为轻量决策能力 | 推理Token节省比例、训练算力、不同教师与学生的泛化差异 |
同底座对照是RICoT评测中较严谨的一点,因为它把模型能力差异与提示结构差异部分分离。FinancePSS-205使用真实金融页面流,也比纯合成文档更能暴露复杂版式、扫描件和跨页表格问题。不过,文档F1与边界F1只能提供聚合结果,无法区分漏切、误切、错误合并和错误拆分等不同故障;边界F1明显高于文档F1,提示边界定位与完整文档分组可能存在不同难度,但不能仅凭摘要确定原因。
评测仍缺少多项关键证据:数据如何划分、文档边界如何标注、标注者一致性、测试样本量、随机种子、置信区间、每页成本和端到端时延均未披露。FinancePSS-205在摘要中仍表述为“将公开”,不能视作已经可下载复现。金融领域的高分也不必然迁移到法律、医疗、制造业档案或扫描OCR噪声更大的场景。
开发者落地建议
- 先定义稳定的边界标签。 明确新文档起点、续页、空白页、附件和无法判定页的处理规则,并保留文档标识符,而不只是二分类边界。
- 建立代表性验证集。 按文件长度、版式、扫描质量、跨页表格和多文档粘连情况分层切分;双盲标注并报告一致性,避免把单一金融模板当成通用能力。
- 同步建立强基线。 除成对和普通窗口提示外,还应比较全文上下文、商业文档API、版面特征模型以及规则系统,避免把较弱基线上的提升误认为方法优势。
- 联合调节窗口与状态。 在验证集上搜索窗口大小、重叠步长、状态字段和最大推理Token数;测试集只用于最终评估,防止针对公开基准调参。
- 记录完整成本曲线。 除F1外,应跟踪每千页输入与输出Token、请求次数、p50与p95时延、峰值显存、重试率及每千页费用。
- 采用分级推理。 2B学生可承担首轮判断,对低置信度、状态冲突和复杂表格样本调用更大模型回退;最终上线前仍应保留人工复核通道。
- 验证公开工件。 在论文代码、提示模板、状态结构和FinancePSS-205实际可获取之前,不宜直接宣称结果可复现,也不应把该金融基准直接用于外部客户数据。
结论
RICoT的价值不在于增加一个更大的模型,而在于重新定义长文档分割的推理接口:页面决策在窗口内交错完成,跨窗口只传递紧凑状态。其最有说服力的部分是同底座提示对照和面向2B学生的蒸馏结果;最明显的缺口则是公开工件、绝对基线、统计稳定性和真实成本信息。若后续开放FinancePSS-205及完整实现,这项工作有望成为长文档结构化流水线中文档级路由和边界检测的实用参考。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-11-17)
主题标签: #RICoT #页面流分割 #文档解析 #LLM推理 #FinancePSS-205
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区