跳到主内容
智客 ZICQ

智客百科 技术术语

文档分块(Chunking)

技术术语
别名: Chunking 文本分块 文档切分 文本切片 ·2026-10-10

文档分块(Chunking)

**文档分块(Chunking)**是检索增强生成(RAG)知识库构建中最为基础也最具决定性的数据工程工序。它的任务是将篇幅较长、结构复杂的非结构化原始文档(PDF、Markdown、Word、代码仓或技术手册),切割为具备独立语义、大小合适且便于检索的文本块(Chunks)。

分块的质量直接决定了下游嵌入向量的语义纯度、向量数据库的检索召回精度以及最终上下文窗口的信息密度。


1. 核心矛盾:检索粒度与上下文完备性的工程权衡

文档分块面临经典的“粒度两难(Granularity Dilemma)”:

小块 (100 ~ 256 Tokens)                    大块 (512 ~ 1500 Tokens)
◄─────────────────────────────────────────────────────────────────────────────►
• 优点: 语义高度聚焦,向量表示清晰,检索精准度高 • 优点: 上下文丰富完整,因果论证完备,生成质量高
• 缺点: 孤立缺乏上下文,代词指代不清,丢失全局背景 • 缺点: 向量语义被稀释,检索命中率下降,易塞满上下文
  • 过小切分:句子被生硬打散,出现大量“它在第二步被调用”等代词悬空(Referential Ambiguity),嵌入模型无法准确捕捉主体实体。
  • 过大切分:嵌入模型被迫将多个不相关的主题压缩进单一的高维向量,导致局部关键细节在向量空间被稀释冲淡,难以被针对性 Query 精确命中。

2. 五大主流分块策略深度剖析

分块策略 工作机制 适用场景 局限性与风险
固定窗口滑动切分(Fixed-size with Overlap) 按固定的 Token 或字符数硬性切分,相邻块保留固定比例(通常 10%-20%)重叠 无结构散文、均匀文本流 极易在句子中间断开,破坏自然语言语法与逻辑
递归字符切分(Recursive Character Splitting) 预设分隔符优先级列表(如 ["\n\n", "\n", " ", ""]),自顶向下递归切分,优先在段落边界断开 通用自然语言文档(LangChain/LlamaIndex 默认) 对复杂嵌套结构(表格、层级列表)缺乏深层理解
结构感知切分(Structure-Aware AST) 解析 Markdown AST、HTML DOM 或代码 AST(Tree-sitter),按章节标题、函数、类定义切块 技术文档、API 手册、代码仓库、法律合同 解析器实现复杂,对格式不规范的野语料容错率低
语义分块(Semantic Chunking) 计算相邻句子之间的向量余弦相似度,当相似度急剧下跌超过阈值(如滑动统计的百分位差)时触发断块 论述逻辑严密、多主题穿插的长篇文章 计算开销大(需对每个单句先跑一遍 Embedding)
命题化分块(Propositional / Agentic Chunking) 借助小型 LLM 将段落分解为自包含、独立事实命题(Propositions),剥离代词并补全上下文 极高精度专业知识库(金融研报、医疗指南) LLM API 成本高,离线处理延迟大

3. 高级架构范式:Small-to-Big(父子文档与窗口展开)

为了彻底化解“检索需要小块、生成需要大块”的结构性矛盾,工业界普遍演进出 Small-to-Big 检索架构:

┌─────────────────────────────────────────────────────────────────┐
│                       父文档块 (Parent Chunk, 1024 Tokens)        │
│  ┌───────────────────────┐ ┌───────────────────────┐           │
│  │ 子块 1 (256 Tokens)    │ │ 子块 2 (256 Tokens)    │   ...     │
│  │ (写入向量库索引)       │ │ (写入向量库索引)       │           │
│  └───────────────────────┘ └───────────────────────┘           │
└─────────────────────────────────────────────────────────────────┘
           │ (命中子块 1)                    │ (回查父块 ID)
           ▼                                 ▼
   向量相似度极高精确召回            注入生成模型的是完整父文档上下文!
  1. 父子文档检索(Parent Document Retriever): 将文档先切分为 1000 Token 的父块(保留完整章节),再将父块细切为 200 Token 的子块。向量数据库中只为子块构建索引并参与检索;一旦某个子块被召回,系统自动通过关联元数据映射拉取其完整的父块内容注入 LLM 上下文。
  2. 句子窗口检索(Sentence Window Retrieval): 以单句(50-100 Token)为最小嵌入单元。命中单句后,系统自动在物理文档中向前与向后滑动扩展 K 个句子(如扩展前后各 3 句),确保模型既有极其精准的语义定位点,又有流畅的上下文背景。
  3. 上下文感知分块(Contextual Retrieval): 在 Anthropic 提出的实践中,将每个分块送入模型前,利用小型 LLM 生成 50-100 字的全局背景说明(如“本文档来自 2026 年 Q2 财报,本段讨论移动业务收入”),拼在块开头再计算 Embedding。这消除了跨文档代词孤立问题,大幅降低了检索失真。

4. 元数据保留与表格图表处理规范

切块绝不仅是切分文字,必须建立严格的结构元数据体系:

  1. 层级面包屑路径(Breadcrumb Hierarchy): 每个切块必须携带当前块所处章节的面包屑路径,如: {"hierarchy": "智客前沿开发手册 > 数据库架构 > PostgreSQL > pgvector 索引调优"}。将该路径拼接在块头部一同输入 Embedding,能为孤立文本提供强有力的分类锚点。
  2. 表格与代码的完整性保护:
    • 严禁将 Markdown 或 HTML 表格横切打碎。表格切分会导致表头丢失,下半部分数据行彻底失去列语义。
    • 建议将表格作为整体原子块独立提取,或将每一行序列化为“键值对”句子(如 年份: 2026, 营收: 100亿)再做切分。
  3. 去重与重排配合: 采用 20% 滑动重叠时,相邻的两个块极易同时被前 Top-K 向量检索召回,造成上下文窗口冗余。下游必须接入 重排模型(Reranker) 或基于多样性算法(如 MMR, Maximal Marginal Relevance)剔除冗余同质块。

进一步阅读