Dify 知识流水线：企业 RAG 的解析、切分与测试怎么做

企业 RAG 答不准时，团队常把注意力放在提示词，却忽略答案能够看到的只是检索返回的片段。目录被当正文、表格列错位、页眉反复进入索引、版本信息丢失，都会让模型在错误材料上组织出流畅回答。知识流水线的任务是让文档从进入系统到可检索、可引用、可撤回都有记录，并把解析、切分、索引与测试变成可复现过程。

判断这个场景是否适合

先看知识是否具有明确来源和使用许可。制度、产品手册、操作规程和经过审核的问答通常适合检索；聊天记录、个人草稿和混有大量过期资料的共享盘，需要先分类清理。若答案依赖实时交易状态，静态知识库不是单一数据源，应通过受控工具查询业务系统，并让模型区分文档事实与实时结果。

再看文档结构。标题层级稳定的长文适合按章节切分，短问答可按条目保留，表格需要保留表头与行列关系，扫描 PDF 则先检查 OCR。代码、合同附件和双栏排版可能需要专用解析。不能用一个固定长度处理所有材料，因为切得过短会失去上下文，切得过长又会混入无关主题。样本文档应覆盖最差格式，而非只挑最整洁的文件演示。

还要判断权限能否随片段传递。若同一资料库包含不同部门可见内容，但检索层无法可靠过滤，就不应把它们混在一个集合里。来源、密级、部门、版本、生效日期和失效日期都应成为元数据，并明确由谁维护。没有删除和失效机制的知识库会不断累积冲突答案，规模越大反而越难可信。

实施时怎么拆

首先定义入库契约：允许的格式、文件上限、命名规范、必填元数据、重复判断和拒绝原因。原始文件保留不可变副本及摘要，解析产物记录工具版本和时间。对 PDF 抽查段落顺序、图片说明、表格和脚注；解析失败进入人工队列，不能静默生成空内容。涉及个人信息的文档在入库前执行脱敏或禁止进入。

第二步为文档类型设计切分。操作手册以标题和步骤为边界，政策文件让条款编号与正文同处一段，表格把表头带入每个相关片段，常见问答保持问题与答案成对。相邻重叠只用于补足跨段语义，不能用大量重复掩盖结构错误。每个片段保留可回到原文的位置标识，引用点击后能定位到页码、章节或条目。

第三步建立测试集。业务人员提供真实问题、期望证据和不可回答的问题，知识团队补充同义表达、歧义问题、跨章节问题与过期资料陷阱。测试至少分为解析正确、目标片段可召回、排序靠前、答案忠于证据和权限不越界几个层次。若召回已经失败，调整生成提示词没有意义；若证据正确但回答误读，才进入模型和提示词排查。

发布采用影子索引或新数据集。新流水线先处理一批代表性材料，与旧版并行比较，再由内容负责人确认差异。通过后分批迁移，记录失败文件并允许重试。切换前保留旧索引和应用配置，切换后观察无结果查询、低质量引用、人工纠错和文档处理积压，异常达到停止条件就退回旧数据集。

不要忽略的限制

解析器无法保证理解所有视觉结构，向量相似也不等于事实相关。包含复杂图纸、公式或依赖版面关系的资料可能需要人工摘要或专门工具。测试集若只来自已有文档，会高估能力；必须包含用户真实措辞和应该拒答的边界问题。内容更新后应重跑受影响用例，并确认旧片段已经删除，而不是仅添加新版本。

知识流水线同样需要恢复方案。保存原文件、元数据、处理配置、数据集标识和应用引用关系，才能在索引损坏或解析版本退化时重建。回滚时不仅切回索引，还要确认应用仍指向正确数据集。人工确认不能被一次验收替代：内容所有者定期抽查引用，安全人员复核权限标签，运营记录用户纠错，三类证据共同决定下一次调整。