分块策略在RAG中至关重要,目的是提高效率、相关性和上下文保持。分块能减少计算开销,增加检索相关信息的可能性,同时保持信息完整性。但也存在风险,如上下文丢失、冗余和不一致性。选择策略需考虑文档类型(结构化 vs 非结构化)、查询复杂性、资源可用性和期望结果(速度 vs 准确性 vs 上下文)。
策略名称
描述
优点
缺点
实施建议
固定长度分块
将文本按预定义...
PDF OCR、复杂版面与表格语义解析方案项目地址:https://github.com/WiSiW/AI-RAG
摘要新增独立的 PDF 解析流水线:文本页直接提取,扫描页或乱码页按优先级执行 OCR;通过独立版面分析服务识别标题、正文、表格、图片和页眉页脚;表格按页特征路由到 pdfplumber/Camelot/Tabula,并保存完整结构化数据。PDF 自动采用版...