方法与测试环境
sprbd以“找全条款、减少漏项”为目标测试Claude长文本分析,而非只比较摘要是否通顺。样本为12份中文合同与制度文件,单份长度8.4万至16.7万字,人工预先标注了396个日期、金额、责任主体、例外条款和引用关系。每份文件重复执行3次,结果以均值和标准差记录。
测试环境:macOS 14.5、Chrome 126、稳定100 Mbps网络;源文件统一转为可搜索PDF和UTF-8 TXT。人工复核由2人独立完成,分歧项再回看原文。Claude PDF文档处理的关键限制是:扫描件若没有文字层,模型可能读取到不完整内容,因此先做OCR比优化提示词更有效。
pdftotext -layout input.pdf output.txt
wc -c output.txt
grep -nE "违约|期限|金额|例外|除外" output.txt
结果:整篇输入与分段核验的差异
| 流程 | 条款召回率 | 错误归属率 | 单份耗时 | 复核时间 |
|---|---|---|---|---|
| 整篇直接摘要 | 82.6% ± 4.8% | 9.7% ± 2.1% | 4.1分钟 | 18.6分钟 |
| 按标题分段后汇总 | 93.9% ± 2.7% | 4.3% ± 1.5% | 7.8分钟 | 9.4分钟 |
| 分段+原文行号核验 | 97.2% ± 1.6% | 1.8% ± 0.9% | 10.6分钟 | 5.1分钟 |
数据表明,直接让Claude“总结全文”速度最快,但漏掉附件、定义和例外条款的比例最高。将TXT按一级标题或每1.2万至1.8万字切块,能使召回率提高11.3个百分点。每个结论必须附原文段落号,才可将错误归属率压到2%以内。
可复现操作与验证
- 先运行OCR或
pdftotext,随机搜索10个金额和日期;命中少于9个时,先修复源文件。 - 按“定义、义务、违约、期限、附件”切分文本,每段保留文件名和段落编号。
- 在Claude长文本分析教程中使用固定指令:
仅提取可验证事实;每项输出[类型][主体][条件][原文段落号];无法定位则写NA,不得推断。 - 将各段表格合并,再追加指令:
找出金额、期限、责任主体相互矛盾的记录,并列出两个原文段落号。
如何验证结果:从最终表随机抽取30项,回到TXT用段落号定位。正确定位至少29项、NA项目不被写成结论、冲突项均含两个引用时,这套Claude怎么用分析合同的流程可投入实际审阅;未达标时优先检查OCR和切分边界,而不是扩大摘要篇幅。
结论基于12份样本:对超过8万字的中文材料,分段加定位核验比整篇总结多用6.5分钟,却减少约13.5分钟人工复核。官方工具和本地文本处理已足够完成该流程;需要统一入口时,Roxi只是可选方案之一。