“分析太浅”几乎都不是模型能力的问题——是 prompt 没要求深度。文件里的细节确实在 context 里(或者部分在),但 ChatGPT 默认走”安全且全面的概括”路径,因为这条路对绝大多数用户的”帮我看看这个文件”是最讨好的。要拿到 evidence、数字、原文引用,必须显式要求结构、约束格式、强制引证。
常见原因
按命中率从高到低:
1. Prompt 用了”分析 / 总结 / 看一下”这种模糊动词
最常见。“帮我分析一下这份报告”对模型来说等于”给我一份概括”——它没收到深度信号,就回 5-7 条泛 bullet。换”列出所有 > 1M 美元的支出项 + 页码”,结果完全不同。
如何判断:把你的 prompt 读一遍——能不能套到别的文件上?能就是太模糊。
2. 检索只拉了顶层 chunk,深层细节没进 context
大文件(> 30 页 PDF、> 5MB 文档)走的是 retrieval 路径,每次只拉 top-k chunk。Top-k 默认偏向标题、摘要、目录这种”高密度”段落,正文细节常常落选。
如何判断:让它”原文引用第 47 页第 2 段”。引不出 / 引的是别的页 = 检索没到那里。
3. 输出格式没约束,模型默认走”安全 bullet 列表”
不指定输出结构,模型用最不容易被反驳的格式:5-7 条 bullet,每条 1-2 句。给一个表格 / 章节模板,它会被迫填具体内容。
如何判断:你两次问同样问题输出结构是不是都是泛 bullet?是就是没约束格式。
4. 否定 prompt(“不要泛泛""不要套话”)几乎无效
模型对”不要 X”的遵守度远低于”要 Y”。“不要写得太浅”不如”每条论断带一句原文 + 页码”。
如何判断:你的 prompt 里”不要 / 避免 / 不允许”的句子是不是比”要 / 必须 / 输出”多?是就重写。
5. 模型在不确定时默认走”短而安全”
文档抽取质量差(扫描件 OCR、表格被压扁)让模型对很多内容不确定,它就用模糊语言绕过。看起来浅,其实是它在掩饰”我没读到”。
如何判断:回答里大量”可能 / 一般 / 通常 / 在大多数情况下”——它是在用通识填空,不是在读你的文件。
6. Reasoning 模型也救不了模糊 prompt
GPT-5 / o3 综合阶段更好,但模糊 prompt + reasoning 只是给你一份”更漂亮的浅内容”。深度来自结构,不是参数。
如何判断:同一个 prompt 用 4o 和 o3 跑,输出结构差不多 / 都很泛——是 prompt 问题不是模型问题。
动手前先确认
- 确认问题是在 Projects、Custom GPT 还是普通对话里出现;三者的检索行为不同。
- 复现前把当前对话复制一份,避免清掉历史影响下次诊断。
- 确认订阅:Free / Plus / Team / Enterprise 在上下文窗口和模型选择上有差异。
需要收集的信息
- 文件类型、大小(MB)、页数 / 行数;是否扫描件 PDF、是否含中文 / 公式 / 图表。
- 上传方式:拖入对话框、Project 知识库、Custom GPT Knowledge。
- 完整 prompt 文案 + ChatGPT 回复截图;具体把你认为”浅”的那两三句标出来。
- 当前模型(GPT-5.5 / GPT-5 / o3)。
- 一个具体例子:文件里第 X 页有数据 Y,但回答没提。
最短修复路径
按收益从高到低,前 2 步通常修 70% 问题。
Step 1:把动词换成”列出 / 抽取 / 对比 / 引用”
“分析这份报告”→ 改成具体动作:
List the 5 largest cost items in this Q3 report. For each, give:
- The exact figure (with currency)
- The page number where it appears
- A one-line quote from the surrounding paragraph
Do not generalize. If you cannot find 5, return fewer.
效果差异巨大。“列出 / 抽取”会触发模型走检索 + 引证路径;“分析”触发的是概括路径。
Step 2:要求每条 evidence 配引用 + 页码
通用模板:
For every claim you make:
- Quote the supporting sentence verbatim, in quotes.
- Cite the page number or section heading.
- If you cannot quote, say "no direct support in document" instead
of inferring.
这一条强制模型从”概括路径”切到”引证路径”。它会变慢,但浅度问题立刻消失。
Step 3:给输出结构模板
不要让它自由发挥。给个表 / Markdown 结构:
Output as a table:
| Risk | Likelihood (low/med/high) | Quote from document | Page |
Then below the table, list:
- 2 assumptions the document makes that you would challenge
- 1 missing analysis the document should have done
结构空着模型必须填,浅就藏不住了。
Step 4:追问”你跳过了什么”
第一轮回答出来后接:
What did you skip? List every section / table / figure you didn't
look at, and why. If you skipped anything because it didn't fit a
keyword, list those keywords.
模型通常会承认遗漏,然后你可以让它专门去补那几块。
Step 5:分章节问 + 自己聚合
大文档不要一次问全文。先:
List every section heading in this document with page ranges.
然后逐章追问,最后你自己写汇总。“一次拿到完整深度分析”是反模式,模型在每个轮次能给的深度有上限。
Step 6:抽取层差就先转 Markdown 再上传
如果是扫描 PDF / 复杂排版,先本地转 Markdown:
pip install marker-pdf
marker_single report.pdf ./out --max_pages 200
把 Markdown 上传,检索质量飞跃,深度问题往往一起消失。
怎么确认已经修好
- 开新对话上传同一个文件,问同一条改写后的 prompt,看输出是不是稳定有具体引用 + 页码。
- 把回答里的某条 quote 在 PDF 里 Ctrl+F 找——找不到就是模型在编。
- 让同事跑一遍同一 prompt,确认深度来自 prompt 结构,不是你的会话状态。
如果还是没修好
- 把文件切到最小:只保留有数据的那 5 页,再问同一题。
- 换格式:PDF→Markdown、xlsx→csv,排除是不是抽取层的锅。
- 换模型:4o → o3 / GPT-5;reasoning 模型对结构化 prompt 综合更深。
- 准备好原文件 + prompt + 模型截图,去 help.openai.com 提工单。
预防建议
- 自己整一个”深度分析模板”:列出 / 抽取 / 对比 / 引用 / 反驳——固定 5 段。
- 每个 prompt 末尾固定加一行 “Quote with page numbers; no inference without quote.”
- 否定指令一律重写成肯定指令。
- 反复分析的同类文件做成 Custom GPT,把深度要求烤进 instructions。
- 拿到浅答案不要直接重问,先追问”你跳过了什么”。
相关阅读
- ChatGPT 大文档分析感觉很浅
- ChatGPT 上传的 PDF 分析不正确
- ChatGPT 把你的 CSV / Excel 数据看错了
- ChatGPT 项目功能
- ChatGPT 文件分析
- ChatGPT Projects 进阶工作流
- ChatGPT Custom GPT 上传的文件未被使用:3 个原因 + 修复路径
标签: #ChatGPT #ChatGPT 文件 #排查 #排查 #分析太浅