一句话定义
OCR 做文字检测和识别，把图像里的字转成文本；Visual Prompt 是在图像上加框、编号、箭头或高亮，引导多模态模型关注指定区域。
为什么需要它
多模态模型看小字、密集表格和精确坐标时容易漏看或读错。OCR 提供高精度文字，Visual Prompt 提供空间指引；两者结合能显著提升文档、截图和图表任务。
关键概念
OCR
流程通常是文字检测 → 识别 → 版面/表格还原；输出文本、坐标、置信度和阅读顺序。OCR 负责“字是什么/在哪”，不负责深层理解。
Visual Prompt
在图像上画框、编号、箭头、局部裁剪或高亮，再配合问题让 VLM 看指定区域。它改变的是视觉输入，不是文字 prompt。
关键取舍
- OCR 对清晰文档很强，但手写、低质扫描、复杂版面会掉点。
- Visual Prompt 能聚焦注意力，但标记会遮挡内容，复杂图要少而准。
- OCR 文本 + 图像一起给模型，效果通常好于单一路径。
- 错误会级联：OCR 错字或框错区域会直接误导回答。
OCR 输出通常带置信度和坐标；低置信度要人工复核或二次识别。文档解析还要处理阅读顺序、表格和公式，版面模型很关键。Visual Prompt 可以用编号引用区域，减少指代歧义。
常见误区
- VLM 可以完全替代 OCR：小字/表格/精确坐标仍常需要 OCR。
- OCR 等于理解版面：阅读顺序、表格结构要额外处理。
- Visual Prompt 就是文字提示：它改的是图像输入。
- 标记越多越好：遮挡和歧义会增加。
用在哪里
- 文档解析、发票/合同/报表抽取。
- 截图问答、UI 理解、图表阅读。
- 多模态 RAG 的图文混合检索。
相关概念
- 多模态模型：OCR/Visual Prompt 服务的模型。
- 视觉编码器与 CLIP：视觉表示基础。
- RAG：文档/图文检索的上层流程。