一句话定义
多模态模型把图像、文本（以及音频/视频）编码成统一表示，再交给语言模型理解或生成。MLLM 是多模态大语言模型，VLM 偏视觉-语言任务。
为什么需要它
真实任务很少只有文本：截图、表格、图表、视频、语音都需要理解。多模态模型让同一个模型能看图、读文、听音，并把它们放进同一段推理。
典型结构
- 视觉编码器把图像变成 patch/token。
- 投影层/适配器把视觉 token 对齐到语言模型空间。
- LLM 把视觉 token 和文本 token 一起处理。
- 输出文本、结构、坐标或动作。
MLLM
多模态大语言模型：以 LLM 为核心，接入视觉/音频编码器；擅长跨模态问答、描述、推理。
VLM
视觉-语言模型：强调图像与文本的对齐/生成，如图像问答、caption、OCR 后的理解。
Flamingo / Qwen-VL / LLaVA
Flamingo 用门控交叉注意力接入视觉；Qwen-VL、LLaVA 用视觉编码器 + 投影层 + LLM 的路线，是常见的开源范式。
Modality Alignment / 模态对齐
让不同模态的表示落在同一语义空间；对齐质量决定模型能否“看懂”图像 token。
关键取舍
- 分辨率越高，细节越多，但 token 数和显存也上升。
- 视觉编码器强不等于多模态推理强；投影层和训练数据同样关键。
- 图像 token 会挤占上下文，长视频/高分辨率要压缩或采样。
- 多模态评测要分任务：识别、OCR、图表、空间关系、视频时序。
常见误区
- 多模态等于“图像 + 文本拼在一起”：关键是对齐和融合。
- MLLM 什么图都能看懂：小字、图表、空间关系仍是难点。
- 视觉编码器可以随便换：对齐层和训练分布要匹配。
- 多模态模型不需要 OCR：小字/文档场景仍常需要 OCR 辅助。
用在哪里
- 图像问答、截图理解、图表/文档解析。
- 视频摘要、监控、机器人/具身智能。
- 多模态 Agent 的感知前端。
相关概念
- 视觉编码器与 CLIP：视觉塔与对齐基础。
- 扩散与文生图：生成侧的多模态。
- Agent：多模态感知进入智能体循环。