一句话定义
视觉编码器把图像变成向量/patch token；CLIP 同时训练图像编码器和文本编码器，用对比学习把匹配的图文拉近，从而支持零样本分类和跨模态检索。
为什么需要它
语言模型只懂 token，不懂像素。视觉编码器提供视觉表示，CLIP 进一步把图像和文本放到同一空间，让“用文字找图/用图找文”成为可能。
怎么工作
- Image/Vision Encoder：ViT 或 CNN，把图像切成 patch，输出视觉 token/向量。
- CLIP：图像塔 + 文本塔，分别编码图文对；对比学习让正样本相似度高于负样本。
- 零样本分类：把类别名写成文本，算图像与各类文本的相似度。
- 跨模态检索：图像/文本向量在同一空间，可直接做相似度搜索。
关键取舍
- 分辨率/ patch 大小影响细节和 token 数；高分辨率更贵。
- CLIP 的文本塔短、偏描述，不擅长长文本/复杂推理。
- 对比学习依赖大规模图文对，领域偏移会掉点。
- 视觉编码器可以冻结或微调；冻结省算力，但领域适配可能不足。
常见误区
- CLIP 是生成模型：它主要做表示/匹配，不直接生成图像。
- 视觉编码器越大约好：要看分辨率、token 预算和任务。
- CLIP 能理解复杂图表：它更擅长整体语义，细粒度 OCR/图表需要专门模型。
- 多模态模型必须从零训练视觉塔：通常复用 CLIP/ViT。
常见视觉编码器有 ViT、SigLIP、DINOv2 等；选型看分辨率、领域和 token 成本。CLIP 的训练目标是对比学习，不是生成；视觉 token 数量直接影响上下文开销。
用在哪里
- 图像分类、检索、去重、审核。
- 多模态模型的视觉前端。
- 文生图的文本/图像条件编码。