概念索引

基础模型

在海量数据上预训练、可适配多种下游任务的通用模型；LLM 是其中一种。

基础预训练通用模型

Embedding

把 token ID 映射成连续向量，让语义关系可以用距离和方向表达。

表示学习向量基础

LLM

以 Transformer 为主干、在海量文本上预训练、再用指令和偏好数据调成通用助手的语言模型。

基础语言模型Transformer

Prompt

发给模型的输入文本/消息，包含角色、上下文、任务、约束和输出格式；Prompt Engineering 是设计它的方法。

基础输入提示

Tokenization

把文本切成模型可处理的最小单元，并映射成词表 ID。

文本词表预处理

模型架构

18

归一化

稳定深层网络训练的归一化层；LayerNorm 减均值除标准差，RMSNorm 只按均方根缩放。

归一化训练稳定Transformer

模型架构范式

Transformer 的三种组织方式：Encoder-only、Decoder-only、Encoder-Decoder，核心区别在注意力掩码与训练目标。

架构TransformerAttention

神经符号 AI

神经网络负责感知/模式，符号系统负责规则/逻辑/验证；混合架构提升可解释性和严格推理。

前沿符号推理

位置编码

给注意力提供 token 顺序信息的机制；从绝对位置编码到 RoPE、ALiBi 的相对位置方案。

位置编码Attention长上下文

稀疏注意力

只计算部分 token 对（局部窗口、全局 token、块稀疏），降低长序列的注意力和显存开销。

Attention长上下文稀疏

线性注意力与 RWKV

用核函数或循环状态替代 softmax 注意力，把序列建模降到线性复杂度。

Attention长上下文架构

隐式推理

在连续 latent 向量里迭代推理，不生成显式思维链；省 token，但可解释性和训练更难。

前沿推理latent

Dense 与 Sparse 模型

每个 token 都经过全部参数（Dense），还是只激活少数专家（Sparse/MoE）的两种参数使用方式。

架构稀疏激活MoE

FFN

Transformer 中逐位置的两层前馈网络，负责非线性变换并占据大量参数。

架构Transformer参数

GQA 与 MQA

让多个 Q 头共享 K/V，减少 KV Cache；MQA 共享一组，GQA 分组共享。

AttentionKV Cache推理

Mamba 与 SSM

用隐状态递推代替注意力，长序列线性复杂度；Mamba 让参数随输入变化。

架构长上下文SSM

MHA

把注意力拆成多个头并行计算，让模型同时关注不同的位置和语义关系。

Attention架构Transformer

MoE

用多个专家网络加门控路由，让每个 token 只激活少数专家，平衡参数量与计算量。

架构稀疏激活扩展

RoPE

用旋转矩阵把位置写进注意力的 Query/Key，让模型感知相对距离。

位置编码Attention长上下文

Router

MoE 中为每个 token 打分并选出 top-k 专家的网络，决定哪些专家被激活。

MoE路由稀疏激活

Softmax 与 Logits

Logits 是模型输出的未归一化分数，Softmax 把它变成概率分布，再交给采样或交叉熵。

基础概率输出层

Attention

让每个 token 按相关性加权聚合其他 token 信息的机制，是 Transformer 的核心。

LLMTransformer机制

更新 2026/11/02

Transformer

以自注意力为核心、可以高度并行训练的序列建模架构，是大模型的基础骨架。

LLM架构Attention

更新 2026/11/01

训练与对齐

18

持续预训练

在已有基座模型上，用新语料加 replay 数据继续做自监督训练，更新知识或领域分布。

训练预训练领域适配

分布式训练

用多卡/多机训练大模型：数据并行切 batch，张量并行切权重，流水线并行切层，序列并行切序列。

训练分布式并行

领域适配

把通用模型适配到目标领域：继续预训练补知识，SFT/PEFT 学行为，RAG 接外部资料。

领域微调数据

偏好优化变体

DPO 之外的偏好优化方法：ORPO、IPO、KTO；RLAIF 则改变偏好数据的来源。

对齐偏好训练

数据治理

从语料到可训练数据：清洗、过滤、去重、去污染、配比和合成数据；质量与配比决定训练上限。

数据训练治理

训练基础

Batch、Epoch、学习率、调度器、梯度下降、梯度累积与课程学习：控制训练节奏的基础术语。

训练优化超参数

训练目标

决定模型学什么的损失目标：下一 token、掩码语言建模、对比学习，分别偏向生成、理解和相似度。

训练目标函数预训练

训练效率

混合精度与梯度检查点：一个省带宽/算力，一个省激活显存，常与梯度累积、分布式训练叠加。

训练显存精度

预训练

在海量无标注文本上做下一 token 预测，让模型获得通用语言能力。

训练基座模型自监督

灾难性遗忘

顺序微调新任务时，旧任务的权重被覆盖、表现明显下降；replay、正则化和 PEFT 可以缓解。

训练遗忘持续学习

知识蒸馏

用教师模型的软标签/分布教学生模型；学生更小更快，但会继承教师偏差。

训练蒸馏压缩

DPO

直接用偏好对优化语言模型，跳过奖励模型和在线强化学习。

对齐偏好优化训练

LoRA

冻结原模型，只训练两个低秩矩阵，用很小参数量完成领域适配。

微调参数高效训练

PEFT

冻结基座，只训练 Adapter、LoRA 等小模块；省显存、省存储，也方便多任务切换。

微调参数高效训练

PPO

用裁剪的代理目标做策略梯度更新，在最大化奖励的同时用 KL 约束避免偏离参考模型。

强化学习对齐训练

Reward Model

用偏好对训练一个给回答打分的模型；它把人类偏好变成可优化的标量奖励。

对齐奖励偏好

RLHF

用人类偏好训练奖励模型，再用强化学习让模型输出更符合人类偏好。

LLM对齐强化学习

更新 2026/11/06

SFT

用人工标注的指令-回答对继续训练基座模型，让它学会按指令回答。

LLM训练对齐

更新 2026/11/05

推理与部署

13

推理与部署入门

采样与解码

把模型输出的概率分布变成具体 token 序列的策略：贪心、束搜索、温度、Top-K、Top-P。

解码采样生成

量化

用更低精度表示权重和激活，减少显存占用并提升推理吞吐。

推理显存精度

量化格式与算法

分清数值格式、量化算法和文件格式：FP16/BF16/INT8/INT4，AWQ/GPTQ，GGUF/GGML。

量化推理格式

上下文窗口

模型一次能读入并利用的 token 数量上限，受注意力复杂度和显存限制。

长上下文显存推理

推理与部署深入

投机解码

用小模型先草拟多个 token，再让大模型一次并行验证，用接受率换取解码速度。

推理解码加速

推理框架与服务

把模型跑起来的软件栈：vLLM/TGI/TensorRT-LLM/Ollama/llama.cpp，以及通用 Inference Server。

推理框架部署

推理与部署入门

推理与生成

模型跑起来生成文本的过程：Prefill 并行处理 prompt，Decode 逐 token 生成并流式输出。

推理生成部署

推理与部署入门

推理指标

衡量推理服务：吞吐、延迟、TTFT、TPOT、批大小与流式输出；延迟看单请求，吞吐看整体。

推理指标性能

Continuous Batching

在每个迭代动态加入/移除请求的批处理方式；短请求结束即释放位置，提高 GPU 利用率。

推理批处理吞吐

推理与部署深入

FlashAttention

通过分块计算和在线 softmax，减少注意力对高带宽显存的反复读写。

AttentionGPU长上下文

Offloading

把暂时不用的权重、KV Cache 或优化器状态放到 CPU/磁盘，按需预取回 GPU，缓解显存不足。

推理显存部署

推理与部署深入

PagedAttention

把 KV Cache 切成固定大小的块，用块表映射到不连续的物理显存，减少碎片和浪费。

推理KV Cache显存

KV Cache

自回归推理时缓存历史 token 的 Key/Value，避免每生成一个 token 都重算整段上下文。

LLM推理显存

更新 2026/11/03

检索与知识

8

引用与事实锚定

Citation 标注来源，Grounding 检查陈述是否有证据；两者一起让回答可追溯、可验证。

RAG引用可信

检索与知识入门

Chunking

把长文档切成可检索的块：固定大小简单，语义分块更完整，通常配合重叠和元数据。

RAG切片检索

Context Compression

把检索到的 Top-N 片段压缩成更少 token：抽取、摘要、去重、截断，减少噪声和成本。

RAG上下文压缩

检索与知识深入

Graph RAG

用实体关系图和图遍历补充向量检索，回答多跳关系、全局总结和实体网络问题。

RAG知识图谱检索

Query Rewrite

把用户问题改写成更好检索的形式：补全、扩展、多查询或 HyDE，提升召回。

RAG检索查询

检索与知识入门

RAG

先从外部知识库检索相关片段，再把片段放进上下文，让模型基于证据回答。

LLM检索应用

Reranker

对召回候选做 cross-encoder 精排，选出最相关的 Top-K；精度高但延迟大。

RAG检索排序

Vector Database

存储向量并做相似度检索的系统：索引、相似度、Top-N、元数据过滤。

RAG向量检索

应用与智能体

15

反思与规划

先规划再执行，或对结果做批判并修订：Plan-and-Solve、Reflection、Self-Refine。

Agent推理规划

具身智能

让模型连接感知、规划、控制和执行器，在物理世界中闭环；仿真训练，真实部署，处理 sim2real 差距。

前沿具身机器人

应用与智能体入门

提示工程

通过组织指令、示例和上下文，让模型更稳定地完成目标任务。

应用Prompt实践

Agent

让模型在循环中规划、调用工具、观察结果并继续行动，直到完成目标。

应用工具调用自动化

Agent Frameworks

智能体编排框架：LangGraph 的图/状态机、AutoGen 的多智能体对话、CrewAI 的角色任务、OpenAI Agents SDK 的 handoff/guardrail/tracing。

Agent框架编排

Agent Memory

短期记忆保存当前任务，长期记忆跨会话保存情景、语义和过程知识；要检索、摘要、过期和权限。

Agent记忆上下文

Agent Workflow

把目标、规划、行动、观察、状态更新和轨迹组织成可恢复、可审计的智能体循环。

Agent工作流编排

应用与智能体入门

CoT

让模型把推理步骤写出来；Self-Consistency 采样多条链，用多数投票选答案。

推理提示Agent

LLM 作为控制器

让 LLM 读取目标/状态，输出动作或工具调用，由环境反馈驱动下一轮决策。

前沿Agent控制

MCP

把工具、数据和提示以统一协议暴露给模型客户端的开放标准。

协议工具调用集成

Mixture of Agents

多个 LLM/提示并行提案，聚合器综合/改写/投票；用多样性换质量，成本/延迟上升。

前沿集成Agent

Multi-Agent

多个角色智能体分工协作：监督者拆解分派，角色执行，消息/共享状态同步，最后汇总验收。

Agent协作编排

ReAct

把推理和工具行动交替进行：思考下一步、调用工具、观察结果，再继续或回答。

Agent推理工具

Tool Calling

让模型选择函数、生成 JSON 参数，由运行时执行并回填结果；schema、鉴权和错误处理是关键。

Agent工具API

ToT 与 GoT

把思维从单条链扩展成树或图：ToT 分支/评估/回溯，GoT 允许合并与跨分支连接。

推理搜索Agent

多模态

7

多模态模型

把图像、文本等模态编码到统一空间，再交给语言模型理解/生成；MLLM 与 VLM 是常见形态。

多模态VLM模型

扩散与文生图

扩散模型学习从噪声逐步去噪生成图像；文本提示作为条件，引导文生图的方向。

多模态生成扩散

多模态深入

世界模型

从观测学习环境状态与动态，预测未来；Sora 类视频世界模型用大规模视频学习时空演化。

前沿世界模型视频

视觉编码器与 CLIP

把图像编码成向量；CLIP 用图文对比学习把图像和文本对齐，支持零样本分类和跨模态检索。

多模态视觉CLIP

语音与音频模型

Audio LLM 理解声音；STT 把语音转文字；TTS 把文字转语音；流式、噪声和口音是主要工程点。

多模态语音音频

OCR 与 Visual Prompt

OCR 把图像文字转成文本；Visual Prompt 用框、编号、箭头等标记引导多模态模型看指定区域。

多模态OCR视觉提示

多模态深入

Text-to-Video

用文本生成视频：在时间维度建模，保持人物、场景和镜头连续；一致性与可控性是核心难点。

多模态视频生成

评估与安全

12

对齐目标

Alignment 让模型行为符合人类意图；Helpfulness、Harmlessness、Honesty 是常见 3H 拆解，彼此会冲突。

对齐安全评测

幻觉

模型生成看似合理但不真实的内容；分事实性、忠实性和推理错误，用 RAG、引用、验证和拒答缓解。

评估安全幻觉

评测

用任务、数据、指标和裁判衡量模型表现；自动评测快、人工评测更贴近真实偏好。

评测指标基准

评测基准

常见基准各测什么：MMLU 知识、GSM8K 数学、HumanEval/MBPP 代码、TruthfulQA 真实性、RAGBench 检索、AgentBench 智能体。

评测基准Benchmark

评测指标

不同任务不同尺子：Accuracy/F1、BLEU/ROUGE、PPL、Pass@k、Win Rate/Preference Score。

评测指标度量

水印、隐写与后门

水印是可检测标记，隐写是隐藏信息，后门是触发器导致的恶意行为；三者目标、检测和防御不同。

安全水印后门

AI 安全

AI 安全是分层防御：模型对齐、系统提示、工具权限、内容护栏、监控与红队；单层过滤不够。

安全对齐红队

Constitutional AI

用一组书面原则让模型自我批评/修订，再用修订数据做偏好训练；减少人工标注，但原则设计很关键。

安全对齐训练

Guardrail

在输入、模型、输出三层设防：过滤、审核、拒绝或安全改写；要测误杀率和漏放率。

安全护栏审核

Jailbreak

用角色扮演、编码、多轮诱导等方式绕过模型安全策略；防御靠对齐、过滤、审核和红队。

安全越狱对抗

LLM-as-judge

用大模型按评分标准给回答打分或两两比较；能扩展评测，但有位置、长度和自我偏好等偏差。

评测裁判对齐

Prompt Injection

攻击者把指令藏进用户输入或外部内容，让模型当成真指令执行；防御靠信任边界、权限和审批。

安全注入Agent

工程与生态

4

工程与生态入门

模型生态与工具链

开源/闭源、模型卡、Model Hub，以及 Transformers/Datasets/Accelerate/PEFT 组成的常用工具链。

生态工具链开源

工程与生态进阶

模型文件、检查点与合并

Checkpoint 保存训练状态，Safetensors 是安全权重格式；Model Merge 合并完整模型，LoRA Merge 把适配器合回基座。

生态权重合并

工程与生态进阶

LLM 运维与可观测

多模型网关、负载均衡、降级、监控日志、A/B 和可观测性；LMOps 与 MLOps 要打通。

工程运维可观测

工程与生态进阶

LLM API 与成本

LLM API 的限流、Token 计费和成本优化：缓存、路由、缩短上下文、批处理和预算告警。

工程API成本