一句话定义
语音与音频模型处理声音输入输出：Audio LLM 直接理解音频，STT 把语音转文字，TTS 把文字转语音。
为什么需要它
语音是自然交互入口：客服、会议、车载、无障碍、语音助手都需要听和说。STT/TTS 负责转换，Audio LLM 进一步理解情感、事件和说话人。
三类能力
Audio LLM / 音频大模型
音频编码器 + LLM，直接做音频描述、问答、情感/事件识别；也可以接 STT 后的文本。
Speech-to-Text / STT
把语音转成文字/时间戳，核心是 ASR 模型；噪声、口音、语速、领域词是主要难点。
Text-to-Speech / TTS
把文字转成语音波形，关心自然度、韵律、音色和低延迟；流式 TTS 适合对话。
关键取舍
- 流式/低延迟与识别准确率要权衡；实时场景常牺牲部分上下文。
- 噪声、口音、专业术语会显著影响 STT。
- TTS 的自然度和可控性（音色/情感/语速）要按场景选。
- STT/TTS 错误会级联到 LLM，端到端评测很重要。
音频预处理包括采样率转换、VAD、降噪和分段。STT 常输出时间戳/说话人；TTS 关心声码器、声纹和韵律。端到端语音 LLM 能保留情感/韵律，但延迟和数据要求更高。评测看 WER、MOS、延迟和噪声鲁棒性。
常见误区
- STT 等于理解：转写后还要 NLU/LLM 处理。
- TTS 只要像人：延迟、稳定性、可控性同样重要。
- Audio LLM 不需要 STT：很多场景仍用 STT + 文本 LLM 更稳。
- 语音模型没有隐私问题：录音/声纹是敏感数据。
用在哪里
- 语音助手、客服、会议转写。
- 播客/视频字幕、配音、无障碍。
- 多模态 Agent 的语音入口/出口。