我按“易读 → 技术细节 → 源码实现”整理了一组资料。中文资料质量比较参差，建议先看前面的官方和英文科普，再用中文文章补充。

资料 难度 适合了解什么
OpenAI：Introducing Whisper ★ 官方入门介绍：训练数据、多语言识别、语音翻译、鲁棒性
OpenAI Whisper GitHub README ★★ 有整体架构图，解释 Transformer 编解码器、多任务特殊 Token、30 秒滑动窗口
AssemblyAI：How to run OpenAI’s Whisper speech recognition model ★★ 从代码角度跑通 Whisper，适合把“原理”与实际推理过程联系起来
Hugging Face：Fine-tune Whisper for Multilingual ASR ★★ 特征提取、Tokenizer、训练和微调流程
Hugging Face Whisper 文档 ★★★ 模型配置、输入输出张量、log-Mel 特征、Encoder–Decoder 结构
Whisper 原论文：Robust Speech Recognition via Large-Scale Weak Supervision ★★★★ 最完整的底层原理、训练方法、数据规模、实验结果和局限性
whisper.cpp ★★★★ 想了解模型如何在 CPU、手机或本地设备上高效推理时阅读

  1. OpenAI 官方介绍
  2. GitHub README 的 Approach 部分
  3. AssemblyAI 文章
  4. 原论文第 2、3 节
  5. 最后看 Hugging Face 文档或 whisper.cpp

你需要抓住的底层流程大致是：

音频
  ↓
重采样到 16 kHz
  ↓
提取 log-Mel 频谱图
  ↓
Transformer Encoder 提取音频表示
  ↓
Transformer Decoder 自回归生成文本 Token
  ↓
得到文字、时间戳、语言或翻译结果

Whisper 的关键设计有四点：

  • 输入不是原始波形，而是 log-Mel 频谱图；
  • Encoder–Decoder Transformer 同时处理音频理解和文字生成；
  • 通过特殊 Token 统一完成语音识别、语音翻译、语言识别和时间戳预测；
  • 使用约 68 万小时的弱标注音频进行大规模训练，因此对口音、噪声和不同录音环境更稳健。

中文检索可以从这两个入口开始：

搜索时优先看包含“log-Mel spectrogram、encoder-decoder、multitask token、30-second window”这些关键词的文章。