语音智能体在不到三年里已从研究演示走进真实产品。现代技术栈正收敛为一种清晰范式：实时传输层（WebRTC 或电话网）、语音转文字 → 大语言模型 → 文字转语音的流式流水线，以及决定语音智能体何时开口的话轮模型。本清单的结构刻意贴近这一学习顺序——先打基础，再选框架，然后深入各组件与上线相关议题。
学习类资源标注为 🟢 入门、🟡 进阶 或 🔴 高阶（第 17-19 节的博客、播客与社区有意不作标注）。优先收录免费官方文档与厂商中立指南；条目若存在商业背景会明确标注。
若你是全新入门，建议自上而下阅读。推荐路径：
- 基础 → 理解流水线与延迟预算
- 框架 → 选定一个（开源最稳妥的选择是 LiveKit Agents 或 Pipecat），先跑通 hello-world
- 组件（STT、TTS、LLM、VAD、话轮检测）→ 替换各层以理解其作用
- 传输与电话 → 对接真实电话号码
- 评测、生产、伦理 → 把它做得足够安全、可以对外发布
如果你想以更紧凑、有立场、面向生产的形式获得这些内容，可以阅读我撰写的 Voice Agents Handbook：基于 LiveKit 构建生产级语音 AI，附录涵盖技术栈选型与 LiveKit 生态中智能体之外的内容。现已在 Kindle 上架（同时提供纸质版）。
你正在读的 README 收录了本领域最好的免费资源，本书则是穿越这些资源的一条精选路径，融入了我在为技工、律师与移民顾问交付语音智能体过程中沉淀的模式。
披露：本仓库由我维护，《Voice Agents Handbook》也由我撰写。免费样章（前言 + 第 1 章）见 handbook.mahimai.ca。
📖 展开全部 21 个章节
从这里开始。下列资源帮你建立语音智能体流水线的心智模型，以及职业生涯里会持续打交道的延迟预算。
7 项资源
- 🟢 语音智能体图解入门（Voice AI & Voice Agents）：Kwindla Hultman Kramer 的免费、持续更新的长文入门书，可视为本领域的默认教材。
- 🟢 Voice Agent Architecture: STT, LLM, and TTS Pipelines Explained（LiveKit）：图解流式模式、话轮检测及延迟主要落在哪些环节。
- 🟢 Everything You Need to Know About Voice AI Agents（Deepgram）：端到端入门，涵盖特征提取、ASR、LLM 推理与合成。
- 🟢 AI Voice Agents（LiveKit 文档）：权威的「什么是语音智能体」参考，涵盖 Agents 框架、会话（session），以及 STT-LLM-TTS 流水线与实时模型两条路线的取舍。
- 🟢 Core Latency in AI Voice Agents（Twilio）：图解话末检测、静音阈值与智能端点检测（endpointing）。
- 🟡 Advice on Building Voice AI in June 2025（Daily.co）：Pipecat 创始团队给出的 P50/P95 延迟预算实用建议。
- 🟡 How Intelligent Turn Detection Solves the Biggest Challenge in Voice Agents（AssemblyAI）：端点检测是最容易被低估的问题；本文是讲得最透的深度文之一。
下列框架都能把 STT、LLM 与 TTS 串起来。若走开源生产路线，LiveKit Agents 与 Pipecat 通常是最稳妥的两款框架；若偏好托管控制台，Vapi、Retell、Bland 在「从 0 到第一次通话」上非常省时。
| 推荐 | 类型 | 适合 |
|---|---|---|
| LiveKit Agents | 开源 | 生产、WebRTC 原生 |
| Pipecat | 开源 | 厂商中立的流水线 |
| Vapi / Retell / Bland | 托管 | 最快打通第一通电话 |
| OpenAI Realtime / Gemini Live | 实时 API | 语音到语音 |
13 项资源
- 🟢 LiveKit Agents：语音智能体快速入门：约 10 分钟内用 Python 或 TypeScript 跑通一个语音智能体示例，底层为 WebRTC。
- 🟢 Pipecat：Quickstart：通过 Pipecat CLI（
uv tool install pipecat-ai-cli，再pipecat init quickstart）脚手架搭好 Deepgram + OpenAI + Cartesia 流水线；约 5 分钟内可在浏览器里对话。 - 🔴 Ultravox（fixie-ai/ultravox）：开放权重的多模态语音 LLM（Llama/Gemma/Qwen 等变体），省去独立 ASR 环节，首 token 时延（TTFT）约 150 ms。
- 🟢 Vapi：Quickstart：以控制台为先；约 5 分钟内可在免费美国号码上发布语音智能体。
- 🟢 Retell AI：Introduction & Quickstart：电话语音智能体平台，注册送 $10 额度。
- 🟢 Bland AI：Send Your First Phone Call：极简 API 教程，打出第一通 AI 电话。
- 🟢 ElevenLabs Agents：Quickstart：约 5 分钟内在任意网站嵌入语音智能体组件（原名「Conversational AI」，现更名为 ElevenAgents）。
- 🟡 OpenAI Realtime API：指南：
gpt-realtime-2（GA；GPT-5 级、可配置推理）通过 WebRTC、WebSocket 或 SIP 接入的官方说明。 - 🟡 Google Gemini Live API：概览：低延迟双向语音 + 视觉，支持插话（barge-in）与工具调用，基于 Gemini 原生音频。
- 🟡 Twilio ConversationRelay：WebSocket 桥接，托管 STT/TTS，你专注 LLM 逻辑；可与任意 LLM 配合。
- 🟡 Vapi vs Pipecat vs LiveKit（AssemblyAI）：从架构视角对比流水线控制与传输选型。
- 🟢 11 Voice Agent Platforms Compared（Softcery）：覆盖面广的市场地图与场景建议。
- 🟡 Best Voice Agent Stack（Hamming AI）：自研 vs 采购框架，含具体成本、延迟与上线周期数字。
先选定一种流式 STT 并学深，再四处比价。Deepgram、AssemblyAI 与 Whisper 衍生方案已覆盖多数场景。（像 Deepgram Flux 这类「ASR + 话末检测」一体化模型，参见话轮转换一节。）
| 推荐 | 类型 | 适合 |
|---|---|---|
| Deepgram Nova-3 | 商业 | 通用，36+ 种语言 |
| AssemblyAI Universal-3 Pro | 商业 | 准确率、话者分离 |
| Soniox | 商业 | 多语言 + 内置翻译 |
| faster-whisper | 开源 | 自托管 Whisper |
| NVIDIA Parakeet（NeMo） | 开源 | 榜单前列准确率 |
19 项资源
- 🟢 Deepgram Nova-3：STT 基准：在 WER、延迟与成本语境下介绍 Deepgram 产品；Nova-3 覆盖 36+ 种语言，并支持多语种混说（code-switching）。
- 🟡 AssemblyAI Universal-3 Pro Streaming：流式 STT 教程，同时可作为 function calling 示例；Universal-3 Pro Streaming 为当前实时旗舰，新增实时说话人分离与关键术语提示（keyterm prompting）。
- 🟢 OpenAI Whisper / gpt-4o-transcribe API 文档：若已用 OpenAI，这是最容易上手的云端 STT。
- 🟢 Cartesia Ink 2：已 GA 的流式 STT，内置急速话末检测与抗噪能力，搭配 Sonic TTS 组成单供应商低延迟栈。
- 🟢 Soniox 语音转文字：单模型覆盖 60+ 种语言，提供实时 WebSocket 流式与异步 API，支持话者分离、语种识别、话末检测，并内置实时语音翻译（单向或双向）。
- 🟡 Speechmatics Melia：单次前向的多语言 STT，原生多语种混说，覆盖 56+ 种语言。
- 🟡 Gladia Solaria-3：面向嘈杂、多说话人欧洲商务音频优化的 STT（英语生产音频 WER 9.6%）。
- 🟢 openai/whisper：原仓库与 DIY ASR 的事实起点。
- 🟡 SYSTRAN/faster-whisper：基于 CTranslate2 的实现，INT8 下可达约 4× 提速；自托管 Whisper 常用。
- 🔴 NVIDIA NeMo（Parakeet / Canary）：榜单前列的开源 ASR 与流式推理方案。
- 🟡 FunASR：工业级开源 ASR 工具包，覆盖 Paraformer、SenseVoice、VAD、标点、说话人分离、流式服务与 OpenAI 兼容 API，适合自托管语音智能体。
- 🟡 SenseVoice：多语种语音理解模型，支持 ASR、语种识别、情感识别和音频事件检测，并提供 FunASR 集成与 ONNX/libtorch 导出示例。
- 🟡 Moonshine：轻量端侧 ASR（tiny 27M / base 61M 参数）；v2 新增遍历式（ergodic）流式编码器，面向边缘设备上对延迟敏感的实时转写。
- 🔴 NVIDIA Nemotron 3.5 ASR Streaming 0.6B：开放权重、缓存感知的 FastConformer 流式 ASR，覆盖 40 个语言地区，延迟可运行时配置（80 ms 至 1.1 s）。
- 🟢 Open ASR Leaderboard（HuggingFace）：社区榜单，11 个数据集；开源选型参考。
- 🟢 Artificial Analysis：Speech-to-Text：独立榜单，按 WER、速度与成本排名 48+ 家 STT。
- 🟡 Best Speech-to-Text Providers in 2026（Coval）：横跨 14 家供应商的独立基准（WER、延迟、话末检测、成本），并指导如何用你自己的真实流量做测试。
- 🟢 Best Speech-to-Text APIs in 2026（Deepgram）：供应商对比指南；注意作者为商业方。
- 🟡 Streaming vs Batch ASR（Arun Baby）：面向工程师的 RNN-T 与 Conformer 流式架构说明。
拖垮语音智能体的往往是延迟，而非单纯音质——应优先选择真正的流式输出、首字节在 200 ms 以内的供应商。
| 推荐 | 类型 | 适合 |
|---|---|---|
| ElevenLabs | 商业 | 音质、声音克隆 |
| Cartesia Sonic | 商业 | 面向智能体的最低延迟 |
| Deepgram Aura-2 | 商业 | 与 Deepgram STT 搭配 |
| Kokoro | 开源 | 小巧、可跑 CPU |
| Chatterbox | 开源 | 克隆 + 情感控制 |
15 项资源
- 🟢 ElevenLabs 文档：业界领先音质、声音克隆与 Agents 平台同属一套 SDK。
- 🟢 Cartesia Sonic Quickstart：Sonic 3.5（42 种语言，原生话末检测），首字节低于 90 ms，面向语音智能体设计。
- 🟢 Deepgram Aura-2：低延迟流式 TTS（Aura-2），与 Deepgram STT 衔接顺畅。
- 🟢 OpenAI TTS（gpt-4o-mini-tts）：OpenAI 栈里最容易接入的 TTS。
- 🟢 Soniox 文字转语音：低延迟流式 TTS（WebSocket，另有 REST API），多语种音色；与 Soniox STT 及翻译搭配，构成单供应商实时语音到语音栈。
- 🟢 Artificial Analysis：TTS 榜单：ELO、价格与速度对比，含 Rime、PlayHT、Hume、Inworld 等。
- 🟡 Best Text-to-Speech Providers in 2026（Coval）：对 14 家 TTS 供应商在延迟、自然度与成本上的独立横评；注意作者为商业方。
- 🟡 Chatterbox（resemble-ai/chatterbox）：Resemble AI 的 MIT 许可 TTS，在盲测偏好中胜过 ElevenLabs；约 5 秒零样本声音克隆、情感夸张度控制，并内置 PerTh 水印。Turbo 版（350M）首音频低于 150 ms；多语种版（V3，0.5B）覆盖 23+ 种语言。
- 🟢 Kokoro 82M：体积小、Apache 许可，在社区 ELO 对战中表现突出；可跑 CPU。
- 🟢 Piper（OHF-Voice/piper1-gpl）：面向树莓派等设备的快速本地神经 TTS，适合离线项目。
- 🟡 Coqui TTS（idiap fork）：Coqui-TTS / XTTS v2 的持续维护分支；依旧实战可靠，但在零样本克隆质量上现已被 Chatterbox 超越。
- 🟡 Orpheus-TTS：基于 Llama-3B 的带情感 TTS，流式时延约 200 ms，支持情感标签。
- 🔴 Sesame CSM：对话向、上下文感知的多说话人 TTS，Llama 骨干 + Mimi 编解码。
- 🟡 Streaming TTS for Low-Latency Agents（Picovoice）：清晰区分单流、输出流式与双流 TTS。
- 🟢 Ethics of Voice Cloning & Deepfakes（Deepgram）：厂商中立讨论滥用、监管与开发者责任。
用户感知的「是否聪明」很大程度上取决于 LLM 能多快开始输出第一个 token。首 token 时延（TTFT）低于约 300 ms 会显著改变对话体感。
11 项资源
- 🟢 Groq：LPU 推理云，Llama 吞吐相对常规 GPU 可达约 10×。
- 🟢 Cerebras Inference：晶圆级芯片推理，Llama 类模型吞吐很高。
- 🟢 SambaNova Cloud：可重构数据流架构上的推理服务；低延迟下吞吐稳定。
- 🟡 OpenAI Realtime API 指南：旗舰级 S2S，传输为 WebRTC/WebSocket（
gpt-realtime-2，GA）。 - 🟡 Google Gemini Live：实时多模态语音/视频，支持插话与广泛语言，基于 Gemini 原生音频。
- 🔴 Moshi（kyutai-labs）：开源全双工语音–文本基础模型（约 200 ms，Mimi 编解码）。Kyutai 更完整的技术栈现已包含 Unmute（级联 STT+LLM+TTS，支持工具调用）、Kyutai STT/TTS 与 Hibiki（流式翻译）。
- 🟡 Speech-to-Speech Models in 2026: Three Architectural Bets（Krzysztof Sopyla）：厂商中立对比全双工（Moshi）、近双工多模态（Qwen-Omni）与级联三种路线，附 FullDuplexBench 数据与取舍。
- 🟢 OpenAI Voice Agents 指南：对比链式 vs S2S 架构，含提示与工具最佳实践。
- 🟡 ElevenLabs Voice Agent Prompting 指南：面向语音智能体的生产级提示结构，经验可泛化。
- 🟢 Voice AI Prompt Engineering Guide（VoiceInfra）：解释为何面向语音智能体的提示通常要比聊天场景短约 60–70%，附模板。
- 🟡 Tool Definition and Use for Voice Agents（LiveKit 文档）：在语音智能体中定义
@function_tool工具与原始 schema 工具。
仅靠传统 VAD 已不够——现代方案往往把声学 VAD与预测话末的小型语义模型（结合用词与韵律）结合起来。
14 项资源
- 🟢 Silero VAD：MIT 许可的预训练 VAD；CPU 上每个音频处理块可低至 1 ms 以内。LiveKit 与 Pipecat 中的事实标准。
- 🟢 py-webrtcvad：经典 Google WebRTC VAD 的 Python 绑定；轻量基线。
- 🟡 LiveKit Turn Detector 博文：基于小型 Transformer 的话末（EOU）模型如何用语义补足 VAD。
- 🟡 LiveKit turn-detector 模型（HuggingFace）：开放权重多语言 EOU 模型，CPU 上以 ONNX 运行，内存占用不足 500 MB。
- 🟡 LiveKit Turn Detector v1.0：音频原生的话末检测模型（语义 + 声学融合，无需转写），覆盖 14 种语言；现为 LiveKit 默认。
- 🟡 Deepgram Flux：内置话末检测的一体化对话式 STT（话末检测中位数 <300 ms），与 Deepgram 的 Voice Agent API 集成；把 STT 与话轮检测合并到单个模型中。
- 🟡 Pipecat Smart Turn v3：基于 Whisper-Tiny 的音频语义 VAD，CPU 上推理很快（按 v3 仓库，约 12 ms / 标准实例），BSD-2 许可。
- 🟡 pipecat-ai/smart-turn：模型代码、训练脚本与集成示例（约 8M 参数，Whisper-Tiny 基座）。
- 🟡 Krisp Turn-Taking：商业话轮模型，可与任意 STT/LLM/TTS 栈搭配使用。
- 🟢 The Complete Guide to AI Turn-Taking（Tavus）：易读总览：纯 VAD 为何在真实对话里失效。
- 🟡 Tackling Turn Detection in Voice AI（Notch）：面向工程师的分步导读：VAD 概率、音量与 TTS 标记的组合。
- 🟡 What Is Endpointing in Voice AI?（Cekura）：讲解「三信号」话末检测栈，并带测试视角；注意作者为商业方。
- 🟡 Evaluating End-of-Turn Detection Models（Deepgram）：方法论，并对 Flux、Pipecat Smart Turn 与 LiveKit EOU 做正面对比；注意作者为商业方。
- 🟢 ai-coustics VAD：与实时语音增强、降噪与人声分离打包在同一个音频预处理 SDK 中的 VAD；当你需要同一个组件同时给出清洁后的音频与话轮信号时尤其合适。
进入 VAD 与 STT 的音频常常带有噪声、混响或多人声混叠。在流水线的其他环节之前先把信号清干净，往往是真实环境（车内、咖啡厅、呼叫中心）下「能上线的语音智能体」与「让用户失望的语音智能体」之间的分水岭。2026 年，每家主流语音 AI 厂商都会在 WebRTC 经典降噪链路之上再叠加一个深度学习降噪器。
6 项资源
- 🟢 ai-coustics：实时语音增强 SDK，提供降噪、人声分离与 VAD；支持端侧与云端部署。参见文档与开发者平台。
- 🟢 Krisp SDK：商业级实时降噪与背景人声消除；语音通信领域的事实标准（提供 Python、Node.js、Go、C++ SDK）。LiveKit 的背景人声消除与 Pipecat Cloud 均基于 Krisp。企业接入需通过联系表单。
- 🟡 DeepFilterNet（Rikorose/DeepFilterNet）：开源、低复杂度的全频带实时语音增强；可在嵌入式设备上运行。当前活跃开发中的最强开源降噪器。
- 🟡 RNNoise（xiph/rnnoise）：经典的 DSP + 深度学习混合降噪；体积小、易于理解的基线，但已不再活跃维护。
- 🟢 Koala Noise Suppression（Picovoice）：端侧、跨平台的人声分离，自助接入（浏览器、移动端、桌面端、树莓派）。
- 🟡 Noise Suppression Guide 2026（Picovoice）：算法、可懂度指标（SII / STI / STOI）与实现取舍；注意作者为商业方。
对不走电话网的语音智能体，WebRTC 是默认传输。要做生产，ICE、STUN、TURN 与 SFU 架构不可不晓。
8 项资源
- 🟢 MDN WebRTC API：
RTCPeerConnection、getUserMedia与信令的权威参考。 - 🟢 MDN：WebRTC 协议入门：ICE、STUN、TURN、SDP 的入门解释。
- 🟢 WebRTC.org Getting Started：Google 维护的官方介绍，将 WebRTC 拆为采集与连通。
- 🟢 GetStream：WebRTC for the Brave：免费多模块教程，从网络基础到高阶主题。
- 🟡 Why WebRTC Beats WebSockets for Voice AI（LiveKit）：2025 年面向语音智能体构建者的传输对比，用语通俗。
- 🟢 Daily 文档：视频架构入门（P2P vs SFU）：P2P 与 SFU 最清晰的新手文之一。
- 🟡 P2P, SFU, MCU, Hybrid: WebRTC Architecture Guide（Forasoft）：厂商中立的 2026 年四种架构拆解，含当前开源工具（mediasoup、Janus、Jitsi）。
- 🟢 Agora：How WebRTC Works：WebRTC 与 WebSocket 对照，附信令示意图。
电话网与互联网链路上的语音环境、协议与约束各不相同。理清 SIP 中继如何接入你所用的语音栈（例如基于 LiveKit 或 Pipecat 的部署），才能稳定连接 PSTN。
| 推荐 | 类型 | 适合 |
|---|---|---|
| Twilio | 商业 | 默认，生态最大 |
| Telnyx / Plivo | 商业 | 高性价比 SIP 中继 |
| SignalWire | 商业 | 基于 FreeSWITCH，可编程 |
| LiveKit SIP / Pipecat | 框架 | 把中继接入你的智能体 |
10 项资源
- 🟢 Twilio Programmable Voice：TwiML、Voice API 与 PSTN 一站式；常见起点。
- 🟢 Twilio：Voice AI Assistant with OpenAI Realtime + Python：分步教程，把 Twilio Media Streams 接到 LLM，对新手友好。
- 🟢 Twilio SIP Quickstart：SIP 基础、SIP Domain 与软电话设置，入门最清楚。
- 🟢 Telnyx Voice API：强有力的 Twilio 替代，含 WebSocket 媒体流与 AI Assistant 工具。
- 🟢 Telnyx：How to Set Up a SIP Trunk：SIP trunk 架构、编解码与认证的友好说明。
- 🟢 Plivo Voice API 文档：XML 呼叫控制与面向语音智能体的音频流集成。
- 🟡 SignalWire Voice 文档：基于 FreeSWITCH；SWML、类 TwiML API 与语音智能体 SDK（AI Agents SDK）。
- 🟢 LiveKit SIP Primer：PSTN → 中继 → SIP 服务 → 语音智能体 的最佳示意图说明。
- 🟡 LiveKit SIP Trunk Setup：将 Twilio/Telnyx/Plivo/Wavix/Sinch 中继接入 LiveKit 的实操。
- 🟡 Pipecat Telephony Overview：基于 WebSocket 的电话与基于 SIP 的呼叫控制之差异。
选定一篇教程并做完再开下一篇。语音智能体对「半成品流水线」极不宽容。
10 项资源
- 🟢 LiveKit 语音智能体 Quickstart：官方约 10 分钟 Python/Node 教程与模板。
- 🟢 Build Your First AI Voice Agent in Python（LiveKit）：端到端 Python：流式、延迟与部署。
- 🟢 Pipecat Quickstart：通过 Pipecat CLI 约 10 分钟搭好并部署 Deepgram + OpenAI + Cartesia 机器人。
- 🟡 How to Build a Real-Time Voice Agent with Pipecat（AssemblyAI）：偏生产：本地测试与 Pipecat Cloud 部署。
- 🟡 Build a Voice Agent with LiveKit（AssemblyAI）：端到端串联 LiveKit Agents + AssemblyAI Universal-3 Pro + Cartesia，先本地运行再上 Agents Playground。
- 🟢 Deepgram：Build a Voice AI Agent：分步串联 Deepgram STT、GPT 与 Aura TTS。
- 🟡 Build a Voice Assistant with Twilio ConversationRelay + LiteLLM：供应商无关，可接 OpenAI、Anthropic 或 DeepSeek。
- 🟢 freeCodeCamp：Build Advanced AI Agents（LiveKit, Exa, LangChain）：免费三部分视频，端到端交互式语音智能体。
- 🟡 freeCodeCamp：Build a Voice AI Agent with Open-Source Tools：动手搭建本地栈，涵盖开源 STT、本地 LLM 与系统 TTS，并讨论级联 vs 端到端的取舍。
- 🟢 DeepLearning.AI：Voice for AI Agents and Applications：免费短课（2026 年 6 月），讲解三种语音集成模式：内嵌式、叠加在文本智能体之上，以及作为可调用工具。
与其从零写样板，不如直接 clone。
9 项资源
- 🟢→🔴 livekit/agents：旗舰级开源 Python/Node 生产语音智能体框架（小贴士：搭配 LiveKit Docs MCP server 与 Agent Skill 可获得 AI 辅助开发）。
- 🟢→🔴 pipecat-ai/pipecat：厂商中立，含 40+ STT/LLM/TTS 服务插件。
- 🟢 livekit-examples/agent-starter-python：生产向 starter：Dockerfile、评测套件、话轮检测与核心插件。
- 🟢 livekit-examples（组织）：LiveKit 官方 Python/React/Swift/Android 示例集合。
- 🟢→🟡 pipecat-ai/pipecat-examples：按键说话、WebSocket、电话与多模态等示例。
- 🟢 elevenlabs/elevenlabs-examples：可运行的 Next.js 与 Python 示例：TTS、STT 与实时语音智能体。
- 🟡 kwindla/macos-local-voice-agents：Pipecat 示例：在 M 系列 Mac 上全本地实现端到端语音延迟低于 800 ms。
- 🟡 zzw922cn/awesome-speech-recognition-speech-synthesis-papers：ASR、TTS、声音转换与语音–LLM 论文索引。
- 🟢 wildminder/awesome-ai-voice：活跃维护的 2026 年开源 TTS、声音克隆与音频/音乐生成模型列表。
你很少从零训练，但模型在哪些数据上训练决定了口音、语言与典型失效模式。
8 项资源
- 🟢 LibriSpeech ASR Corpus：约 1,000 小时英语有声书；大量 ASR 论文以此为基准。
- 🟢 Mozilla Common Voice：众包多语言（100+）；合法微调 ASR 的最易得途径之一。
- 🟢 Common Voice on HuggingFace：一行
load_dataset()做实验。官方mozilla-foundation版本最高到 v17 左右；更新的语料版本（最高 v22）托管在社区镜像上。 - 🟢 Open ASR Leaderboard：60+ 模型在 WER 与实时因子上的在线对比。
- 🟢 Artificial Analysis：Speech：商业 STT/TTS 的独立基准。
- 🟢 LJSpeech Dataset：约 24 小时单说话人英语；Tacotron 2、VITS 等常用语料。
- 🟡 VCTK Corpus：约 110 位英语说话人，口音多样；多说话人 TTS 常用。
- 🟡 VoxCeleb（Oxford VGG）：百万级「野外」语句，用于说话人识别与验证。
这些是你实际会用到的模型背后的里程碑论文。建议先看 Whisper 与 Common Voice 两篇——文笔在机器学习论文里算格外友好。
10 项资源
- 🟡 Whisper：Robust Speech Recognition via Large-Scale Weak Supervision（2022）：最流行的开源 ASR 背后；行文比一般 ML 论文清晰。
- 🟢 HuggingFace Whisper 微调博文（配套）：动手走一遍，用代码「感受」Whisper 论文。
- 🟡 VITS：Conditional VAE with Adversarial Learning for End-to-End TTS（2021）：许多开源声音克隆器背后的单阶段 TTS。
- 🟡 Tacotron 2：Natural TTS Synthesis（2017）：seq2seq + WaveNet 声码器的里程碑论文，让神经 TTS 听起来自然。
- 🟡 Conformer：Convolution-augmented Transformer for ASR（2020）：NVIDIA Parakeet、Canary 及诸多榜单模型内部架构。
- 🟡 wav2vec 2.0：Self-Supervised Learning of Speech Representations（2020）：证明在无标注音频上预训练可大幅减少标注数据需求。
- 🟢 Common Voice：A Massively-Multilingual Speech Corpus（2020）：短文，易读，说明 Common Voice 如何构建与校验。
- 🔴 Moshi: A Speech-Text Foundation Model for Real-Time Dialogue（2024）：首个实时全双工口语 LLM；提出 Mimi 编解码与「内心独白」（Inner Monologue，在音频 token 之前对齐输出时间戳文本）方法。
- 🟡 Open ASR Leaderboard preprint（2025）：60+ 模型、11 个数据集的可复现基准；可作为当前开源 ASR 格局的全景参考。
- 🟡 Full-Duplex-Bench: Evaluating Full-Duplex Spoken Dialogue Models on Turn-Taking（2025）：用于评测语音到语音模型中打断处理与话轮转换的可复现基准。
不能度量就无法交付。语音智能体评测本质上带有随机性——同一转写在不同次运行中可能过也可能不过，因此仿真与统计比固定用例更重要。
12 项资源
- 🟢 Coval：Voice AI Testing Platform：定义核心指标：TTFB、WER、解决率、仿真口音与打断等。
- 🟢 Coval：How to Evaluate Voice Agents（实用指南）：2025 年常被引用的概率 vs 确定性评测指南。
- 🟢 Cekura：Metrics Overview：预定义指标、指令遵循检查与仿真框架。
- 🟡 Cekura：Performance Testing for Voice Agents：2025 实用文：多轮仿真与边界用例生成。
- 🟡 Hamming AI：生产向 QA：仿真、负载测试与 50+ 指标。
- 🟡 Hamming：Voice Agent Evaluation Metrics Guide：延迟百分位数、WER、类 MOS 质量与任务完成率及计算公式。
- 🟡 LiveKit：Understand and Improve Agent Latency：每轮延迟（端到端、LLM TTFT、TTS TTFB）与优化切入点。
- 🟢 Twilio：How Do You Know if Your Voice AI Agents Are Working?：2025 厂商中立文：主张业务结果指标优于单纯 WER/延迟。
- 🟡 Future AGI simulate-sdk：开源语音 AI 仿真 SDK，用于测试 AI 智能体；可生成合成对话用于评测。
- 🟡 Future AGI：开源平台，在同一反馈闭环中对语音与 AI 智能体应用进行仿真、评测、追踪、护栏与优化；支持基于人物画像的仿真与 50+ 评测指标。
- 🟡 Roark：语音 AI 的 QA 与可观测性平台（YC W25），把失败的生产通话转化为可重放的回归测试。
- 🟡 Cekura for Agents（MCP server）：MCP server，让编码智能体（Claude Code、Cursor、Codex）触发并调度语音智能体测试运行。
语音智能体的生产级基础设施仍是本领域最难且未完全标准化的问题。在给人报「每分钟多少钱」之前，建议先读这些。
9 项资源
- 🟡 LiveKit：Deploy and scale agents on LiveKit Cloud：有状态负载均衡、自动扩缩与预热池等实战经验。
- 🟡 LiveKit：Why You Shouldn't Build Voice Agents Directly on Model APIs：坦率说明「裸调模型 API」缺什么。
- 🟡 Latent Space：OpenAI Realtime API: The Missing Manual：Pipecat 作者基于一线经验，揭开 Realtime API 在生产环境中的真实面貌。
- 🟡 TWIML：Building Voice AI Agents That Don't Suck（Kwindla Kramer）：约一小时，谈真实生产架构与话轮。
- 🟡 AWS：Voice Agents with Pipecat and Amazon Bedrock：完整架构含延迟优化与 Nova Sonic。
- 🟢 Deepgram：STT API Pricing Breakdown：各家每分钟经济性——签合同前必读。
- 🟡 Sierra：Shipping and Scaling AI Agents：Sonos、SiriusXM、OluKai 等语音智能体部署案例。
- 🟡 Sierra：Constellation of Models：领先客户体验（CX）公司如何在单个语音智能体里组合 15+ 模型。
- 🟢 LiveKit Agent Observability：LiveKit Cloud 内置追踪、转写与各阶段延迟。
若在 2026 年对外发布语音智能体，披露与同意已不再是可选项。FCC 与欧盟《人工智能法》均有实质约束力。
10 项资源
- 🟢 FCC：AI-Generated Voices in Robocalls Illegal（2024 年 2 月）：TCPA 里程碑裁定，美国语音智能体开发者应读。
- 🟡 EU AI Act：Article 50（深度伪造与 AI 交互的透明度）：欧盟披露规则权威条文；透明度义务自 2026 年 8 月 2 日起适用（在此日期前已上市的系统可延至 2026 年 12 月 2 日合规）。
- 🟡 European Commission：Code of Practice on AI-Generated Content：官方实施指引：水印与标注；最终版《行为准则》已于 2026 年 6 月 10 日发布。
- 🟡 Digital Omnibus on AI：欧盟 AI 法简化（欧洲议会）：2026 年 6 月的一揽子方案（经议会与理事会背书），调整 AI 法的透明度与时间线义务；关注其对披露规则的改动。
- 🟢 FTC：Approaches to Address AI-Enabled Voice Cloning：通俗总结 Voice Cloning Challenge 与冒充规则。
- 🟢 FTC：拟议的 AI 个人冒充规则（2024 年 2 月）：美国冒充欺诈规则的一手来源，涵盖 AI 深度伪造。
- 🟢 Pindrop：Voice Intelligence & Security Report：行业报告：深度伪造诈骗尝试急剧上升。
- 🟢 Voice Cloning Ethics（CAMB.AI）：同意框架、ELVIS 法案与欧盟 AI 法的实践概览。
- 🟢 Detecting AI Audio with SynthID（ElevenLabs）：ElevenLabs 在其生成音频中全面采用 Google DeepMind 的不可听 SynthID 水印，并推出免费公开的 Audio Detector。
- 🟡 NCLC：Top Six TCPA/Robocall Developments 2024/2025：消费者保护视角看实际执法重点。
订阅两三份即可跟上节奏——领域变化很快。
9 项资源
- LiveKit Blog：WebRTC、语音智能体框架发布与生产实践方面的深度技术文章。
- Deepgram Learn：STT/TTS、语音智能体设计、评测与流水线架构教程。
- Cartesia Blog：状态空间 TTS、Sonic 发布与年度「State of Voice AI」。
- ElevenLabs Blog：产品与研发公告及实现笔记。
- Daily.co Blog（Pipecat）：Pipecat 维护者关于扩展与功能的文章。
- Voice AI & Voice Agents：图解入门：免费、持续更新的长文入门。
- Voice AI Space：厂商中立的语音 AI 生态枢纽：精选产品与工具目录、Voice AI Newsroom、教程与仓库、招聘版块以及社区聚会。
- Voice AI Newsletter（Krisp）：「Future of Voice AI」创始人访谈系列。
- Voice AI Weekly（Vapi）：周报：新闻、产品与工具汇总。
4 项资源
- Deepgram AI Minds：语音 AI 生态中的创始人与开发者访谈。
- The Future of Voice AI（Krisp）：每周创始人访谈，侧重企业语音智能体架构。
- TWIML AI Podcast：语音相关单集：技术访谈质量高；Kwindla Kramer 集适合入门。
- This Week In Voice（Project Voice）：新闻圆桌，覆盖对话式 AI 与语音智能体。
9 项资源
- LiveKit Community Slack：直接联系维护者与其他语音智能体开发者。
- Pipecat Discord：活跃社区与每周线上答疑；邀请链接在主页。
- HuggingFace Discord：#ml-for-audio-and-speech：约 20 万成员的社区，音频与语音相关频道讨论活跃。
- Vapi Discord：Vapi 语音智能体构建者社区；邀请在主页。
- Retell AI Community：面向 Retell 开发者的论坛，侧重电话语音智能体。
- ElevenLabs Discord：大社区：TTS、声音克隆与 Conversational AI，每日互助帖。
- Deepgram Discord：STT/TTS 与语音智能体 API 支持与共建讨论。
- Reddit：r/LocalLLaMA：本地 Whisper/Parakeet、端侧 TTS 与端到端语音栈讨论活跃。
- Reddit：r/AI_Agents：通用 AI 智能体社区，语音智能体相关话题常见。
6 项资源
- AI Engineer World's Fair：规模最大的 AI 工程会议；语音智能体分论坛曾有 ElevenLabs、Vapi、LiveKit、Pipecat、Cartesia 等重大发布。2026 年已于 6 月 29 日至 7 月 2 日在旧金山 Moscone West 举办；演讲录像免费发布在 AI Engineer YouTube 频道。
- AI Engineer YouTube 频道：World's Fair 与 Summit 演讲免费上线，语音智能体相关演讲的优质资源库。
- AI Engineer Summit Online：语音播放列表：精选 YouTube 播放列表，含领先实验室的语音智能体相关场次。
- AIEWF 2025 Recap（Latent Space）：2025 语音智能体分论坛与重要发布的长文复盘。
- AGENTIC AI Summit（Modev，原 VOICE & AI）：Modev 旗下长期运行的语音会议，现已扩展至智能体 AI；2026 年 10 月 5-7 日于美国弗吉尼亚州劳登县举办。
- Interspeech 2026：语音科学顶会；门槛高但值得关注，大量里程碑论文首发于此。澳大利亚悉尼，2026 年 9 月 27 日至 10 月 1 日。
4 项资源
- 🟢 ElevenHacks（每周冲刺）：每周主题挑战，含额度与奖品；低压力「一周一项目」。
- 🟡 AI Engineer World's Fair Hackathon：与大会同期；$10K 奖金，3000+ AI 工程师评审，语音智能体相关项目与竞赛活跃；2026 年场次已于 6 月 27-28 日（PDT）举办。
- 🟢 lablab.ai AI Hackathons：持续更新的短期线上黑客松日历，常有语音智能体厂商赞助。
- 🟢 Devpost：Voice AI Hackathons：集中检索进行中的语音智能体黑客松。
- 第 1 周——基础： 阅读 LiveKit 流水线文章与《语音智能体图解入门》（第 1、8 节）。
- 第 2 周——首个语音智能体： 完整跑通 LiveKit 或 Pipecat 快速入门（第 2、10 节）。
- 第 3 周——组件： 替换 STT、TTS、LLM 供应商；对延迟做基准测试（第 3、4、5 节）。
- 第 4 周，话轮、音频清洗与电话： 接入 Silero VAD、话轮检测以及一道语音增强；配置并接通 SIP 中继（第 6、7、9 节）。
- 第 5 周——生产： 加入评测与可观测性；阅读 FCC/欧盟 AI 法材料（第 14、15、16 节）。
- 持续： 订阅两封通讯、关注 Voice AI Space，并加入语音智能体相关社区，例如 LinkedIn 群组（第 17、18、19 节）。
欢迎 Pull Request。资源须在近 12 个月内仍活跃、对开发者可访问，且为厂商中立或由商业方撰写时已明确标注。若要增删条目，也可开 issue 建议。完整贡献指南见 CONTRIBUTING.md。
MIT。自由 fork，自由发布。