Skip to content

Commit 4b65eb6

Browse files
DylanLIiiiDylanLIiii
authored
Merge pull request #16 from VitaDynamics/DylanLIiii/add-livekit-agents
docs: 添加 livekit-agents 仓库与 FireRedChat，新增实时语音 AI 深度分析笔记
2 parents 6d9904a + 9212ce0 commit 4b65eb6

12 files changed

Lines changed: 1656 additions & 32 deletions

File tree

‎README.md‎

Lines changed: 11 additions & 10 deletions
Original file line numberDiff line numberDiff line change
@@ -13,8 +13,8 @@
1313

1414
| 类别 | 描述 | 数量 |
1515
|------|------|------|
16-
| [Agent](./repos/agent/) | 独立的 AI Agent 应用和实现 | 3 |
17-
| [Agent-harness](./repos/agent-harness/) | Agent 框架和编排工具 | 8 |
16+
| [Agent](./repos/agent/) | 独立的 AI Agent 应用和实现 | 4 |
17+
| [Agent-harness](./repos/agent-harness/) | Agent 框架和编排工具 | 9 |
1818
| [Agent Evaluation](./repos/agent-evaluation/) | Agent 测试和评估框架 | 4 |
1919
| [Agent Training](./repos/agent-training/) | Agent 训练和微调资源 | 0 |
2020

@@ -26,15 +26,16 @@
2626

2727
| 类别 | 描述 | 文档数 |
2828
|------|------|--------|
29-
| [Agent Harness](./docs/learns/harness/) | Agent 框架和编排工具模式 | 25 |
30-
| [Agent Evaluation](./docs/learns/evaluation/) | Agent 测试和评估模式 | 3 |
29+
| [Agent Harness](./docs/learns/harness/) | Agent 框架和编排工具模式 | 30 |
30+
| [Agent Evaluation](./docs/learns/evaluation/) | Agent 测试和评估模式 | 4 |
3131
| [Agent Training](./docs/learns/training/) | Agent 训练和微调方法 | 0 |
32+
| [VAD](./docs/learns/vad/) | 语音活动检测技术 | 1 |
3233

3334
#### Harness 主题
3435

3536
| 主题 | 描述 | 文档数 |
3637
|------|------|--------|
37-
| [流式处理](./docs/learns/harness/streaming/) | 异步流式、WebSocket 模式 | 7 |
38+
| [流式处理](./docs/learns/harness/streaming/) | 异步流式、WebSocket 模式 | 9 |
3839
| [错误处理](./docs/learns/harness/error-handling/) | 结构化错误、重试策略 | 1 |
3940
| [上下文管理](./docs/learns/harness/context-management/) | 会话历史、上下文转换 | 4 |
4041
| [类型安全](./docs/learns/harness/type-safety/) | 类型安全的消息层次结构 | 1 |
@@ -43,7 +44,7 @@
4344
| [架构](./docs/learns/harness/architecture/) | 框架架构分析 | 5 |
4445
| [抽象层](./docs/learns/harness/abstractions/) | LLM 抽象层比较 | 3 |
4546
| [WebSocket](./docs/learns/harness/websocket/) | OpenAI WebSocket 比较 | 1 |
46-
| [机器人技术](./docs/learns/harness/robotics/) | 机器人运动控制 | 2 |
47+
| [机器人技术](./docs/learns/harness/robotics/) | 机器人运动控制 | 3 |
4748

4849
### 最佳实践
4950

@@ -85,10 +86,10 @@
8586
## 统计信息
8687

8788
```
88-
仓库：14（Agent: 3, Agent-harness: 8, Evaluation: 3, Training: 0）
89-
文档：29 个学习笔记 + 3 个最佳实践文档
90-
主题：11
91-
最后更新：2026-03-10
89+
仓库：16（Agent: 4, Agent-harness: 9, Evaluation: 4, Training: 0）
90+
文档：35 个学习笔记 + 5 个最佳实践文档
91+
主题：12
92+
最后更新：2026-03-21
9293
```
9394

9495
---

‎docs/learns/README.md‎

Lines changed: 22 additions & 7 deletions
Original file line numberDiff line numberDiff line change
@@ -6,35 +6,35 @@
66

77
## 按类别分类
88

9-
### [Agent Harness](./harness/)（23 篇）
9+
### [Agent Harness](./harness/)（30 篇）
1010

1111
Agent 框架和编排工具的模式分析。
1212

1313
| 主题 | 描述 | 文档数 |
1414
|------|------|--------|
15-
| [流式处理](./harness/streaming/) | 异步流式、WebSocket 模式和实时通信 | 6 |
15+
| [流式处理](./harness/streaming/) | 异步流式、WebSocket 模式和实时通信 | 9 |
1616
| [错误处理](./harness/error-handling/) | 结构化错误、重试策略和弹性模式 | 1 |
1717
| [上下文管理](./harness/context-management/) | 会话历史、上下文转换和内存模式 | 4 |
1818
| [类型安全](./harness/type-safety/) | 类型安全的消息层次结构和序列化模式 | 1 |
1919
| [中间件](./harness/middleware/) | 回调和可扩展性系统 | 1 |
2020
| [并发](./harness/concurrency/) | 状态快照和并发模式 | 1 |
21-
| [架构](./harness/architecture/) | 框架架构分析和设计模式 | 3 |
21+
| [架构](./harness/architecture/) | 框架架构分析和设计模式 | 5 |
2222
| [抽象层](./harness/abstractions/) | LLM 抽象层比较和 SDK 模式 | 3 |
2323
| [WebSocket](./harness/websocket/) | WebSocket 协议比较 | 1 |
24-
| [机器人技术](./harness/robotics/) | 机器人运动控制和 Embodied AI 模式 | 2 |
24+
| [机器人技术](./harness/robotics/) | 机器人运动控制和 Embodied AI 模式 | 3 |
2525

2626
**[查看详情 →](./harness/)**
2727

2828
---
2929

30-
### [Agent Evaluation](./evaluation/)（2 篇）
30+
### [Agent Evaluation](./evaluation/)（4 篇）
3131

3232
Agent 评估和测试框架的模式分析。
3333

3434
| 主题 | 描述 | 文档数 |
3535
|------|------|--------|
3636
| [Seed-driven Evaluation](./evaluation/seed-driven-evaluation/) | 基于 Seed 的自适应行为评估模式 | 1 |
37-
| Production Tracing & Eval | 生产级 trace 与可定制评估方案 | 1 |
37+
| Production Tracing & Eval | 生产级 trace 与可定制评估方案 | 3 |
3838

3939
潜在主题：
4040
- 基准测试框架设计
@@ -46,6 +46,18 @@ Agent 评估和测试框架的模式分析。
4646

4747
---
4848

49+
### [VAD](./vad/)（1 篇）
50+
51+
语音活动检测（Voice Activity Detection）技术分析。
52+
53+
| 主题 | 描述 | 文档数 |
54+
|------|------|--------|
55+
| VAD 架构 | Silero VAD 实现、CPU 部署、模块协作 | 1 |
56+
57+
**[查看详情 →](./vad/)**
58+
59+
---
60+
4961
### [Agent Training](./training/)（0 篇）
5062

5163
Agent 训练和微调相关的学习笔记。
@@ -73,13 +85,16 @@ Agent 训练和微调相关的学习笔记。
7385
| P0 | [分层运动系统](./harness/robotics/layered-motion-system.md) | Harness | 机器人控制 |
7486
| P0 | [机器人情绪系统设计](./harness/robotics/emotion-system-design.md) | Harness | 机器人情绪 |
7587
| P0 | [AgentScope 实时语音](./harness/streaming/realtime-voice-agentscope.md) | Harness | 实时交互 |
88+
| P0 | [LiveKit Agents 双工管道](./harness/streaming/livekit-agents-duplex-pipeline.md) | Harness | 实时语音管道 |
89+
| P0 | [FlushSentinel 与 PREFLIGHT 抢占机制](./harness/streaming/livekit-agents-preflight-flushsentinel.md) | Harness | 低延迟优化机制 |
7690
| P1 | [Bloom: Seed-driven 行为评估](./evaluation/seed-driven-evaluation/bloom-behavioral-evaluation.md) | Evaluation | 安全评估 |
7791
| P1 | [Opik Bloom 集成](./evaluation/opik-bloom-integration.md) | Evaluation | 评估集成 |
7892
| P1 | [结构化错误与重试](./harness/error-handling/structured-errors-retry.md) | Harness | 生产健壮性 |
7993
| P1 | [流式工具组装](./harness/streaming/streaming-tool-assembly.md) | Harness | 流式处理 |
8094
| P1 | [Codex LLM 抽象层](./harness/architecture/codex-llm-abstraction.md) | Harness | 架构设计 |
8195
| P1 | [Codex 流式处理](./harness/streaming/codex-streaming.md) | Harness | 流式架构 |
8296
| P1 | [Codex 上下文管理](./harness/context-management/codex-context-management.md) | Harness | 上下文管理 |
97+
| P1 | [LiveKit VAD 架构](./vad/livekit-vad-architecture.md) | VAD | VAD 架构 |
8398
| P2 | [上下文管理双模式](./harness/context-management/context-management-dual-mode.md) | Harness | 状态管理 |
8499
| P2 | [上下文转换比较](./harness/context-management/context-transformation-comparison.md) | Harness | 上下文转换 |
85100
| P2 | [会话历史管理](./harness/context-management/session-history-management.md) | Harness | 会话管理 |
@@ -169,4 +184,4 @@ docs/learns/README.md # 更新统计
169184

170185
---
171186

172-
*最后更新：2026-03-04*
187+
*最后更新：2026-03-21*

‎docs/learns/evaluation/README.md‎

Lines changed: 4 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -19,13 +19,15 @@ Agent Evaluation 涵盖：
1919
| 主题 | 描述 | 文档数 |
2020
|------|------|--------|
2121
| [Seed-driven Evaluation](./seed-driven-evaluation/) | 基于 Seed 的自适应行为评估模式 | 1 |
22-
| Production Tracing & Eval | 生产级 trace 与可定制评估方案 | 1 |
22+
| Production Tracing & Eval | 生产级 trace 与可定制评估方案 | 3 |
2323

2424
### 其他文档
2525

2626
| 文档 | 描述 | 优先级 |
2727
|------|------|--------|
2828
| [Opik Bloom 集成](./opik-bloom-integration.md) | 评估框架与观测平台集成，Bloom 后门检测与 Opik 可观测性结合 | P1 |
29+
| [Android Bench 架构](./android-bench-architecture.md) | ACEBench 工具使用基准测试架构分析 | P2 |
30+
| [Production Trace 与 Eval](./production-trace-eval-langfuse.md) | Langfuse 生产级 trace 与评估方案 | P2 |
2931

3032
---
3133

@@ -72,4 +74,4 @@ mkdir -p docs/learns/evaluation/backdoor-detection
7274

7375
---
7476

75-
*最后更新：2026-03-04*
77+
*最后更新：2026-03-21*

‎docs/learns/harness/README.md‎

Lines changed: 29 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -18,6 +18,9 @@ Agent 框架和编排工具的模式分析。
1818
| [WebSocket 流式支持](./streaming/websocket-streaming-support.md) | WebSocket 流式设计模式 | P2 |
1919
| [AgentScope 实时语音](./streaming/realtime-voice-agentscope.md) | 统一事件驱动模型、多模型适配、语音聊天室广播机制 | P0 |
2020
| [Codex 流式处理](./streaming/codex-streaming.md) | WebSocket 实时对话、SSE 回退、增量请求优化 | P1 |
21+
| [LiveKit Agents 双工管道](./streaming/livekit-agents-duplex-pipeline.md) | ASR→LLM→TTS 级联管道、打断处理、抢占生成、动态端点检测 | P0 |
22+
| [FlushSentinel 与 PREFLIGHT 抢占机制](./streaming/livekit-agents-preflight-flushsentinel.md) | FlushSentinel 分段合成、PREFLIGHT 意图预判、抢占生成生命周期、EOU 检测 | P0 |
23+
| [实时语音对比](./streaming/agentscope-realtime-vs-kosong.md) | AgentScope 实时语音与 Kosong 方案对比 | P2 |
2124

2225
### [错误处理](./error-handling/)
2326

@@ -72,6 +75,7 @@ Agent 框架和编排工具的模式分析。
7275
| [Republic Anchor 机制](./architecture/republic-anchor-mechanism.md) | Tape Anchor 上下文切片实现 | P2 |
7376
| [OpenClaw Opik 可观测性插件架构](./architecture/openclaw-opik-observability-plugin.md) | 事件投影式 tracing：hook、状态聚合、延迟 finalize、附件旁路上传 | P1 |
7477
| [Codex LLM 抽象层](./architecture/codex-llm-abstraction.md) | ModelClient/Session 设计、WebSocket 预热、流式回退 | P1 |
78+
| [Slate 架构](./architecture/slate-architecture.md) | Slate 架构设计分析 | P2 |
7579

7680
### [抽象层](./abstractions/)
7781

@@ -99,6 +103,15 @@ WebSocket 协议比较。
99103
|------|------|--------|
100104
| [分层运动系统](./robotics/layered-motion-system.md) | 主要动作与次要偏移的融合架构、100Hz 控制循环、线程安全状态管理 | P0 |
101105
| [机器人情绪系统设计](./robotics/emotion-system-design.md) | 情绪/舞蹈/呼吸状态切换、语音同步摆动、产品鲜活感设计考量 | P0 |
106+
| [Dimensional OS 架构](./robotics/dimensional-os-architecture.md) | Dimensional OS 机器人架构分析 | P2 |
107+
108+
### [Slate](./)
109+
110+
Slate 架构相关。
111+
112+
| 文档 | 描述 | 优先级 |
113+
|------|------|--------|
114+
| [Slate 架构](./slate-architecture.md) | Slate 架构设计分析 | P2 |
102115

103116
---
104117

@@ -111,6 +124,8 @@ WebSocket 协议比较。
111124
| P0 | [分层运动系统](./robotics/layered-motion-system.md) | 机器人控制 |
112125
| P0 | [机器人情绪系统设计](./robotics/emotion-system-design.md) | 机器人情绪 |
113126
| P0 | [AgentScope 实时语音](./streaming/realtime-voice-agentscope.md) | 实时交互 |
127+
| P0 | [LiveKit Agents 双工管道](./streaming/livekit-agents-duplex-pipeline.md) | 实时语音管道 |
128+
| P0 | [FlushSentinel 与 PREFLIGHT 抢占机制](./streaming/livekit-agents-preflight-flushsentinel.md) | 低延迟优化机制 |
114129
| P1 | [结构化错误与重试](./error-handling/structured-errors-retry.md) | 生产健壮性 |
115130
| P1 | [流式工具组装](./streaming/streaming-tool-assembly.md) | 流式处理 |
116131
| P1 | [Codex LLM 抽象层](./architecture/codex-llm-abstraction.md) | 架构设计 |
@@ -120,6 +135,19 @@ WebSocket 协议比较。
120135
| P2 | [上下文管理双模式](./context-management/context-management-dual-mode.md) | 状态管理 |
121136
| P2 | [中间件/回调系统](./middleware/middleware-callback-system.md) | 可扩展性 |
122137
| P2 | [状态快照并发](./concurrency/state-snapshot-concurrency.md) | 并发 |
138+
| P2 | [Kimi CLI 架构](./architecture/kimi-cli-architecture.md) | 架构设计 |
139+
| P2 | [Republic Anchor 机制](./architecture/republic-anchor-mechanism.md) | 上下文切片 |
140+
| P2 | [流式比较](./streaming/streaming-comparison.md) | 流式对比 |
141+
| P2 | [WebSocket 流式支持](./streaming/websocket-streaming-support.md) | WebSocket |
142+
| P2 | [OpenAI WebSocket 比较](./websocket/openai-websocket-comparison.md) | WebSocket |
143+
| P2 | [LLM 抽象比较](./abstractions/llm-abstraction-comparison.md) | 抽象设计 |
144+
| P2 | [LLM 调用返回封装](./abstractions/llm-call-return-encapsulation.md) | SDK 模式 |
145+
| P2 | [LLM 框架比较](./abstractions/llm-framework-comparison.md) | 框架对比 |
146+
| P2 | [上下文转换比较](./context-management/context-transformation-comparison.md) | 上下文转换 |
147+
| P2 | [会话历史管理](./context-management/session-history-management.md) | 会话管理 |
148+
| P2 | [Slate 架构](./slate-architecture.md) | 架构 |
149+
| P2 | [Dimensional OS 架构](./robotics/dimensional-os-architecture.md) | 机器人架构 |
150+
| P2 | [实时语音对比](./streaming/agentscope-realtime-vs-kosong.md) | 实时语音对比 |
123151

124152
---
125153

@@ -134,4 +162,4 @@ WebSocket 协议比较。
134162

135163
---
136164

137-
*最后更新：2026-03-10*
165+
*最后更新：2026-03-21*

0 commit comments

Comments
 (0)