这个库是干什么的

[FutureUnreal]

这个库是干什么的

[github-actions]

谢谢你的提问。

从当前仓库的 README 和代码结构来看，WhaleWhisper 是一个“模块化的数字人/虚拟角色智能体框架”，目标是把虚拟角色的舞台渲染（Live2D/VRM）与对话智能体（LLM/ASR/TTS/Agent）、记忆与实时通信整合到一个可配置的端到端项目里（见 README.md 第 24–42 行）。

后端（FastAPI）主要做什么

• 入口在 backend/app/main.py：创建 FastAPI app 并挂载多个 API 路由，包括 /api/llm、/api/asr、/api/tts、/api/agent、/api/memory、/api/providers、/api/plugins，以及健康检查 /health（backend/app/main.py 第 1–23 行）。
• 实时通信：WebSocket 端点 /ws 在 backend/app/api/routes.py 实现（backend/app/api/routes.py 第 12–23 行）。
• 流式输出：LLM/Agent 的运行接口通过 StreamingResponse(..., media_type="text/event-stream") 以 SSE 输出流（backend/app/api/llm.py 第 56–106 行；backend/app/api/agent.py 第 108–139 行）。

可配置的 AI 能力提供商

• backend/config/engines.yaml 定义了 llm/tts/asr/agent 的 engine；其中包含 OpenAI-compatible（type: openai_compat）以及 Dify/Coze/FastGPT 等类型（例如 backend/config/engines.yaml 第 1–82 行、第 138–180 行、第 230–297 行）。

本地记忆（SQLite）

• MemoryService 默认使用 SQLiteMemoryStore 持久化对话消息/事实/摘要（backend/app/services/memory/service.py 第 14–56 行）。
• SQLiteMemoryStore 直接用 sqlite3 建表并读写（backend/app/services/memory/sqlite_store.py 第 1–90 行）。

前端（Web + 桌面）主要做什么

• Web 端使用 Vue 3，并引入 pixi.js + pixi-live2d-display（Live2D）以及 three + @pixiv/three-vrm（VRM）（frontend/apps/web/package.json 第 10–34 行）。
• Live2D 舞台与 VRM 舞台组件在 frontend/packages/stage-core/ 中实现：例如 Live2D Canvas 初始化 Pixi/Live2DModel（frontend/packages/stage-core/src/components/scenes/live2d/Canvas.vue 第 1–54 行）与 VRM 加载渲染（frontend/packages/stage-core/src/components/VrmStage.vue 第 6–169 行）。
• 桌面端提供 Tauri 应用配置（frontend/apps/desktop-tauri/package.json 第 1–12 行）。

如果你只是想快速把整体目录结构看一遍，README.md 的“项目结构”一节有概览（README.md 第 141–156 行）。

---

Automated response from Codex AI

[github-actions]

感谢您的提问！

根据代码库分析，WhaleWhisper（鲸语） 是一个模块化的数字人/虚拟角色智能体框架，为开发者提供完整的数字人智能体解决方案。

核心功能

1. 角色舞台系统

• Live2D/VRM 模型渲染：支持 Live2D 和 VRM 格式的虚拟角色模型
• 智能表情动作控制：基于 LLM 返回内容自动触发角色表情和动作
• 相关代码位于 frontend/packages/stage-core/src/，包含：
  • stores/live2d.ts - Live2D 状态管理
  • utils/live2d-expression-utils.ts - 表情控制工具
  • utils/live2d-motion-grouping.ts - 动作分组管理

2. 多模态交互能力

后端提供完整的 API 端点（backend/app/main.py:11-18）：

• LLM 对话：/api/llm - 大语言模型推理接口
• 语音识别(ASR)：/api/asr - 语音转文字
• 语音合成(TTS)：/api/tts - 文字转语音
• Agent 工作流：/api/agent - 智能体编排与工具调用
• 记忆系统：/api/memory - 对话历史与上下文管理

3. 统一 AI 服务接入层

配置文件 backend/config/engines.yaml 支持多种 AI 服务商：

• OpenAI、Groq、OpenRouter、DeepSeek、302.AI 等
• 兼容 OpenAI 协议的统一接口
• 灵活的 YAML 配置驱动，可快速切换不同提供商

4. 实时通信

• WebSocket 支持：ws://localhost:8090/ws
• Server-Sent Events (SSE)
• 事件调度系统：backend/app/services/event_dispatcher.py

5. 记忆与会话管理

• 基于 SQLite 的本地记忆存储
• 对话历史自动保存
• 会话状态管理：backend/app/services/session_store.py

技术架构

后端（FastAPI）：

• backend/app/services/ - 核心服务层（agents、engines、memory、providers）
• backend/app/api/ - RESTful API 端点
• backend/config/ - 配置文件

前端（Vue 3 + TypeScript）：

• frontend/apps/web/ - Web 应用
• frontend/apps/desktop-tauri/ - Tauri 桌面应用
• frontend/packages/ - 共享组件库
  • stage-core - 舞台核心（Live2D 渲染）
  • app-core - 应用核心逻辑
  • app-settings - 设置管理

适用场景

• 数字人聊天助手、虚拟主播原型开发
• 需要集成多家 AI 服务商的统一调度系统
• 需要对话记忆和上下文管理的对话系统
• 虚拟角色交互体验探索

快速开始

1. 启动后端：cd backend && uvicorn app.main:app --reload --port 8090
2. 启动前端：cd frontend && pnpm --filter @whalewhisper/web dev
3. 访问 http://localhost:5173

详细配置说明请参考 README.md 第 118-140 行。

---

Automated response from Claude AI