交互图 · English · 本文对应 v0.1.19 的实现。
语音回应需要尽快开始,研究可能涉及多轮检索、阅读和工具调用。用户还会补充要求、打断讲解或切换资料。小王将实时对话和研究执行分别交给 Realtime 与后台 LLM,通过应用层协调。
模型理解请求、生成内容和选择工具。应用保存事件、执行工具,根据任务状态和用户实际听到的播放位置安排下一步。
Realtime 处理语音,可以直接读取或展示资料。多步研究通过 delegate_task 进入本地 JobQueue,通话继续接收输入。后台执行进度和结果回到通话上下文,口头汇报依据用户发言、播放状态与通知设置安排。
bot 标识确定会话、资料与工作区,originCallId 关联发起任务的通话。已经受理的研究在挂断后可以继续,结果保存在原通话记录。
请求先保存,再新建任务或补充当前任务。同一个 bot 串行执行,默认最多两个工作区并发。显式“排队新任务”创建独立任务。
每一步接收尚未处理的补充,准备上下文并调用 LLM。模型返回工具调用时,应用执行工具、记录结果,再进入下一步。返回普通答案后再次检查补充,无待处理消息才确认完成。
新工具调用获得应用生成的编号,服务商原始调用编号与参数另行保存,结果通过 assistantEventId 关联执行事件。旧日志中的重复工具编号按最近对应的调用配对。停止操作通过 AbortSignal 传入模型和支持取消的工具。桌面任务最多执行 40 步,已有结果与补充保留,供检查和重试。
后台 LLM 从事件生成任务视图,接收固定规则、工具定义、选中的历史、任务快照、当前要求与图片。Realtime 开通话时接收简报,通话中持续接收页面、任务和结果更新。
任务在受理时复制工作区快照,补充消息带入对应的新快照。用户单纯翻页时,通话的可见页面随之更新。独立 viewRevision 用于淘汰迟到画面。
Gemini、OpenAI 和千问接收已发送图片及右侧图片、PDF 当前页,视觉队列每秒最多发送一帧。豆包当前通过后台模型处理图片与 PDF 分析。
通话初始简报取最近 6 段对话,每段最多 180 字符;目标最多 500 字符,附带术语、资料目录与最近 8 个产物路径。资料目录最多列出 40 项。共享快照取最近 6 个任务,每项结果最多 3,000 字符。这些边界用于简报与共享状态,后台历史由 token 预算和任务归属决定。
Gemini Live 另启用服务端 slidingWindow 会话压缩,其内部 token 与缓存不进入后台模型统计。
稳定的 system 与 tools 描述身份、工作区规则和工具能力。messages 来自明确的事件与快照,按投影清单规定的顺序和方式渲染。
| 内容 | 来源与策略 |
|---|---|
| 固定规则、工具、预算 | context_scope 保存作用域定义,相同配置复用同一作用域 |
| 历史索引与引用 | 历史归档后提供事件数量、范围与反查入口 |
| 选中的对话与工具单元 | 原始事件;调用与对应结果一起处理;同模型的 thinking / 签名随单元原样回传 |
| 任务与工作区状态 | context_state 保存受理或补充时的快照;重投影保留每个状态键的最新值 |
| 当前要求与连续补充 | 按当前任务的输入事件编号保护,保持原文 |
| 图片 | 附件按引用加载;临时页面帧只在当前进程内保留 |
projectContextUnits 将事件转为完整单元,处理语音修订和工具结果归属。context_append 保存来源编号、修订引用与渲染方式,避免另存一份持续改写的消息历史。
renderEntry 只使用清单指定的事件,恢复相应视图。已经发送的转写被修订时,追加更新说明。同一事件、版本、预算与可用原件得到相同视图,投影过程不调用模型或重跑工具。
当前正常执行路径使用此管理器,旧的 projectLlmContext 字符裁剪函数仍保留供兼容调用使用。临时页面帧不写入事件,状态文字始终说明其可用范围;重启后图片附件可以恢复,临时画面需要重新获取。
模型正文与协议回放数据分别保存。OpenAI 兼容接口接收 reasoning_content、reasoning_details;Anthropic 保存完整内容块,包括 thinking、signature 和 redacted thinking。SSE 分片按顺序组装,思考内容不进入聊天正文或历史搜索。
assistant_turn.protocol 记录接口与模型身份。投影器从原始事件恢复协议块,工具结果通过本地调用编号关联,再以原始服务商编号和参数发送。同一模型的原样回放数据参与输入预算,输出预留也包含 thinking。reasoningTokens 是输出中的已报告子集,不重复计入总用量。
旧会话未保存所需字段时,无法补造它们。缺失 DeepSeek reasoning 的助手/工具组、不同接口或模型产生的协议组,以及输出额度耗尽的记录,转换为明确标注的历史数据,沿用已记录结果。原始事件保持不变,恢复过程不重新执行工具。输出达到 length / max_tokens 时保留协议记录与用量并报告未完成,本步工具不执行。
投影版本升为 2,从原始事件重建清单;已有版本 1 清单保留。协议块不会被截成摘录:旧单元可整体归档为引用,仍保留的单元完整回传。
协议接收与发送 · 兼容投影 · 协议测试 · DeepSeek 协议依据
同一周期内,已有消息保持顺序与内容,新消息追加在尾部。任务背景、目录变化和转写修订作为新证据进入。工具定义与固定指令保持稳定,适配器保留用户消息块边界。
只有超过预算水位,程序才一次性重建视图并递增 epoch。这时较早的内容可以变成固定摘录或历史引用,随后继续追加。
官方 OpenAI 请求带作用域与周期派生的 prompt_cache_key,Anthropic 使用自动 cache_control。XIAOWANG_PROMPT_CACHE=off 可关闭可选缓存字段。稳定前缀提供复用机会,实际命中由服务端决定。
model_usage 保存请求哈希、完整预算、耗时与实际用量。OpenAI 读取 cached_tokens,DeepSeek 读取缓存命中字段;Anthropic 总输入合计普通输入、缓存创建与读取。缺失的实际指标为 null。prefixTokens 仅为相邻成功请求的共同前缀估算,重启或周期切换后从 0 开始。
npm run xiaowang -- stats [slug] 查看调用、检查点及 token 用量。缓存读取比例只使用同时报告输入和缓存读取的调用。thinking 子集仅在服务端报告时统计。
普通文字聊天、子 bot 和通话委派共用后台预算,应用目标总窗口 131,072 tokens。每个任务开始前从当前接口的 /models 读取对应模型的上下文、输入与输出限制,缓存五分钟,并按接口、模型与凭据隔离。默认 Ollama 端口 11434 也读取 /api/ps 中已加载模型的实际窗口。元数据优先;官方 OpenAI GPT-4.1 / GPT-4o、DeepSeek Flash / V4 Pro 及 Claude 5.5 / Fable 5.2 使用已核实的能力作为后备。其余未知部署采用 32,768,总窗口不因同名模型而放大。设置只提供模型与密钥;旧预算设置和预算环境变量停止生效。
| 默认后台预算,模型能力足够时 | tokens |
|---|---|
| 总窗口 | 131,072 |
| 输出预留,含 thinking | 8,192 |
| 安全余量 | 4,096 |
| 输入硬容量 | 118,784 |
| 输入高水位 | 98,304 |
| 输入低水位目标 | 32,768 |
总窗口取 128K 与模型上限的较小值。输出预留取 8,192、模型输出上限、总窗口四分之一的最小值;安全余量取 4,096 与总窗口十六分之一的较小值。独立输入上限进一步约束输入容量。高水位取 98,304 与输入容量 85% 的较小值;高水位大于 32,768 时低水位为 32,768,否则为高水位的 55%。实际请求只发送当前投影内容。
Realtime 活跃窗口以 32K 为目标。Gemini 在 32,768 触发滑动窗口,目标保留 16,384;OpenAI 使用 0.5 保留比例,从 32K 扣除 4K 输出及指令与工具的估算量,得到 post_instructions 历史限额。豆包和千问继续使用服务端历史管理,应用注入近期对话、当前页和有限任务结果,服务端音频历史目前无法承诺精确的 32K 限额。原始通话和后台事件留在本地事件日志,长材料可通过工具反查。
文本通过本地 o200k_base BPE 分段估算,增加 20% 余量与封装开销;图片每张预留 8,192 tokens。官方 Anthropic 使用原生计数覆盖总输入,分项仍为本地估算。模型真实窗口和实际用量由服务商决定。
超过自动计算的高水位时,以低水位为目标重建视图:
- 保留当前任务原始输入、连续补充、每个键的最新状态和最后一个对话单元。
- 被取代的旧状态退出当前视图。
- 不含原生协议块的较旧工具结果可采用前 1,200 字符的固定摘录,附原始事件编号;原生 thinking / 签名单元和参数较大的旧工具单元整体变为引用。
- 如仍需缩小,优先归档已结束任务,其余按较旧单元顺序处理,提供统一的历史反查入口。
- 最终输入在硬预算内且确实缩小后,提交检查点并进入新周期。
低水位是目标,必要内容较大时可以高于目标。原生计数仍超限时再尝试归档全部可选历史。当前要求或最新状态本身无法容纳时返回预算错误,原事件与原投影保留。
context_checkpoint 保存投影版本、截止事件、来源编号、渲染方式、状态引用与保护集合。相同清单可从原事件重放,取消不会提交半成品。上下文维护不生成自动 LLM 摘要。
预算、模型或接口改变时开启新的投影作用域。检查点仍从原始事件确定性生成,自动预算不发起额外摘要推理。
search_memory 在当前 bot 的原始记录中检索,支持字面关键词、事件类型与 after_id 分页,每页最多 20 条。SQLite FTS5 trigram 索引支持中文子串,少于 3 个字符时使用字面查询。
inspect_event 按事件编号读取原文,使用字符偏移分页,默认 4,000 字符、最多 6,000,并返回下一偏移量。读取历史不重新执行原工具。查询与读取都校验当前 bot 的访问范围,派生投影与用量事件不提供模型反查。
原始事件保留用户要求、模型输出、工具结果和转写修订;原件与产物仍通过文件和阅读工具使用。归档只减少本次输入包含的信息,模型需要时通过反查展开证据。用户请求的研究笔记和分析结论继续作为普通产物保存。
任务背景和工作区快照保存受理时的值。bot 元数据与资料引用仍有状态表,全部界面操作尚不能由事件日志重放。备份需要数据库、资料库与工作区;临时页面像素、音频队列和 Gemini 恢复句柄仅在进程内维护。
渲染进程报告真实播放位置、片段完成与空闲状态。用户插话停止匹配的本地音频并过滤旧回复。自然挂断依据明确的用户请求,等待道别实际播放完成。Gemini 的讲解推进在生成和播放结束后等待页面展示回执,再请求下一段。
spawn_bot 交接任务说明、术语、资料引用与首轮要求,父轮成功后启动子任务。每个 bot 拥有独立会话、资料引用、工作区、浏览页面和控制权,浏览器共用持久化 Session 共享网站登录。
队列恢复排队任务,应用关闭时正在执行的任务恢复为 interrupted,用户检查产物后可重试。工具错误作为结果交回模型,模型请求异常由队列记录失败。
桌面在打开数据库与恢复队列前取得单实例锁;再次启动只显示已有窗口,不重复启动任务。这限制的是桌面实例,手动重试仍需检查已有产物。
PDF 阅读结果逐页附上包含原件编号和页码的 xwref 链接。聊天和 Markdown 笔记共用引用处理,文件选择器与工作区打开接口共用预览格式规则。
文字密钥按服务来源(协议、主机、端口)保存,设置中的未保存密钥也按来源隔离。环境变量只覆盖本次运行,普通设置保存不会把这些覆盖值写回磁盘;明确输入的新密钥随对应服务保存。macOS 将密钥保存在仅当前用户可读写的本地文件中;使用旧密钥时才从钥匙串迁移。其他平台在系统加密不可用时只保存非密钥设置,密钥仅供本次使用。原有凭据自动归属于原服务。
原生调用只接受应用主窗口的受信主文档;主窗口阻止外部导航,HTTP 外链交给系统浏览器。麦克风权限仅给予应用主文档的音频请求,内置网页会话拒绝设备权限。
桌面使用 Electron、React 与 TypeScript,阅读器使用 PDF.js,展示产物采用 HTML。后台通信支持 OpenAI 兼容和 Anthropic 接口及 SSE,Realtime 使用服务商原生 WebSocket 适配。执行与存储使用 Node.js 24、SQLite WAL / FTS5 和文件系统。
上下文测试覆盖前缀、预算、确定性检查点、取消、重启、连续补充和状态保留;历史测试覆盖中文搜索、分页、权限、原文读取与工具归属;接口测试覆盖实际缓存用量解析。
研究预算测试覆盖自动水位、接口能力识别、缓存隔离及旧设置失效;桌面回归验证升级、重启和实际 thinking / 工具请求。
引用与预览、桌面单实例和凭据与网页范围验证同名 PDF 回跳、笔记重开、重复启动、服务切换、临时密钥、原生调用隔离和麦克风权限。







