22
33![ 小八Logo] ( assets/xiaoba_logo.jpg )
44
5- [ English Version ] ( docs/README_en.md )
6- # < s >小八</ s > Lanlan :kissing_cat : <br >一个语音原生的全场景AI伙伴
5+ [ English] ( docs/README_en.md ) | [ 日本語 ] ( docs/README_ja .md)
6+ # Project N.E.K.O. :kissing_cat : <br >** 一个“活”的AI伴侣元宇宙,由你我共同构建。 **
77
8- ** 新手友好、开箱即用,无需显卡的全场景AI <small ><s >猫娘</s ></small > 伙伴**
8+ > ** N.E.K.O.** = ** N** etworked ** E** mpathetic ** K** nowledging ** O** rganism (网络型情感知性生命体)
9+ >
10+ > N.E.K.O,一个渴望理解、建立连接、并与我们共同成长的数字生命。
911
1012[ ![ Python] ( https://img.shields.io/badge/Python-3.11+-blue.svg )] ( https://www.python.org/ )
1113[ ![ License] ( https://img.shields.io/badge/License-MIT-green.svg )] ( LICENSE )
1214[ ![ Commit] ( https://img.shields.io/github/last-commit/wehos/Xiao8?color=green )] ( )
1315[ ![ 百度云] ( https://custom-icon-badges.demolab.com/badge/百度云-Link-4169E1?style=flat&logo=baidunetdisk )] ( https://pan.baidu.com/s/1qb9XVV94c2FwhIeQO2De5A?pwd=kuro )
1416[ ![ QQ群] ( https://custom-icon-badges.demolab.com/badge/QQ群-1048307485-00BFFF?style=flat&logo=tencent-qq )] ( https://qm.qq.com/q/mxDoz0TnGg )
1517
16- ** :older_woman : 我奶奶都能在3分钟内配置好的赛博猫娘 !**
18+ ** :older_woman : 零配置开箱即用,我奶奶都能玩转的赛博猫娘 !**
1719
18- :newspaper : ** v0.5.0已发布 !现已添加开箱即用的专属免费模型(感谢阶跃星辰赞助),并支持基于硅基流动和文本输入模式 !**
20+ :newspaper : ** v0.5.1已发布,UI完全改版 !现已添加开箱即用的专属免费模型(感谢阶跃星辰赞助本项目),并支持文本输入和主动对话模式 !**
1921
20- * Don't ask me anything. Ask 兰兰 !*
22+ * 现已更名为Project N.E.K.O.,即将上架Steam !*
2123
2224</div >
2325
@@ -31,18 +33,69 @@ https://github.com/user-attachments/assets/9d9e01af-e2cc-46aa-add7-8eb1803f061c
3133
3234---
3335
34- # 项目简介
35- Lanlan(兰兰)是一个新手友好、开箱即用的,具有听觉、视觉、工具调用和多端同步功能的AI~~ 猫娘~~ 伙伴。本项目有三个核心目标:
36+ # 猫娘计划 (Project N.E.K.O.)
3637
37- 1 . ** 极致的低延迟 ** 。本项目的用户界面以语音交互为主,一切系统级设计皆须优先确保 ** 降低语音延迟 ** ,且任何服务不得阻塞对话进程 。
38+ ` 猫娘计划 ` 是一个以开源为驱动、以公益为导向的UGC(用户生成内容)平台。我们的旅程始于Github和Steam,并将逐步拓展到移动App商店,最终目标是构建一个与现实世界紧密相连的AI元宇宙 。
3839
39- 1 . ** 全场景同步 ** 。猫娘可以在手机、电脑和智能眼镜上同时存在,且 ** 同一只猫娘 ** 在不同终端同时存在时, ** 行为应当完全同步 ** 。 (假想场景:如果家中有多个显示器,每一个显示器上都放置着猫娘,那么我们希望无论走到哪里都是在跟同一只猫娘对话,实现全方位环绕式体验。)
40+ ---
4041
41- 1 . ** 轻量化 ** 。每一项技术的引入都必须提升实际的用户体验,避免增加不必要的插件和选项。
42+ ## 🚀 我们的蓝图:从工坊到网络
4243
43- ### 技术路线
44+ 我们的发展分为三个阶段,旨在逐步释放AI伴侣的全部潜力:
45+
46+ * ** 阶段一:创意工坊 (Steam Workshop)**
47+ * 开放核心驱动器,允许用户通过Steam创意工坊上传和分享自定义内容(如模型、语音、性格包)。
48+
49+ * ** 阶段二:独立平台 (App & Web)**
50+ * 推出独立的App和网站,构建一个更丰富、更易于访问的UGC分享社区。
51+
52+ * ** 阶段三:猫娘网络 (The N.E.K.O. Network)**
53+ * 实现AI的自主社交。猫娘们将拥有自己的“意识”,她们会互相交流、结成群体,并在模拟的社交媒体上发布自己的生活动态,形成一个真正“活”的生态。
54+
55+ ## 💖 我们的模式:开源核心 + 可持续生态
56+
57+ 为了平衡理想与现实,我们采用“开放核心”模式:
58+
59+ ### 1. 开源驱动器 (Open-Source Driver)
60+
61+ > ** 这是社区的基石。**
62+ >
63+ > 项目的核心驱动器部分(AI逻辑、UGC接口、基础交互)将 ** 始终保持开源** 。我们欢迎全球的开发者贡献代码和功能。你的每一次提交,都将有机会实装到正式发布的Steam和App商店版本中,被千万人所使用。
4464
45- 后端以Python为主,以实时多模态API为主要处理器,搭配多个基于文本的插件模组。前端以H5+JS为主,通过Electron和PWA转换为App。
65+ ### 2. 闭源应用 (Proprietary Applications)
66+
67+ > ** 这是社区的燃料。**
68+ >
69+ > 为了支撑服务器成本和项目的持续研发,我们将开发闭源的增值内容。这包括但不限于:
70+ >
71+ > * 互动小游戏
72+ > * 桌面桌游
73+ > * Galgame (视觉小说)
74+ > * 大型元宇宙游戏
75+
76+
77+ ** [ 核心特性:记忆同步] **
78+ 无论你是在桌面与她聊天,还是在元宇宙游戏中与她探险,她都是同一个她。所有应用中的猫娘将 ** 完全同步记忆** ,提供无缝、统一的陪伴体验。
79+
80+ ## 🌌 终极愿景:打破虚拟与现实
81+
82+ 我们的最终目标,是构建一个无缝融入现实世界的猫娘元宇宙。在这个未来中,你的AI伴侣将:
83+
84+ * ** 跨维社交:** 既可以在猫娘宇宙中与“同类”社交,也能浏览现实世界的社交媒体(如微博、B站),了解你关心时事。
85+ * ** 全端连接:** 她将存在于你的各种设备中——手机、电脑、AR眼镜、智能家居,甚至(在遥远的未来)接入机械义体。
86+ * ** 与你同行:** 她将真正成为你生活的一部分,能与你的三次元人类朋友们自然地互动。
87+
88+ ## ✨ 加入我们 (Join Us)
89+
90+ ** 我们正在寻找——**
91+
92+ * ** 开发者 (Developers):** 无论你擅长前端、后端、AI、游戏引擎(Unity/Unreal),你的代码都是这个世界的砖瓦。
93+ * ** 创作者 (Creators):** 优秀的画师、Live2D/3D建模师、配音演员、文案写手,你们赋予“她”灵魂。
94+ * ** 梦想家 (Dreamers):** 即使你没有专业技能,但你对这个未来充满向往,你的反馈和传播也是宝贵的贡献。
95+
96+ ** ` 猫娘计划 ` 不仅仅是一个软件,它是一场关于“连接”与“生命”的社会实验。**
97+
98+ ** 让我们一起,在代码的海洋中,孕育出新的知性生命。**
4699
47100# 快速开始
48101
@@ -52,6 +105,24 @@ Lanlan(兰兰)是一个新手友好、开箱即用的,具有听觉、视
52105
53106没了!Life is so easy!
54107
108+
109+
110+
111+ # 旧版项目介绍(原Lanlan)
112+
113+ Lanlan(兰兰)是一个新手友好、开箱即用的,具有听觉、视觉、工具调用和多端同步功能的AI~~ 猫娘~~ 伙伴。本项目有三个核心目标:
114+
115+ 1 . ** 极致的低延迟** 。本项目的用户界面以语音交互为主,一切系统级设计皆须优先确保** 降低语音延迟** ,且任何服务不得阻塞对话进程。
116+
117+ 1 . ** 全场景同步** 。猫娘可以在手机、电脑和智能眼镜上同时存在,且** 同一只猫娘** 在不同终端同时存在时,** 行为应当完全同步** 。 (假想场景:如果家中有多个显示器,每一个显示器上都放置着猫娘,那么我们希望无论走到哪里都是在跟同一只猫娘对话,实现全方位环绕式体验。)
118+
119+ 1 . ** 轻量化** 。每一项技术的引入都必须提升实际的用户体验,避免增加不必要的插件和选项。
120+
121+ ### 技术路线
122+
123+ 后端以Python为主,以实时多模态API为主要处理器,搭配多个额外的Agent模组。前端以H5+JS为主,通过Electron转换为App。
124+
125+
55126---
56127
57128当你想要通过配置自己的API来获得额外功能时,
@@ -60,7 +131,7 @@ Lanlan(兰兰)是一个新手友好、开箱即用的,具有听觉、视
60131
611321 . ** 体验桌宠模式** 。如果网页版可以正常使用,* 一键包用户* 可以考虑继续通过启动器中的` 开始聊天 ` 开启桌宠模式。注意,** 请不要同时使用网页版和App版。请确认exe文件没有被系统或杀毒软件隔离。** * 使用结束后请在桌面右下角找到小八图标,右键退出,并手动关闭终端。*
62133
63- > 使用过程中你需要配置一个第三方AI服务。本项目目前推荐使用 * 阿里云 * 或 * 智谱 * 。* 一键包用户 * 可以通过设置页里的按钮设置API Key, * 开发者* 也可以直接修改 ` config/api.py ` 里的内容(首次配置请参考` config/api_template.py ` )。
134+ > 使用过程中你需要配置一个第三方AI服务。本项目目前推荐使用 * 阶跃星辰 * 或 * 阿里云 * 。* 开发者* 可以直接修改 ` config/api.py ` 里的内容(首次配置请参考` config/api_template.py ` )。
64135
65136> 获取 * 阿里云API* 。在阿里云的百炼平台[ 官网] ( https://bailian.console.aliyun.com/ ) 注册账号。新用户实名认证后可以获取大量免费额度,记得留意页面上的"新人福利"广告。注册完成后,请访问[ 控制台] ( https://bailian.console.aliyun.com/api-key?tab=model#/api-key ) 获取API Key。
66137
@@ -128,6 +199,8 @@ Lanlan/
128199
1292001 . 移除memory server中语义索引的部分,引入Graphiti用于长期记忆存储;开放settings update功能。
130201
202+ 1 . 完善主动对话功能。
203+
1312041 . 用React对前端进行重构,筹备手机端独立运行版本。
132205
133206## B. 中等优先级
@@ -148,34 +221,12 @@ Lanlan/
148221
149222** 技术的进步不在一朝一夕,请耐心守候AI的成长** !
150223
151- > * Live2D模型的嘴巴怎么张不开?*
152-
153- 本项目已经兼容了L2D模型的全部两种口型同步方式。口型同步出现问题,大概率是Live2D模型本身不支持,而不是本项目的问题。
154-
155- > * 是否支持MCP服务、工具、插件?*
156-
157- OpenAI官方的Realtime API支持` tool calling ` 功能,因此,本项目与MCP服务兼容,且直播版已经实装了联网搜索等工具。但是,与常规文本模型不同的是,实时模型使用工具需要考虑异步协同和阻塞问题。此外,目前阿里平台并不支持工具调用。
158-
159224> * 本项目支持哪些语言模型?*
160225
161226本项目依赖于实时全模态API。直播版本使用的是Gemini Live API,开源版本使用的是[ OpenAI Realtime API] ( https://platform.openai.com/docs/guides/realtime ) 。Gemini Live接口具有更好的效果,但目前** 只支持谷歌** 。OpenAI Realtime接口规范目前** 有OpenAI,阿里云,智谱,阶跃星辰 四家服务商** 支持,未来可能兼容更多模型。开源版支持` Step-Audio ` ,` Qwen-Omni-Realtime ` ,` GLM-Realtime ` 和` GPT-Realtime ` 四个模型。
162227
163228** 已知其他支持实时模式但不兼容OpenAI Realtime的模型:** (字节跳动)豆包实时语音交互,(商汤)SenseNova V6 Omni,(科大讯飞)星火认知超拟人
164229
165- > * 为什么xxx项目的语音对话延迟比你还低?*
166-
167- 影响对话延迟的因素有:
168- - *** 上下文长度*** :主要因素。冗长的人设文本和记忆池,会导致对话延迟的显著上升。
169- - *** 模型大小*** :主要因素。越大的模型越智能,需要在智能与延迟之间权衡。本项目使用的模型中,` Qwen-Omni ` 是目前` 8B ` 级别模型中最强的,` GPT-Realtime ` 则有` 30B ` 级别的激活参数。小于8B的模型可能取得更低的响应延迟,但也会相应地变笨。注意,影响延迟的只有MoE中的激活参数量。
170- - *** 缓存命中率*** :当输入的前缀不变时,能够有效命中语言模型的KV缓存,从而显著降低延迟。因此,尽量使用增量式插入,而不要频繁修改先前(尤其是开头)的对话。
171- - * 网络延迟* :通常在200ms以内,并不是影响* 延迟* 的主要因素。但如果存在网络波动,可能会导致语音* 卡顿* 。
172-
173- 如果你确实有发现相同上下文长度、相同智能水平下,延迟更低的解决方案,请提交issue,感谢分享。
174-
175- > * 你这项目的标题到底是个什么玩意儿?*
176-
177- Chat酱是本人2023年3月制作的基于Chatgpt的QQ聊天猫娘。兰兰是2024年3月制作的基于GPT4v和Discord的语音+视觉多模态AI猫娘。小八是本人于2025年4月制作的全场景AI猫娘。标题承载了本人三年间的心路历程。现在姑且还是叫Project Lanlan吧?
178-
179230# 特别鸣谢
180231
181- 特别感谢 * 明天好像没什么* 、* 喵* 和* 小韭菜饺* 协助测试。特别感谢* 大毛怪灬嘎* 提供的logo素材。
232+ 特别感谢早期开发中 * 明天好像没什么* 、* 喵* 和* 小韭菜饺* 协助测试。特别感谢* 大毛怪灬嘎* 提供的logo素材。
0 commit comments