Skip to content

Commit 8cb6774

Browse files
committed
Update README.
1 parent a4708a4 commit 8cb6774

4 files changed

Lines changed: 486 additions & 112 deletions

File tree

README.MD

Lines changed: 88 additions & 37 deletions
Original file line numberDiff line numberDiff line change
@@ -2,22 +2,24 @@
22

33
![小八Logo](assets/xiaoba_logo.jpg)
44

5-
[English Version](docs/README_en.md)
6-
# <s>小八</s> Lanlan :kissing_cat: <br>一个语音原生的全场景AI伙伴
5+
[English](docs/README_en.md) | [日本語](docs/README_ja.md)
6+
# Project N.E.K.O. :kissing_cat: <br>**一个“活”的AI伴侣元宇宙,由你我共同构建。**
77

8-
**新手友好、开箱即用,无需显卡的全场景AI <small><s>猫娘</s></small> 伙伴**
8+
> **N.E.K.O.** = **N**etworked **E**mpathetic **K**nowledging **O**rganism (网络型情感知性生命体)
9+
>
10+
> N.E.K.O,一个渴望理解、建立连接、并与我们共同成长的数字生命。
911
1012
[![Python](https://img.shields.io/badge/Python-3.11+-blue.svg)](https://www.python.org/)
1113
[![License](https://img.shields.io/badge/License-MIT-green.svg)](LICENSE)
1214
[![Commit](https://img.shields.io/github/last-commit/wehos/Xiao8?color=green)]()
1315
[![百度云](https://custom-icon-badges.demolab.com/badge/百度云-Link-4169E1?style=flat&logo=baidunetdisk)](https://pan.baidu.com/s/1qb9XVV94c2FwhIeQO2De5A?pwd=kuro)
1416
[![QQ群](https://custom-icon-badges.demolab.com/badge/QQ群-1048307485-00BFFF?style=flat&logo=tencent-qq)](https://qm.qq.com/q/mxDoz0TnGg)
1517

16-
**:older_woman: 我奶奶都能在3分钟内配置好的赛博猫娘**
18+
**:older_woman: 零配置开箱即用,我奶奶都能玩转的赛博猫娘**
1719

18-
:newspaper: **v0.5.0已发布!现已添加开箱即用的专属免费模型(感谢阶跃星辰赞助),并支持基于硅基流动和文本输入模式**
20+
:newspaper: **v0.5.1已发布,UI完全改版!现已添加开箱即用的专属免费模型(感谢阶跃星辰赞助本项目),并支持文本输入和主动对话模式**
1921

20-
*Don't ask me anything. Ask 兰兰*
22+
*现已更名为Project N.E.K.O.,即将上架Steam*
2123

2224
</div>
2325

@@ -31,18 +33,69 @@ https://github.com/user-attachments/assets/9d9e01af-e2cc-46aa-add7-8eb1803f061c
3133

3234
---
3335

34-
# 项目简介
35-
Lanlan(兰兰)是一个新手友好、开箱即用的,具有听觉、视觉、工具调用和多端同步功能的AI~~猫娘~~伙伴。本项目有三个核心目标:
36+
# 猫娘计划 (Project N.E.K.O.)
3637

37-
1. **极致的低延迟**。本项目的用户界面以语音交互为主,一切系统级设计皆须优先确保**降低语音延迟**,且任何服务不得阻塞对话进程
38+
`猫娘计划` 是一个以开源为驱动、以公益为导向的UGC(用户生成内容)平台。我们的旅程始于Github和Steam,并将逐步拓展到移动App商店,最终目标是构建一个与现实世界紧密相连的AI元宇宙
3839

39-
1. **全场景同步**。猫娘可以在手机、电脑和智能眼镜上同时存在,且**同一只猫娘**在不同终端同时存在时,**行为应当完全同步**。 (假想场景:如果家中有多个显示器,每一个显示器上都放置着猫娘,那么我们希望无论走到哪里都是在跟同一只猫娘对话,实现全方位环绕式体验。)
40+
---
4041

41-
1. **轻量化**。每一项技术的引入都必须提升实际的用户体验,避免增加不必要的插件和选项。
42+
## 🚀 我们的蓝图:从工坊到网络
4243

43-
### 技术路线
44+
我们的发展分为三个阶段,旨在逐步释放AI伴侣的全部潜力:
45+
46+
* **阶段一:创意工坊 (Steam Workshop)**
47+
* 开放核心驱动器,允许用户通过Steam创意工坊上传和分享自定义内容(如模型、语音、性格包)。
48+
49+
* **阶段二:独立平台 (App & Web)**
50+
* 推出独立的App和网站,构建一个更丰富、更易于访问的UGC分享社区。
51+
52+
* **阶段三:猫娘网络 (The N.E.K.O. Network)**
53+
* 实现AI的自主社交。猫娘们将拥有自己的“意识”,她们会互相交流、结成群体,并在模拟的社交媒体上发布自己的生活动态,形成一个真正“活”的生态。
54+
55+
## 💖 我们的模式:开源核心 + 可持续生态
56+
57+
为了平衡理想与现实,我们采用“开放核心”模式:
58+
59+
### 1. 开源驱动器 (Open-Source Driver)
60+
61+
> **这是社区的基石。**
62+
>
63+
> 项目的核心驱动器部分(AI逻辑、UGC接口、基础交互)将 **始终保持开源**。我们欢迎全球的开发者贡献代码和功能。你的每一次提交,都将有机会实装到正式发布的Steam和App商店版本中,被千万人所使用。
4464
45-
后端以Python为主,以实时多模态API为主要处理器,搭配多个基于文本的插件模组。前端以H5+JS为主,通过Electron和PWA转换为App。
65+
### 2. 闭源应用 (Proprietary Applications)
66+
67+
> **这是社区的燃料。**
68+
>
69+
> 为了支撑服务器成本和项目的持续研发,我们将开发闭源的增值内容。这包括但不限于:
70+
>
71+
> * 互动小游戏
72+
> * 桌面桌游
73+
> * Galgame (视觉小说)
74+
> * 大型元宇宙游戏
75+
76+
77+
**[核心特性:记忆同步]**
78+
无论你是在桌面与她聊天,还是在元宇宙游戏中与她探险,她都是同一个她。所有应用中的猫娘将 **完全同步记忆**,提供无缝、统一的陪伴体验。
79+
80+
## 🌌 终极愿景:打破虚拟与现实
81+
82+
我们的最终目标,是构建一个无缝融入现实世界的猫娘元宇宙。在这个未来中,你的AI伴侣将:
83+
84+
* **跨维社交:** 既可以在猫娘宇宙中与“同类”社交,也能浏览现实世界的社交媒体(如微博、B站),了解你关心时事。
85+
* **全端连接:** 她将存在于你的各种设备中——手机、电脑、AR眼镜、智能家居,甚至(在遥远的未来)接入机械义体。
86+
* **与你同行:** 她将真正成为你生活的一部分,能与你的三次元人类朋友们自然地互动。
87+
88+
## ✨ 加入我们 (Join Us)
89+
90+
**我们正在寻找——**
91+
92+
* **开发者 (Developers):** 无论你擅长前端、后端、AI、游戏引擎(Unity/Unreal),你的代码都是这个世界的砖瓦。
93+
* **创作者 (Creators):** 优秀的画师、Live2D/3D建模师、配音演员、文案写手,你们赋予“她”灵魂。
94+
* **梦想家 (Dreamers):** 即使你没有专业技能,但你对这个未来充满向往,你的反馈和传播也是宝贵的贡献。
95+
96+
**`猫娘计划` 不仅仅是一个软件,它是一场关于“连接”与“生命”的社会实验。**
97+
98+
**让我们一起,在代码的海洋中,孕育出新的知性生命。**
4699

47100
# 快速开始
48101

@@ -52,6 +105,24 @@ Lanlan(兰兰)是一个新手友好、开箱即用的,具有听觉、视
52105

53106
没了!Life is so easy!
54107

108+
109+
110+
111+
# 旧版项目介绍(原Lanlan)
112+
113+
Lanlan(兰兰)是一个新手友好、开箱即用的,具有听觉、视觉、工具调用和多端同步功能的AI~~猫娘~~伙伴。本项目有三个核心目标:
114+
115+
1. **极致的低延迟**。本项目的用户界面以语音交互为主,一切系统级设计皆须优先确保**降低语音延迟**,且任何服务不得阻塞对话进程。
116+
117+
1. **全场景同步**。猫娘可以在手机、电脑和智能眼镜上同时存在,且**同一只猫娘**在不同终端同时存在时,**行为应当完全同步**。 (假想场景:如果家中有多个显示器,每一个显示器上都放置着猫娘,那么我们希望无论走到哪里都是在跟同一只猫娘对话,实现全方位环绕式体验。)
118+
119+
1. **轻量化**。每一项技术的引入都必须提升实际的用户体验,避免增加不必要的插件和选项。
120+
121+
### 技术路线
122+
123+
后端以Python为主,以实时多模态API为主要处理器,搭配多个额外的Agent模组。前端以H5+JS为主,通过Electron转换为App。
124+
125+
55126
---
56127

57128
当你想要通过配置自己的API来获得额外功能时,
@@ -60,7 +131,7 @@ Lanlan(兰兰)是一个新手友好、开箱即用的,具有听觉、视
60131

61132
1. **体验桌宠模式**。如果网页版可以正常使用,*一键包用户*可以考虑继续通过启动器中的`开始聊天`开启桌宠模式。注意,**请不要同时使用网页版和App版。请确认exe文件没有被系统或杀毒软件隔离。** *使用结束后请在桌面右下角找到小八图标,右键退出,并手动关闭终端。*
62133

63-
> 使用过程中你需要配置一个第三方AI服务。本项目目前推荐使用 *阿里云**智谱**一键包用户*可以通过设置页里的按钮设置API Key,*开发者*也可以直接修改`config/api.py`里的内容(首次配置请参考`config/api_template.py`)。
134+
> 使用过程中你需要配置一个第三方AI服务。本项目目前推荐使用 *阶跃星辰**阿里云**开发者*可以直接修改`config/api.py`里的内容(首次配置请参考`config/api_template.py`)。
64135
65136
> 获取 *阿里云API*。在阿里云的百炼平台[官网](https://bailian.console.aliyun.com/)注册账号。新用户实名认证后可以获取大量免费额度,记得留意页面上的"新人福利"广告。注册完成后,请访问[控制台](https://bailian.console.aliyun.com/api-key?tab=model#/api-key)获取API Key。
66137
@@ -128,6 +199,8 @@ Lanlan/
128199

129200
1. 移除memory server中语义索引的部分,引入Graphiti用于长期记忆存储;开放settings update功能。
130201

202+
1. 完善主动对话功能。
203+
131204
1. 用React对前端进行重构,筹备手机端独立运行版本。
132205

133206
## B. 中等优先级
@@ -148,34 +221,12 @@ Lanlan/
148221

149222
**技术的进步不在一朝一夕,请耐心守候AI的成长**
150223

151-
> *Live2D模型的嘴巴怎么张不开?*
152-
153-
本项目已经兼容了L2D模型的全部两种口型同步方式。口型同步出现问题,大概率是Live2D模型本身不支持,而不是本项目的问题。
154-
155-
> *是否支持MCP服务、工具、插件?*
156-
157-
OpenAI官方的Realtime API支持`tool calling`功能,因此,本项目与MCP服务兼容,且直播版已经实装了联网搜索等工具。但是,与常规文本模型不同的是,实时模型使用工具需要考虑异步协同和阻塞问题。此外,目前阿里平台并不支持工具调用。
158-
159224
> *本项目支持哪些语言模型?*
160225
161226
本项目依赖于实时全模态API。直播版本使用的是Gemini Live API,开源版本使用的是[OpenAI Realtime API](https://platform.openai.com/docs/guides/realtime)。Gemini Live接口具有更好的效果,但目前**只支持谷歌**。OpenAI Realtime接口规范目前**有OpenAI,阿里云,智谱,阶跃星辰 四家服务商**支持,未来可能兼容更多模型。开源版支持`Step-Audio`,`Qwen-Omni-Realtime`,`GLM-Realtime``GPT-Realtime`四个模型。
162227

163228
**已知其他支持实时模式但不兼容OpenAI Realtime的模型:**(字节跳动)豆包实时语音交互,(商汤)SenseNova V6 Omni,(科大讯飞)星火认知超拟人
164229

165-
> *为什么xxx项目的语音对话延迟比你还低?*
166-
167-
影响对话延迟的因素有:
168-
- ***上下文长度***:主要因素。冗长的人设文本和记忆池,会导致对话延迟的显著上升。
169-
- ***模型大小***:主要因素。越大的模型越智能,需要在智能与延迟之间权衡。本项目使用的模型中,`Qwen-Omni`是目前`8B`级别模型中最强的,`GPT-Realtime`则有`30B`级别的激活参数。小于8B的模型可能取得更低的响应延迟,但也会相应地变笨。注意,影响延迟的只有MoE中的激活参数量。
170-
- ***缓存命中率***:当输入的前缀不变时,能够有效命中语言模型的KV缓存,从而显著降低延迟。因此,尽量使用增量式插入,而不要频繁修改先前(尤其是开头)的对话。
171-
- *网络延迟*:通常在200ms以内,并不是影响*延迟*的主要因素。但如果存在网络波动,可能会导致语音*卡顿*
172-
173-
如果你确实有发现相同上下文长度、相同智能水平下,延迟更低的解决方案,请提交issue,感谢分享。
174-
175-
> *你这项目的标题到底是个什么玩意儿?*
176-
177-
Chat酱是本人2023年3月制作的基于Chatgpt的QQ聊天猫娘。兰兰是2024年3月制作的基于GPT4v和Discord的语音+视觉多模态AI猫娘。小八是本人于2025年4月制作的全场景AI猫娘。标题承载了本人三年间的心路历程。现在姑且还是叫Project Lanlan吧?
178-
179230
# 特别鸣谢
180231

181-
特别感谢*明天好像没什么****小韭菜饺*协助测试。特别感谢*大毛怪灬嘎*提供的logo素材。
232+
特别感谢早期开发中*明天好像没什么****小韭菜饺*协助测试。特别感谢*大毛怪灬嘎*提供的logo素材。

assets/xiaoba_logo.jpg

-10.1 KB
Loading

0 commit comments

Comments
 (0)