Skip to content

Commit 8eef07d

Browse files
committed
Merge branch 'main' into feat-sscma_invoke
* main: Add 16 more languages to locales (78#1297) Fix LilyGo-T-CameraPlus-S3 Camera (78#1295) Fix lichuang-dev camera (78#1290) 将太极派新款和旧款分离 (78#1287) Refactor: Use esp_video component (78#1245) add support for Wireless-Tag WTP4C5MP07S ESP32P4 board + 7 inch MIPI DSI LCD display combo (78#1281) Optimize AdcBatteryMonitor to work without charge detection pin. (78#1276) enable rrti for m5stack-tab5 (78#1268) Add LILYGO T-Display-P4 board adaptation (78#1269) Added Waveshare ESP32-P4-WIFI6-Touch-LCD-7B third party board (78#1243) Add esp32c5 configuration (78#1258) Change the button array to ADC buttons as in the board for esp32s3-korv2 (78#1256) Add SetInputGain(float gain) to AudioCodec (78#1252) Update README (78#1251)
2 parents 9958dc4 + ac03f80 commit 8eef07d

File tree

348 files changed

+5944
-2021
lines changed

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

348 files changed

+5944
-2021
lines changed

.clangd

Lines changed: 0 additions & 2 deletions
This file was deleted.

.github/workflows/build.yml

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -92,7 +92,7 @@ jobs:
9292
include: ${{ fromJson(needs.prepare.outputs.variants) }}
9393
runs-on: ubuntu-latest
9494
container:
95-
image: espressif/idf:release-v5.4
95+
image: espressif/idf:release-v5.5
9696
steps:
9797
- name: Checkout
9898
uses: actions/checkout@v4

.gitignore

Lines changed: 1 addition & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -16,3 +16,4 @@ main/mmap_generate_emoji.h
1616
*.pyc
1717
*.bin
1818
mmap_generate_*.h
19+
.clangd

README.md

Lines changed: 18 additions & 11 deletions
Original file line numberDiff line numberDiff line change
@@ -1,26 +1,24 @@
1-
# An MCP-based Chatbot | 一个基于 MCP 的聊天机器人
1+
# An MCP-based Chatbot
22

33
(中文 | [English](README_en.md) | [日本語](README_ja.md)
44

5-
## 视频
5+
## 介绍
66

77
👉 [人类:给 AI 装摄像头 vs AI:当场发现主人三天没洗头【bilibili】](https://www.bilibili.com/video/BV1bpjgzKEhd/)
88

99
👉 [手工打造你的 AI 女友,新手入门教程【bilibili】](https://www.bilibili.com/video/BV1XnmFYLEJN/)
1010

11-
## 介绍
11+
小智 AI 聊天机器人作为一个语音交互入口,利用 Qwen / DeepSeek 等大模型的 AI 能力,通过 MCP 协议实现多端控制。
1212

13-
这是一个由虾哥开源的 ESP32 项目,以 MIT 许可证发布,允许任何人免费使用,或用于商业用途。
13+
<img src="docs/mcp-based-graph.jpg" alt="通过MCP控制万物" width="320">
1414

15-
我们希望通过这个项目,能够帮助大家了解 AI 硬件开发,将当下飞速发展的大语言模型应用到实际的硬件设备中。
15+
### 版本说明
1616

17-
如果你有任何想法或建议,请随时提出 Issues 或加入 QQ 群:1011329060
18-
19-
### 基于 MCP 控制万物
17+
当前 v2 版本与 v1 版本分区表不兼容,所以无法从 v1 版本通过 OTA 升级到 v2 版本。分区表说明参见 [partitions/v2/README.md](partitions/v2/README.md)
2018

21-
小智 AI 聊天机器人作为一个语音交互入口,利用 Qwen / DeepSeek 等大模型的 AI 能力,通过 MCP 协议实现多端控制
19+
使用 v1 版本的所有硬件,可以通过手动烧录固件来升级到 v2 版本
2220

23-
![通过MCP控制万物](docs/mcp-based-graph.jpg)
21+
v1 的稳定版本为 1.9.2,可以通过 `git checkout v1` 来切换到 v1 版本,该分支会持续维护到 2026 年 2 月。
2422

2523
### 已实现功能
2624

@@ -36,6 +34,7 @@
3634
- 支持 ESP32-C3、ESP32-S3、ESP32-P4 芯片平台
3735
- 通过设备端 MCP 实现设备控制(音量、灯光、电机、GPIO 等)
3836
- 通过云端 MCP 扩展大模型能力(智能家居控制、PC桌面操作、知识搜索、邮件收发等)
37+
- 自定义唤醒词、字体、表情与聊天背景,支持网页端在线修改 ([自定义Assets生成器](https://github.com/78/xiaozhi-assets-generator))
3938

4039
## 硬件
4140

@@ -122,7 +121,7 @@
122121

123122
### 开发者文档
124123

125-
- [自定义开发板指南](main/boards/README.md) - 学习如何为小智 AI 创建自定义开发板
124+
- [自定义开发板指南](docs/custom-board.md) - 学习如何为小智 AI 创建自定义开发板
126125
- [MCP 协议物联网控制用法说明](docs/mcp-usage.md) - 了解如何通过 MCP 协议控制物联网设备
127126
- [MCP 协议交互流程](docs/mcp-protocol.md) - 设备端 MCP 协议的实现方式
128127
- [MQTT + UDP 混合通信协议文档](docs/mqtt-udp.md)
@@ -150,6 +149,14 @@
150149
- [78/xiaozhi-sf32](https://github.com/78/xiaozhi-sf32) 思澈科技的蓝牙芯片固件
151150
- [QuecPython/solution-xiaozhiAI](https://github.com/QuecPython/solution-xiaozhiAI) 移远提供的 QuecPython 固件
152151

152+
## 关于项目
153+
154+
这是一个由虾哥开源的 ESP32 项目,以 MIT 许可证发布,允许任何人免费使用,修改或用于商业用途。
155+
156+
我们希望通过这个项目,能够帮助大家了解 AI 硬件开发,将当下飞速发展的大语言模型应用到实际的硬件设备中。
157+
158+
如果你有任何想法或建议,请随时提出 Issues 或加入 QQ 群:1011329060
159+
153160
## Star History
154161

155162
<a href="https://star-history.com/#78/xiaozhi-esp32&Date">

README_en.md

Lines changed: 25 additions & 10 deletions
Original file line numberDiff line numberDiff line change
@@ -2,25 +2,23 @@
22

33
(English | [中文](README.md) | [日本語](README_ja.md))
44

5-
## Video
5+
## Introduction
66

77
👉 [Human: Give AI a camera vs AI: Instantly finds out the owner hasn't washed hair for three days【bilibili】](https://www.bilibili.com/video/BV1bpjgzKEhd/)
88

99
👉 [Handcraft your AI girlfriend, beginner's guide【bilibili】](https://www.bilibili.com/video/BV1XnmFYLEJN/)
1010

11-
## Introduction
11+
As a voice interaction entry, the XiaoZhi AI chatbot leverages the AI capabilities of large models like Qwen / DeepSeek, and achieves multi-terminal control via the MCP protocol.
1212

13-
This is an open-source ESP32 project, released under the MIT license, allowing anyone to use it for free, including for commercial purposes.
13+
<img src="docs/mcp-based-graph.jpg" alt="Control everything via MCP" width="320">
1414

15-
We hope this project helps everyone understand AI hardware development and apply rapidly evolving large language models to real hardware devices.
15+
## Version Notes
1616

17-
If you have any ideas or suggestions, please feel free to raise Issues or join the QQ group: 1011329060
18-
19-
### Control Everything with MCP
17+
The current v2 version is incompatible with the v1 partition table, so it is not possible to upgrade from v1 to v2 via OTA. For partition table details, see [partitions/v2/README.md](partitions/v2/README.md).
2018

21-
As a voice interaction entry, the XiaoZhi AI chatbot leverages the AI capabilities of large models like Qwen / DeepSeek, and achieves multi-terminal control via the MCP protocol.
19+
All hardware running v1 can be upgraded to v2 by manually flashing the firmware.
2220

23-
![Control everything via MCP](docs/mcp-based-graph.jpg)
21+
The stable version of v1 is 1.9.2. You can switch to v1 by running `git checkout v1`. The v1 branch will be maintained until February 2026.
2422

2523
### Features Implemented
2624

@@ -36,6 +34,7 @@ As a voice interaction entry, the XiaoZhi AI chatbot leverages the AI capabiliti
3634
- Supports ESP32-C3, ESP32-S3, ESP32-P4 chip platforms
3735
- Device-side MCP for device control (Speaker, LED, Servo, GPIO, etc.)
3836
- Cloud-side MCP to extend large model capabilities (smart home control, PC desktop operation, knowledge search, email, etc.)
37+
- Customizable wake words, fonts, emojis, and chat backgrounds with online web-based editing ([Custom Assets Generator](https://github.com/78/xiaozhi-assets-generator))
3938

4039
## Hardware
4140

@@ -122,9 +121,10 @@ The firmware connects to the official [xiaozhi.me](https://xiaozhi.me) server by
122121

123122
### Developer Documentation
124123

125-
- [Custom Board Guide](main/boards/README.md) - Learn how to create custom boards for XiaoZhi AI
124+
- [Custom Board Guide](docs/custom-board.md) - Learn how to create custom boards for XiaoZhi AI
126125
- [MCP Protocol IoT Control Usage](docs/mcp-usage.md) - Learn how to control IoT devices via MCP protocol
127126
- [MCP Protocol Interaction Flow](docs/mcp-protocol.md) - Device-side MCP protocol implementation
127+
- [MQTT + UDP Hybrid Communication Protocol Document](docs/mqtt-udp.md)
128128
- [A detailed WebSocket communication protocol document](docs/websocket.md)
129129

130130
## Large Model Configuration
@@ -145,6 +145,21 @@ Other client projects using the XiaoZhi communication protocol:
145145

146146
- [huangjunsen0406/py-xiaozhi](https://github.com/huangjunsen0406/py-xiaozhi) Python client
147147
- [TOM88812/xiaozhi-android-client](https://github.com/TOM88812/xiaozhi-android-client) Android client
148+
- [100askTeam/xiaozhi-linux](http://github.com/100askTeam/xiaozhi-linux) Linux client by 100ask
149+
- [78/xiaozhi-sf32](https://github.com/78/xiaozhi-sf32) Bluetooth chip firmware by Sichuan
150+
- [QuecPython/solution-xiaozhiAI](https://github.com/QuecPython/solution-xiaozhiAI) QuecPython firmware by Quectel
151+
152+
Custom Assets Tools:
153+
154+
- [78/xiaozhi-assets-generator](https://github.com/78/xiaozhi-assets-generator) Custom Assets Generator (Wake words, fonts, emojis, backgrounds)
155+
156+
## About the Project
157+
158+
This is an open-source ESP32 project, released under the MIT license, allowing anyone to use it for free, including for commercial purposes.
159+
160+
We hope this project helps everyone understand AI hardware development and apply rapidly evolving large language models to real hardware devices.
161+
162+
If you have any ideas or suggestions, please feel free to raise Issues or join the QQ group: 1011329060
148163

149164
## Star History
150165

README_ja.md

Lines changed: 21 additions & 10 deletions
Original file line numberDiff line numberDiff line change
@@ -2,25 +2,23 @@
22

33
(日本語 | [中文](README.md) | [English](README_en.md)
44

5-
## 動画
5+
## はじめに
66

77
👉 [人間:AIにカメラを装着 vs AI:その場で飼い主が3日間髪を洗っていないことを発見【bilibili】](https://www.bilibili.com/video/BV1bpjgzKEhd/)
88

99
👉 [手作りでAIガールフレンドを作る、初心者入門チュートリアル【bilibili】](https://www.bilibili.com/video/BV1XnmFYLEJN/)
1010

11-
## イントロダクション
11+
シャオジーAIチャットボットは音声インタラクションの入口として、Qwen / DeepSeekなどの大規模モデルのAI能力を活用し、MCPプロトコルを通じてマルチエンド制御を実現します。
1212

13-
これはエビ兄さんがオープンソースで公開しているESP32プロジェクトで、MITライセンスのもと、誰でも無料で、商用利用も可能です。
13+
<img src="docs/mcp-based-graph.jpg" alt="MCPであらゆるものを制御" width="320">
1414

15-
このプロジェクトを通じて、AIハードウェア開発を理解し、急速に進化する大規模言語モデルを実際のハードウェアデバイスに応用できるようになることを目指しています。
15+
## バージョンノート
1616

17-
ご意見やご提案があれば、いつでもIssueを提出するか、QQグループ:1011329060 にご参加ください
17+
現在のv2バージョンはv1パーティションテーブルと互換性がないため、v1からv2へOTAでアップグレードすることはできません。パーティションテーブルの詳細については、[partitions/v2/README.md](partitions/v2/README.md)をご参照ください
1818

19-
### MCPであらゆるものを制御
19+
v1を実行しているすべてのハードウェアは、ファームウェアを手動で書き込むことでv2にアップグレードできます。
2020

21-
シャオジーAIチャットボットは音声インタラクションの入口として、Qwen / DeepSeekなどの大規模モデルのAI能力を活用し、MCPプロトコルを通じてマルチエンド制御を実現します。
22-
23-
![MCPであらゆるものを制御](docs/mcp-based-graph.jpg)
21+
v1の安定版は1.9.2です。`git checkout v1`でv1に切り替えることができます。v1ブランチは2026年2月まで継続的にメンテナンスされます。
2422

2523
### 実装済み機能
2624

@@ -36,6 +34,7 @@
3634
- ESP32-C3、ESP32-S3、ESP32-P4チッププラットフォーム対応
3735
- デバイス側MCPによるデバイス制御(音量・明るさ調整、アクション制御など)
3836
- クラウド側MCPで大規模モデル能力を拡張(スマートホーム制御、PCデスクトップ操作、知識検索、メール送受信など)
37+
- カスタマイズ可能なウェイクワード、フォント、絵文字、チャット背景、オンラインWeb編集に対応 ([カスタムアセットジェネレーター](https://github.com/78/xiaozhi-assets-generator))
3938

4039
## ハードウェア
4140

@@ -122,9 +121,10 @@ Feishuドキュメントチュートリアルをご覧ください:
122121

123122
### 開発者ドキュメント
124123

125-
- [カスタム開発ボードガイド](main/boards/README.md) - シャオジーAI用のカスタム開発ボード作成方法
124+
- [カスタム開発ボードガイド](docs/custom-board.md) - シャオジーAI用のカスタム開発ボード作成方法
126125
- [MCPプロトコルIoT制御使用法](docs/mcp-usage.md) - MCPプロトコルでIoTデバイスを制御する方法
127126
- [MCPプロトコルインタラクションフロー](docs/mcp-protocol.md) - デバイス側MCPプロトコルの実装方法
127+
- [MQTT + UDP ハイブリッド通信プロトコルドキュメント](docs/mqtt-udp.md)
128128
- [詳細なWebSocket通信プロトコルドキュメント](docs/websocket.md)
129129

130130
## 大規模モデル設定
@@ -145,6 +145,17 @@ Feishuドキュメントチュートリアルをご覧ください:
145145

146146
- [huangjunsen0406/py-xiaozhi](https://github.com/huangjunsen0406/py-xiaozhi) Pythonクライアント
147147
- [TOM88812/xiaozhi-android-client](https://github.com/TOM88812/xiaozhi-android-client) Androidクライアント
148+
- [100askTeam/xiaozhi-linux](http://github.com/100askTeam/xiaozhi-linux) 百問科技提供のLinuxクライアント
149+
- [78/xiaozhi-sf32](https://github.com/78/xiaozhi-sf32) 思澈科技のBluetoothチップファームウェア
150+
- [QuecPython/solution-xiaozhiAI](https://github.com/QuecPython/solution-xiaozhiAI) 移遠提供のQuecPythonファームウェア
151+
152+
## プロジェクトについて
153+
154+
これはエビ兄さんがオープンソースで公開しているESP32プロジェクトで、MITライセンスのもと、誰でも無料で、商用利用も可能です。
155+
156+
このプロジェクトを通じて、AIハードウェア開発を理解し、急速に進化する大規模言語モデルを実際のハードウェアデバイスに応用できるようになることを目指しています。
157+
158+
ご意見やご提案があれば、いつでもIssueを提出するか、QQグループ:1011329060 にご参加ください。
148159

149160
## スター履歴
150161

0 commit comments

Comments
 (0)