File tree Expand file tree Collapse file tree 2 files changed +0
-477
lines changed Expand file tree Collapse file tree 2 files changed +0
-477
lines changed Original file line number Diff line number Diff line change @@ -90,81 +90,6 @@ MCP_CONFIG_PATH=mcp_config.json # MCP 配置文件路径(可选)
9090
9191详细配置说明请参考 ` .env.example ` 文件。
9292
93- ### API 速率限制处理
94-
95- 系统内置** 自动重试机制 + 速率限制器** ,无需手动干预即可处理 API 速率限制错误(429 错误)。
96-
97- #### 核心功能
98-
99- - ✅ ** 指数退避重试** - 自动重试失败的请求,延迟时间指数增长(1s → 2s → 4s → 8s → 16s)
100- - ✅ ** 令牌桶速率限制** - 主动控制请求频率,预防超限
101- - ✅ ** 智能错误识别** - 自动识别可重试的错误(429, 5xx, timeout)
102- - ✅ ** 并发控制** - 限制同时进行的请求数量
103- - ✅ ** 默认启用** - 无需配置,开箱即用
104-
105- #### 环境变量配置(可选)
106-
107- ``` bash
108- # ========== 速率限制与弹性配置 ==========
109-
110- # 是否启用弹性功能(默认: true)
111- ENABLE_MODEL_RESILIENCE=true
112-
113- # 每分钟令牌限制 (TPM - Tokens Per Minute)
114- # 建议设置为实际 API 配额的 80%
115- API_TOKENS_PER_MINUTE=50000
116-
117- # 突发请求令牌数(令牌桶容量)
118- API_BURST_SIZE=10000
119-
120- # 最大重试次数(默认: 5)
121- API_MAX_RETRIES=5
122-
123- # 基础延迟时间/秒(默认: 1.0)
124- API_BASE_DELAY=1.0
125-
126- # 最大延迟时间/秒(默认: 60.0)
127- API_MAX_DELAY=60.0
128-
129- # 最大并发请求数(默认: 5)
130- API_MAX_CONCURRENT=5
131- ```
132-
133- #### 不同 API 提供商的推荐配置
134-
135- ``` bash
136- # --- SiliconFlow 免费套餐 ---
137- API_TOKENS_PER_MINUTE=20000
138- API_BURST_SIZE=5000
139- API_MAX_CONCURRENT=3
140-
141- # --- SiliconFlow 付费套餐 ---
142- API_TOKENS_PER_MINUTE=80000
143- API_BURST_SIZE=15000
144- API_MAX_CONCURRENT=10
145-
146- # --- OpenAI GPT-4 标准套餐 ---
147- API_TOKENS_PER_MINUTE=90000
148- API_BURST_SIZE=15000
149- API_MAX_CONCURRENT=10
150- ```
151-
152- #### 终端输出示例
153-
154- 当遇到速率限制时,系统会自动处理:
155-
156- ```
157- Using SiliconFlow model: deepseek-chat
158- temperature=0.1, max_tokens=8192
159- 🛡️ 弹性功能已启用: max_retries=5, TPM=50000
160-
161- ⚠️ 速率限制: Error code: 429 - TPM limit reached
162- 🔄 第 1/5 次重试,等待 1.2秒...
163- ✅ 重试成功
164- ```
165-
166- ** 📖 详细文档** :[ API 速率限制处理方案] ( docs/API_RATE_LIMIT_HANDLING.md )
167-
16893### 使用示例
16994
17095#### 命令行工具
You can’t perform that action at this time.
0 commit comments