Merge pull request #1364 from Mai-with-u/dev

Dev

Author: SengokuCola

.gitignore

@@ -69,7 +69,6 @@ elua.confirmed
 .Python
 build/
 develop-eggs/
-dist/
 downloads/
 eggs/
 .eggs/

README.md

@@ -44,14 +44,16 @@
 
 ## 🔥 更新和安装
 
-**最新版本: v0.11.0** ([更新日志](changelogs/changelog.md))
+**最新版本: v0.11.3** ([更新日志](changelogs/changelog.md))
 
 可前往 [Release](https://github.com/MaiM-with-u/MaiBot/releases/) 页面下载最新版本
 可前往 [启动器发布页面](https://github.com/MaiM-with-u/mailauncher/releases/)下载最新启动器
 **GitHub 分支说明：**
 - `main`: 稳定发布版本(推荐)
+
+
 - `dev`: 开发测试版本(不稳定)
-- `classical`: 旧版本(停止维护)
+- `classical`: 经典版本(停止维护)
 
 ### 最新版本部署教程
 - [🚀 最新版本部署教程](https://docs.mai-mai.org/manual/deployment/mmc_deploy_windows.html) - 基于 MaiCore 的新版本部署方式(与旧版本不兼容)

bot.py

@@ -107,9 +107,6 @@ async def graceful_shutdown():  # sourcery skip: use-named-expression
 
         logger.info("麦麦优雅关闭完成")
 
-        # 关闭日志系统，释放文件句柄
-        shutdown_logging()
-
     except Exception as e:
         logger.error(f"麦麦关闭失败: {e}", exc_info=True)
 
@@ -215,6 +212,10 @@ def raw_main():
         # 创建事件循环
         loop = asyncio.new_event_loop()
         asyncio.set_event_loop(loop)
+        
+        # 初始化 WebSocket 日志推送
+        from src.common.logger import initialize_ws_handler
+        initialize_ws_handler(loop)
 
         try:
             # 执行初始化和任务调度
@@ -241,14 +242,16 @@ def raw_main():
         # 确保 loop 在任何情况下都尝试关闭（如果存在且未关闭）
         if "loop" in locals() and loop and not loop.is_closed():
             loop.close()
-            logger.info("事件循环已关闭")
+            print("[主程序] 事件循环已关闭")
 
         # 关闭日志系统，释放文件句柄
         try:
             shutdown_logging()
         except Exception as e:
             print(f"关闭日志系统时出错: {e}")
 
-        # 在程序退出前暂停，让你有机会看到输出
-        # input("按 Enter 键退出...")  # <--- 添加这行
-        sys.exit(exit_code)  # <--- 使用记录的退出码
+        print("[主程序] 准备退出...")
+        
+        # 使用 os._exit() 强制退出，避免被阻塞
+        # 由于已经在 graceful_shutdown() 中完成了所有清理工作，这是安全的
+        os._exit(exit_code)

changelogs/changelog.md

@@ -1,6 +1,17 @@
 # Changelog
 
-## [0.11.2] - 2025-11-15
+## [0.11.3] - 2025-11-17
+### 功能更改和修复
+- 优化记忆提取策略
+- 优化黑话提取
+- 优化表达方式学习
+- 修改readme
+- 加入测试版webui
+
+提示：清理旧的记忆数据和表达方式，表现更好
+方法：删除数据库中 expression jargon 和 thinking_back 的全部内容
+
+## [0.11.2] - 2025-11-16
 ### 🌟 主要功能更改
 - "海马体Agent"记忆系统上线，最新最好的记忆系统，默认已接入lpmm
 - 添加黑话jargon学习系统

src/chat/knowledge/qa_manager.py

@@ -98,8 +98,13 @@ async def process_query(
 
         return result, ppr_node_weights
 
-    async def get_knowledge(self, question: str) -> Optional[str]:
-        """获取知识"""
+    async def get_knowledge(self, question: str, limit: int = 5) -> Optional[str]:
+        """获取知识
+
+        Args:
+            question: 查询问题
+            limit: 返回的相关知识条数
+        """
         # 处理查询
         processed_result = await self.process_query(question)
         if processed_result is not None:
@@ -109,16 +114,27 @@ async def get_knowledge(self, question: str) -> Optional[str]:
                 logger.debug("知识库查询结果为空，可能是知识库中没有相关内容")
                 return None
 
+            limit = max(1, limit) if isinstance(limit, int) else 5
+
             knowledge = [
                 (
                     self.embed_manager.paragraphs_embedding_store.store[res[0]].str,
                     res[1],
                 )
                 for res in query_res
             ]
-            found_knowledge = "\n".join(
-                [f"第{i + 1}条知识：{k[0]}\n 该条知识对于问题的相关性：{k[1]}" for i, k in enumerate(knowledge)]
-            )
+
+            # max_score = max([k[1] for k in knowledge]) if knowledge else None
+            selected_knowledge = knowledge[:limit]
+
+            formatted_knowledge = [
+                f"第{i + 1}条知识：{k[0]}\n 该条知识对于问题的相关性：{k[1]}"
+                for i, k in enumerate(selected_knowledge)
+            ]
+            # if max_score is not None:
+                # formatted_knowledge.insert(0, f"最高相关系数：{max_score}")
+
+            found_knowledge = "\n".join(formatted_knowledge)
             if len(found_knowledge) > MAX_KNOWLEDGE_LENGTH:
                 found_knowledge = found_knowledge[:MAX_KNOWLEDGE_LENGTH] + "\n"
             return found_knowledge

src/common/database/database_model.py

@@ -311,6 +311,8 @@ class Expression(BaseModel):
     context = TextField(null=True)
     up_content = TextField(null=True)
 
+    content_list = TextField(null=True)
+    count = IntegerField(default=1)
     last_active_time = FloatField()
     chat_id = TextField(index=True)
     create_date = FloatField(null=True)  # 创建日期，允许为空以兼容老数据

src/common/logger.py

@@ -19,6 +19,7 @@
 # 全局handler实例，避免重复创建
 _file_handler = None
 _console_handler = None
+_ws_handler = None
 
 
 def get_file_handler():
@@ -59,6 +60,35 @@ def get_console_handler():
     return _console_handler
 
 
+def get_ws_handler():
+    """获取 WebSocket handler 单例"""
+    global _ws_handler
+    if _ws_handler is None:
+        _ws_handler = WebSocketLogHandler()
+        # WebSocket handler 推送所有级别的日志
+        _ws_handler.setLevel(logging.DEBUG)
+    return _ws_handler
+
+
+def initialize_ws_handler(loop):
+    """初始化 WebSocket handler 的事件循环
+    
+    Args:
+        loop: asyncio 事件循环
+    """
+    handler = get_ws_handler()
+    handler.set_loop(loop)
+    
+    # 为 WebSocket handler 设置 JSON 格式化器（与文件格式相同）
+    handler.setFormatter(file_formatter)
+    
+    # 添加到根日志记录器
+    root_logger = logging.getLogger()
+    if handler not in root_logger.handlers:
+        root_logger.addHandler(handler)
+        print("[日志系统] ✅ WebSocket 日志推送已启用")
+
+
 class TimestampedFileHandler(logging.Handler):
     """基于时间戳的文件处理器，简单的轮转份数限制"""
 
@@ -145,12 +175,78 @@ def close(self):
         super().close()
 
 
+class WebSocketLogHandler(logging.Handler):
+    """WebSocket 日志处理器 - 将日志实时推送到前端"""
+    
+    _log_counter = 0  # 类级别计数器,确保 ID 唯一性
+    
+    def __init__(self, loop=None):
+        super().__init__()
+        self.loop = loop
+        self._initialized = False
+    
+    def set_loop(self, loop):
+        """设置事件循环"""
+        self.loop = loop
+        self._initialized = True
+    
+    def emit(self, record):
+        """发送日志到 WebSocket 客户端"""
+        if not self._initialized or self.loop is None:
+            return
+        
+        try:
+            # 获取格式化后的消息
+            # 对于 structlog,formatted message 包含完整的日志信息
+            formatted_msg = self.format(record) if self.formatter else record.getMessage()
+            
+            # 如果是 JSON 格式(文件格式化器),解析它
+            message = formatted_msg
+            try:
+                import json
+                log_dict = json.loads(formatted_msg)
+                message = log_dict.get('event', formatted_msg)
+            except (json.JSONDecodeError, ValueError):
+                # 不是 JSON,直接使用消息
+                message = formatted_msg
+            
+            # 生成唯一 ID: 时间戳毫秒 + 自增计数器
+            WebSocketLogHandler._log_counter += 1
+            log_id = f"{int(record.created * 1000)}_{WebSocketLogHandler._log_counter}"
+            
+            # 格式化日志数据
+            log_data = {
+                "id": log_id,
+                "timestamp": datetime.fromtimestamp(record.created).strftime("%Y-%m-%d %H:%M:%S"),
+                "level": record.levelname,
+                "module": record.name,
+                "message": message,
+            }
+            
+            # 异步广播日志(不阻塞日志记录)
+            try:
+                import asyncio
+                from src.webui.logs_ws import broadcast_log
+                
+                asyncio.run_coroutine_threadsafe(
+                    broadcast_log(log_data),
+                    self.loop
+                )
+            except Exception:
+                # WebSocket 推送失败不影响日志记录
+                pass
+                
+        except Exception:
+            # 不要让 WebSocket 错误影响日志系统
+            self.handleError(record)
+
+
 # 旧的轮转文件处理器已移除，现在使用基于时间戳的处理器
 
 
 def close_handlers():
     """安全关闭所有handler"""
-    global _file_handler, _console_handler
+    global _file_handler, _console_handler, _ws_handler
 
     if _file_handler:
         _file_handler.close()
@@ -159,6 +255,10 @@ def close_handlers():
     if _console_handler:
         _console_handler.close()
         _console_handler = None
+    
+    if _ws_handler:
+        _ws_handler.close()
+        _ws_handler = None
 
 
 def remove_duplicate_handlers():  # sourcery skip: for-append-to-extend, list-comprehension
@@ -843,8 +943,8 @@ def cleanup_task():
 
 def shutdown_logging():
     """优雅关闭日志系统，释放所有文件句柄"""
-    logger = get_logger("logger")
-    logger.info("正在关闭日志系统...")
+    # 先输出到控制台，避免日志系统关闭后无法输出
+    print("[logger] 正在关闭日志系统...")
 
     # 关闭所有handler
     root_logger = logging.getLogger()
@@ -865,4 +965,5 @@ def shutdown_logging():
                     handler.close()
                 logger_obj.removeHandler(handler)
 
-    logger.info("日志系统已关闭")
+    # 使用 print 而不是 logger，因为 logger 已经关闭
+    print("[logger] 日志系统已关闭")

src/common/server.py

@@ -2,6 +2,7 @@
 from fastapi.middleware.cors import CORSMiddleware  # 新增导入
 from typing import Optional
 from uvicorn import Config, Server as UvicornServer
+import asyncio
 import os
 from rich.traceback import install
 
@@ -82,8 +83,17 @@ async def shutdown(self):
         """安全关闭服务器"""
         if self._server:
             self._server.should_exit = True
-            await self._server.shutdown()
-            self._server = None
+            try:
+                # 添加 3 秒超时，避免 shutdown 永久挂起
+                await asyncio.wait_for(self._server.shutdown(), timeout=3.0)
+            except asyncio.TimeoutError:
+                # 超时就强制标记为 None，让垃圾回收处理
+                pass
+            except Exception:
+                # 忽略其他异常
+                pass
+            finally:
+                self._server = None
 
     def get_app(self) -> FastAPI:
         """获取 FastAPI 实例"""

src/config/config.py

@@ -56,7 +56,7 @@
 
 # 考虑到，实际上配置文件中的mai_version是不会自动更新的,所以采用硬编码
 # 对该字段的更新，请严格参照语义化版本规范：https://semver.org/lang/zh-CN/
-MMC_VERSION = "0.11.2"
+MMC_VERSION = "0.11.3"
 
 
 def get_key_comment(toml_table, key):