Skip to content

README-legacy-cn.md

Latest commit

 

History

History
108 lines (80 loc) · 9.24 KB

README-legacy-cn.md

File metadata and controls

108 lines (80 loc) · 9.24 KB

MiniCPM 历史专题

早期 MiniCPM 模型的附属说明。当前主推模型见 主 README。

English: README-legacy.md

BitCPM4: 模型量化

BitCPM4 是基于 MiniCPM 系列模型进行量化感知训练（QAT）后得到的三值量化模型，在训练效率和模型参数效率实现了有效的提升。

  • 训练方法改进
    • 在小规模模型上进行风洞实验，搜索训练所需的训练超参。
    • 通过使用一阶段高精训练+二阶段 QAT 的方法，充分利用已经完成或部分完成训练的高精度模型，极大地压缩了 QAT 阶段所需要的算力。
  • 高效参数效率
    • 模型使用 1.58Bit 的位宽达到的性能对标与同参数量级别的全精度模型，模型参数效率高。

BitCPM4 评测

BitCPM4 在测试中的表现可以对标同级别的业界主流全精度模型。 bitcpm-benchmark

BitCPM4 模型推理

BitCPM4 开源的模型参数为伪量化形式，可以直接使用 Huggingface 框架进行推理。

MiniCPM4 应用

查看 MiniCPM4 的应用 #### MiniCPM4-Survey: 综述生成 MiniCPM4-Survey 是由 [THUNLP](https://nlp.csai.tsinghua.edu.cn)、中国人民大学和 [ModelBest](https://modelbest.cn/en) 联合开发的开源大语言模型智能体。它基于 MiniCPM4-8B 基座模型，接受用户质量作为输入，自主生成可信的长篇综述论文。 主要特性包括： - 计划-检索-写作生成框架 — 我们提出了一个多智能体生成框架，包含三个核心阶段：计划（定义综述的整体结构）、检索（生成合适的检索关键词）和写作（利用检索到的信息，生成连贯的段落）。 - 高质量数据集构建——我们收集并处理大量人类专家写作的综述论文，构建高质量训练集。同时，我们收集大量研究论文，构建检索数据库。 - 多方面奖励设计 — 我们精心设计了包含结构、内容和引用的奖励，用于评估综述的质量，在强化学习训练阶段作奖励函数。 - 多步强化学习训练策略 — 我们提出了一个上下文管理器，以确保在促进有效推理的同时保留必要的信息，并构建了并行环境，维持强化学习训练高效。 ##### 使用与演示案例

详见此处

评估
Method Relevance Coverage Depth Novelty Avg. Fact Score
Naive RAG (driven by G2FT) 3.25 2.95 3.35 2.60 3.04 43.68
AutoSurvey (driven by G2FT) 3.10 3.25 3.15 3.15 3.16 46.56
Webthinker (driven by WTR1-7B) 3.30 3.00 2.75 2.50 2.89 --
Webthinker (driven by QwQ-32B) 3.40 3.30 3.30 2.50 3.13 --
OpenAI Deep Research (driven by GPT-4o) 3.50 3.95 3.55 3.00 3.50 --
MiniCPM4-Survey 3.45 3.70 3.85 3.00 3.50 68.73
   w/o RL 3.55 3.35 3.30 2.25 3.11 50.24

GPT-4o 对综述生成系统的性能比较。“G2FT” 代表 Gemini-2.0-Flash-Thinking，“WTR1-7B” 代表 Webthinker-R1-7B。由于 Webthinker 不包括引用功能，OpenAI Deep Research 在导出结果时不提供引用，因此省略了对它们的 FactScore 评估。我们的技术报告中包含评测的详细信息。

MiniCPM4-MCP: MCP增强的工具调用

MiniCPM4-MCP 是由清华大学自然语言处理实验室（THUNLP）、中国人民大学与 ModelBest 联合开发的开源本地大语言模型代理，它基于 MiniCPM-4-8B，拥有 80 亿参数。它能够通过 MCP 协议与各种工具和数据资源交互，解决多种真实世界任务。截至目前，MiniCPM4-MCP 已支持：

  • 涵盖 16 个 MCP 服务器（servers）中工具的使用：这些服务器所包含的工具横跨了办公类、生活类、通讯类、资讯类、工作管理类等.

  • 单工具使用的能力：可使用符合 MCP 协议的工具进行单一工具的一步或多步调用。

  • 跨工具组合使用的能力：可组合使用符合 MCP 协议的不同工具。

使用与演示案例

详见此处

评估
MCP 服务器 gpt-4o qwen3 minicpm4
函数名正确率 参数名正确率 数值正确率 函数名正确率 参数名正确率 数值正确率 函数名正确率 参数名正确率 数值正确率
Airbnb 89.3 67.9 53.6 92.8 60.7 50.0 96.4 67.9 50.0
Amap-Maps 79.8 77.5 50.0 74.4 72.0 41.0 89.3 85.7 39.9
Arxiv-MCP-Server 85.7 85.7 85.7 81.8 54.5 50.0 57.1 57.1 52.4
Calculator 100.0 100.0 20.0 80.0 80.0 13.3 100.0 100.0 6.67
Computor-Control-MCP 90.0 90.0 90.0 90.0 90.0 90.0 90.0 90.0 86.7
Desktop-Commander 100.0 100.0 100.0 100.0 100.0 100.0 100.0 100.0 100.0
Filesystem 63.5 63.5 31.3 69.7 69.7 26.0 83.3 83.3 42.7
Github 92.0 80.0 58.0 80.5 50.0 27.7 62.8 25.7 17.1
Gaode 71.1 55.6 17.8 68.8 46.6 24.4 68.9 46.7 15.6
MCP-Code-Executor 85.0 80.0 70.0 80.0 80.0 70.0 90.0 90.0 65.0
MCP-Docx 95.8 86.7 67.1 94.9 81.6 60.1 95.1 86.6 76.1
PPT 72.6 49.8 40.9 85.9 50.7 37.5 91.2 72.1 56.7
PPTx 64.2 53.7 13.4 91.0 68.6 20.9 91.0 58.2 26.9
Simple-Time-Server 90.0 70.0 70.0 90.0 90.0 90.0 90.0 60.0 60.0
Slack 100.0 90.0 70.0 100.0 100.0 65.0 100.0 100.0 100.0
Whisper 90.0 90.0 90.0 90.0 90.0 90.0 90.0 90.0 30.0
平均值 80.2 70.2 49.1 83.5 67.7 43.8 88.3 76.1 51.2

MiniCPM Intel AIPC Client: 端侧大模型客户端

MiniCPM Intel AIPC Client 是面壁智能和 Intel 合作推出的端侧大模型客户端，专为搭载 Intel Core Ultra 系列处理器的设备设计，旨在为开发者、研究人员与 AI 爱好者带来低延迟、高效率、高隐私的本地大模型使用体验。其核心特性如下：

  • 深度适配 Intel 硬件：全面支持 Intel Core Ultra 系列处理器，实现与硬件的深度融合，充分释放硬件性能，让用户无需依赖云端，在本地设备上就能流畅运行大模型。
  • 基于 OpenVINO 的极致优化：基于 OpenVINO 推理框架进行深度优化，大幅提升推理效率，推理速度最高可达每秒 80 tokens，确保模型响应迅速，无论是快速问答还是复杂任务处理，都能高效完成。
  • 隐私安全保障：采用本地部署方式，所有数据处理均在本地设备完成，避免数据上传至云端带来的隐私风险，让用户使用更安心，尤其适合对数据隐私要求较高的场景。
  • 面向多元用户群体：无论是追求前沿技术的开发者，专注学术研究的科研人员，还是热衷于探索 AI 应用的爱好者，都能通过 MiniCPM Intel AIPC Client，轻松体验本地大模型的强大功能，开启个性化的 AI 探索之旅 。

配置要求：

  • 建议使用英特尔酷睿 ultra7 及以上移动端处理器
  • 建议运行内存 32GB 及以上

应用下载：

下载地址