Skip to content

qwen.md

Latest commit

 

History

History
143 lines (96 loc) · 5.96 KB

qwen.md

File metadata and controls

143 lines (96 loc) · 5.96 KB

Qwen系列开源模型

Qwen3.5系列

Qwen3.5-27B (Dense) vs. Qwen3.5-35B-A3B (MoE)

  • Qwen3.5-27B (Dense):
    • 显存需求： 4-bit 量化下约 15G。这是 24G 显卡的“甜点级”模型，预留了约 8-9G 显存给训练（微调）或超长上下文。
    • 特点： 极致的中文理解能力，代码和数学能力极强。
  • Qwen3.5-35B-A3B (MoE):
    • 显存需求： 4-bit 量化下约 19-20G。
    • 风险： 24G 显存在加载此模型后，剩余显存较少（仅 4G 左右）。一旦开启长文本对话，极易导致显存溢出（OOM），或者被迫大幅缩减 Context Length。

🏆 推荐：Qwen3.5-27B (Dense)

理由： 稳定性高于一切。35B MoE 带来的性能提升（如果有的话）不足以抵消它在 24G 显卡上捉襟见肘的显存空间。27B 能够让你在不牺牲上下文长度的前提下，获得极佳的体验。

根据最新的评测和对比数据，Qwen3.5-27B (Dense) 和 Qwen3.5-35B-A3B (MoE) 的选择非常明确：除非你对速度有极致追求，否则 27B Dense 是更好的选择。

  • 核心差异对比
维度 Qwen3.5-27B (Dense) Qwen3.5-35B-A3B (MoE)
架构 Dense（稠密） MoE（混合专家）
总参数量 27B 35B
激活参数量 27B（全部） 3B（每token）
上下文窗口 262K（可扩展到1M） 262K
显存需求（4-bit） ~16-20 GB ~8-10 GB
显存需求（8-bit） ~28-30 GB ~16-18 GB
  • 官方Benchmark对比
测试项 27B Dense 35B-A3B MoE 差距
MMLU-Pro 86.1% 85.3% +0.8%
GPQA Diamond 85.5% 84.2% +1.3%
HMMT Feb 2025 92.0% 89.0% +3.0%
LiveCodeBench v6 80.7% 74.6% +6.1%
SWE-bench Verified 72.4% 69.2% +3.2%
MMMU-Pro 67.3% 68.4% -1.1%

关键发现：27B 在绝大多数关键基准上全面领先，尤其是代码能力（LiveCodeBench 领先 6.1%）和软件工程（SWE-bench 领先 3.2%），仅在多模态 MMMU-Pro 上略逊 1.1%。

  • 实际本地部署表现（同硬件实测）
指标 35B-A3B 27B Dense 差异
Q8 量化速度 ~46 t/s ~7.5 t/s 6倍快
功能完整性 部分功能缺失 更稳定完整 质量 vs 速度
复杂任务成功率 较低 更高 如飞行模拟一次成功

实测细节：

  • 35B-A3B 在浏览器 OS 测试中 Snake 游戏无法运行，27B 虽然慢但能跑通
  • 27B 在飞行模拟器测试中一次生成完全可玩的游戏，35B-A3B 未通过该测试
  • 35B-A3B 的迭代优化能力强（速度快便于多轮迭代），27B 则一次生成质量更高

架构特点分析

Qwen3.5-27B Dense 优势：

  • 所有 27B 参数全部激活，推理密度最高
  • IFEval 95.0 — 指令遵循能力极强
  • 复杂逻辑和代码任务表现更稳定
  • 适合需要一次生成高质量结果的场景

Qwen3.5-35B-A3B MoE 优势：

  • 仅需 8GB+ 显存即可运行（4-bit），硬件门槛极低
  • 速度极快（46 t/s vs 7.5 t/s），适合实时交互
  • 支持快速迭代和自我修正
  • 适合资源受限环境或高并发服务

选择建议

✅ 选 27B Dense 如果你：

  • 拥有 24GB+ 显存（如 RTX 4090/3090、A100）
  • 追求最高代码质量和推理准确性
  • 需要一次生成可靠结果（如生产级代码、复杂分析）
  • 进行软件工程任务（SWE-bench 表现更强）
  • 重视指令遵循稳定性（IFEval 95.0）

✅ 选 35B-A3B 如果你：

  • 只有 8-12GB 显存（如 RTX 3060/4060、笔记本显卡）
  • 速度是第一优先级（如实时聊天、快速原型）
  • 需要频繁迭代优化（利用速度优势多轮改进）
  • 运行轻量级任务且可接受偶尔的功能缺失

关键洞察

与 Gemma 4 的情况不同（MoE 和 Dense 差距仅 2-3%），Qwen3.5 的 27B Dense 在质量上明显优于 35B-A3B，特别是在：

  • 代码生成（LiveCodeBench 80.7% vs 74.6%）
  • 软件工程（SWE-bench 72.4% vs 69.2%）
  • 数学推理（HMMT 92.0% vs 89.0%）

社区甚至有讨论认为 27B Dense 在某些任务上超过 122B-A10B MoE 。

总结

对大多数用户，Qwen3.5-27B (Dense) 是更优选择

它在关键基准上全面领先，且 27B 的硬件要求（24GB 显存）对本地部署用户并非不可接受。35B-A3B 的 6 倍速度优势仅在显存严重不足或极度追求响应速度时才值得考虑，且需接受约 5-6% 的质量下降和偶尔的功能完整性问题。

如果硬件允许，27B Dense 是 Qwen3.5 系列中性价比最高的"甜点"模型。

安装方法

# 拉取模型（约 18GB，4-bit 量化）
ollama pull qwen3.5:27b

# 直接运行交互模式
ollama run qwen3.5:27b

优化配置（5090b 专属）

创建或编辑 Ollama 配置文件以优化 24GB 显存利用：

# Linux/macOS 配置环境变量
export OLLAMA_NUM_PARALLEL=4        # 并发请求数
export OLLAMA_MAX_CONTEXT=32768     # 最大上下文 32K（平衡速度和质量）
export OLLAMA_KV_CACHE_TYPE=q4_0    # KV缓存量化，节省显存 [^43^]

# 或者写入 ~/.bashrc / ~/.zshrc 永久生效

显存计算参考：

  • 模型权重：~18GB (4-bit)
  • KV 缓存 (32K 上下文)：~2-3GB
  • 预留缓冲：~3-4GB
  • 总计：~24GB（刚好满载但不溢出