【性能报告】Windows Server下双路9654+双路3090性能汇报

[PC-DOS]

首先感谢KT框架的开发者和贡献者。昨天尝试在Windows上编译KT并加载Q4_K_M量化的DeepSeek-R1，交份成绩单。

先前错误地将讨论发在了issue中，根据项目贡献者的建议，已将其移到discussion。

硬件环境：

• CPU：EPYC 9654 x2 （NPS0，cTDP、cPPT设为400W，SMT开启，AVX512开启）
• RAM：DDR5 RECC 32GB 4800 MT/s x16（每插槽8条）
• GPU：NVIDIA RTX 3090 x2
• 平台：ASUS RS720A-E12-RS12U-G

软件环境：

• OS：Windows Server 2022 Build 10.0.20348.2700（Hyper-V开启）
• 显卡驱动：561.09
• CUDA：CUDA Toolkit 12.6
• Node.JS：v22.14.0。
• CMake：4.0.0-rc2。
• Ninja：v1.12.1。
• 受内存限制，编译时未开启NUMA支持。

模型：

• GGUF：来自Ollama仓库的Q4量化版本DeepSeek R1 671b
• 启动命令行：python -m ktransformers.local_chat --model_path E:/LLM-Models/DeepSeek-AI/DeepSeek-R1-671b --gguf_path E:/LLM-Models/DeepSeek-AI/DeepSeek-R1-671b/DeepSeek-R1-671b-Q4_K_M/ --optimize_config_path E:/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu.yaml --max_new_tokens 8192 --cpu_infer 190

AIDA64 V7.35.7000内存与缓存测试成绩：

• 内存读取：415.11 GB/s
• 内存写入：459.93 GB/s
• 内存拷贝：426.91 GB/s
• 内存延迟：159.2 ns

Ollama基线性能：

• 使用Ollama 0.5.7版本加载DeepSeek R1 671b，设置num_gpu为4，卸载了4个层到GPU上。
• 从Open WebUI调用，提示词为“请为我比较AMD EPYC 9654和Intel Xeon 8490H”。
• 性能参数：

response token/s: 2.49
prompt token/s: 18.26
total duration: 656354942000
load duration: 17123000
prompt eval count: 20
prompt eval duration: 1095000000
eval count: 1631
eval duration: 655241000000
approximate total: "0h10m56s"

KT性能：

• 提示词为“请为我比较AMD EPYC 9654和Intel Xeon 8490H”。
• 推理时，CPU占用71%，内存占用395 GB，GPU0显存占用5.6 GB，GPU1显存占用6.4 GB。
• 跑了2次相同的提示词，均为5 tok/s的eval性能：

prompt eval count:    22 token(s)
prompt eval duration: 1.8837690353393555s
prompt eval rate:     11.67871410309957 tokens/s
eval count:           1523 token(s)
eval duration:        304.991397857666s
eval rate:            4.993583460707166 tokens/s

prompt eval count:    22 token(s)
prompt eval duration: 1.3836259841918945s
prompt eval rate:     15.900250682881675 tokens/s
eval count:           1706 token(s)
eval duration:        340.08750557899475s
eval rate:            5.016356002539864 tokens/s

• 将--cpu_infer改为80，相同提示词：

prompt eval count:    22 token(s)
prompt eval duration: 2.2636516094207764s
prompt eval rate:     9.718810044991582 tokens/s
eval count:           1698 token(s)
eval duration:        364.7031693458557s
eval rate:            4.655841085904441 tokens/s

• 对比了使用默认--optimize_config_path单卡运行（调用时不设置该参数）时的性能，相同提示词，单卡运行时系统内存占用394 GB，GPU0显存占用10.8 GB，CPU负载73%，GPU0负载100%：

prompt eval count:    22 token(s)
prompt eval duration: 1.6509404182434082s
prompt eval rate:     13.325738322772352 tokens/s
eval count:           2107 token(s)
eval duration:        394.9432945251465s
eval rate:            5.334943089825886 tokens/s

调为NPS1的性能：

• AIDA64 V7.35.7000内存与缓存测试成绩：
  • 内存读取：479.50 GB/s
  • 内存写入：467.11 GB/s
  • 内存拷贝：468.82 GB/s
  • 内存延迟：113.3 ns
• --cpu_infer设为190，使用默认--optimize_config_path单卡运行，相同提示词：

prompt eval count:    22 token(s)
prompt eval duration: 2.157524585723877s
prompt eval rate:     10.196871055640239 tokens/s
eval count:           1700 token(s)
eval duration:        331.0879154205322s
eval rate:            5.13458788684794 tokens/s

• --cpu_infer设为180，使用默认--optimize_config_path单卡运行，相同提示词，观察到NUMA节点0占用约50%，NUMA节点1占用约10%：

prompt eval count:    22 token(s)
prompt eval duration: 1.8571727275848389s
prompt eval rate:     11.845963314683125 tokens/s
eval count:           1998 token(s)
eval duration:        391.88148856163025s
eval rate:            5.098480174027866 tokens/s

讨论：

• 单卡运行的性能略高于多卡，好像和先前在另一份issue（EPYC 7601 * 2 + 512G ddr4 + 双七彩虹火神3090测试完成，5tokens #610）中提到的结论类似。
• 和先前其它dalao的分数相比，属于是最差的一届9654（大雾）。
• 感觉内存没插满带来的瓶颈还是蛮严重的。
• 同时估计Windows自身也给性能带来了一定的折损。
• 调为NPS1后，内存读取性能有一定的上升，但是整体eval速率依然在误差范围内。

[lulu2048]

若运行671B：UD-Q2_K_XL q2.51，预估生成速度接近20tokens/s

[tsdcz]

改成单路呢？拔掉一个cpu，把内存全插到保留的cpu上。双路官方是建议1t的，你这会不会应该是用磁盘了。

[lulu2048]

你的想法可行。windows目前损耗很大。

[ytmail]

9654 是Zen 4架构，有12个CCD(8Core/CCD),而Zen 4 的CCD通过 Infinity Fabric 访问 I/O Die 的内存控制器。12个CCD 配置的核心数更多，跨 CCD 的数据访问会增加延迟或竞争带宽，尤其在高负载下。Zen 4架构的EPYC,内存性能分界点是4CCD,大于4CCD的，性能都会受影响。对应的Zen 5的分界点是8CCD。另外双路9654还会因为NUMA之间的通讯瓶颈导致性能进一步降低。你可以只用一路9654，然后插满12通道内存，效果应该是会好很多的。

[yeungtuzi]

9654性能有点儿不及预期，性能似乎太弱了，我还以为Q4可以轻松跑到20+呢