编译成功，执行报错：ModuleNotFoundError: No module named 'sched_ext'

[iseebrowser]

执行时报错：
Traceback (most recent call last):
File "/home/ai2/miniconda3/envs/ktransformers/bin/ktransformers", line 5, in
from ktransformers.server.main import main
File "/home/ai2/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/main.py", line 11, in
from ktransformers.server.args import ArgumentParser
File "/home/ai2/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/args.py", line 3, in
from ktransformers.util.utils import get_free_ports
File "/home/ai2/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 17, in
from ktransformers.models.custom_cache import StaticCache
File "/home/ai2/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/models/custom_cache.py", line 15, in
from ktransformers.server.balance_serve.settings import sched_ext
File "/home/ai2/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/balance_serve/settings.py", line 13, in
import sched_ext
ModuleNotFoundError: No module named 'sched_ext'。
在代码里搜了下，应该是模块没有绑定好，对python不熟悉，不知道咋搞：
csrc/balance_serve/sched/CMakeLists.txt:pybind11_add_module(sched_ext bind.cpp)

[iseebrowser]

改成如下编译命令：
USE_BALANCE_SERVE=1 bash ./install.sh
编译通过，运行时：
ImportError: /home/ai2/ktransformers/build/lib.linux-x86_64-cpython-311/libcache_entry.so: undefined symbol: _ZN21PageAlignedMemoryPool5debugEv

[vibe-Chen]

see #1017 (comment) for (a currently temporal) solution

[AK760]

我也遇到类似问题了

[iseebrowser]

以上2个问题都已经解决。方法如下：
git下载代码后第一次编译时成功，再次编译后执行时将会出现问题。
我采用执行命令（在源代码目录）：
python ktransformers/server/main.py
--host 0.0.0.0 --port 7001
--model_name DeepSeek-V3
--model_path /data/models/DeepSeek-V3
--gguf_path /data/models/DeepSeek-V3-UD-Q2_K_XL
--optimize_config_path ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-serve.yaml
--use_cuda_graph
--cpu_infer 21
--max_new_tokens 16384
--cache_lens 32768
--chunk_size 256
--max_batch_size 4
--backend_type balance_serve
若采用ktransformers命令在非源代码目录执行，则--optimize_config_path需要正确配置DeepSeek-V3-Chat-serve.yaml的目录位置。或者将DeepSeek-V3-Chat-serve.yaml文件拷贝到自己习惯的目录。

[zhangxiaoduo0]

Your orders don't apply. Recompiling with 'pip install -v. --no-build-isolation --config-settings build_extra_args="-j$(nproc)"' did not produce the 'sched_ext' module either. Current version 0.2.4post1, last deployed version 0.2.1post1 does not use 'sched_ext'

[iseebrowser]

测试结果：
双路Intel(R) Xeon(R) Gold 6230 CPU @ 2.10GHz，512G DDR4 2933频率内存，未开启NUMA，token生成速度约在每秒7.x个，基本可用了。
性能相比0.2.3提升40%，0.2.3生成速度约在每秒5.x个。

[dongfengcn]

我这里的情况，CentOS 8，cuda 12.3，使用0.2.4post1，GCC 11.5（必须是11.x版本，8.x 9.x 10.x版本会报错，太高的版本也不行），conda 虚拟环境中，使用python 3.11，
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip3 install packaging ninja cpufeature numpy
pip install https://github.com/Dao-AILab/flash-attention/releases/download/v2.7.0.post1/flash_attn-2.7.0.post1+cu12torch2.5cxx11abiFALSE-cp311-cp311-linux_x86_64.whl
pip install tbb tbb-devel cmake，
需要设置 CMAKE_C_COMPILER CMAKE_CXX_COMPILER，然后USE_BALANCE_SERVE=1 sh install.sh就可以正常编译成功。
不需要改ktransformers的代码。

[McDifference]

第一次编译的时候没有加USE_BALANCE_SERVE=1，成功了，但是运行时会提示ModuleNotFoundError: No module named 'sched_ext'
后来加了USE_BALANCE_SERVE=1，总是编译不过，期间cmake从3.31.6升级到4.0.1，依然报错。把gcc和g++升级到11后，就编译成功了，目前还没有运行，后续再更新运行情况。

以下是我的编译环境：
A800 80G
Ubuntu 20.04
python 3.12
cuda 12.4
pytorch 2.5.1
cmake 4.0.1
gcc 11.4.0
g++ 11.4.0

编译命令：
env USE_BALANCE_SERVE=1 USE_NUMA=1 TORCH_CUDA_ARCH_LIST="8.0" PYTHONPATH="$(which python)” PATH="$(dirname $(which python)):$PATH” bash ./install.sh