Docker中使用NUMA

[yeungtuzi]

docker默认不允许numa bind，创建容器时需要修改配置
参考
docker run --runtime=nvidia --gpus all --privileged -v /opt/model:/model -p 10002:10002 -e HF_ENDPOINT=https://hf-mirror.com --name ktransformers -itd docker.m.daocloud.io/approachingai/ktransformers:v0.2.4post1-AVX512
或者
在启动的命令后面添加 --security-opt seccomp=unconfined 忽略安全验证

进去之后，pip install cmake --upgrade (修补0.24镜像的缺陷)
apt update && apt install libnuma-dev libnuma1
USE_NUMA=1 USE_BALANCE_SERVE=1 bash ./install.sh

之后正常运行