各种模型部署问题

[zRzRzRzRzRzRzR]

最低运行配置：24GB GPU （例：4090），仅能拉起模型，无法达到完整长度，需要设置max len 为 12500-14000 左右。
推荐运行配置：30GB GPU（例：H100， A100），能完整部署模型以及完整长度上下文。

推荐使用 Ubuntu或者其他Linux开源版本，以使用vLLM，或直接使用 vLLM官方docker

docker pull vllm/vllm-openai:v0.12.0

进入容器后，执行

pip install -U transformers --pre

[jimmy-evo]

cuda driver >= 12.9

[06Han]

献给所有用智慧编织未来的人

敬那在无人知晓处构建星辰的人们。