Skip to content

Latest commit

 

History

History
24 lines (16 loc) · 1.23 KB

File metadata and controls

24 lines (16 loc) · 1.23 KB

CLI 使用(本地参考)

LazyLLM 命令行用于依赖安装、模型部署与运行服务。完整参数见项目 docs/zh/API Reference/cli.mddocs/en/API Reference/cli.md

lazyllm deploy

  • 模型部署(默认):lazyllm deploy <模型名> [--framework vllm|lightllm|lmdeploy|...] [--chat=true] [key=value ...]
    • 支持框架:vllm、lightllm、lmdeploy、infinity、embedding、mindie、auto
    • 其他参数以 key=value 形式传入
  • MCP 服务lazyllm deploy mcp_server <cmd> [args...],可选 -e VAR value--sse-port--sse-host--allow-origin--pass-environment

lazyllm install

  • 组件组lazyllm install embedding chat finetune(可多选)
  • 指定包lazyllm install openai sentence-transformers(可多选)

lazyllm run

  • 聊天服务lazyllm run chatbot --model <模型> [--framework vllm|lightllm|lmdeploy]
  • RAG 服务lazyllm run rag --model <模型> [--framework ...] --documents <文档路径>
  • 工作流lazyllm run <workflow.json>
  • 训练/推理服务lazyllm run training_servicelazyllm run infer_service

注意:chatbotragsourceframework 互斥,仅能从预设选项中选择。