Skip to content

请问加载本地大模型时的参数Ollama auto unload是在何时卸载模型的? #86

@KohigashiHitona

Description

@KohigashiHitona

我使用LM studio的API接入本地大模型,似乎会导致生图环节耗时严重延长。生图结束后,禁用LLM节点使用相同提示词再生图也是如此。
所以卸载模型是跑完加载本地大模型节点(比如提示词优化)之后立即卸载,然后再跑后面的节点;还是跑完整个工作流以后再卸载?
此外这个Ollama auto unload对LM studio程序真的有作用吗?我似乎观察到了加载模型时,LM studio的工作界面会显示加载模型的过程,但跑完工作流后却没看见工作界面提示模型卸载。

PS:zhihui nodes comfyui插件的LM Studio Node节点的unload model参数能够成功卸载模型。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions