我使用LM studio的API接入本地大模型,似乎会导致生图环节耗时严重延长。生图结束后,禁用LLM节点使用相同提示词再生图也是如此。
所以卸载模型是跑完加载本地大模型节点(比如提示词优化)之后立即卸载,然后再跑后面的节点;还是跑完整个工作流以后再卸载?
此外这个Ollama auto unload对LM studio程序真的有作用吗?我似乎观察到了加载模型时,LM studio的工作界面会显示加载模型的过程,但跑完工作流后却没看见工作界面提示模型卸载。
PS:zhihui nodes comfyui插件的LM Studio Node节点的unload model参数能够成功卸载模型。
我使用LM studio的API接入本地大模型,似乎会导致生图环节耗时严重延长。生图结束后,禁用LLM节点使用相同提示词再生图也是如此。
所以卸载模型是跑完加载本地大模型节点(比如提示词优化)之后立即卸载,然后再跑后面的节点;还是跑完整个工作流以后再卸载?
此外这个Ollama auto unload对LM studio程序真的有作用吗?我似乎观察到了加载模型时,LM studio的工作界面会显示加载模型的过程,但跑完工作流后却没看见工作界面提示模型卸载。
PS:zhihui nodes comfyui插件的LM Studio Node节点的unload model参数能够成功卸载模型。