请问用什么工具可以INT4 量化 ChatGLM3-6B这个模型？

[shawn9977]

System Info / 系統信息

请问用什么工具可以INT4 量化 ChatGLM3-6B这个模型？

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

请问用什么工具可以INT4 量化 ChatGLM3-6B这个模型？

Expected behavior / 期待表现

请问用什么工具可以INT4 量化 ChatGLM3-6B这个模型？