问一下有没有那家免费是跟彩云英/日翻中翻译质量差不多的

[myforself]

彩云免费能用，但用一会就挂了。
最近在翻日/英的小说，凡是有少少血腥暴力像CHATGPT直接就封号了，难搞
大家有推荐吗？

[tobchef]

一般的大模型api接口都会有一定的内容审查，这种情况最好是用本地开源大模型，而且最好是abliterated 去除了模型审查机制的版本

对于一般翻译任务，好一点的10b以内的量化模型就足够了，例如Qwen2.5-7B-Instruct，Gemma-2-9B-it，本地有个8G显存就能跑q4量化的gguf版本

用llama.cpp的llama-server服务端跑，不需要安装任何依赖，甚至没有显卡用CPU也能跑。跟ollama一样，你只要把openai接口的api地址改本地http://localhost:8080/v1就好了

[tobchef]

去官方发布页，针对你的显卡下载对应的包，如果是N卡就是-bin-win-cuda-cu12.4-x64.zip，电脑没装cuda就下载cudart-llama-bin-win-cu12.4-x64.zip，全部解压到一个文件夹
https://github.com/ggml-org/llama.cpp/releases

去hugingface下载gguf量化模型，一般建议是q4km，比如：Qwen2.5-7B-Instruct-Q4_K_M.gguf
https://hf-mirror.com/bartowski/Qwen2.5-7B-Instruct-GGUF/tree/main

然后命令行运行（路径自己改），服务端就跑起来了：
D:\ai\llama.cpp\llama-server -m D:\ai\models\qwen7b.gguf -ngl 99

根据你的显卡实力修改-ngl 99这个数字，比如-ngl 0就是纯CPU跑，-ngl 1就是用显卡跑1层，一般观察显存占用，以不爆显存为准。

最后api/base_url改为就行了
http://localhost:8080/v1

它还自带一个简易的聊天页面，可以浏览器访问：
http://localhost:8080/

[myforself]

去官方发布页，针对你的显卡下载对应的包，如果是N卡就是-bin-win-cuda-cu12.4-x64.zip，电脑没装cuda就下载cudart-llama-bin-win-cu12.4-x64.zip https://github.com/ggml-org/llama.cpp/releases

去hugingface下载gguf量化模型，一般建议是q4km，比如：Qwen2.5-7B-Instruct-Q4_K_M.gguf https://hf-mirror.com/bartowski/Qwen2.5-7B-Instruct-GGUF/tree/main

全部解压到一个文件，然后命令行运行，服务端就跑起来了： D:\ai\llama.cpp\llama-server -m D:\ai\models\qwen7b.gguf -ngl 99

根据你的显卡实力修改-ngl 99这个数字，比如-ngl 0就是纯CPU跑，-ngl 1就是用显卡跑1层，一般观察显存占用，以不爆显存为准。

感谢大佬的指导

我看了一下我电脑的显示卡是NVIDIA Geforce MX250(超烂的内显…)，所以是把cudart-llama-bin-win-cu12.4-x64.zip下载下来后，用Qwen2.5-7B-Instruct-Q4_K_M.gguf跑

D:\ai\llama.cpp\llama-server -m D:\ai\models\qwen7b.gguf -ngl 0
这样吗？

想跑ollama run huihui_ai/deepseek-r1-abliterated:8b的DEEPSEEK R1的abliterated 去除了模型审查机制的话，要怎么搞？

[tobchef]

你去下载R1的gguf量化模型就好了，只需要命令行里改模型地址就行了，

翻译任务并不需要思维链，R1的小模型也是从qwen等模型上蒸馏出来的，并不一定效果更好

建议先从小模型开始先跑通流程，比如最新的gemma3-4b，再测试哪个模型效果更好。

建议再加一个-c参数限制上下文上限，能节省内存/显存占用，默认是-c 4096
D:\ai\llama.cpp\llama-server -m D:\ai\models\qwen7b.gguf -ngl 0 -c 2048

[myforself]

你去下载R1的gguf量化模型就好了，只需要命令行里改模型地址就行了，

翻译任务并不需要思维链，R1的小模型也是从qwen等模型上蒸馏出来的，并不一定效果更好

建议先从小模型开始先跑通流程，比如最新的gemma3-4b，再测试哪个模型效果更好。

建议再加一个-c参数限制上下文上限，能节省内存/显存占用，默认是-c 4096 D:\ai\llama.cpp\llama-server -m D:\ai\models\qwen7b.gguf -ngl 0 -c 2048

关键就是我看不完全懂那个是DEEPSEEK R1的gguf量化模型(我这破英文)
之前WEBSITE DEEPSEEK R1用过效果很好，但当然翻译一半就直接被封了。

另外问一下，这个本地模型支持直接文件档(TXT/EPUB)翻译吗？

[myforself]

你去下载R1的gguf量化模型就好了，只需要命令行里改模型地址就行了，

翻译任务并不需要思维链，R1的小模型也是从qwen等模型上蒸馏出来的，并不一定效果更好

建议先从小模型开始先跑通流程，比如最新的gemma3-4b，再测试哪个模型效果更好。

建议再加一个-c参数限制上下文上限，能节省内存/显存占用，默认是-c 4096 D:\ai\llama.cpp\llama-server -m D:\ai\models\qwen7b.gguf -ngl 0 -c 2048

找到了，但GGUF有很多个版本，最新的是https://hf-mirror.com/bartowski/DeepSeek-R1-Distill-Qwen-7B-GGUF

有甚麽分别吗？怎看是不是去除了模型审查机制的版本