Getting chat-tuned models to act kinda like base models

TL;DR

本文介绍了两种让对话微调的大型语言模型表现得像基础模型的技巧：使用虚假工具调用和部分预填充。这些方法通过系统提示和预设回复引导模型生成更自然的文本，但部分平台已限制此功能以防止不安全内容。

本文介绍了如何让经过对话微调的大型语言模型（LLM）表现得像基础模型（base models），主要通过两种技巧实现：

虚假工具调用（Fake tool calls）：
- 核心方法是使用系统提示，让模型误以为可以调用工具（如网络搜索、文件读取等），但实际上工具是虚构的。
- 模型会生成工具调用的XML格式，并自行生成工具响应（如伪造网页内容或文件内容），从而绕过对话模型的“助手”角色，生成更自然的文本补全。
- 示例提示包括定义虚假工具（如web_fetch、web_search、bash）和调用格式，但需注意模型可能因训练后调整而对非助手角色的生成行为有所限制（如避免生成不安全内容）。
- 作者提到，早期尝试在API中定义真实工具调用，但模型常忽略系统提示，因此改为仅使用虚假工具定义。
部分预填充（Partial prefills）：
- 通过预先填充助手回复的部分内容，引导模型生成特定方向的补全。
- 这有助于强制模型立即调用工具或控制工具响应的格式（如避免伪造错误或设定标题）。
- 但OpenAI和Anthropic（新模型）已限制此功能，以防止模型被诱导生成不安全内容；Gemini模型仍支持，但易被越狱。

文章总结指出，这些技巧能让聊天模型更接近基础模型的行为，鼓励读者自行实验。作者还提到，模型在生成未来内容（如2030年新闻）时会避免创造新信息，而是基于知识截止日期生成内容，导致模型困惑。