ChatGPT Memory and the Bitter Lesson

TL;DR

ChatGPT的记忆架构采用交互元数据、近期对话、用户设定和自动生成的用户知识四层结构，优先依赖模型自身能力处理记忆，而非外部检索系统。其策略基于模型智能提升和算力扩展，但面临信息更新与准确性验证等挑战。

ChatGPT的记忆系统采用四层架构：交互元数据、近期对话内容、用户设定上下文以及用户知识记忆。各层功能明确，但实际工作机制较少公开讨论。

交互元数据包括设备信息和用户行为模式（如屏幕尺寸、使用偏好），ChatGPT可能利用这些数据优化响应，例如在未明确询问时根据设备类型提供针对性建议。

近期对话内容存储用户最近的40次对话（仅用户消息），用于连接跨对话的上下文，提升回答的相关性，可能是出于效率或节省token考虑。

用户设定上下文是用户主动提供的记忆条目（如过敏信息），完全由用户控制并优先于其他记忆模块，作为“事实来源”覆盖冲突数据。

用户知识记忆是AI自动生成的密集摘要，基于大量对话内容提炼用户模式（如旅行习惯、技术偏好）。这些记忆不可见且不可编辑，会定期更新但可能包含过时信息，因其无法自动检测变化。尽管存在不准确之处，它们仍有效捕捉用户行为模式。

整体上，记忆系统类似于LLM训练结构：用户知识记忆如预训练基模，提供基础但可能陈旧的知识；其他三层如微调层（用户设定上下文类似RLHF，近期对话如上下文学习，元数据如系统默认设置），共同实现动态调整。

OpenAI的策略基于两个核心假设：模型足够智能以处理无关上下文，以及上下文窗口扩展与成本下降的趋势。其方法摒弃了传统复杂检索系统（如向量数据库、RAG），选择在每次交互中注入全部记忆数据，依赖模型自身能力筛选相关信息。这体现了“苦涩教训”思想：通过提升模型能力和算力，而非精巧工程，解决记忆问题。

未来挑战包括如何更频繁更新记忆、检测信息过时、验证准确性，以及理解用户未提及的生活方面。这些需重新思考记忆与对话的交互方式，而非仅靠技术改进。

记忆系统的演进涉及技术、哲学和伦理问题，如AI暗中构建用户画像的影响。各公司（如Anthropic）采用不同记忆哲学，该领域发展迅速且无统一标准。