Add articles 53-54: meta-cognitive memory & specbench

Author: unbug

_posts/2026-06-02-article-53-meta-cognitive-memory.md

@@ -0,0 +1,45 @@
+---
+layout: post
+title:  "一分钟读论文：《Meta-Cognitive Memory Policy Optimization》"
+author: unbug
+categories: [AI, LLM]
+image: assets/images/article-53-meta-cognitive-memory.svg
+tags: [LLM, LongContext, Memory, Agent]
+---
+
+中国科学技术大学、浙江大学和腾讯合作的一篇论文[《Meta-Cognitive Memory Policy Optimization for Long-Horizon LLM Agents》][paper1-url]，针对长上下文记忆中的信息衰减问题，提出了基于元认知信念熵的MMPO算法，在175万token的超长上下文下保持97.1%的性能，显著优于现有递归总结方法。
+
+## 上下文窗口竞赛与语义噪声
+
+大语言模型的能力竞赛已从参数规模转向上下文窗口长度。2025年以来，多个模型已支持百万级token的上下文输入，但长窗口并非没有代价。当上下文超过一定阈值后，模型对早期信息的召回率急剧下降，这一现象被称为"长上下文遗忘"。
+
+业界的主流应对策略是**递归总结**：将长上下文分段压缩为摘要，再逐级合并。这种方法看似高效，但论文通过系统实验揭示了其本质缺陷。递归总结在每一层都会引入**语义噪声**——信息在压缩-重组的过程中发生不可逆的语义偏移。噪声随层级叠加，最终导致关键信息被彻底抹除。
+
+## POMDP理论与信念偏差
+
+论文从部分可观测马尔可夫决策过程（POMDP）的理论框架出发，给出了更深层的解释。在长上下文任务中，模型无法直接访问原始输入，只能基于压缩后的信念状态进行推理。理论证明表明，**信念偏差**是长上下文遗忘的根本原因。
+
+信念偏差源于压缩过程对原始分布的近似。每一次压缩都是一次信息投影，将高维分布映射到低维表示。这种映射不可避免地丢失了部分概率质量，使得信念状态偏离真实分布。论文推导了信念偏差的下界，证明其随压缩层级数呈指数增长。
+
+这一理论结果解释了为什么简单的递归总结无法从根本上解决问题：噪声不是实现细节的缺陷，而是压缩本身的信息论代价。
+
+## 元认知探测与MMPO算法
+
+针对上述问题，论文提出了一种**元认知**方法。核心思想是：让模型对自身信念状态的不确定性进行元认知探测，而非盲目信任压缩后的摘要。
+
+具体而言，论文定义了**信念熵**作为不确定性度量。信念熵衡量压缩表示中信息的不确定性程度，高信念熵的区域对应信息衰减最严重的片段。通过监控信念熵，模型可以自适应地决定哪些部分需要重新检索原始上下文，哪些部分可以安全使用压缩表示。
+
+基于信念熵，论文设计了**MMPO算法**——元认知记忆策略优化。该算法在训练阶段联合优化两个目标：任务性能目标和信念熵最小化目标。在推理阶段，模型根据信念熵动态调整检索策略，在关键区域回溯原始上下文，在低不确定性区域保持压缩表示。
+
+## 实验结果
+
+论文在多个长上下文基准上进行了系统评估。核心结果表明，MMPO在175万token的超长上下文下保持了**97.1%**的性能，相比最佳递归总结基线提升了超过15个百分点。信念熵的引入使得模型能够在计算成本和记忆精度之间实现自适应平衡，无需为所有区域统一使用高成本的原始上下文检索。
+
+## References
+
+- [论文原文][paper1-url]
+- [MMPO算法开源实现][links-1]
+
+
+[paper1-url]: https://arxiv.org/abs/2605.30159
+[links-1]: https://github.com/

_posts/2026-06-02-article-54-specbench.md

@@ -0,0 +1,53 @@
+---
+layout: post
+title:  "一分钟读论文：《SpecBench：面向软件工程 Agent 的规范级推理评估》"
+author: unbug
+categories: [AI, SoftwareEngineering]
+image: assets/images/article-54-specbench.svg
+tags: [Agent, Benchmark, SoftwareEngineering, Specification]
+---
+
+多伦多大学、滑铁卢大学、Vector Institute 和 NVIDIA 合作的一篇论文[《SpecBench: Evaluating Specification-Level Reasoning for Software Engineering LLM Agents》][paper1-url]，提出了首个面向软件工程 Agent 的规范级推理评估基准 SpecBench，发现即使是 GPT-5.4 这样最强的 Agent，在规范设计阶段的准确率仅为 44.4%。
+
+## 规范级推理：Agent 能力的新维度
+
+当前的软件工程 Agent 评估大多聚焦于代码生成和执行层面。这类基准测试回答的问题是：Agent 能否写出正确的代码？能否修复已有的 Bug？能否完成给定的编程任务？
+
+但软件工程的第一步不是写代码，而是理解需求并将其转化为精确的规范。规范是代码的契约，定义了输入输出约束、行为边界、错误处理策略。规范的质量直接决定了后续代码的正确性和可维护性。
+
+SpecBench 的核心观点是：**规范设计是软件工程 Agent 的一个独立且关键的能力维度**，需要被单独评估。一个 Agent 可能在代码生成上表现优异，但在规范设计阶段就偏离了意图，最终产出与需求不符的代码。
+
+## SpecBench 的设计
+
+SpecBench 包含 1,200 个手工标注的规范设计任务，覆盖三个难度级别：
+
+- **基础级**：函数签名和输入输出约束的推导。给定自然语言需求，Agent 需要输出正确的函数签名、参数类型和前置后置条件。
+- **进阶级**：模块接口和交互规范的推导。涉及多个函数之间的调用关系、数据流约束和异常传播路径。
+- **困难级**：系统级架构规范的推导。给定高层需求，Agent 需要输出模块划分、接口契约和部署约束。
+
+每个任务都有人工标注的参考规范，评估时通过语义匹配和约束一致性检查来判定 Agent 输出的正确性。
+
+## 核心发现
+
+SpecBench 在多个 Agent 上的评估结果揭示了几个关键发现。
+
+GPT-5.4 在基础级任务上达到 62.1% 的准确率，在进阶级任务上降至 44.4%，在困难级任务上进一步降至 28.7%。准确率随任务难度呈显著下降趋势，表明 Agent 在规范推理上的能力边界比预期更低。
+
+Claude Opus 4 在基础级上达到 58.3%，但在进阶级任务上与 GPT-5.4 的表现接近，同样在 44% 左右。GPT-5.4 在困难级任务上的 28.7% 准确率意味着超过七成的规范设计结果存在语义偏差。
+
+开源模型的表现差距更为明显。在基础级任务上，最高开源模型的准确率约为 35%，进阶级任务降至 18% 以下。
+
+## 对 Agent 工程的启示
+
+SpecBench 的发现对软件工程 Agent 的评估方向提出了新的要求。当前评估体系过度关注代码生成和执行，而忽视了更上游的规范设计环节。一个在代码生成上表现优异的 Agent，可能在规范设计阶段就引入了系统性偏差。
+
+SpecBench 为这一维度提供了标准化的评估工具。它表明，软件工程 Agent 的能力评估需要从代码层面向规范层面扩展，规范级推理能力是衡量 Agent 是否真正理解需求的关键指标。
+
+## References
+
+- [论文原文][paper1-url]
+- [SpecBench 开源实现][links-1]
+
+
+[paper1-url]: https://arxiv.org/abs/2605.30314
+[links-1]: https://github.com/