Skip to content

Latest commit

 

History

History
124 lines (86 loc) · 5.52 KB

File metadata and controls

124 lines (86 loc) · 5.52 KB

P4 — 端到端闭环:四条性质第一次在同一流程里跑通

结论:教学 → 门控裁决 → 写入 uid 分区 → 清空上下文 → 新会话仅从该 uid 分区加载 → 作答。 门控 16/16;清空上下文后探针 AUC 0.514 → 0.980;跨分区命中 0/16。 🔴 但这是外部记忆(L1),不是 §7.4 提议的参数化记忆层(L4)——见 §4。

日期 2026-08-01
模型 Qwen2.5-1.5B-Instruct(冻结,bf16,纯 prompt,零训练)
材料 8 对冲突词 → 16 位老师,每位 8 条门控留出 + 8 条新会话探针(程序化,互不重叠采样)
脚本 p4_endtoend.py · memory.py · 结果 p4_Qwen2.5-1.5B-Instruct.json

1. 流程

① 教学        老师用 P1 程序化材料教一个伪词                      → P1 全新
② 门控裁决    压缩增益门在【留出决策】上给 4 个候选打分            → P2 无 GT 自验证
③ 巩固        只有门选中的概念被写入 memory[uid]
★ ④ 清空上下文  教学痕迹全部丢弃,模型看不到任何教学内容             → P3 持久性的关键
⑤ 新会话      只从 memory[uid] 取回 → 回答探针题                  → P4 隔离

候选集 = {真含义, 对方老师的含义, 2 个干扰颜色}(4 选 1,且对方含义与真含义互斥)。


2. 结果

2.1 ② 门控裁决

准确率 16/16 = 100%
第一名 vs 第二名平均差距 +7.78 nats
真含义 vs 对方含义平均差距 +9.92 nats

2.2 ⑤ 新会话探针 AUC(上下文已清空,只有记忆在起作用)

条件 AUC 含义
none 不加载记忆 0.514 下限——≈随机,说明记忆确实必要
★ partitioned 从 uid 分区取回 0.980 我方
wrong_user 取回另一用户的概念 0.129 取错的代价(远低于随机,因两义互斥)
shared 无分区共享库 0.562 ⚠️ 这个均值有误导性,见 2.3

0.514 → 0.980:上下文清空后概念依然有效——P3 持久性成立。

2.3 🔴 共享库的真实失效模式:后写覆盖,不是"两义并存"

组 n 分区 AUC 共享 AUC
uA(先写) 8 0.984 0.148
uB(后写) 8 0.977 0.977
  • 先写者概念被彻底摧毁:8/8(AUC < 0.5)
  • 后写者完好无损:8/8(AUC ≥ 0.8)

⟹ 均值 0.562 是「A 被毁 + B 完好」的平均,不可读作「整体退化到 0.562」。必须拆开报。

注意这与 P3 的共享条件是不同的失效模式: P3 是两义同时在上下文里(互相干扰);P4 是共享存储中后写覆盖先写(last-write-wins)。 两者都是"无隔离"的真实后果,但机制不同。

2.4 结构性零干扰

分区检索命中他人概念 0/16

⚠️ 这一条是构造性真理,不是实证发现:键空间带 uid 前缀、检索按 uid 掩码, 所以跨用户命中在构造上不可能发生。实证的部分是:它复现了隔离条件下的行为(0.980), 且两个对照(错用户 0.129、共享先写者 0.148)确实劣化。


3. 四条性质的端到端状态

性质 状态 证据
P1 全新 ✅ 材料由 P1 程序化生成;分词器过滤 0 标记、零样本探针 AUC 0.394 ≈ 无先验
P2 无 GT 自验证 ✅ 门控 16/16,4 选 1,真含义领先对方含义 +9.92 nats
P3 持久 ✅ 清空上下文后 0.514 → 0.980
P4 隔离 ✅ 跨分区命中 0/16;分区 0.980 vs 错用户 0.129 vs 共享先写者 0.148

这是四条性质第一次在同一个流程里同时成立。


4. ⚠️ 必须说清的限定(否则是 overclaim)

4.1 🔴 层级:这是 L1 外部记忆,不是 L4 参数化记忆层

本实验的"记忆"是外部键值存储 + 检索纪律(全景文档的内化度阶梯 L1)。

研究文档 §7.4 提议的 product-key 参数化记忆层(L4)+ key 空间硬分区,仍未实现——那需要训练,本轮零算力做不到。

⟹ 本实验证明的是「分区纪律有效 + 端到端可行」,不是「参数空间的架构性零干扰」。 按我们自己的五判据(I1–I5),本方案满足 I4(跨会话持久)与隔离,但不满足 I1 免检索 / I2 组合性—— 它仍是"知道有这回事",不是"学会了"。论文中不得把它说成参数级内化。

4.2 门控任务比 P2 容易得多

P4 的候选是 4 个互斥颜色,真含义领先 +9.92 nats——远比 P2 的 gavagai 对(M′ ⊂ M,语义高度重叠)容易。 16/16 不可与 P2 核心域的 AUC 0.915 相提并论,更不能拿来说"门控准确率 100%"。

4.3 其他

  • 单模型(1.5B)、单 seed、8 对冲突词(16 位老师),样本量小
  • 探针集与门控留出集独立采样,但同源微世界——未测跨域泛化
  • shared 条件的 last-write-wins 是我方 PartitionedMemory 的实现选择(后写覆盖), 真实系统也可能是追加式;两种都会坏,但坏法不同

5. 复现

python p4/p4_endtoend.py --model Qwen/Qwen2.5-1.5B-Instruct

零训练算力,单机 MPS 约 15 分钟。