结论:教学 → 门控裁决 → 写入 uid 分区 → 清空上下文 → 新会话仅从该 uid 分区加载 → 作答。 门控 16/16;清空上下文后探针 AUC 0.514 → 0.980;跨分区命中 0/16。 🔴 但这是外部记忆(L1),不是 §7.4 提议的参数化记忆层(L4)——见 §4。
| 日期 | 2026-08-01 |
| 模型 | Qwen2.5-1.5B-Instruct(冻结,bf16,纯 prompt,零训练) |
| 材料 | 8 对冲突词 → 16 位老师,每位 8 条门控留出 + 8 条新会话探针(程序化,互不重叠采样) |
| 脚本 | p4_endtoend.py · memory.py · 结果 p4_Qwen2.5-1.5B-Instruct.json |
① 教学 老师用 P1 程序化材料教一个伪词 → P1 全新
② 门控裁决 压缩增益门在【留出决策】上给 4 个候选打分 → P2 无 GT 自验证
③ 巩固 只有门选中的概念被写入 memory[uid]
★ ④ 清空上下文 教学痕迹全部丢弃,模型看不到任何教学内容 → P3 持久性的关键
⑤ 新会话 只从 memory[uid] 取回 → 回答探针题 → P4 隔离
候选集 = {真含义, 对方老师的含义, 2 个干扰颜色}(4 选 1,且对方含义与真含义互斥)。
| 准确率 | 16/16 = 100% |
| 第一名 vs 第二名平均差距 | +7.78 nats |
| 真含义 vs 对方含义平均差距 | +9.92 nats |
| 条件 | AUC | 含义 |
|---|---|---|
none 不加载记忆 |
0.514 | 下限——≈随机,说明记忆确实必要 |
★ partitioned 从 uid 分区取回 |
0.980 | 我方 |
wrong_user 取回另一用户的概念 |
0.129 | 取错的代价(远低于随机,因两义互斥) |
shared 无分区共享库 |
0.562 |
0.514 → 0.980:上下文清空后概念依然有效——P3 持久性成立。
| 组 | n | 分区 AUC | 共享 AUC |
|---|---|---|---|
| uA(先写) | 8 | 0.984 | 0.148 |
| uB(后写) | 8 | 0.977 | 0.977 |
- 先写者概念被彻底摧毁:8/8(AUC < 0.5)
- 后写者完好无损:8/8(AUC ≥ 0.8)
⟹ 均值 0.562 是「A 被毁 + B 完好」的平均,不可读作「整体退化到 0.562」。必须拆开报。
注意这与 P3 的共享条件是不同的失效模式: P3 是两义同时在上下文里(互相干扰);P4 是共享存储中后写覆盖先写(last-write-wins)。 两者都是"无隔离"的真实后果,但机制不同。
| 分区检索命中他人概念 | 0/16 |
| 性质 | 状态 | 证据 | |
|---|---|---|---|
| P1 | 全新 | ✅ | 材料由 P1 程序化生成;分词器过滤 0 标记、零样本探针 AUC 0.394 ≈ 无先验 |
| P2 | 无 GT 自验证 | ✅ | 门控 16/16,4 选 1,真含义领先对方含义 +9.92 nats |
| P3 | 持久 | ✅ | 清空上下文后 0.514 → 0.980 |
| P4 | 隔离 | ✅ | 跨分区命中 0/16;分区 0.980 vs 错用户 0.129 vs 共享先写者 0.148 |
这是四条性质第一次在同一个流程里同时成立。
本实验的"记忆"是外部键值存储 + 检索纪律(全景文档的内化度阶梯 L1)。
研究文档 §7.4 提议的 product-key 参数化记忆层(L4)+ key 空间硬分区,仍未实现——那需要训练,本轮零算力做不到。
⟹ 本实验证明的是「分区纪律有效 + 端到端可行」,不是「参数空间的架构性零干扰」。 按我们自己的五判据(I1–I5),本方案满足 I4(跨会话持久)与隔离,但不满足 I1 免检索 / I2 组合性—— 它仍是"知道有这回事",不是"学会了"。论文中不得把它说成参数级内化。
P4 的候选是 4 个互斥颜色,真含义领先 +9.92 nats——远比 P2 的 gavagai 对(M′ ⊂ M,语义高度重叠)容易。 16/16 不可与 P2 核心域的 AUC 0.915 相提并论,更不能拿来说"门控准确率 100%"。
- 单模型(1.5B)、单 seed、8 对冲突词(16 位老师),样本量小
- 探针集与门控留出集独立采样,但同源微世界——未测跨域泛化
shared条件的 last-write-wins 是我方PartitionedMemory的实现选择(后写覆盖), 真实系统也可能是追加式;两种都会坏,但坏法不同
python p4/p4_endtoend.py --model Qwen/Qwen2.5-1.5B-Instruct零训练算力,单机 MPS 约 15 分钟。