Skip to content

Latest commit

 

History

History
295 lines (188 loc) · 9.02 KB

verification.md

File metadata and controls

295 lines (188 loc) · 9.02 KB

验证

状态:当前验证规范。 本文件说明如何证明系统契约成立,并记录自动化覆盖、人工验收和明确留白。它不重新定义需求或产品意图。

本文档用于记录 Aster Archive 当前的测试目标、测试范围、测试方法、通过标准与执行安排。

本文件仅描述当前验证;远期测试设想不属于当前规范。当前覆盖第 01–26 关及其运行能力;关卡持续、不定期更新,不采用阶段边界。

测试目标

当前测试工作的目标如下:

  • 验证第 01 关至第 26 关主线中的关键链路是否可用
  • 验证需要后端参与的关卡行为是否与设计意图一致
  • 验证已纳入自动化范围的 WebSocket、HTTPS Trailer 等特殊协议能力是否仍可工作
  • 为第 21 关 HTTP/2 与 103 Early Hints 保留清晰的人工验收边界
  • 验证关键运行组件如入口关闭逻辑、日志初始化、健康检查等是否稳定
  • 在不显著抬高维护成本的前提下,为后续迭代提供可重复的回归基础

测试范围

纳入当前验证的内容

  • 站点健康检查接口
  • 入口层优雅停机逻辑
  • 日志目录与日志轮转初始化
  • 关键静态线索关卡
  • 关键 HTTP 接口关卡
  • 关键认证、Cookie、CSRF 相关关卡
  • WebSocket 与 HTTPS Trailer 等协议专项关卡

当前不作为自动化主覆盖对象的内容

  • 纯视觉比对型关卡
  • 强依赖浏览器运行时状态的关卡
  • 强依赖浏览器反调试或本地存储行为的关卡
  • 第 21 关这类需要更底层 HTTP/2 客户端细节才能完整验证的场景

这类内容并非不重要,而是暂时不放入自动化主覆盖范围。当前依赖人工复核和显式 skip 标记管理;第 21 关的契约要求见系统契约中的 AR-09、AR-11。

测试策略

项目当前采用“按玩法与技术风险分层”的测试策略,而不是仅按模块文件划分。

1. 基础运行层测试

对应内容:

  • 入口关闭逻辑
  • 日志初始化
  • 健康检查接口
  • 配置加载

测试目的:

  • 确保服务具备基本可启动、可关闭、可观测能力
  • 减少运行期故障定位难度

2. HTTP 主线集成测试

对应内容:

  • 静态页面中的关键线索
  • 资源文件中的隐藏路径
  • 普通接口响应头、查询参数、方法分支
  • Cookie、Basic Auth、表单登录、语言分支等后端逻辑

测试目的:

  • 确保主线路径不会因局部改动而断裂
  • 直接验证“题面提示是否仍能导向正确解法”

3. 协议专项测试

对应内容:

  • WebSocket upgrade
  • HTTPS Trailer

测试目的:

  • 覆盖普通进程内 HTTP 测试无法验证的协议行为
  • 降低部署层变更带来的特殊协议回归风险

4. 状态型复杂关卡回归

对应内容:

  • 第 25 关会话隔离与恢复流程
  • 第 26 关棋盘状态、会话 Cookie、库存变更与解锁流程

测试目的:

  • 验证状态型关卡中的落盘状态与会话隔离是否正确
  • 验证复杂关卡接口在主成功路径和主要失败路径上都能保持稳定
  • 避免复杂状态逻辑在后续维护中发生明显回归

测试结构

当前自动化测试主要位于以下目录:

  • test/index.test.js
  • test/logger.test.js
  • test/http/status.test.js
  • test/http/levels.test.js
  • test/protocol/protocol.test.js
  • test/helpers/createTestApp.js

各部分分工如下:

test/index.test.js

验证进程信号、未处理异常与优雅停机逻辑。

test/logger.test.js

验证日志目录创建、轮转 transport 注册和级别分流。

test/http/status.test.js

验证基础健康检查接口可用。

test/http/levels.test.js

作为 HTTP 关卡测试主体,覆盖:

  • 配置与基础运行时数据
  • 01-14 关中的关键静态与 HTTP 玩法
  • 16-24 关中的关键 HTTP、Cookie、语言分支、Service Worker 相关行为
  • 25-26 关中的状态型复杂关卡回归

test/protocol/protocol.test.js

覆盖:

  • 15 关 WebSocket 连接
  • 17 关 HTTPS Trailer

第 21 关 HTTP/2 与 103 Early Hints 当前不在该自动化测试文件内验证,而是按系统契约中的人工验收步骤单独复核。

test/helpers/createTestApp.js

提供静默 logger、随机端口 server、测试运行时复用和协议测试装配能力。

当前已覆盖的主要测试点

结合现有测试代码,当前验证已经覆盖以下重点:

  • 01-10 关中的静态页面线索、资源线索、响应头、方法切换与查询参数分支
  • 12-14 关中的登录、Cookie、Basic Auth 与隐藏页面链路
  • 16、18、20、22、24 关中的关键 HTTP 行为
  • 15、17 关中的协议能力
  • 运行期入口与日志系统

此外,当前测试还覆盖了第 25 关中的会话隔离、提交与恢复逻辑,以及第 26 关中的棋盘初始化、会话复用、库存变化、业务失败路径与取 flag 规则。

当前显式留白

现有测试中,以下关卡或场景采用了显式留白策略:

  • 11 关:多步解码流程
  • 19 关:字体映射与视觉比对
  • 21 关:HTTP/2 Early Hints 场景
  • 23 关:浏览器反调试与 localStorage 场景

这些留白不会被视为“忘记测试”,而是当前验证中的明确边界。

测试方法

1. 进程内集成测试

适用内容:

  • 普通 HTTP 路由
  • 页面与静态资源
  • 认证、Cookie、CSRF 与表单逻辑

方法说明:

  • 使用 supertest
  • 在内存中装配 Express app
  • 通过测试辅助代码复用配置和静默 logger

2. 真实本地服务测试

适用内容:

  • WebSocket upgrade
  • HTTPS Trailer
  • 需要真实监听端口的协议行为

方法说明:

  • 启动随机本地端口 server
  • 使用真实 http、https、ws 客户端访问
  • 测试结束后统一关闭 server

3. 状态落盘测试

适用内容:

  • 第 25 关
  • 第 26 关

方法说明:

  • 使用临时目录承载测试状态文件
  • 每个测试或测试组使用隔离目录
  • 测试结束后清理临时数据
  • 该类测试用于保护状态型关卡的会话隔离与持久化行为

4. 显式跳过策略

适用内容:

  • 当前自动化手段成本较高或收益不稳定的关卡

方法说明:

  • 通过 test.skip 保持留白可见
  • 避免“未覆盖”被误解为“已经覆盖”
  • 为后续改进预留明确入口

通过标准

当前测试工作的通过标准如下:

  • npm test 可作为统一主测试入口
  • 基础运行层测试通过
  • 已纳入自动化范围的主线关卡测试通过
  • 协议专项测试通过
  • 第 21 关等人工验收项保留可追踪的执行记录
  • 不允许因测试自身设计问题导致长期挂起或明显内存失控
  • 显式留白场景必须保持清晰标识,不混入通过结果
  • 状态型复杂关卡回归应保持通过

执行方式

项目当前统一使用:

npm test

当前 Jest 运行策略包括:

  • bail: 1
  • testTimeout: 10000
  • maxWorkers: 25%
  • workerIdleMemoryLimit: 512MB

这些设置用于控制失败反馈速度、执行时间与内存占用。

测试数据与环境要求

环境要求

  • 使用项目要求的 Node 版本
  • 正确配置 config/.env
  • 提供有效 TLS 证书路径,供协议测试启动 HTTPS 与 HTTP/2 服务

数据要求

  • 第 12 关每日口令依赖运行日生成规则
  • 第 25 关、第 26 关测试依赖临时目录与临时状态文件
  • 协议测试依赖本地随机端口,不使用固定端口

验证与维护风险的关系

当前验证主要用于缓解以下风险:

  • 特殊协议能力与部署环境不一致
  • 关卡改动误伤既有解法链路
  • 安全中间件或配置变更影响关卡行为
  • 状态型关卡的会话隔离与落盘异常
  • 测试运行资源占用过高

当前测试结论口径

从当前覆盖范围出发,验证结论应表述为:

项目已经建立起覆盖关键主线路径、关键后端行为,以及 WebSocket、HTTPS Trailer 等关键协议能力的自动化测试基础;对第 21 关 HTTP/2 与 103 Early Hints 等更底层协议细节,当前按系统契约通过人工验收记录管理,并将可能的改进记录在测试改进备忘中。

人工验收步骤与证据

对未自动化的项目,记录执行日期、执行人、客户端/浏览器版本、入口、结果和必要截图或抓包文件。

  1. 第 21 关: 使用支持 HTTP/2 和 103 Early Hints 的客户端访问对应入口,确认正式响应前有 103,再访问同组 analytics.js 并记录结果。
  2. 协议入口: 使用 WebSocket 客户端连接 /api/15/challenge,确认欢迎消息和 {"action":"init"} 的地图尺寸反馈;使用支持 Trailer 的 HTTPS 客户端请求第 17 关入口,确认 Trailer 声明及响应结束后的线索。
  3. 浏览器依赖留白: 手工复核 11、19、23 关的解谜链路;这些场景分别依赖多步解码、字体/视觉映射及浏览器反调试与 localStorage。

关联文档