Clean up documentation and update project overview

Removed redundant and commented sections from Instructions.md and README.md for clarity. Updated the README project overview and image references, and improved the feature summary to better reflect the current state and capabilities of the AWS Serverless ELT Pipeline.

Author: wyang10

Instructions.md

@@ -239,7 +239,6 @@ make ge-status
 make ge-history
 ```
 
-## GitHub Actions
 ## GitHub Actions
 
 本仓库包含：
@@ -276,8 +275,6 @@ ls -la configs/ups_shipping.yaml lambdas/transform/ups_shipping/handler.py dq/up
 ## E2E 验收清单（见截图）
 
 目标：按顺序过一遍就能留存证据。每一步都有「要点 → 命令/控制台路径 → 通过标准（截图）」。
-目标：按顺序过一遍就能留存证据。每一步都有「要点 → 命令/控制台路径 → 通过标准（截图）」。
-
 建议先跑一键版（会依次执行多步 CLI 验证 + 造数 + 等待 Silver）：
 
 - `make verify-e2e`
@@ -290,7 +287,6 @@ ls -la configs/ups_shipping.yaml lambdas/transform/ups_shipping/handler.py dq/up
 - `make profile-audrey-tf`
 - 然后：`export AWS_PROFILE=audrey-tf`
 
-### 0) Profile / Region
 ### 0) Profile / Region
 
 要点：确认当前命令行使用的 AWS 身份与区域。
@@ -299,7 +295,6 @@ ls -la configs/ups_shipping.yaml lambdas/transform/ups_shipping/handler.py dq/up
 - 通过：`Account=818466672474`，且 Arn 对应你预期的身份（可为 `user/audrey-tf` 或 Toolkit 登录的 session）。
 ![](<demo/0-我是谁(Profile:Region+Python环境).png>)
 
-### 1) Terraform 
 ### 1) Terraform 
 
 要点：确保 TF 已部署并且能输出关键资源名/ARN。
@@ -310,7 +305,6 @@ ls -la configs/ups_shipping.yaml lambdas/transform/ups_shipping/handler.py dq/up
 ![](<demo/1-Terraform用对了身份+Region-2.png>)
 
 
-### 2) S3 （bronze → ingest）
 ### 2) S3 （bronze → ingest）
 
 要点：S3 Event notification 指向 ingest Lambda，并且 prefix 为 `bronze/`。
@@ -320,14 +314,14 @@ ls -la configs/ups_shipping.yaml lambdas/transform/ups_shipping/handler.py dq/up
 - 通过：事件存在且目标 ARN 为 ingest。
 ![](<demo/2-S3事件触发已就绪(bronze→LambdaIngest).png>)
 
-### 3) Lambda （ingest / transform）
+
 ### 3) Lambda （ingest / transform）
 
 - 命令：`make verify-lambdas`
 - 通过：输出 `OK ingest=...`、`OK transform=...`
 ![](<demo/3-Lambda正常(ingest-transform).png>)
 
-### 4) Idempotency（DynamoDB）+ TTL
+
 ### 4) Idempotency（DynamoDB）+ TTL
 
 要点：本项目幂等粒度是 **S3 对象级别**：`s3://bucket/key#etag`，不是 record/event_id 级别。
@@ -336,14 +330,12 @@ ls -la configs/ups_shipping.yaml lambdas/transform/ups_shipping/handler.py dq/up
 - 通过：TTL `ENABLED`；scan 能看到 `pk/status` 等字段。
 ![](<demo/4-幂等表-DynamoDB-TTL.png>)
 
-### 5) SQS / DLQ 
 ### 5) SQS / DLQ 
 
 - 命令：`make verify-sqs`
 - 通过：主队列消息数接近 0；DLQ 为 0。（消息“最老年龄”属于 CloudWatch 指标，不是 SQS attribute）
 ![](<demo/5-SQS-DLQ健康.png>)
 
-### 6) End to End（S3 → ingest → SQS → transform → Silver）
 ### 6) End to End（S3 → ingest → SQS → transform → Silver）
 
 要点：上传一份 Bronze JSONL 触发整条链路。
@@ -352,7 +344,7 @@ ls -la configs/ups_shipping.yaml lambdas/transform/ups_shipping/handler.py dq/up
 - 通过：上传成功（终端会打印 `s3://<bronze>/<key>`）
 ![](<demo/造数触发E2E(S3-ingest-SQS-transform-Silver).png>)
 
-### 7) Silver → Parquet
+
 ### 7) Silver → Parquet
 
 - 命令：`make verify-silver`

README.md

@@ -1,11 +1,3 @@
-<!--
- * @Author: Audrey Yang 97855340+wyang10@users.noreply.github.com
- * @Date: 2026-01-02 00:03:56
- * @LastEditors: Audrey Yang 97855340+wyang10@users.noreply.github.com
- * @LastEditTime: 2026-01-02 02:24:49
- * @FilePath: /AWS-Serverless-ELT-Pipeline-Enterprise/README-1.md
- * @Description: 这是默认设置,请设置`customMade`, 打开koroFileHeader查看配置 进行设置: https://github.com/OBKoro1/koro1FileHeader/wiki/%E9%85%8D%E7%BD%AE
--->
 # AWS Serverless ELT Pipeline — v2.0 (Enterprise-ready)
 
 > 轻量起步，企业化能力随开随用：**S3 → Lambda → SQS → Lambda → S3(Parquet)**，可选编排、目录、质量门禁与可观测性。
@@ -185,18 +177,10 @@ make verify-idempotency
 # End to End Validation
 make verify-e2e
 
-如果你新插入的图片比如 `![](demo/1.png)` 显示不出来，通常是下面原因之一：
+![](demo/1.png)
+![](demo/2.png)
+![](demo/3.png)
 
-- 文件路径不对：GitHub 对路径大小写敏感；而且 `demo/1.png` 必须真的存在（本 repo 里默认是 `demo/0-1.png`、`demo/dataset-scaffold.png` 这类文件名）。
-- 图片还没被 git 跟踪：本地能看到但没 `git add` / `git commit` / `git push`，GitHub 上当然不会有。
-- 文件名有空格/括号/中文：用 `![](<demo/你的文件名 (1).png>)` 这种写法更稳。
-
-建议先跑一键版（会依次执行多步 CLI 验证 + 造数 + 等待 Silver）：
-
-- `make verify-e2e`
-
-![](<demo/0-1.png>)
-![](<demo/0-2.png>)
 
 ⸻
 
@@ -327,10 +311,11 @@ TF_AUTO_APPROVE=1 make tf-destroy
 
 📄 blurb 
 
-- AWS Serverless ELT Pipeline (v2.0 / Enterprise) — S3 → Lambda → SQS → Lambda → S3 (Parquet)
-- Added Step Functions orchestration, Glue Data Catalog/Athena, and a GE data-quality gate.
-- Implemented DynamoDB-based idempotency (TTL), DLQ/redrive & replay tooling, and GitHub Actions CI/CD via OIDC.
-- Production-ready, extensible template: per-dataset scaffold, observable, and recovery-friendly.
+- Shipped a serverless ELT pipeline on AWS: S3 bronze JSONL → Lambda ingest → SQS (+ DLQ) → Lambda transform → S3 silver Parquet.
+- Implemented object-level idempotency using DynamoDB conditional writes + TTL to prevent duplicate ingestion on retries/events.
+- Added operational tooling: Step Functions replay/backfill workflow, SQS DLQ redrive, and one-command dataset scaffolding (`make scaffold DATASET=...`).
+- Enabled “query-ready” silver layer via Glue Data Catalog + Crawler for Athena.
+- Delivered infrastructure as code (Terraform modules) and CI automation (pytest + terraform fmt; manual Terraform plan/apply workflow).
 
 ⸻