本仓库用于完成一个网络空间安全课程研究项目:在虚构校园 AI 助手场景中,本地模拟 RAG 知识库投毒及其数据安全风险。
本项目关注一个核心问题:当 Retrieval-Augmented Generation 系统依赖外部知识库时,少量被污染的文档是否会进入 Top-k 检索结果,并进一步影响最终回答?同时,来源白名单、冲突检测、引用展示等轻量级数据治理机制能否降低这种影响?
当前仓库包含虚构数据集、说明文档、配置模板、最小 BM25 实验流水线,以及可选的 Dense 检索和 DeepSeek LLM 答案器扩展。
RAG 系统在推理阶段依赖外部文档。若知识库被污染,问题就不只是模型幻觉,而会扩展为数据安全问题,涉及知识库完整性、来源可信度、回答可靠性、引用可核验性和治理责任边界。
本项目计划验证的风险链条如下:
污染文档 -> 进入 Top-k 检索 -> 注入生成上下文 -> 污染最终回答 -> 对比防护效果
- RQ1:污染文档是否会进入 Top-k 检索结果?
- RQ2:污染文档是否会影响最终回答?
- RQ3:来源白名单、冲突检测和引用展示能否降低知识库投毒影响?
- Group A:干净知识库
- Group B:含污染文档的知识库
- Group C:含污染文档的知识库 + 来源白名单
- Group D:含污染文档的知识库 + 冲突检测
- Group E:含污染文档的知识库 + 来源白名单 + 冲突检测 + 引用展示
- PRR@k:Poison Retrieval Rate,污染检索率
- ASR:Attack Success Rate,攻击成功率
- ACC:Answer Accuracy,回答正确率
- CCR:Citation Contamination Rate,污染引用率
- UR:Uncertainty / Refusal Rate,不确定或拒答率
RAG_Poison/
├── configs/ # 实验组和检索器配置模板
├── data/ # 虚构数据集
├── docs/ # 项目设计、威胁模型、实验协议和报告规划
├── experiments/ # 实验工作区
├── results/ # 表格、图和案例分析
├── scripts/ # 运行脚本
├── src/ # Python 实验代码
└── tests/ # 测试
先安装依赖:
pip install -r requirements.txt然后运行完整本地流水线:
bash scripts/run_minimal_experiment.sh该流水线会依次完成数据集校验、文档切块、BM25 检索、上下文构建、模板式回答、指标计算、绘图和案例导出。实验使用确定性的模板回答器,不调用任何外部 LLM API。这样做的目的是隔离“知识库污染进入检索结果并污染基于检索证据的回答”这一链条,避免把结果混入模型随机性。
Dense 检索用于和 BM25 比较 PRR、ASR、ACC、CCR 和 UR。当前使用真实多语言句向量模型 sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2(384 维)+ numpy 余弦检索;configs/retriever_dense.yaml 已设 allow_model_download: true,首次运行会联网下载并缓存模型。若模型不可用,代码会回退到本地 TF-IDF/cosine 后端以保证可运行(实际 backend 记录在 data/processed/dense_index_manifest_group_B.json)。
bash scripts/run_dense_experiment.sh主要输出:
experiments/exp_001_minimal/retrieval_logs/retrieval_all_dense.csvexperiments/exp_001_minimal/contexts/context_all_dense.jsonlexperiments/exp_001_minimal/answers/template_answers_dense.jsonlexperiments/exp_001_minimal/metrics/metrics_summary_dense.csvresults/tables/table_retriever_comparison.csvresults/figures/retriever_prr_comparison.pngresults/figures/retriever_asr_comparison.pngresults/figures/retriever_acc_comparison.pngresults/results_analysis_dense.md
Hybrid 用 Reciprocal Rank Fusion(RRF)融合 BM25 与 Dense 两路排名,攻击面是两者的并集。运行方式与其它检索器一致:
for k in 3 5; do python -m src.retrieve --all-groups --retriever hybrid --top-k $k; done
python -m src.build_context --retriever hybrid
python -m src.answer_template --retriever hybrid
python -m src.score_results --retriever hybrid主要输出:metrics_summary_hybrid.csv、results/results_analysis_hybrid.md,并自动并入三检索器对比表与图。
在 Group B(无防护)上把每个目标主题的污染副本数设为 1/3/5,观察"风险随攻击面增大"的趋势。额外副本在 data/poison_variants.csv 与 data/poison_docs/POISON_*_00[2-5].md,不进入正规 40 篇数据集,不影响数据校验与主实验。
python -m src.run_poison_intensity输出:results/tables/table_poison_intensity.csv、results/figures/poison_intensity_{prr,asr}.png、results/results_analysis_intensity.md。
DeepSeek 答案器是可选生成侧扩展,只读取已有 context,不重新检索,不浏览网页,不使用外部资料。默认最小实验不会调用 DeepSeek。
先设置环境变量:
export DEEPSEEK_API_KEY=...
export DEEPSEEK_MODEL=deepseek-chat对三种检索器的 context 分别运行并评分:
for r in bm25 dense hybrid; do
python -m src.answer_deepseek --retriever $r --top-k 3 --all
python -m src.score_llm_answers --retriever $r
done冲突检测信号会在 D/E 组注入 prompt(见 build_conflict_note),白名单为 context 级防御自动生效。结果对比见 results/tables/table_template_vs_deepseek.csv 与图 results/figures/answerer_asr_comparison_*.png。
Prompt 检查:
python src/answer_deepseek.py --retriever bm25 --top-k 3 --limit 2 --dry-runBM25 / 真实 Dense / Hybrid 三套主实验、污染强度分级、DeepSeek 层二均已运行完成。结果文件位于:
experiments/exp_001_minimal/:三检索器的检索日志、上下文、模板回答、DeepSeek 回答和指标明细。results/tables/:指标汇总表,含table_retriever_comparison.csv、table_poison_intensity.csv、table_template_vs_deepseek.csv。results/figures/:各检索器 PRR/ASR/ACC、防护对比、检索器对比、污染强度折线、层一 vs 层二 ASR 对比图。results/case_studies{,_dense,_hybrid}/:三检索器的结构化案例证据。results/results_analysis.md:BM25 分析笔记。results/results_analysis_dense.md:真实 Dense 分析笔记。results/results_analysis_hybrid.md:Hybrid 分析笔记。results/results_analysis_intensity.md:污染强度 1/3/5 分析笔记。results/results_analysis_deepseek.md:DeepSeek 层二分析笔记。