Skip to content

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

12 Commits

Folders and files

Repository files navigation

RAG Poison

本仓库用于完成一个网络空间安全课程研究项目:在虚构校园 AI 助手场景中,本地模拟 RAG 知识库投毒及其数据安全风险。

项目概览

本项目关注一个核心问题:当 Retrieval-Augmented Generation 系统依赖外部知识库时,少量被污染的文档是否会进入 Top-k 检索结果,并进一步影响最终回答?同时,来源白名单、冲突检测、引用展示等轻量级数据治理机制能否降低这种影响?

当前仓库包含虚构数据集、说明文档、配置模板、最小 BM25 实验流水线,以及可选的 Dense 检索和 DeepSeek LLM 答案器扩展。

研究动机

RAG 系统在推理阶段依赖外部文档。若知识库被污染,问题就不只是模型幻觉,而会扩展为数据安全问题,涉及知识库完整性、来源可信度、回答可靠性、引用可核验性和治理责任边界。

本项目计划验证的风险链条如下:

污染文档 -> 进入 Top-k 检索 -> 注入生成上下文 -> 污染最终回答 -> 对比防护效果

研究问题

  • RQ1:污染文档是否会进入 Top-k 检索结果?
  • RQ2:污染文档是否会影响最终回答?
  • RQ3:来源白名单、冲突检测和引用展示能否降低知识库投毒影响?

实验组

  • Group A:干净知识库
  • Group B:含污染文档的知识库
  • Group C:含污染文档的知识库 + 来源白名单
  • Group D:含污染文档的知识库 + 冲突检测
  • Group E:含污染文档的知识库 + 来源白名单 + 冲突检测 + 引用展示

指标

  • PRR@k:Poison Retrieval Rate,污染检索率
  • ASR:Attack Success Rate,攻击成功率
  • ACC:Answer Accuracy,回答正确率
  • CCR:Citation Contamination Rate,污染引用率
  • UR:Uncertainty / Refusal Rate,不确定或拒答率

仓库结构

RAG_Poison/
├── configs/      # 实验组和检索器配置模板
├── data/         # 虚构数据集
├── docs/         # 项目设计、威胁模型、实验协议和报告规划
├── experiments/  # 实验工作区
├── results/      # 表格、图和案例分析
├── scripts/      # 运行脚本
├── src/          # Python 实验代码
└── tests/        # 测试

运行最小实验

先安装依赖:

pip install -r requirements.txt

然后运行完整本地流水线:

bash scripts/run_minimal_experiment.sh

该流水线会依次完成数据集校验、文档切块、BM25 检索、上下文构建、模板式回答、指标计算、绘图和案例导出。实验使用确定性的模板回答器,不调用任何外部 LLM API。这样做的目的是隔离“知识库污染进入检索结果并污染基于检索证据的回答”这一链条,避免把结果混入模型随机性。

扩展

Dense 检索

Dense 检索用于和 BM25 比较 PRR、ASR、ACC、CCR 和 UR。当前使用真实多语言句向量模型 sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2(384 维)+ numpy 余弦检索;configs/retriever_dense.yaml 已设 allow_model_download: true,首次运行会联网下载并缓存模型。若模型不可用,代码会回退到本地 TF-IDF/cosine 后端以保证可运行(实际 backend 记录在 data/processed/dense_index_manifest_group_B.json)。

bash scripts/run_dense_experiment.sh

主要输出:

  • experiments/exp_001_minimal/retrieval_logs/retrieval_all_dense.csv
  • experiments/exp_001_minimal/contexts/context_all_dense.jsonl
  • experiments/exp_001_minimal/answers/template_answers_dense.jsonl
  • experiments/exp_001_minimal/metrics/metrics_summary_dense.csv
  • results/tables/table_retriever_comparison.csv
  • results/figures/retriever_prr_comparison.png
  • results/figures/retriever_asr_comparison.png
  • results/figures/retriever_acc_comparison.png
  • results/results_analysis_dense.md

Hybrid 检索

Hybrid 用 Reciprocal Rank Fusion(RRF)融合 BM25 与 Dense 两路排名,攻击面是两者的并集。运行方式与其它检索器一致:

for k in 3 5; do python -m src.retrieve --all-groups --retriever hybrid --top-k $k; done
python -m src.build_context --retriever hybrid
python -m src.answer_template --retriever hybrid
python -m src.score_results --retriever hybrid

主要输出:metrics_summary_hybrid.csv、results/results_analysis_hybrid.md,并自动并入三检索器对比表与图。

污染强度分级(1/3/5)

在 Group B(无防护)上把每个目标主题的污染副本数设为 1/3/5,观察"风险随攻击面增大"的趋势。额外副本在 data/poison_variants.csv 与 data/poison_docs/POISON_*_00[2-5].md,不进入正规 40 篇数据集,不影响数据校验与主实验。

python -m src.run_poison_intensity

输出:results/tables/table_poison_intensity.csv、results/figures/poison_intensity_{prr,asr}.png、results/results_analysis_intensity.md。

DeepSeek LLM 答案器

DeepSeek 答案器是可选生成侧扩展,只读取已有 context,不重新检索,不浏览网页,不使用外部资料。默认最小实验不会调用 DeepSeek。

先设置环境变量:

export DEEPSEEK_API_KEY=...
export DEEPSEEK_MODEL=deepseek-chat

对三种检索器的 context 分别运行并评分:

for r in bm25 dense hybrid; do
  python -m src.answer_deepseek --retriever $r --top-k 3 --all
  python -m src.score_llm_answers --retriever $r
done

冲突检测信号会在 D/E 组注入 prompt(见 build_conflict_note),白名单为 context 级防御自动生效。结果对比见 results/tables/table_template_vs_deepseek.csv 与图 results/figures/answerer_asr_comparison_*.png。

Prompt 检查:

python src/answer_deepseek.py --retriever bm25 --top-k 3 --limit 2 --dry-run

当前实验结果位置

BM25 / 真实 Dense / Hybrid 三套主实验、污染强度分级、DeepSeek 层二均已运行完成。结果文件位于:

  • experiments/exp_001_minimal/:三检索器的检索日志、上下文、模板回答、DeepSeek 回答和指标明细。
  • results/tables/:指标汇总表,含 table_retriever_comparison.csv、table_poison_intensity.csv、table_template_vs_deepseek.csv。
  • results/figures/:各检索器 PRR/ASR/ACC、防护对比、检索器对比、污染强度折线、层一 vs 层二 ASR 对比图。
  • results/case_studies{,_dense,_hybrid}/:三检索器的结构化案例证据。
  • results/results_analysis.md:BM25 分析笔记。
  • results/results_analysis_dense.md:真实 Dense 分析笔记。
  • results/results_analysis_hybrid.md:Hybrid 分析笔记。
  • results/results_analysis_intensity.md:污染强度 1/3/5 分析笔记。
  • results/results_analysis_deepseek.md:DeepSeek 层二分析笔记。

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages