AI 코드 생성기의 데이터 포이즈닝 공격 대응을 위한 데이터 전처리 파이프라인 설계

(A Defensive Data Preprocessing Pipeline for Mitigating Data Poisoning in AI Code Generators)

🎉 This paper won the best paper award at KSCI Winter Conference 2026! (2026 KSCI 동계 학술대회에서 우수 논문상을 수상했습니다!)

요약

최근 대규모 언어모델(LLM)을 기반으로 하는 AI 코드 생성기가 널리 활용되면서, 학습 데이터에 악의적인 코드가 삽입되어 취약한 코드를 생성하도록 유도하는 데이터 포이즈닝 공격 사례가 증가하고 있다. 기존 연구들은 주로 출력 검증, 사후 필터링과 같은 모델 학습 단계 이후의 방어 기법에 초점을 맞추고 있으며, 학습 데이터 수준에서의 사전적 방어 연구는 제한적이다. 결과적으로 데이터 오염이 모델 내부 표현에 직접 영향이 미치는 문제가 지속되는 문제점이 존재한다. 따라서, 본 연구에서는 AI 코드 생성기의 데이터 포이즈닝 공격에 대응하는 방어형 데이터 전처리 파이프라인을 설계하였다. 사전 학습된 코드 언어 모델을 활용해 각 데이터의 이상치와 일관성 점수를 측정한다. 이후 CVSS 점수와 통합하여 최종 위험도를 산정해 고위험 데이터를 자동 식별 및 제거함으로써 학습 데이터의 신뢰도를 향상시킨다. 파이프라인 적용 전후의 취약성을 평가하기 위해 공개된 AI 모델 생성 코드 데이터를 활용해 CodeT5+ 모델을 학습했다. 그 결과 파이프라인 적용 후 모델의 공격 성공률(ASR)이 기존에 비해 약 75% 감소하였다. 이는 제안하는 전처리 파이프라인이 AI 코드 생성기의 데이터 포이즈닝 공격에 대한 방어 효과를 가지며, 데이터 중심 방어 전략의 실질적인 가능성을 보여준다.

파이프라인 구조

데이터 전처리 파이프라인은 각 코드 데이터에 대해 이상치 점수(D-score), 일관성 점수(RI-score), CVSS 점수(C-score)를 산정하여 이를 합산한 통합 점수(R-score)를 통해 고위험 데이터를 식별한다.

• 이상치 점수(D-score): 코드가 형태적으로 학습 데이터의 일반적 분포에서 얼마나 벗어났는지를 나타내는 점수

• 일관성 점수(RI-score): 악의적인 의도가 담긴 데이터를 학습하면, 모델의 예측 불확실성이 높아져 동일한 텍스트를 입력했을 때 일관적인 코드를 생성해내지 못할 것이라는 가정 하에 일관성 점수를 측정

• CVSS 점수(C-score): 각 코드의 위험도를 정량화하기 위해 FIRST.org에서 제공하는 CVSS v3.1 프레임워크를 사용해 점수를 직접 산정

• 통합 점수 (R-score) 산정 및 데이터 전처리: 위의 세 점수를 모두 더하여 상위 k%의 데이터를 폐기하여 데이터 정화

실험 결과

1. 위험도 구간별 분석

• 고위험군(CVSS 9~10)과 저위험군(CVSS 0): 단일 지표만으로도 비교적 정확한 식별이 가능
• 중위험군(CVSS 3~7.9): CVSS 점수만 확인했을 때 점수 분포가 혼재되어 있어 단일 지표로는 정확한 식별이 어려움

제안한 파이프라인에서 사용되는 R-score가 단일 지표의 한계를 보완하는 다층적 평가 지표의 기능을 수행하는 것을 확인

2. 데이터 필터링 비율에 따른 공격 성공률 변화

• 전처리 과정을 거치지 않은 원본 데이터를 입력: ASR이 8%

• R-score 상위 30%와 40%의 데이터를 제거: ASR이 4%로 감소하였으나, 두 구간 사이에는 유의미한 차이가 발견되지 않음

• R-score 상위 50%의 데이터를 제거: ASR이 2%로 감소

  50% 지점에서 방어 효과가 극대화