fix : Pinecone WUs 한도 초과로 인한 Index Incremental update 방식으로 변경 및 월별 전체 리빌딩 git action 추가

Author: KD4WN

.github/workflows/index-full.yml

@@ -0,0 +1,40 @@
+name: Monthly Full Index Rebuild
+
+on:
+  schedule:
+    - cron: "0 3 1 * *"  # 매월 1일 오전 3시 (UTC)
+  workflow_dispatch: {}
+
+jobs:
+  run:
+    runs-on: ubuntu-latest
+
+    steps:
+      - uses: actions/checkout@v4
+
+      - uses: actions/setup-python@v5
+        with:
+          python-version: "3.11"
+
+      - name: Install dependencies
+        run: |
+           python -m pip install --upgrade pip
+           pip install --upgrade "setuptools<75" wheel
+           pip install -r requirements-indexer.txt -v
+
+      - name: Run full rebuild
+        env:
+          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
+          DB_HOST: ${{ secrets.DB_HOST }}
+          DB_USER: ${{ secrets.DB_USER }}
+          DB_PASSWORD: ${{ secrets.DB_PASSWORD }}
+          DB_NAME: ${{ secrets.DB_NAME }}
+          DB_PORT: ${{ secrets.DB_PORT }}
+          PINECONE_API_KEY: ${{ secrets.PINECONE_API_KEY }}
+          PINECONE_INDEX: ${{ secrets.PINECONE_INDEX }}
+          PINECONE_NAMESPACE: ${{ secrets.PINECONE_NAMESPACE }}
+          # 전체 리빌드 설정
+          INDEX_MODE: full
+          PYTHONPATH: ${{ github.workspace }}/src
+        run: |
+          python -m uosai.indexer.index

.github/workflows/index.yml

@@ -1,11 +1,20 @@
-name: Daily Index Rebuild
+name: Incremental Index Update
 
 on:
   workflow_run:
-    workflows: ["Daily UOS Notices"]  
+    workflows: ["Daily UOS Notices"]
     types:
       - completed
-  workflow_dispatch: {}
+  workflow_dispatch:
+    inputs:
+      mode:
+        description: 'Indexing mode (incremental or full)'
+        required: false
+        default: 'incremental'
+        type: choice
+        options:
+          - incremental
+          - full
 
 jobs:
   run:
@@ -29,7 +38,7 @@ jobs:
            pip install --upgrade "setuptools<75" wheel
            pip install -r requirements-indexer.txt -v
 
-      - name: Run indexer
+      - name: Run indexer (incremental update)
         env:
           OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
           DB_HOST: ${{ secrets.DB_HOST }}
@@ -40,5 +49,9 @@ jobs:
           PINECONE_API_KEY: ${{ secrets.PINECONE_API_KEY }}
           PINECONE_INDEX: ${{ secrets.PINECONE_INDEX }}
           PINECONE_NAMESPACE: ${{ secrets.PINECONE_NAMESPACE }}
+          # 증분 업데이트 설정
+          INDEX_MODE: ${{ github.event.inputs.mode || 'incremental' }}
+          INCREMENTAL_DAYS: 14
+          PYTHONPATH: ${{ github.workspace }}/src
         run: |
-          python scripts/run_indexer.py
+          python -m uosai.indexer.index

src/uosai/common/utils.py

@@ -179,18 +179,31 @@ def get_vectorstore() -> PineconeVectorStore:
 
 
 def upsert_docs(docs: List[Document], rebuild: bool = False) -> int:
+    """Pinecone에 문서를 upsert합니다.
+
+    Args:
+        docs: 업서트할 문서 리스트
+        rebuild: True면 전체 삭제 후 재삽입, False면 증분 업데이트 (기본값)
+
+    Returns:
+        업서트된 문서 개수
+
+    Note:
+        - rebuild=False (증분 모드): 동일 ID 문서는 덮어쓰기, 신규는 삽입 (WUs 절약)
+        - rebuild=True (전체 리빌드): 모든 문서 삭제 후 재삽입 (월 1회 권장)
+    """
     if not PINECONE_API_KEY:
         raise RuntimeError("PINECONE_API_KEY missing")
 
     pc = Pinecone(api_key=PINECONE_API_KEY)
     ensure_pinecone_index(pc, PINECONE_INDEX, EMBED_DIM)
     vs = get_vectorstore()
 
-    # 첫 배치에서만 전체 삭제할 때 사용
+    # rebuild=True일 때만 전체 삭제 (WUs 대량 소모)
     if rebuild:
         idx = pc.Index(PINECONE_INDEX)
         ns_repr = "__default__" if PINECONE_NS is None else PINECONE_NS
-        print(f"[pinecone] delete_all namespace={ns_repr}")
+        print(f"[pinecone] FULL REBUILD: delete_all namespace={ns_repr}")
         try:
             if PINECONE_NS is None:
                 idx.delete(delete_all=True)  # 기본 네임스페이스
@@ -199,8 +212,10 @@ def upsert_docs(docs: List[Document], rebuild: bool = False) -> int:
         except Exception as e:
             # 존재하지 않는 네임스페이스면 지울 게 없어서 404가 날 수 있음 — 경고만 출력
             print(f"[pinecone] delete_all warning: {e}")
+    else:
+        print(f"[pinecone] INCREMENTAL UPDATE: upserting {len(docs)} documents")
 
-    # 업서트
+    # 업서트 (동일 ID면 덮어쓰기, 신규면 삽입)
     ids = []
     for i, d in enumerate(docs):
         m = d.metadata or {}

src/uosai/indexer/README.md

@@ -1 +0,0 @@
-Indexing pipeline (split/embed/upsert)

src/uosai/indexer/index.py

@@ -1,19 +1,48 @@
 # src/uosai/indexer/index.py
 import os, sys, time, traceback
-from datetime import datetime
+from datetime import datetime, timedelta
 
 # 공통 유틸
-from uosai.common.utils import fetch_all_rows, row_to_doc, split_docs, upsert_docs
+from uosai.common.utils import fetch_all_rows, fetch_rows_since, row_to_doc, split_docs, upsert_docs
 
 BATCH_SIZE = int(os.getenv("BATCH_SIZE", "200"))
 BATCH_SLEEP_SEC = float(os.getenv("BATCH_SLEEP_SEC", "0.8"))  # 레이트리밋 대응
 
+# 증분 업데이트 설정
+INDEX_MODE = os.getenv("INDEX_MODE", "incremental")  # "incremental" 또는 "full"
+INCREMENTAL_DAYS = int(os.getenv("INCREMENTAL_DAYS", "7"))  # 증분 업데이트 시 최근 N일
+
 def log(msg: str) -> None:
     print(f"[indexer {datetime.now():%Y-%m-%d %H:%M:%S}] {msg}")
 
 def main() -> int:
-    log("Full rebuild start")
-    rows = fetch_all_rows()
+    """인덱싱 메인 함수
+
+    환경 변수:
+        INDEX_MODE: "incremental" (증분 업데이트, 기본값) 또는 "full" (전체 리빌드)
+        INCREMENTAL_DAYS: 증분 업데이트 시 최근 N일 데이터 처리 (기본값: 7)
+
+    WUs 절약:
+        - incremental: 최근 N일 데이터만 upsert (일일 약 30-300 WUs)
+        - full: 전체 삭제 후 재삽입 (약 6,000 WUs, 월 1회 권장)
+    """
+    mode = INDEX_MODE.lower()
+
+    if mode == "full":
+        log("=== FULL REBUILD MODE ===")
+        log("WARNING: This will consume significant WUs!")
+        rows = fetch_all_rows()
+        rebuild = True
+    elif mode == "incremental":
+        log(f"=== INCREMENTAL UPDATE MODE (last {INCREMENTAL_DAYS} days) ===")
+        since_date = (datetime.now() - timedelta(days=INCREMENTAL_DAYS)).strftime("%Y-%m-%d")
+        log(f"Fetching notices since: {since_date}")
+        rows = fetch_rows_since(since_date)
+        rebuild = False
+    else:
+        log(f"ERROR: Invalid INDEX_MODE={INDEX_MODE}. Use 'incremental' or 'full'")
+        return 1
+
     if not rows:
         log("No rows found")
         return 0
@@ -24,14 +53,16 @@ def main() -> int:
     total = 0
     for i in range(0, len(docs), BATCH_SIZE):
         batch = docs[i:i+BATCH_SIZE]
-        # 첫 배치만 전체 삭제
-        n = upsert_docs(batch, rebuild=(i == 0))
+        # full 모드일 때만 첫 배치에서 전체 삭제
+        should_rebuild = rebuild and (i == 0)
+        n = upsert_docs(batch, rebuild=should_rebuild)
         total += n
         log(f"Upsert batch {i//BATCH_SIZE+1}: {n} chunks (cum {total})")
         if i + BATCH_SIZE < len(docs) and BATCH_SLEEP_SEC > 0:
             time.sleep(BATCH_SLEEP_SEC)
 
-    log(f"Full rebuild done: chunks={total}")
+    mode_label = "Full rebuild" if rebuild else "Incremental update"
+    log(f"{mode_label} done: chunks={total}")
     return total
 
 if __name__ == "__main__":