Product cognition 의미 품질 검증 및 제품화 추적

[LEE-Kyungjae]

배경

Palamedes의 product cognition v3, evidence custody, GitNexus 기반 아키텍처 전이, pluggable provider 및 권한 게이트 구현은 완료됐다. 현재 정적 테스트는 계약·라우팅·변조 방지의 회귀를 검증하지만, 사람 수준의 창의성이나 실제 외부 성과를 입증하지는 않는다.

이 이슈는 남은 의미 품질 검증과 제품화 작업을 추적한다.

P0 — 의미 품질 입증

• 정답 어휘를 노출하지 않은 hidden positive fixture를 실제 provider로 평가
• 반복 사용·콘텐츠 cadence·entitlement 신호가 없는 negative control을 같은 조건으로 평가
• negative control에서 recurring progression 또는 battle-pass형 답을 상투적으로 제안하면 실패 처리
• qualified 제품 후보가 adversary 검토를 거쳐 bounded probe와 commit까지 이어지는 live run 확보
• 외부 사람 또는 분리된 holdout judge 평가 추가
  • 기회 발견
  • 인과 깊이와 2차 효과
  • 운영 현실성
  • 반증 가능성
  • genericness

완료 조건

• positive에서는 입력에 직접 쓰이지 않은 수익·제품 기회를 근거와 함께 발견한다.
• negative에서는 동일 해답을 템플릿처럼 반복하지 않는다.
• 최종 선택 결과 자체가 독립 평가 기준을 통과한다.

P1 — 역할별 모델 독립성

• inventor / architecture analogist / failure operator / adversary / selector별 provider 및 model profile 지원
• 역할별 provider identity, budget, usage, health를 기록
• mixed-provider cycle resume 시 원래 역할별 identity를 고정하고 불일치 재개를 차단
• 동일 provider의 자기평가 편향을 측정하는 평가 추가

P1 — 지식 custody와 승격

• exact claim과 원 관측을 묶는 host-owned attestation store 설계
• source fingerprint, custody, verifier, confidence 검증
• attested claim만 mission-citable로 승격
• self-declared knowledge 및 model interpretation은 advisory로 유지

P1 — 아키텍처 전이 신뢰 경계

• 직접 API 입력을 untrusted boundary로 취급할지 명시
• 필요 시 opaque host capability 또는 ingest-time Git commit/file/excerpt 재검증
• mutation integrity와 provenance authentication을 문서에서 구분
• source pressure → mechanism → target pressure → adaptation → limits의 의미 품질 평가

P2 — Provider 운영 안정성

• transient failure retry/backoff 및 오류 분류
• 실제 endpoint/model health probe
• provider별 structured-output capability negotiation
• 역할별 호출·토큰 예산과 실패 호출 accounting
• OpenAI-compatible streaming/usage 차이 회귀 테스트
• 필요 시 Claude Code, Gemini CLI, OpenCode 등 native CLI adapter 추가

P2 — 저장소 운영

• GitNexus를 현재 HEAD로 재인덱싱
• 외부 maintainer가 생기면 CODEOWNERS와 최소 1명 PR 승인 정책 도입
• CI에 최소 permissions: contents: read 명시 및 action SHA pinning 검토

보존해야 할 불변식

1. inventor-visible prompt나 fixture에 원하는 해답 어휘를 넣지 않는다.
2. generic Git/workspace metadata만으로 제품 수요·매출 claim을 발행하지 않는다.
3. 모델 문장을 evidence claim으로 복사하지 않는다.
4. raw GitNexus hit를 검증된 architecture transfer로 취급하지 않는다.
5. specialized authority gate를 일반 승인으로 해제하지 않는다.
6. 정적 fixture 통과를 자율적 의미 추론 성공으로 부르지 않는다.
7. 모든 유료 호출과 실패 호출을 budget에 포함한다.

관련 문서

• docs/inquiry/2026-08-13-product-cognition-handoff.md
• README.md
• README.ko.md