DOCS/journey/research/260303_구카_평가결정_로직_로빙_적용_리서치.md

260303 구카 평가·결정 로직 로빙 적용 리서치

목적

• TheGooseCouncil(구카)의 평가/결정 체계에서 로빙 운영에 즉시 인용 가능한 규칙을 추출한다.

확인한 원문(근거)

• /home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/07_ENGINEERING/Scoring_Formula_v1.md
• /home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/03_EVALUATION/Evaluation_Framework.md
• /home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/07_ENGINEERING/Policy_Externalization_and_Auto_Evolution.md
• /home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/06_OPERATIONS/Failure_Prevention_Principles.md
• /home/admin/thegoosecouncil/tests/test_value_state_decision.py

구카에서 인용할 핵심

1. 4축 고정 점수 + 컷오프 + 동점 규칙

• 점수축: feasibility, goal_fit, differentiation, risk_control
• 컷오프: F < 50 또는 R < 40 자동 탈락
• 동점 우선순위: F > R > 근거 품질

2. 2층 평가 루프(Judge-of-Judge)

• 1층: 전략/산출물 점수
• 2층: 평가자 메타점수(정확도/일관성/공정성/설명력)
• 루프: 전략 평가 -> 메타평가 -> 다음 라운드 가중치 갱신

3. 평가자 신뢰도 동적 갱신

• 평가자 계수 Q를 고정하지 않고 라운드 증거 기반으로 갱신
• 운영식 예시: PosteriorQ = (1-alpha)*PriorQ + alpha*EvidenceScore

4. 집계 안정화 규칙

• 평가자별 보정 점수 집계에 평균(mean) 대신 median 사용
• 이상치 평가자 영향 완화 목적

5. 정책 외부화(코드 하드코딩 금지)

• 가중치/컷오프/선발기준/라우팅을 정책 저장소(DB/버전)로 분리
• 롤백 가능한 정책 버전 운영

6. 운영 게이트 강제

• 완료 보고 전 검증 로그 확보
• 네트워크 검증 타임아웃 필수
• 광범위 fallback 남용 금지

로빙 적용 제안 (우선순위)

P0 (즉시)

• 로빙의 핵심 의사결정에 하드 컷오프 도입
  • 예: 인증/연결/데이터 무결성 기준 미달 시 자동 탈락(우회 금지)
• 점수 동률/경합 상황에 동점 규칙 명시
  • 운영 안정성 > 목적 적합성 > 근거 품질 순
• 완료 전 게이트 고정
  • 의존성 스캔 -> 포트 매트릭스 -> 핵심 API 실호출 -> 로그 교차검증

P1 (단기)

• 평가자 신뢰도 개념 도입
  • 사람/서비스/에이전트 판단 결과에 신뢰도 계수 적용
• 집계 함수에 median 우선 적용
  • 단일 이상치로 전체 의사결정이 흔들리지 않도록 방어

P2 (중기)

• 정책 외부화
  • 하드코딩된 임계치/가중치를 정책 버전으로 분리
  • 변경 이력, 롤백, 변경 폭 제한 운영

로빙에 바로 쓰는 결정 템플릿

1. 입력 검증/하드 컷오프 적용
2. 4축 점수 계산(가중치 버전 명시)
3. 동점 규칙 적용
4. 메타평가 반영 신뢰도 보정
5. 최종 결정 + 근거 3줄 + 감사 로그 저장

주의사항

• 구카의 수치(가중치/컷오프)를 그대로 복제하지 말고, 로빙 운영 데이터로 재보정해야 한다.
• 규칙은 코드가 아니라 정책 버전으로 관리해야 재발 방지와 롤백이 가능하다.