# 260303 구카 평가·결정 로직 로빙 적용 리서치 ## 목적 - TheGooseCouncil(구카)의 평가/결정 체계에서 로빙 운영에 즉시 인용 가능한 규칙을 추출한다. ## 확인한 원문(근거) - `/home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/07_ENGINEERING/Scoring_Formula_v1.md` - `/home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/03_EVALUATION/Evaluation_Framework.md` - `/home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/07_ENGINEERING/Policy_Externalization_and_Auto_Evolution.md` - `/home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/06_OPERATIONS/Failure_Prevention_Principles.md` - `/home/admin/thegoosecouncil/tests/test_value_state_decision.py` ## 구카에서 인용할 핵심 1. 4축 고정 점수 + 컷오프 + 동점 규칙 - 점수축: `feasibility`, `goal_fit`, `differentiation`, `risk_control` - 컷오프: `F < 50` 또는 `R < 40` 자동 탈락 - 동점 우선순위: `F` > `R` > 근거 품질 2. 2층 평가 루프(Judge-of-Judge) - 1층: 전략/산출물 점수 - 2층: 평가자 메타점수(정확도/일관성/공정성/설명력) - 루프: `전략 평가 -> 메타평가 -> 다음 라운드 가중치 갱신` 3. 평가자 신뢰도 동적 갱신 - 평가자 계수 `Q`를 고정하지 않고 라운드 증거 기반으로 갱신 - 운영식 예시: `PosteriorQ = (1-alpha)*PriorQ + alpha*EvidenceScore` 4. 집계 안정화 규칙 - 평가자별 보정 점수 집계에 평균(mean) 대신 `median` 사용 - 이상치 평가자 영향 완화 목적 5. 정책 외부화(코드 하드코딩 금지) - 가중치/컷오프/선발기준/라우팅을 정책 저장소(DB/버전)로 분리 - 롤백 가능한 정책 버전 운영 6. 운영 게이트 강제 - 완료 보고 전 검증 로그 확보 - 네트워크 검증 타임아웃 필수 - 광범위 fallback 남용 금지 ## 로빙 적용 제안 (우선순위) ### P0 (즉시) - 로빙의 핵심 의사결정에 `하드 컷오프` 도입 - 예: 인증/연결/데이터 무결성 기준 미달 시 자동 탈락(우회 금지) - 점수 동률/경합 상황에 동점 규칙 명시 - 운영 안정성 > 목적 적합성 > 근거 품질 순 - 완료 전 게이트 고정 - 의존성 스캔 -> 포트 매트릭스 -> 핵심 API 실호출 -> 로그 교차검증 ### P1 (단기) - 평가자 신뢰도 개념 도입 - 사람/서비스/에이전트 판단 결과에 신뢰도 계수 적용 - 집계 함수에 median 우선 적용 - 단일 이상치로 전체 의사결정이 흔들리지 않도록 방어 ### P2 (중기) - 정책 외부화 - 하드코딩된 임계치/가중치를 정책 버전으로 분리 - 변경 이력, 롤백, 변경 폭 제한 운영 ## 로빙에 바로 쓰는 결정 템플릿 1. 입력 검증/하드 컷오프 적용 2. 4축 점수 계산(가중치 버전 명시) 3. 동점 규칙 적용 4. 메타평가 반영 신뢰도 보정 5. 최종 결정 + 근거 3줄 + 감사 로그 저장 ## 주의사항 - 구카의 수치(가중치/컷오프)를 그대로 복제하지 말고, 로빙 운영 데이터로 재보정해야 한다. - 규칙은 코드가 아니라 정책 버전으로 관리해야 재발 방지와 롤백이 가능하다.