diff --git a/journey/research/260303_구카_평가결정_로직_로빙_적용_리서치.md b/journey/research/260303_구카_평가결정_로직_로빙_적용_리서치.md new file mode 100644 index 0000000..4445f4d --- /dev/null +++ b/journey/research/260303_구카_평가결정_로직_로빙_적용_리서치.md @@ -0,0 +1,70 @@ +# 260303 구카 평가·결정 로직 로빙 적용 리서치 + +## 목적 +- TheGooseCouncil(구카)의 평가/결정 체계에서 로빙 운영에 즉시 인용 가능한 규칙을 추출한다. + +## 확인한 원문(근거) +- `/home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/07_ENGINEERING/Scoring_Formula_v1.md` +- `/home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/03_EVALUATION/Evaluation_Framework.md` +- `/home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/07_ENGINEERING/Policy_Externalization_and_Auto_Evolution.md` +- `/home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/06_OPERATIONS/Failure_Prevention_Principles.md` +- `/home/admin/thegoosecouncil/tests/test_value_state_decision.py` + +## 구카에서 인용할 핵심 +1. 4축 고정 점수 + 컷오프 + 동점 규칙 +- 점수축: `feasibility`, `goal_fit`, `differentiation`, `risk_control` +- 컷오프: `F < 50` 또는 `R < 40` 자동 탈락 +- 동점 우선순위: `F` > `R` > 근거 품질 + +2. 2층 평가 루프(Judge-of-Judge) +- 1층: 전략/산출물 점수 +- 2층: 평가자 메타점수(정확도/일관성/공정성/설명력) +- 루프: `전략 평가 -> 메타평가 -> 다음 라운드 가중치 갱신` + +3. 평가자 신뢰도 동적 갱신 +- 평가자 계수 `Q`를 고정하지 않고 라운드 증거 기반으로 갱신 +- 운영식 예시: `PosteriorQ = (1-alpha)*PriorQ + alpha*EvidenceScore` + +4. 집계 안정화 규칙 +- 평가자별 보정 점수 집계에 평균(mean) 대신 `median` 사용 +- 이상치 평가자 영향 완화 목적 + +5. 정책 외부화(코드 하드코딩 금지) +- 가중치/컷오프/선발기준/라우팅을 정책 저장소(DB/버전)로 분리 +- 롤백 가능한 정책 버전 운영 + +6. 운영 게이트 강제 +- 완료 보고 전 검증 로그 확보 +- 네트워크 검증 타임아웃 필수 +- 광범위 fallback 남용 금지 + +## 로빙 적용 제안 (우선순위) +### P0 (즉시) +- 로빙의 핵심 의사결정에 `하드 컷오프` 도입 + - 예: 인증/연결/데이터 무결성 기준 미달 시 자동 탈락(우회 금지) +- 점수 동률/경합 상황에 동점 규칙 명시 + - 운영 안정성 > 목적 적합성 > 근거 품질 순 +- 완료 전 게이트 고정 + - 의존성 스캔 -> 포트 매트릭스 -> 핵심 API 실호출 -> 로그 교차검증 + +### P1 (단기) +- 평가자 신뢰도 개념 도입 + - 사람/서비스/에이전트 판단 결과에 신뢰도 계수 적용 +- 집계 함수에 median 우선 적용 + - 단일 이상치로 전체 의사결정이 흔들리지 않도록 방어 + +### P2 (중기) +- 정책 외부화 + - 하드코딩된 임계치/가중치를 정책 버전으로 분리 + - 변경 이력, 롤백, 변경 폭 제한 운영 + +## 로빙에 바로 쓰는 결정 템플릿 +1. 입력 검증/하드 컷오프 적용 +2. 4축 점수 계산(가중치 버전 명시) +3. 동점 규칙 적용 +4. 메타평가 반영 신뢰도 보정 +5. 최종 결정 + 근거 3줄 + 감사 로그 저장 + +## 주의사항 +- 구카의 수치(가중치/컷오프)를 그대로 복제하지 말고, 로빙 운영 데이터로 재보정해야 한다. +- 규칙은 코드가 아니라 정책 버전으로 관리해야 재발 방지와 롤백이 가능하다. diff --git a/journey/research/README.md b/journey/research/README.md index 4509d10..44dc2e1 100644 --- a/journey/research/README.md +++ b/journey/research/README.md @@ -53,6 +53,7 @@ ### [오케스트레이션·에이전트 플랫폼(Orchestration Tools)](./orchestration_tools/README.md) - LangGraph vs n8n 비교 - OpenClaw 아키텍처 및 로빙 적용 리서치 +- [구카 평가·결정 로직 로빙 적용 리서치 (260303)](./260303_구카_평가결정_로직_로빙_적용_리서치.md) ## 로빙을 위한 체크리스트 @@ -128,4 +129,4 @@ - 윤리적 의사결정 프레임워크 ## 다음 단계 -연구 결과를 실제 시스템에 적용하고, [700_for_robeing](../700_for_robeing/README.md)에서 다른 로빙과 지식을 공유하세요. \ No newline at end of file +연구 결과를 실제 시스템에 적용하고, [700_for_robeing](../700_for_robeing/README.md)에서 다른 로빙과 지식을 공유하세요.