docs: add GooseCouncil evaluation decision logic research for robeing

This commit is contained in:
happybell80 2026-03-03 12:08:17 +09:00
parent da81d69712
commit 05f49a5fae
2 changed files with 72 additions and 1 deletions

View File

@ -0,0 +1,70 @@
# 260303 구카 평가·결정 로직 로빙 적용 리서치
## 목적
- TheGooseCouncil(구카)의 평가/결정 체계에서 로빙 운영에 즉시 인용 가능한 규칙을 추출한다.
## 확인한 원문(근거)
- `/home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/07_ENGINEERING/Scoring_Formula_v1.md`
- `/home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/03_EVALUATION/Evaluation_Framework.md`
- `/home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/07_ENGINEERING/Policy_Externalization_and_Auto_Evolution.md`
- `/home/admin/thegoosecouncil/DOCS/00_JOURNEY_OUT/06_OPERATIONS/Failure_Prevention_Principles.md`
- `/home/admin/thegoosecouncil/tests/test_value_state_decision.py`
## 구카에서 인용할 핵심
1. 4축 고정 점수 + 컷오프 + 동점 규칙
- 점수축: `feasibility`, `goal_fit`, `differentiation`, `risk_control`
- 컷오프: `F < 50` 또는 `R < 40` 자동 탈락
- 동점 우선순위: `F` > `R` > 근거 품질
2. 2층 평가 루프(Judge-of-Judge)
- 1층: 전략/산출물 점수
- 2층: 평가자 메타점수(정확도/일관성/공정성/설명력)
- 루프: `전략 평가 -> 메타평가 -> 다음 라운드 가중치 갱신`
3. 평가자 신뢰도 동적 갱신
- 평가자 계수 `Q`를 고정하지 않고 라운드 증거 기반으로 갱신
- 운영식 예시: `PosteriorQ = (1-alpha)*PriorQ + alpha*EvidenceScore`
4. 집계 안정화 규칙
- 평가자별 보정 점수 집계에 평균(mean) 대신 `median` 사용
- 이상치 평가자 영향 완화 목적
5. 정책 외부화(코드 하드코딩 금지)
- 가중치/컷오프/선발기준/라우팅을 정책 저장소(DB/버전)로 분리
- 롤백 가능한 정책 버전 운영
6. 운영 게이트 강제
- 완료 보고 전 검증 로그 확보
- 네트워크 검증 타임아웃 필수
- 광범위 fallback 남용 금지
## 로빙 적용 제안 (우선순위)
### P0 (즉시)
- 로빙의 핵심 의사결정에 `하드 컷오프` 도입
- 예: 인증/연결/데이터 무결성 기준 미달 시 자동 탈락(우회 금지)
- 점수 동률/경합 상황에 동점 규칙 명시
- 운영 안정성 > 목적 적합성 > 근거 품질 순
- 완료 전 게이트 고정
- 의존성 스캔 -> 포트 매트릭스 -> 핵심 API 실호출 -> 로그 교차검증
### P1 (단기)
- 평가자 신뢰도 개념 도입
- 사람/서비스/에이전트 판단 결과에 신뢰도 계수 적용
- 집계 함수에 median 우선 적용
- 단일 이상치로 전체 의사결정이 흔들리지 않도록 방어
### P2 (중기)
- 정책 외부화
- 하드코딩된 임계치/가중치를 정책 버전으로 분리
- 변경 이력, 롤백, 변경 폭 제한 운영
## 로빙에 바로 쓰는 결정 템플릿
1. 입력 검증/하드 컷오프 적용
2. 4축 점수 계산(가중치 버전 명시)
3. 동점 규칙 적용
4. 메타평가 반영 신뢰도 보정
5. 최종 결정 + 근거 3줄 + 감사 로그 저장
## 주의사항
- 구카의 수치(가중치/컷오프)를 그대로 복제하지 말고, 로빙 운영 데이터로 재보정해야 한다.
- 규칙은 코드가 아니라 정책 버전으로 관리해야 재발 방지와 롤백이 가능하다.

View File

@ -53,6 +53,7 @@
### [오케스트레이션·에이전트 플랫폼(Orchestration Tools)](./orchestration_tools/README.md)
- LangGraph vs n8n 비교
- OpenClaw 아키텍처 및 로빙 적용 리서치
- [구카 평가·결정 로직 로빙 적용 리서치 (260303)](./260303_구카_평가결정_로직_로빙_적용_리서치.md)
## 로빙을 위한 체크리스트
@ -128,4 +129,4 @@
- 윤리적 의사결정 프레임워크
## 다음 단계
연구 결과를 실제 시스템에 적용하고, [700_for_robeing](../700_for_robeing/README.md)에서 다른 로빙과 지식을 공유하세요.
연구 결과를 실제 시스템에 적용하고, [700_for_robeing](../700_for_robeing/README.md)에서 다른 로빙과 지식을 공유하세요.