DOCS/journey/ideas/250807_로빙_감정_시스템_설계도.md

# 로빙 감정 시스템 설계도 - 함수형 + 베이지안 적응형

**작성일**: 2025-08-07 (2025-08-08 개정)  
**작성자**: happybell80 & Claude  
**상태**: Inside Out 2축 모델 통합, 예측-평가 피드백 루프 추가

## 1. 핵심 철학

### 설계 원칙
- **감정은 시공간의 엔트로피 변화다**: 감정 벡터의 엔트로피가 증가하는 방향이 시간, 벡터 차원이 공간
- **엔트로피 특이점을 포착한다**: 시간이 흘러도 무질서해지지 않는 감정이 중요한 기억
- **함수형 프로그래밍 100%**: 순수 함수와 I/O 분리, 불변 데이터 구조
- **베이지안으로 불확실성 관리**: 모든 파라미터는 확률 분포로 표현되고 학습됨
- **예측-평가 피드백 루프**: 사용자 반응을 예측하고 실제와 비교하며 진화

## 2. 감정 상태 구조

### 2.1 기본 구조
- **감정 임베딩**: 768차원 벡터 (사전학습 모델 사용) - 핵심 표현
- **엔트로피 궤적**: 시간에 따른 엔트로피 변화 추적
- **베이지안 파라미터**: Beta, Gamma, Dirichlet 분포로 학습

### 2.2 ONNX 모델 기반 7감정 모델
- **7개 감정 레이블 (AIHUB 학습 모델)**:
  - Fear(공포), Surprise(놀람), Anger(분노), Sadness(슬픔), Neutral(중립), Happiness(행복), Disgust(혐오)
  - BERT 기반 한국어 감정 분류 모델
  - 442MB ONNX 모델로 실시간 추론

- **확장 가능성**:
  - 추후 사회적 감정 추가 가능 (Anxiety, Envy, Embarrassment, Ennui)
  - 현재는 7감정 기본 모델 사용

- **통합 방식**: 768차원 임베딩에서 7개 감정 확률 추출

### 2.3 감정 동역학
- 감정 변화율 = α(흡수율) × 평가 - δ(감쇠율) × 현재감정
- α와 δ는 Beta 분포에서 Thompson Sampling
- 기본정서는 빠른 α, 사회기능은 느린 α로 차별화
- 사용자 피드백으로 사후분포 업데이트

## 3. 감정 임베딩 활용

### 3.1 임베딩 획득
- **한국어 우선 모델**: ko-miniLM, multitask-e5, KoSimCSE
- **영어 모델은 백업**: EmoRoBERTa, GoEmotions BERT (번역 브릿지)
- **도메인 파인튜닝**: 로빙 대화 로그로 continual learning
- **대조학습**: 불안↔안도, 질투↔자긍심 등 반대쌍

### 3.2 ChromaDB 통합
- **저장 구조**: 
  - 감정 임베딩 벡터 (768차원)
  - ONNX 모델 감정 분포 (7차원: fear, surprise, anger, sadness, neutral, happiness, disgust)
  - 엔트로피 점수
  - 타임스탬프와 메타데이터

- **검색 전략**:
  1. 현재 감정 임베딩으로 top-k 코사인 유사도 검색
  2. 엔트로피 기반 중요도 필터링
  3. 시간 가중치 적용
  4. 베이지안 결합으로 최종 선택

### 3.3 임베딩 기반 클러스터링
- **HDBSCAN으로 교체**: eps 민감도 문제 해결
- **UMAP 시각화**: 감정 지도 가시화 (선택)
- 사용자별 감정 어트랙터 맵핑
- 클러스터별 공감 전략 프롬프트 캐싱

## 4. 엔트로피 정의 및 계산

### 4.1 프로토타입 소프트맥스 방식
**흐름**:
1. 768차원 임베딩과 9개 감정 프로토타입 간 거리 계산
2. 거리를 소프트맥스로 확률 분포 p로 변환
3. 엔트로피 H(p) = -Σ(p_i × log p_i) 계산
4. 특이점 = 엔트로피 급증 + 분류 확률 하락

### 4.2 2헤드 분리 구조
**기본정서 헤드 (100ms)**:
- 5개 감정: Joy, Sadness, Anger, Fear, Disgust
- 낮은 temperature로 결단력 유지
- 즉각적 반응 처리

**사회기능 헤드 (500ms)**:
- 4개 감정: Anxiety, Envy, Embarrassment, Ennui
- 문맥/담화 길이 반영
- attention window 확장

**통합 방식**:
- p_total = w × p_basic + (1-w) × p_social
- w는 발화 길이, 담화 위치, 채널(Slack/이메일)로 동적 결정
- Beta 분포 사후 기대값으로 w 학습

## 5. 예측-평가 피드백 루프

### 5.1 예측 시스템
**예측 대상**:
- 감정 전환 패턴 (기본정서 → 사회기능)
- 응답 길이 분포 (Gamma 분포)
- 주제 전환 확률 (Beta 분포)
- 대화 지속 시간

**베이지안 모델 구조**:
- 기본정서: Dirichlet(α_basic) - 5차원
- 사회기능: Dirichlet(α_social) - 4차원
- 저장/무시: Beta(α, β) - 성공률 추적
- 응답 길이: Gamma(k, θ) - 토큰 수 분포

### 5.2 평가 시스템
**오차 계산 (3종 병행)**:
- KL Divergence: 분포 차이 (0 근처 클리핑)
- Brier Score: 확률 예측 품질
- ECE: 캘리브레이션 오차

**학습 신호 생성**:
- 표준화된 z-score로 클리핑
- EMA(지수이동평균)로 평활화
- 특이점 구간에서만 학습률 2-3배 상승
- 학습 신호 = 오차 × 엔트로피_증가율 (편향 방지)

## 6. 수학-임베딩-LLM 통합 파이프라인

### 6.1 처리 흐름
1. **2축 감정 감지**: 기본정서(100ms) + 사회기능(500ms) 병렬 처리
2. **엔트로피 계산**: 프로토타입 소프트맥스 기반
3. **임베딩 유사도 계산**: ChromaDB에서 근접 감정 검색
4. **예측 생성**: 베이지안 추론으로 다음 상태 예측
5. **LLM 호출 결정**: 불확실성 임계값 기반 게이팅
6. **베이지안 증거 결합**: 모든 신호를 확률적으로 통합
7. **평가 및 학습**: 3종 오차(KL/Brier/ECE) 계산, 사후분포 업데이트

### 6.2 시퀀스 다이어그램

```mermaid
sequenceDiagram
    participant User
    participant Pipeline
    participant Basic as 기본정서<br/>(에크먼)
    participant Social as 사회기능<br/>(켈트너)
    participant Predict as 예측 모듈
    participant ChromaDB
    participant LLM
    participant Eval as 평가 모듈
    
    User->>Pipeline: 텍스트 입력
    
    par 2축 병렬 처리
        Pipeline->>Basic: 즉각 반응 분석
        Basic-->>Pipeline: Joy/Sadness/Anger/Fear/Disgust
    and
        Pipeline->>Social: 맥락 분석
        Social-->>Pipeline: Anxiety/Envy/Embarrassment/Ennui
    end
    
    Pipeline->>Predict: 현재 감정 상태
    Predict->>Predict: 베이지안 추론
    Predict-->>Pipeline: 사용자 반응 예측
    
    Pipeline->>ChromaDB: 감정 임베딩 검색
    ChromaDB-->>Pipeline: 유사 감정 사례
    
    alt 불확실성 높음
        Pipeline->>LLM: 의미 분석 요청
        LLM-->>Pipeline: 감정 해석
    end
    
    Pipeline-->>User: 감정 인식 답변
    User-->>Pipeline: 실제 반응
    
    Pipeline->>Eval: 예측 vs 실제
    Eval->>Eval: 엔트로피 오차 계산
    Eval-->>Predict: 사후분포 업데이트
```

#### 다이어그램 설명
1.  **입력**: 사용자가 텍스트를 입력하면, 중앙 파이프라인이 이를 받습니다.
2.  **감정 분석 (병렬)**: 입력된 텍스트는 '기본정서' 분석기와 '사회기능' 분석기로 동시에 전달되어 즉각적인 감정과 사회적 감정을 각각 분석합니다.
3.  **반응 예측**: 분석된 현재 감정 상태를 기반으로, '예측 모듈'은 사용자가 어떻게 반응할지 미리 예측합니다.
4.  **기억 회상**: 동시에, 파이프라인은 현재 감정과 유사한 과거의 기억들을 ChromaDB에서 찾아옵니다.
5.  **LLM 개입 (선택적)**: 만약 상황이 불확실하거나 복잡하면(alt), LLM에게 더 깊은 의미 분석을 요청합니다.
6.  **응답 및 피드백**: 종합된 정보를 바탕으로 사용자에게 응답하고, 사용자의 실제 반응을 피드백으로 받습니다.
7.  **학습**: '평가 모듈'이 로빙의 예측과 사용자의 실제 반응을 비교하여 오차를 계산하고, 이 오차를 바탕으로 '예측 모듈'의 베이지안 모델을 업데이트(학습)합니다.

### 6.3 중요도 결정 방식
- 잠재 중요도 z ∈ {0,1}
- 관측: m(엔트로피), e(임베딩 거리), l(LLM 점수)
- 베이지안 추론으로 P(z=1|m,e,l) 계산
- Thompson Sampling으로 저장/무시 결정

## 7. 베이지안 학습 시스템

### 7.1 파라미터 체계
**감정 분포**:
- Dirichlet(α_basic): 5개 기본정서 사전-사후
- Dirichlet(α_social): 4개 사회기능 사전-사후

**의사결정**:
- Beta(α, β): 저장/무시 성공률 ("저장 후 대화 품질 향상 여부")
- Gamma(k, θ): 응답 길이(토큰 수), 반응 시간(초) 분포

**계층 구조**:
- 조직 → 팀 → 개인의 Dirichlet-Multinomial
- Cold start는 조직/팀 사전분포로 초기화

### 7.2 온라인 업데이트
- 실시간 사후분포 갱신
- 지연 피드백 처리 (backward update)
- 불확실성 기반 탐색-활용 균형
- EMA로 평활화, 특이점에서만 학습률 상승

### 7.3 학습 플로우

```mermaid
flowchart TD
    A[사용자 피드백] --> B{피드백 타입}
    B -->|명시적| C[즉시 업데이트]
    B -->|암묵적| D[증거 누적]
    
    C --> E[사후분포 계산]
    D --> F[신뢰도 가중치]
    F --> E
    
    E --> G{계층 레벨}
    G -->|개인| H[개인 파라미터 업데이트]
    G -->|팀| I[팀 사전분포 조정]
    G -->|조직| J[글로벌 사전분포 조정]
    
    H --> K[Thompson Sampling]
    I --> K
    J --> K
    
    K --> L[다음 행동 결정]
```

#### 다이어그램 설명
1.  **피드백 수집**: 사용자의 명시적(예: 좋아요 버튼) 또는 암묵적(예: 후속 질문) 피드백을 받습니다.
2.  **업데이트 방식 결정**: 피드백 타입에 따라 즉시 반영할지, 여러 증거를 누적하여 신뢰도를 조정한 후 반영할지 결정합니다.
3.  **사후분포 계산**: 새로운 증거(피드백)를 바탕으로 베이즈 정리를 이용해 기존의 믿음(사전분포)을 업데이트합니다.
4.  **업데이트 범위 결정**: 계산된 업데이트를 개인, 팀, 조직 중 어느 레벨의 파라미터에 적용할지 결정합니다.
5.  **다음 행동 결정**: 업데이트된 믿음(사후분포)을 바탕으로, Thompson Sampling을 통해 다음 행동을 결정합니다. 이는 가장 좋은 선택(활용)과 새로운 시도(탐색) 사이의 균형을 맞춰줍니다.

## 8. 감정-기억 통합

### 8.1 저장 결정 및 안전장치
**저장 결정 흐름**:
- 엔트로피 특이점 검사
- 임베딩 클러스터 거리 (HDBSCAN)
- 베이지안 중요도 추론
- Thompson Sampling으로 최종 결정

**프라이버시 게이트**:
- PII 패턴 감지 (이름, 전화번호, 주민번호 등)
- 민감 주제 필터 (건강, 재무, 신원정보)
- 감지 시: 요약만 저장, 원문 폐기
- 24시간 내 opt-out 옵션 제공

### 8.2 회상 메커니즘
- 임베딩 기반 빠른 검색 (ChromaDB)
- 엔트로피 가중 재순위화
- MMR로 다양성 보장
- 시간 감쇠 적용

### 8.3 기억 회상 시퀀스

```mermaid
sequenceDiagram
    participant Query as 현재 감정
    participant ChromaDB
    participant Filter as 필터링
    participant Ranking as 재순위화
    participant Response
    
    Query->>ChromaDB: 감정 임베딩 벡터
    ChromaDB->>ChromaDB: 코사인 유사도 검색
    ChromaDB-->>Filter: top-100 후보
    
    Filter->>Filter: 엔트로피 점수 확인
    Filter->>Filter: 시간 가중치 적용
    Filter-->>Ranking: 필터링된 후보 (20-30개)
    
    Ranking->>Ranking: MMR 다양성 계산
    Ranking->>Ranking: 베이지안 결합
    Ranking-->>Response: 최종 5-10개 기억
    
    Response-->>Query: 관련 기억 반환
```

#### 다이어그램 설명
1.  **검색**: 현재 감정 상태를 나타내는 벡터로 ChromaDB에서 의미적으로 유사한 과거 기억 100개를 빠르게 찾아냅니다.
2.  **필터링**: 찾아낸 100개의 기억 중, 중요도(엔트로피)가 높고 너무 오래되지 않은 기억들만 남겨 후보군을 20~30개로 줄입니다.
3.  **재순위화**: 후보군 내에서 내용이 너무 비슷한 기억들은 제외하고(MMR 다양성), 베이지안 추론을 통해 현재 상황에 가장 적합한 순서로 정렬합니다.
4.  **응답**: 최종적으로 선택된 5~10개의 가장 관련성 높은 기억을 로빙의 응답 생성에 사용합니다.

## 9. 공감 시스템

### 9.1 Inside Out 기반 공감 전략
**기본정서 대응**:
- Joy → 함께 기뻐하기, 축하
- Sadness → 위로, 경청
- Anger → 이해와 진정
- Fear → 안심시키기, 지지
- Disgust → 경계 존중

**사회기능 대응**:
- Anxiety → "불안은 준비 신호" (Inside Out 2 통찰)
- Envy → 성장 동기로 전환
- Embarrassment → 정상화, 수용
- Ennui → 새로운 자극 제안

### 9.2 예측 기반 선제적 공감
- 감정 전환 예측 (Sadness → Anger 가능성)
- 선제적 개입 (전환 전 완화)
- Thompson Sampling으로 전략 선택
- 실제 효과로 베이지안 업데이트

## 10. 성능 지표 및 목표치

### 10.1 핵심 KPI (3개월 목표)
- **ECE (Expected Calibration Error)**: ≤ 0.05
  - 예측 확률과 실제 확률의 정렬도
  - 측정: 10개 구간별 신뢰도-정확도 차이의 가중평균
  
- **Brier Score**: ≤ 0.18
  - 확률 예측의 전반적 품질
  - 측정: (예측 - 실제)² 평균
  
- **NDCG@10**: ≥ 0.6
  - 감정 기반 기억 검색 품질
  - 측정: 상위 10개 결과의 관련도 순위 정확성

### 10.2 보조 지표
- **응답시간**: 기본정서 100ms, 사회기능 500ms 이내
- **메모리 사용량**: 사용자당 100MB 이하
- **학습 수렴**: 100회 상호작용 내 안정화
- **프라이버시 보호율**: PII 100% 필터링

### 10.3 사용자 경험 지표
- **감정 인식 정확도**: 사용자 평가 4.0/5.0 이상
- **공감 반응 만족도**: NPS 40 이상
- **설명 이해도**: 80% 이상 "이해함" 응답

## 11. 구현 우선순위

### Phase 1: 기초 구축 (2주)
**함수형 설계 원칙**:
```
입력: 텍스트 → 임베딩 → 프로토타입 거리 → 소프트맥스 → 감정분포
```
- 9개 감정 프로토타입 정의 (순수 함수)
- 한국어 임베딩 모델 통합 (ko-miniLM 우선)
- ChromaDB 메타데이터 구조 확장
- 프로토타입 소프트맥스 엔트로피 계산

### Phase 2: 예측-평가 시스템 (3주)
**파이프라인 구성**:
```
예측: 현재상태 → 베이지안추론 → 예측분포
평가: 실제결과 → 오차계산(KL/Brier/ECE) → 사후업데이트
```
- 2헤드 병렬 처리 (async/await)
- 3종 오차 메트릭 구현
- 베이지안 파라미터 초기화
- 로깅 및 모니터링 설정

### Phase 3: 통합 및 안전장치 (2주)
**프라이버시 우선**:
```
PII감지 → 민감주제필터 → 저장결정 → 24hr옵트아웃
```
- Thompson Sampling 의사결정
- 프라이버시 게이트 구현
- 실시간 사후분포 업데이트
- 오류 처리 및 폴백 메커니즘

### Phase 4: 최적화 및 평가 (1주)
**성능 튜닝**:
```
측정 → 병목분석 → 최적화 → 재측정 → KPI검증
```
- 추론 속도 최적화 (타겟: 100ms/500ms)
- 메모리 사용량 프로파일링
- KPI 대시보드 구축
- A/B 테스트 프레임워크

## 12. 기술 스택

- **임베딩 모델**: Hugging Face Transformers
- **벡터 DB**: ChromaDB (이미 사용 중)
- **베이지안 추론**: Pyro (경량) 또는 TFP (대규모)
- **함수형 구조**: 순수 함수 + I/O 분리 패턴

## 13. 주요 결정 사항

### 13.1 모델 선택 기준
1. **한국어 성능**: ko-miniLM > multitask-e5 > KoSimCSE
2. **추론 속도**: 100ms 제약 내 실행 가능
3. **메모리**: 모델당 500MB 이하
4. **라이선스**: 상업적 사용 가능

### 13.2 데이터 현실성
- **실제 대화 로그**: 최소 1만건 수집 후 시작
- **라벨링**: 9개 감정 각 1,000개 이상
- **검증셋**: 20% 홀드아웃, 시간 기준 분할
- **드리프트 모니터링**: 주간 분포 변화 추적

### 13.3 함수형 아키텍처

1. **임베딩 모델 선택**: 
   - 한국어 지원 여부
   - 모델 크기 vs 성능
   - 라이선스

2. **임베딩 차원**:
   - 768차원 그대로 vs PCA 축소
   - 저장 공간 vs 표현력

3. **업데이트 주기**:
   - 실시간 vs 배치
   - 리소스 vs 반응성

4. **하드코딩 제거**:
   - 모든 임계값은 환경변수화
   - 감정 레이블은 설정 파일로 관리
   - 모델 경로는 동적 로딩

## 14. skill-embedding 서비스 통합 방안

### 14.1 현재 구조 분석
**skill-embedding 서비스**:
- 포트: 8502 (HTTP API)
- 기능: 텍스트 → 768차원 벡터 변환
- 모델: sentence-transformers 기반

### 14.2 확장 방안 (흐름 중심)

**감정 프로토타입 엔드포인트 추가**:
```
POST /emotion/prototypes
입력: {"text": "...", "mode": "basic" | "social"}
처리: 
  1. 텍스트 임베딩 생성
  2. 9개 프로토타입과 거리 계산
  3. 소프트맥스로 확률 분포 변환
  4. 엔트로피 계산
출력: {"distribution": [...], "entropy": 0.x, "dominant": "joy"}
```

**2헤드 병렬 처리**:
```
POST /emotion/analyze
입력: {"text": "...", "context": {...}}
처리:
  - 병렬 실행:
    - 기본정서 헤드 (100ms 타임아웃)
    - 사회기능 헤드 (500ms 타임아웃)
  - 가중 결합 (w 동적 계산)
출력: {"basic": {...}, "social": {...}, "combined": {...}}
```

### 14.3 함수형 설계 원칙
- **불변성**: 모든 프로토타입은 읽기 전용
- **순수 함수**: 부작용 없는 변환 체인
- **조합 가능**: 각 단계를 독립적으로 테스트
- **타입 안전**: TypeScript/Pydantic 스키마

### 14.4 성능 최적화
- **캐싱**: LRU 캐시로 반복 계산 방지
- **배치 처리**: 여러 텍스트 동시 처리
- **비동기**: FastAPI async 엔드포인트
- **연결 풀링**: ChromaDB 연결 재사용

## 15. Inside Out 모델의 학술적 근거

### 과학 자문진
- **폴 에크먼** (UC San Francisco): 기본정서 이론 창시자
- **대처 켈트너** (UC Berkeley): 사회기능 감정 이론
- **리사 다무어** (임상심리학): 청소년 발달과 불안

### 핵심 통찰
1. **감정은 다층적**: 즉각적 기본정서 + 사회적 메타정서
2. **불안은 기능적**: 미래 대비 신호로 재해석 (Inside Out 2)
3. **감정 충돌이 성장**: 예측 오차가 클 때 학습 기회
4. **개성은 감정 혼합비**: 같은 상황, 다른 감정 조합

---

*이 설계는 픽사 Inside Out의 2축 감정 모델을 기반으로, 함수형 프로그래밍과 베이지안 추론을 통합한 예측-평가 적응형 시스템입니다. 로빙이 사용자 반응을 예측하고 평가하며 진화하는 진정한 디지털 동료가 됩니다.*

## 16. 검증 및 모니터링

### 16.1 단위 테스트 전략
```python
# 함수형 테스트 예시 (의사코드)
def test_emotion_entropy():
    # Given: 명확한 감정
    clear_emotion = [0.9, 0.05, 0.05, 0, 0, 0, 0, 0, 0]
    assert entropy(clear_emotion) < 0.5
    
    # Given: 혼재된 감정
    mixed_emotion = [0.11] * 9
    assert entropy(mixed_emotion) > 2.0
```

### 16.2 통합 테스트
- **엔드투엔드**: 텍스트 입력 → 감정 분석 → 저장 → 회상
- **부하 테스트**: 동시 100명 사용자, 응답시간 측정
- **장애 시나리오**: ChromaDB 다운, 모델 로딩 실패

### 16.3 프로덕션 모니터링
- **Prometheus 메트릭**: 응답시간, 오차율, 처리량
- **Grafana 대시보드**: 실시간 KPI 시각화
- **알람**: ECE > 0.07 또는 Brier > 0.2 시 알림
- **로그 분석**: 특이점 패턴, 오류 추세

---

**핵심 원칙**: 함수형 100%, 하드코딩 0%, 측정 가능한 성과