DOCS/ideas/250920_happybell80_로빙_의도분석_전략.md

로빙의 의도 분석 전략: LLM을 넘어선 접근

1. 개요

로빙 프로젝트의 의도 분석은 사용자의 명령이나 질의에 숨겨진 업무 관련 의도를 파악하는 데 중점을 둡니다. 하지만 단순히 LLM(대규모 언어 모델)에게 "사용자의 의도가 무엇인지 선택해 줘"라고 묻는 것만으로는 로빙이 추구하는 수준의 견고하고 정확하며 맥락을 이해하는 의도 분석을 달성하기 어렵습니다.

이 문서는 LLM의 한계를 극복하고 로빙이 지능적인 의도 분석을 수행하기 위한 다각적인 전략을 설명합니다.

---

2. LLM에게 단순히 묻는 것의 한계

LLM은 강력한 자연어 처리 능력을 가지고 있지만, 의도 분석에 단순히 활용할 경우 다음과 같은 한계에 직면합니다.

• 환각(Hallucination) 및 비일관성: LLM은 존재하지 않는 의도를 생성하거나, 같은 질문에 대해 일관성 없는 답변을 내놓을 수 있어 예측 불가능한 시스템으로 이어집니다.
• 구조화된 출력의 어려움: LLM은 자유 형식의 텍스트를 생성하는 데 능숙하지만, 프로그램이 쉽게 파싱하고 활용할 수 있는 구조화된 JSON 출력(예: {"intent": "email_send", "recipient": "user@example.com"})을 일관되게 생성하기 어렵습니다.
• 비용 및 지연 시간: 매 턴마다 복잡한 프롬프트로 LLM API를 호출하는 것은 비용이 많이 들고 응답 지연 시간을 증가시킵니다.
• 컨텍스트 윈도우의 한계: 멀티턴 대화에서 LLM의 컨텍스트 윈도우는 유한하므로, 긴 대화의 모든 맥락을 기억하기 어렵습니다.
• 도메인 특화 지식 부족: 일반적인 LLM은 로빙의 특정 스킬, 내부 프로세스, 업무 규칙 등 도메인 특화된 지식을 알지 못합니다.

---

3. 로빙의 다각적인 의도 분석 접근 방식

로빙은 LLM의 한계를 극복하고 사용자의 숨겨진 업무 관련 의도를 정확하고 효율적으로 파악하기 위해 다음과 같은 복합적인 전략을 사용합니다.

1. 하이브리드 시스템 (LLM + 전통적 방식):

   • 전략: 정규식 기반의 DecisionEngine과 LLM 기반의 IntentAnalyzer를 병행 사용합니다.
   • 효과: 명확하고 반복적인 의도는 정규식으로 빠르게 처리하고, 복잡하거나 모호한 의도에만 LLM을 활용하여 효율성을 높입니다.

2. 구조화된 프롬프트 엔지니어링 및 Few-shot Learning:

   • 전략: 의도 목록과 각 의도에 대한 명확한 설명(제로샷) 또는 몇 가지 예시(Few-shot)를 프롬프트에 포함하여 LLM이 더 정확하고 일관된 답변을 생성하도록 유도합니다.
   • 적용: 로빙의 "시간 인식 제로샷 의도 분류 시스템"이 이 방식을 활용하여 LLM 호출을 최소화하면서도 높은 정확도를 유지합니다.

3. 컨텍스트 관리 및 슬롯 필링 시스템:

   • 전략: 멀티턴 대화를 위해 LLM 외부에 별도의 컨텍스트 관리 시스템(Redis, PostgreSQL 활용)을 구축합니다. 이 시스템은 대화의 상태를 추적하고, 필요한 정보를 '슬롯' 형태로 추출하여 저장하며, 모든 필수 슬롯이 채워질 때까지 사용자에게 질문을 던집니다.
   • 적용: "대화형 점진적 의도 구축 시스템"의 핵심 컴포넌트로, 로빙이 사용자와 자연스러운 멀티턴 대화를 이어갈 수 있도록 합니다.

4. 확신도(Confidence) 기반 폴백(Fallback) 및 되묻기:

   • 전략: LLM이 자신의 답변에 대해 확신도가 낮다고 판단할 경우(예: 마진 기반 신뢰도), 사용자에게 "제가 제대로 이해했는지 확인해 주시겠어요?"와 같이 되묻거나, 더 간단한 규칙 기반 모델로 폴백하여 잘못된 행동을 방지합니다.
   • 효과: 의도 분석의 정확성과 사용자 경험의 안정성을 높입니다.

5. 피드백 루프 및 지속적인 학습 (베이지안):

   • 전략: 로빙은 사용자의 명시적/암묵적 피드백을 수집하여 의도 분석 모델을 지속적으로 개선합니다.
   • 적용: LLM의 응답을 단순히 받아들이는 것을 넘어, 실제 사용자 경험을 통해 모델을 '학습'시키는 과정이며, 베이지안 추론이 이러한 믿음의 업데이트 과정을 수학적으로 뒷받침합니다.

6. 도메인 특화 지식 주입:

   • 전략: 로빙의 스킬 목록, 내부 프로세스, 업무 규칙 등 로빙만이 아는 정보를 LLM에게 제공하여, 일반적인 LLM이 알 수 없는 업무 관련 의도를 정확하게 파악하도록 돕습니다.
   • 효과: 로빙의 의도 분석이 업무 환경에 최적화되고, 더 실용적인 결과를 도출합니다.

---

4. 결론

로빙의 의도 분석은 LLM의 강력한 자연어 이해 및 생성 능력을 활용하되, 그 한계를 보완하기 위해 하이브리드 아키텍처, 정교한 프롬프트 엔지니어링, 외부 컨텍스트 관리 시스템, 그리고 지속적인 학습 및 피드백 루프를 결합하는 복합적인 전략을 사용합니다. 이러한 접근 방식은 로빙이 단순히 LLM에게 묻는 것을 넘어, 사용자의 숨겨진 업무 관련 의도를 정확하고 효율적으로 파악하여 진정한 디지털 동반자로 기능하기 위한 필수적인 단계입니다.