From e80179f8777687db67d41170c1b2028350fe35e7 Mon Sep 17 00:00:00 2001 From: Claude-51124 Date: Wed, 11 Mar 2026 18:41:24 +0900 Subject: [PATCH] docs: tighten closure research for briefing preamble leak --- ..._insight_preamble_leak_closure_research.md | 30 ++++++++++++++++++- 1 file changed, 29 insertions(+), 1 deletion(-) diff --git a/journey/research/260311_naverworks_briefing_insight_preamble_leak_closure_research.md b/journey/research/260311_naverworks_briefing_insight_preamble_leak_closure_research.md index 904be85..8ec9177 100644 --- a/journey/research/260311_naverworks_briefing_insight_preamble_leak_closure_research.md +++ b/journey/research/260311_naverworks_briefing_insight_preamble_leak_closure_research.md @@ -11,6 +11,7 @@ tags: [research, naverworks, briefing, insight, llm, closure] ## 목적 - `로빙입니다. 사용자님께서는... 요약해 드리겠습니다.` 같은 서두가 NAVER WORKS 브리핑 인사이트에 노출되는 문제를 어떤 수정으로 닫는 것이 맞는지 결정 가능한 근거를 남깁니다. - 이 문서는 이번 문제를 닫기 위한 리서치에 한정합니다. +- 일반적인 프롬프트 운영 전략이나 Prompt DB 전면화 결정은 이 문서 범위에서 제외합니다. ## 조사 질문 1. 현재 서두 문구는 어느 레이어에서 붙는가 @@ -37,6 +38,11 @@ tags: [research, naverworks, briefing, insight, llm, closure] - 직접 원인은 LLM이 프롬프트를 어긴 출력값을 냈고, 애플리케이션이 그 값을 검증 없이 통과시킨 것이다. - 즉 장애의 본질은 `프롬프트만 있고 출력 강제 규칙이 없는 상태`다. +## 문제를 닫는 범위 +- 이번 문서는 `NAVER WORKS 브리핑 insight 1줄` 품질 계약만 다룬다. +- Prompt DB 미적용, 다른 브리핑 skill 전수 점검, 공통 LLM 출력 정책 정리는 별도 문제로 남긴다. +- 이번 종료 조건은 `이 경로에서 금지 서두가 다시 노출되지 않게 만드는 것`이다. + ## 선택지 비교 ### 선택지 A. 프롬프트만 더 강하게 수정 @@ -70,6 +76,28 @@ tags: [research, naverworks, briefing, insight, llm, closure] 2. 후처리만으로는 모델 출력 형태가 달라질 때 불안정하다. 3. 테스트가 없으면 문제 재발 시 다시 눈으로만 확인해야 한다. +## 권장 종료 전략 +- 이번 문제는 `generate -> validate -> regenerate 1회 -> normalize failure -> format -> send` 계약으로 닫는 것이 맞다. +- 의미: + 1. 첫 생성 결과가 허용 패턴이면 그대로 사용한다. + 2. 금지 서두가 있거나 허용 시작 패턴을 어기면 1회만 재생성한다. + 3. 재생성도 실패하면 침묵 통과시키지 않고, 정규화 가능한 범위만 제거한 뒤 기준 미달이면 실패로 남긴다. +- 핵심은 `어떤 출력이든 성공처럼 보내지 않는다`는 것이다. + +## 판정 규칙 +- 금지 서두 예시: + - `로빙입니다` + - `사용자님께서는` + - `요약해 드리겠습니다` + - `오늘 알아야 할 메일 핵심 내용을` +- 허용 시작 패턴: + - `회신 필요` + - `결제/청구` + - `안내/공지` +- 실패 판정: + - 금지 서두 제거 후에도 허용 시작 패턴으로 시작하지 않으면 실패다. + - 1줄 요약이 아닌 서술형 인사/설명이 남으면 실패다. + ## 닫힘 기준 1. `_generate_insight()` 또는 인사이트 직후 경로에서 금지 서두 제거/검증이 추가돼야 한다. 2. 프롬프트는 `회신 필요`, `결제/청구`, `안내/공지` 같은 분류 표현으로 바로 시작하도록 더 강하게 제한돼야 한다. @@ -81,4 +109,4 @@ tags: [research, naverworks, briefing, insight, llm, closure] ## 이번 문제를 닫는 실행 문장 - 이 문제는 `LLM 출력 일탈을 허용한 검증 부재` 문제다. -- 따라서 닫는 방법은 `프롬프트 보강`만이 아니라 `출력 후처리와 금지 케이스 테스트`를 함께 넣는 것이다. +- 따라서 닫는 방법은 `프롬프트 보강`만이 아니라 `출력 검증 분기, 실패 가시성, 금지 케이스 테스트`를 함께 넣는 것이다.