docs: tighten closure research for briefing preamble leak
This commit is contained in:
parent
fc2060ee13
commit
e80179f877
@ -11,6 +11,7 @@ tags: [research, naverworks, briefing, insight, llm, closure]
|
||||
## 목적
|
||||
- `로빙입니다. 사용자님께서는... 요약해 드리겠습니다.` 같은 서두가 NAVER WORKS 브리핑 인사이트에 노출되는 문제를 어떤 수정으로 닫는 것이 맞는지 결정 가능한 근거를 남깁니다.
|
||||
- 이 문서는 이번 문제를 닫기 위한 리서치에 한정합니다.
|
||||
- 일반적인 프롬프트 운영 전략이나 Prompt DB 전면화 결정은 이 문서 범위에서 제외합니다.
|
||||
|
||||
## 조사 질문
|
||||
1. 현재 서두 문구는 어느 레이어에서 붙는가
|
||||
@ -37,6 +38,11 @@ tags: [research, naverworks, briefing, insight, llm, closure]
|
||||
- 직접 원인은 LLM이 프롬프트를 어긴 출력값을 냈고, 애플리케이션이 그 값을 검증 없이 통과시킨 것이다.
|
||||
- 즉 장애의 본질은 `프롬프트만 있고 출력 강제 규칙이 없는 상태`다.
|
||||
|
||||
## 문제를 닫는 범위
|
||||
- 이번 문서는 `NAVER WORKS 브리핑 insight 1줄` 품질 계약만 다룬다.
|
||||
- Prompt DB 미적용, 다른 브리핑 skill 전수 점검, 공통 LLM 출력 정책 정리는 별도 문제로 남긴다.
|
||||
- 이번 종료 조건은 `이 경로에서 금지 서두가 다시 노출되지 않게 만드는 것`이다.
|
||||
|
||||
## 선택지 비교
|
||||
|
||||
### 선택지 A. 프롬프트만 더 강하게 수정
|
||||
@ -70,6 +76,28 @@ tags: [research, naverworks, briefing, insight, llm, closure]
|
||||
2. 후처리만으로는 모델 출력 형태가 달라질 때 불안정하다.
|
||||
3. 테스트가 없으면 문제 재발 시 다시 눈으로만 확인해야 한다.
|
||||
|
||||
## 권장 종료 전략
|
||||
- 이번 문제는 `generate -> validate -> regenerate 1회 -> normalize failure -> format -> send` 계약으로 닫는 것이 맞다.
|
||||
- 의미:
|
||||
1. 첫 생성 결과가 허용 패턴이면 그대로 사용한다.
|
||||
2. 금지 서두가 있거나 허용 시작 패턴을 어기면 1회만 재생성한다.
|
||||
3. 재생성도 실패하면 침묵 통과시키지 않고, 정규화 가능한 범위만 제거한 뒤 기준 미달이면 실패로 남긴다.
|
||||
- 핵심은 `어떤 출력이든 성공처럼 보내지 않는다`는 것이다.
|
||||
|
||||
## 판정 규칙
|
||||
- 금지 서두 예시:
|
||||
- `로빙입니다`
|
||||
- `사용자님께서는`
|
||||
- `요약해 드리겠습니다`
|
||||
- `오늘 알아야 할 메일 핵심 내용을`
|
||||
- 허용 시작 패턴:
|
||||
- `회신 필요`
|
||||
- `결제/청구`
|
||||
- `안내/공지`
|
||||
- 실패 판정:
|
||||
- 금지 서두 제거 후에도 허용 시작 패턴으로 시작하지 않으면 실패다.
|
||||
- 1줄 요약이 아닌 서술형 인사/설명이 남으면 실패다.
|
||||
|
||||
## 닫힘 기준
|
||||
1. `_generate_insight()` 또는 인사이트 직후 경로에서 금지 서두 제거/검증이 추가돼야 한다.
|
||||
2. 프롬프트는 `회신 필요`, `결제/청구`, `안내/공지` 같은 분류 표현으로 바로 시작하도록 더 강하게 제한돼야 한다.
|
||||
@ -81,4 +109,4 @@ tags: [research, naverworks, briefing, insight, llm, closure]
|
||||
|
||||
## 이번 문제를 닫는 실행 문장
|
||||
- 이 문제는 `LLM 출력 일탈을 허용한 검증 부재` 문제다.
|
||||
- 따라서 닫는 방법은 `프롬프트 보강`만이 아니라 `출력 후처리와 금지 케이스 테스트`를 함께 넣는 것이다.
|
||||
- 따라서 닫는 방법은 `프롬프트 보강`만이 아니라 `출력 검증 분기, 실패 가시성, 금지 케이스 테스트`를 함께 넣는 것이다.
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user