From 53148ab25accc0fd81e1ca989e0a9bae25fed3b3 Mon Sep 17 00:00:00 2001 From: Claude-51124 Date: Wed, 11 Mar 2026 22:18:04 +0900 Subject: [PATCH] docs: separate prompt db closed loop from rollout scope --- .../plans/251225_프롬프트_동적관리_계획.md | 7 +++++++ ...프롬프트DB_응답생성_폐루프_미연결.md | 11 +++++++++++ ...rompt_db_partial_adoption_and_hardcoded_prompts.md | 10 ++++++++++ 3 files changed, 28 insertions(+) diff --git a/journey/plans/251225_프롬프트_동적관리_계획.md b/journey/plans/251225_프롬프트_동적관리_계획.md index 80f2808..edc3b39 100644 --- a/journey/plans/251225_프롬프트_동적관리_계획.md +++ b/journey/plans/251225_프롬프트_동적관리_계획.md @@ -14,6 +14,7 @@ **관련 문서**: - [자기개선루프 프롬프트DB 23로컬24 통합실행기록](./260304_자기개선루프_프롬프트DB_23로컬24_통합실행기록.md) - [프롬프트DB 응답생성 폐루프 미연결](../troubleshooting/260310_프롬프트DB_응답생성_폐루프_미연결.md) +- [프롬프트 DB 부분 도입 상태와 하드코딩 프롬프트 잔존](../troubleshooting/260311_prompt_db_partial_adoption_and_hardcoded_prompts.md) --- @@ -25,6 +26,12 @@ - A/B 실험 기반 자동 개선 - 안전한 자동 승격 + 즉시 롤백 +## 1-1. 문제 분리 원칙 +- `폐루프`와 `전면 DB화`는 같이 가야 하지만 같은 문제는 아닙니다. +- `폐루프`는 `DB의 활성 프롬프트가 실제 응답 생성 전에 반영되는가`의 문제입니다. +- `전면 DB화`는 `운영 프롬프트 다수가 DB 버전 관리 경로로 이관됐는가`의 문제입니다. +- 순서는 `폐루프`를 먼저 닫고, 그 다음 `전면 DB화`를 닫는 것으로 둡니다. + --- ## 2. 현재 상태 요약 (2026-03-03 기준) diff --git a/journey/troubleshooting/260310_프롬프트DB_응답생성_폐루프_미연결.md b/journey/troubleshooting/260310_프롬프트DB_응답생성_폐루프_미연결.md index 134d6ad..2806577 100644 --- a/journey/troubleshooting/260310_프롬프트DB_응답생성_폐루프_미연결.md +++ b/journey/troubleshooting/260310_프롬프트DB_응답생성_폐루프_미연결.md @@ -13,6 +13,12 @@ tags: [rb8001, prompt-db, self-improvement, tracking, troubleshooting] - [프롬프트 동적 관리 시스템 계획](../plans/251225_프롬프트_동적관리_계획.md) - [자기개선 루프 DB/서비스 구현 실행계획](../plans/260303_자기개선루프_DB_구현_실행계획.md) - [자기개선루프 프롬프트DB 23로컬24 통합실행기록](../plans/260304_자기개선루프_프롬프트DB_23로컬24_통합실행기록.md) +- [프롬프트 DB 부분 도입 상태와 하드코딩 프롬프트 잔존](./260311_prompt_db_partial_adoption_and_hardcoded_prompts.md) + +## 이 문서의 범위 +- 이 문서는 `DB에 저장된 활성 프롬프트가 실제 응답 생성 전에 반영되지 않는 문제`만 다룹니다. +- 즉 핵심은 `실행 경로 연결`, `폐루프`, `주입 시점` 문제입니다. +- 아직 DB로 옮기지 않은 하드코딩 프롬프트 범위는 별도 문서 [프롬프트 DB 부분 도입 상태와 하드코딩 프롬프트 잔존](./260311_prompt_db_partial_adoption_and_hardcoded_prompts.md) 으로 분리합니다. ## 문제 정의 - 프롬프트 DB와 자기개선 DB의 저장/조회 API, 적재 테이블, `run_id` 추적 골격은 이미 구현돼 있다. @@ -36,6 +42,11 @@ tags: [rb8001, prompt-db, self-improvement, tracking, troubleshooting] - 사용자 입장에서는 프롬프트 버전을 바꿔도 실제 답변 개선이 즉시 일어나지 않는다. - 자기개선 루프도 현재는 `run_id` 기준 추적은 되지만, 추적 결과가 다음 응답 품질을 바꾸는 폐루프까지는 연결되지 않았다. +## 닫힘 기준 +- `message_chat` 등 최소 1개 운영 경로에서 활성 프롬프트 버전이 응답 생성 전에 실제로 주입된다. +- DB에서 활성 버전을 바꾸면 사용자가 실제 응답 변화로 이를 체감할 수 있다. +- `prompt_events.version_id`와 실제 응답 내용이 같은 버전을 가리킨다는 운영 검증 증거가 남는다. + ## 미확정 항목 - 실제 응답 생성 경로에서 어느 계층에 프롬프트 버전 병합을 넣을지가 아직 확정되지 않았다. - `message_chat` 외의 task별 템플릿(`meeting_summary`, `clarify` 등)을 어떤 우선순위로 적용할지도 아직 미확정이다. diff --git a/journey/troubleshooting/260311_prompt_db_partial_adoption_and_hardcoded_prompts.md b/journey/troubleshooting/260311_prompt_db_partial_adoption_and_hardcoded_prompts.md index 61767ee..3b43e9d 100644 --- a/journey/troubleshooting/260311_prompt_db_partial_adoption_and_hardcoded_prompts.md +++ b/journey/troubleshooting/260311_prompt_db_partial_adoption_and_hardcoded_prompts.md @@ -10,6 +10,11 @@ tags: [prompt-db, prompts, hardcoded, rb8001, troubleshooting] - [프롬프트DB·자기개선루프 기본구현 검증 및 계획 종결](../worklog/260310_프롬프트DB_자기개선루프_기본구현_검증및계획종결.md) - [NAVER WORKS 브리핑 인사이트 서두 누출](./260311_naverworks_briefing_insight_preamble_leak.md) +## 이 문서의 범위 +- 이 문서는 `운영 프롬프트 다수가 아직 DB로 이관되지 않은 문제`만 다룹니다. +- 즉 핵심은 `적용 범위`, `이관 우선순위`, `하드코딩 잔존` 문제입니다. +- DB에 들어간 프롬프트가 실제 응답에 반영되는지 여부는 별도 문서 [프롬프트 DB 응답생성 폐루프 미연결](./260310_프롬프트DB_응답생성_폐루프_미연결.md) 로 분리합니다. + ## 문제 정의 - 프롬프트 DB 저장/활성화/이벤트 추적 골격은 구현돼 있지만, 실제 운영 프롬프트 다수가 아직 코드 하드코딩 상태로 남아 있습니다. - 그 결과 `프롬프트 DB화 완료`처럼 해석되기 쉬우나, 실제로는 일부 경로만 DB와 연결돼 있고 다수 생성 경로는 여전히 코드 수정 없이는 바꿀 수 없습니다. @@ -31,6 +36,11 @@ tags: [prompt-db, prompts, hardcoded, rb8001, troubleshooting] - 이번 NAVER WORKS 브리핑처럼 프롬프트 문제를 발견해도 DB에서 즉시 교정할 수 없고 코드 수정이 필요합니다. - `프롬프트 DB화 완료`라는 표현이 사용되면 실제 상태보다 과하게 해석될 위험이 있습니다. +## 닫힘 기준 +- 운영 핵심 프롬프트 인벤토리가 확정되고, DB 이전 대상/잔여 하드코딩 목록이 명확히 관리된다. +- 우선순위 범위에 포함된 프롬프트는 하드코딩이 아니라 DB 버전 관리 경로로 이동한다. +- 새 프롬프트 변경이 코드 수정이 아니라 DB 변경으로 가능한 범위가 문서상 명확해진다. + ## 미확정 항목 - 어떤 프롬프트를 1차 DB 이전 대상으로 볼지 우선순위가 아직 고정되지 않았습니다. - 하드코딩 프롬프트를 DB로 옮길 때 task 분류 기준과 fallback 정책이 아직 정해지지 않았습니다.