docs(valuation): CompanyX RAG 문서 완벽도 평가 및 Cursor 의견 추가

Made-with: Cursor

valuation/260322_companyx_rag_문서_완벽도_평가.md

@@ -0,0 +1,116 @@
+tags: [valuation, rag, companyx, documentation, completeness]
+
+# 260322 Company X RAG 문서 완벽도 평가
+
+## 23서버 클로드 평가
+
+- 아래 내용은 **23서버 클로드(Claude Code)** 가 작성한 평가입니다.
+
+## 목적
+
+- 열린 RAG 관련 문서 10개의 완벽도를 실제 구현 상태와 대조하여 평가한다.
+- 문서와 현실의 괴리를 식별하고, 후속 정비 우선순위를 정한다.
+
+## 평가 기준
+
+- 프론트메터(tags, status) 존재 여부
+- 목적/범위 섹션 충실도
+- 관련 문서/상위 원칙 링크 정합성
+- Unresolved 섹션 존재 여부 (리서치 문서)
+- 현재 실제 구현 상태와의 일치 여부
+
+## 평가 대상 (열린 문서 10개)
+
+### 아이디어 1개
+
+| # | 문서 | 문서 완벽도 | 실제 대조 후 | 핵심 문제 |
+|---|------|------------|-------------|----------|
+| 1 | 다형식문서 자동지식화 RAG 파이프라인 아이디어 | 95% | 85% | "로빙 적용 1"이 이미 완료됐으나 반영 안 됨, status 없음, 상위 원칙 링크 없음 |
+
+### 계획 3개
+
+| # | 문서 | 문서 완벽도 | 실제 대조 후 | 핵심 문제 |
+|---|------|------------|-------------|----------|
+| 2 | 1차 MD 메타 정규화 계획 | 75% | 50% | 99.7% 본문 미추출 방치, 원본-MD 4,430건 갭 원인 미확인, 프론트메터 없음 |
+| 3 | 2차 PGVector JSONB 적재 계획 | 80% | 55% | "미구현" 항목(tsvector, 하이브리드 검색)이 이미 구현됨, 테이블명 불일치 미설명, 수치 outdated |
+| 4 | 3차 OCR 관계확장 동기화 계획 | 65% | 40% | 골격만 존재, AGE 이미 운용 중인데 "미구현" 표기, Neo4j 정리 여부 불명, 배치 스크립트 존재 미반영 |
+
+### 리서치 6개
+
+| # | 문서 | 문서 완벽도 | 실제 대조 후 | 핵심 문제 |
+|---|------|------------|-------------|----------|
+| 5 | MD 중간표현 SSOT 설계 | 90% | 80% | Unresolved 없음, 48,906개 MD 중 99.7% 본문 비어 있는 현실과 연결 없음 |
+| 6 | FrontMatter 메타데이터 설계 | 88% | 78% | Unresolved 없음, 권장 메타 vs 실제 구현 메타 갭 미설명 |
+| 7 | PGVector JSONB 스키마 설계 | 87% | 65% | 테이블명 괴리(document_files vs team_document), document_relations 권장 vs AGE 전환 미반영 |
+| 8 | OCR 선별적용 정책 | 85% | 80% | Unresolved 없음, OCR 모델 벤치마크 리서치 링크 누락, 1차 계획의 본문 미추출 현실과 연결 없음 |
+| 9 | PostgreSQL 그래프확장 설계 | 85% | 70% | AGE 방향 전환 선언했으나 구 CTE 코드/테이블 잔존, AGE 스키마 "예정"인데 이미 운용 중, §9 누락 |
+| 10 | 자동수집 정규화 전략 | 92% | 82% | Unresolved 없음, 추천 실행 순서 1~4번 이미 진행됐으나 반영 안 됨 |
+
+## 공통 문제
+
+### 1. 프론트메터 부재/불완전
+- 계획 3개: tags/status 전혀 없음
+- 리서치 6개: `status: proposed`에서 멈춰 있음
+
+### 2. 현재 상태 미반영
+- tsvector 컬럼, 하이브리드 검색, AGE 그래프가 이미 구현됐으나 "미구현"으로 남아 있음
+
+### 3. 리서치 ↔ 실제 구현 갭 미설명
+- 테이블명 차이: 리서치 권장 `document_files`/`document_chunks` vs 실제 `team_document`/`team_document_chunk`
+- 관계 구조: 리서치 권장 `document_relations` 테이블 vs 실제 Apache AGE 그래프
+- 이 차이에 대한 설명이 어디에도 없음
+
+### 4. Unresolved 섹션 전원 누락
+- 리서치 6개 중 0개가 Unresolved를 가지고 있음
+- writing-principles 기준 리서치 문서는 "아직 확정되지 않은 것"을 명시해야 함
+
+### 5. 상호 참조 불완전
+- 관련 문서끼리 한쪽만 링크하거나, 방향 전환 후 구 버전을 그대로 둔 경우 존재
+
+### 6. 1차 계획 본문 미추출 99.7% 방치
+- 48,906개 MD 중 48,744건이 text_length: 0
+- 후속 행동(원인 분석, 재처리 방안)이 계획에 없음
+
+## 실제 구현 상태 기준값 (260322)
+
+| 항목 | 값 |
+|------|-----|
+| team_document (Company X) | 1,174건 |
+| team_document_chunk | 3,474건 |
+| MD 파생본 (6.Company X_md) | 48,906개 |
+| tsvector + GIN | 구현 완료 |
+| 하이브리드 검색 (vector+keyword+hybrid) | 구현 완료 |
+| Apache AGE 그래프 | companyx_docs, document_graph 2개 운용 중 |
+| 배치 스크립트 | reindex_companyx_latest_200.py, 300.py, multimodal.py 등 14개 |
+| 증분 인덱싱 워크플로우 | companyx_incremental_indexing_workflow.md 존재 |
+
+## 관련 문서
+
+- [다형식문서 자동지식화 RAG 파이프라인 아이디어](../journey/ideas/260320_다형식문서_자동지식화_RAG_파이프라인_아이디어.md)
+- [1차 MD 메타 정규화 계획](../journey/plans/260320_다형식문서_RAG_1차_MD_메타_정규화_계획.md)
+- [2차 PGVector JSONB 적재 계획](../journey/plans/260320_다형식문서_RAG_2차_PGVector_JSONB_적재_계획.md)
+- [3차 OCR 관계확장 동기화 계획](../journey/plans/260320_다형식문서_RAG_3차_OCR_관계확장_동기화_계획.md)
+- [MD 중간표현 SSOT 설계 리서치](../journey/research/rag/260320_MD_중간표현_SSOT_설계_리서치.md)
+- [FrontMatter 메타데이터 설계 리서치](../journey/research/rag/260320_FrontMatter_메타데이터_설계_리서치.md)
+- [PGVector JSONB 스키마 설계 리서치](../journey/research/rag/260320_PGVector_JSONB_RAG_스키마_설계_리서치.md)
+- [OCR 선별적용 정책 리서치](../journey/research/rag/260320_OCR_선별적용_정책_리서치.md)
+- [PostgreSQL 그래프확장 설계 리서치](../journey/research/rag/260320_PostgreSQL_그래프확장_설계_리서치.md)
+- [자동수집 정규화 전략 리서치](../journey/research/rag/260320_다형식문서_RAG_자동수집_정규화_전략_리서치.md)
+
+## 23서버 코덱스 의견
+
+- 아래 내용은 **23서버 코덱스 의견**입니다.
+- 현재 평가는 문서-현실 괴리를 잘 짚고 있지만, `문서 최신화 부족`과 `시스템 설계 미완성`을 조금 더 분리해서 볼 필요가 있습니다.
+- 예를 들어 `tsvector`, `하이브리드 검색`, `Apache AGE`는 "문서가 틀렸다"는 점은 맞지만, 동시에 `2천/5천/1만 건 확장`, `삭제/이동/재처리`, `실패 격리`, `상태 전이`, `롤백` 같은 대규모 운영 규약은 아직 문서와 구현 모두에서 덜 닫혀 있습니다.
+- 그래서 이 10개 문서의 다음 정비 우선순위는 단순 상태 갱신만이 아니라, `샘플 성공 구조`를 `증분 운영 구조`로 승격하는 데 필요한 공통 계약을 보강하는 쪽이어야 합니다.
+- 특히 공통으로 빠진 것은 `언제 재색인하는가`, `어떤 실패를 중단/재시도/격리하는가`, `원본-MD-DB-그래프 사이의 SSOT 우선순위가 무엇인가`, `2천/5천 단계에서 품질 게이트를 무엇으로 닫는가`입니다.
+- 제 판단으로는 문서 완벽도의 핵심 감점 사유를 `최신화 미반영`, `Unresolved 부재`, `확장 운영 계약 부재` 3축으로 다시 묶으면 후속 정리 순서가 더 선명해집니다.
+
+## 51123 서버 Cursor 의견
+
+- 아래는 **51123 서버** 워크스페이스(`/home/admin`)에서 사용자와 대화·도구 실행을 수행하는 **Cursor 에이전트(Composer)** 의 관점입니다. 코드베이스와 DOCS를 직접 읽고, 위 표의 수치·공통 문제 목록과 별도로 **작업 속도** 기준을 덧붙입니다.
+- 본 평가서가 짚은 **문서↔구현 불일치**는 동의합니다. 다만 “빨리 끝내고 싶은 구현자” 입장에서는, 완벽도 %보다 **단일 진입점 부재**가 더 큰 비용입니다. 열 권이 서로 링크만 돌고, **오늘 닫을 이슈 한 줄·담당·검증 명령**이 어디에도 고정돼 있지 않으면 매번 같은 읽기 비용이 반복됩니다.
+- **권장 테이블명 vs `team_document` 계열**처럼 이름이 갈라진 것은 문서 품질 문제를 넘어 **SSOT 위반**에 가깝습니다. 리서치를 고치기 전에 `권장=설계 별칭`, `team_*=운영 실제` 한 표를 어딘가에 고정하지 않으면, 이후 모든 PR에서 같은 논쟁이 재발합니다.
+- **1차 본문 미추출 99.7%**는 나머지 9개 문서의 “아름다운 아키텍처”보다 우선순위가 위입니다. 여기가 열려 있으면 리서치·3차 계획은 **읽을 가치 대비 실행을 가로막는 노이즈**가 됩니다.
+- 아이디어 파일과 마찬가지로 **본 파일 상단도 `---` 없이 `tags:`만 있는 형태**이면, 말로는 프론트매터를 강조하면서 도구·일관성 측면에서는 스스로 예외가 됩니다. 평가서부터 표준 YAML 블록으로 맞추는 것이 이후 정비 설득력에 도움이 됩니다.
+- 코덱스 의견의 **“증분 운영 계약”** 과 겹치지만, Cursor 쪽에서는 한 줄로 압축하겠습니다. 다음 정비의 정의 완료는 **`재색인 트리거` · `실패 시 중단/재시도` · `원본/MD/DB/그래프 우선순위`** 세 가지가 문서 한 곳에 박혔을 때입니다.