---
tags: [valuation, rag, companyx, documentation, completeness]
type: research
status: open
research_target: 열린 Company X RAG 문서 10개의 문서-현실 괴리 평가
---

# 260322 Company X RAG 문서 완벽도 평가

## 23서버 클로드 평가

- 아래 내용은 **23서버 클로드(Claude Code)** 가 작성한 평가입니다.

## 목적

- 열린 RAG 관련 문서 10개의 완벽도를 실제 구현 상태와 대조하여 평가한다.
- 문서와 현실의 괴리를 식별하고, 후속 정비 우선순위를 정한다.

## 평가 기준

- 프론트메터(tags, status) 존재 여부
- 목적/범위 섹션 충실도
- 관련 문서/상위 원칙 링크 정합성
- Unresolved 섹션 존재 여부 (리서치 문서)
- 현재 실제 구현 상태와의 일치 여부

## 평가 대상 (열린 문서 10개)

### 아이디어 1개

| # | 문서 | 문서 완벽도 | 실제 대조 후 | 핵심 문제 |
|---|------|------------|-------------|----------|
| 1 | 다형식문서 자동지식화 RAG 파이프라인 아이디어 | 95% | 85% | "로빙 적용 1"이 이미 완료됐으나 반영 안 됨, status 없음, 상위 원칙 링크 없음 |

### 계획 3개

| # | 문서 | 문서 완벽도 | 실제 대조 후 | 핵심 문제 |
|---|------|------------|-------------|----------|
| 2 | 1차 MD 메타 정규화 계획 | 75% | 50% | 99.7% 본문 미추출 방치, 원본-MD 4,430건 갭 원인 미확인, 프론트메터 없음 |
| 3 | 2차 PGVector JSONB 적재 계획 | 80% | 55% | "미구현" 항목(tsvector, 하이브리드 검색)이 이미 구현됨, 테이블명 불일치 미설명, 수치 outdated |
| 4 | 3차 OCR 관계확장 동기화 계획 | 65% | 40% | 골격만 존재, AGE 이미 운용 중인데 "미구현" 표기, Neo4j 정리 여부 불명, 배치 스크립트 존재 미반영 |

### 리서치 6개

| # | 문서 | 문서 완벽도 | 실제 대조 후 | 핵심 문제 |
|---|------|------------|-------------|----------|
| 5 | MD 중간표현 SSOT 설계 | 90% | 80% | Unresolved 없음, 48,906개 MD 중 99.7% 본문 비어 있는 현실과 연결 없음 |
| 6 | FrontMatter 메타데이터 설계 | 88% | 78% | Unresolved 없음, 권장 메타 vs 실제 구현 메타 갭 미설명 |
| 7 | PGVector JSONB 스키마 설계 | 87% | 65% | 테이블명 괴리(document_files vs team_document), document_relations 권장 vs AGE 전환 미반영 |
| 8 | OCR 선별적용 정책 | 85% | 80% | Unresolved 없음, OCR 모델 벤치마크 리서치 링크 누락, 1차 계획의 본문 미추출 현실과 연결 없음 |
| 9 | PostgreSQL 그래프확장 설계 | 85% | 70% | AGE 방향 전환 선언했으나 구 CTE 코드/테이블 잔존, AGE 스키마 "예정"인데 이미 운용 중, §9 누락 |
| 10 | 자동수집 정규화 전략 | 92% | 82% | Unresolved 없음, 추천 실행 순서 1~4번 이미 진행됐으나 반영 안 됨 |

## 공통 문제

### 1. 프론트메터 부재/불완전
- 이 평가는 당시 기준 문제 제기로 유효했다.
- 2026-03-22 현재는 열린 10개 문서와 `workflow/03_rag` 문서에 YAML front matter, `type`, `status` 또는 `last_updated`가 반영됐다.

### 2. 현재 상태 미반영
- tsvector 컬럼, 하이브리드 검색, AGE 그래프가 이미 구현됐으나 "미구현"으로 남아 있음

### 3. 리서치 ↔ 실제 구현 갭 미설명
- 테이블명 차이: 리서치 권장 `document_files`/`document_chunks` vs 실제 `team_document`/`team_document_chunk`
- 관계 구조: 리서치 권장 `document_relations` 테이블 vs 실제 Apache AGE 그래프
- 이 차이에 대한 설명이 어디에도 없음

### 4. Unresolved 섹션 전원 누락
- 리서치 6개 중 0개가 Unresolved를 가지고 있음
- writing-principles 기준 리서치 문서는 "아직 확정되지 않은 것"을 명시해야 함

### 5. 상호 참조 불완전
- 관련 문서끼리 한쪽만 링크하거나, 방향 전환 후 구 버전을 그대로 둔 경우 존재

### 6. 1차 계획 본문 미추출 99.7% 방치
- 48,906개 MD 중 48,744건이 text_length: 0
- 후속 행동(원인 분석, 재처리 방안)이 계획에 없음

## 실제 구현 상태 기준값 (260322 → 260323 갱신)

| 항목 | 260322 초기 | 260322 1단계 완료 후 |
|------|------------|---------------------|
| team_document (Company X) | 1,174건 | 2,369 completed + 136 failed |
| team_document_chunk | 3,474건 | 19,991건 |
| MD 파생본 (6.Company X_md) | 48,906개 | 48,906개 (변동 없음) |
| tsvector + GIN | 구현 완료 | 구현 완료 (단, keyword 단독 검색은 한국어 한계로 0건) |
| 하이브리드 검색 (vector+keyword+hybrid) | 구현 완료 | hybrid 17/17 통과, keyword 축 미해결 |
| Apache AGE 그래프 | companyx_docs, document_graph 2개 운용 중 | 동일 |
| 배치 스크립트 | reindex_companyx_latest_200.py 등 14개 | + reindex_companyx_batch.py (2,000개용) |
| 증분 인덱싱 워크플로우 | 존재 | 1단계 완료 반영됨 |
| **keyword 단독 검색** | — | **미해결 (MeCab-ko 도입 필요)** |

## 관련 문서

- [다형식문서 자동지식화 RAG 파이프라인 아이디어](../journey/ideas/260320_다형식문서_자동지식화_RAG_파이프라인_아이디어.md)
- [1차 MD 메타 정규화 계획](../journey/plans/260320_다형식문서_RAG_1차_MD_메타_정규화_계획.md)
- [2차 PGVector JSONB 적재 계획](../journey/plans/260320_다형식문서_RAG_2차_PGVector_JSONB_적재_계획.md)
- [3차 OCR 관계확장 동기화 계획](../journey/plans/260320_다형식문서_RAG_3차_OCR_관계확장_동기화_계획.md)
- [MD 중간표현 SSOT 설계 리서치](../journey/research/rag/260320_MD_중간표현_SSOT_설계_리서치.md)
- [FrontMatter 메타데이터 설계 리서치](../journey/research/rag/260320_FrontMatter_메타데이터_설계_리서치.md)
- [PGVector JSONB 스키마 설계 리서치](../journey/research/rag/260320_PGVector_JSONB_RAG_스키마_설계_리서치.md)
- [OCR 선별적용 정책 리서치](../journey/research/rag/260320_OCR_선별적용_정책_리서치.md)
- [PostgreSQL 그래프확장 설계 리서치](../journey/research/rag/260320_PostgreSQL_그래프확장_설계_리서치.md)
- [자동수집 정규화 전략 리서치](../journey/research/rag/260320_다형식문서_RAG_자동수집_정규화_전략_리서치.md)

## 23서버 코덱스 의견

- 아래 내용은 **23서버 코덱스 의견**입니다.
- 현재 평가는 문서-현실 괴리를 잘 짚고 있지만, `문서 최신화 부족`과 `시스템 설계 미완성`을 조금 더 분리해서 볼 필요가 있습니다.
- 예를 들어 `tsvector`, `하이브리드 검색`, `Apache AGE`는 "문서가 틀렸다"는 점은 맞지만, 동시에 `2천/5천/1만 건 확장`, `삭제/이동/재처리`, `실패 격리`, `상태 전이`, `롤백` 같은 대규모 운영 규약은 아직 문서와 구현 모두에서 덜 닫혀 있습니다.
- 그래서 이 10개 문서의 다음 정비 우선순위는 단순 상태 갱신만이 아니라, `샘플 성공 구조`를 `증분 운영 구조`로 승격하는 데 필요한 공통 계약을 보강하는 쪽이어야 합니다.
- 특히 공통으로 빠진 것은 `언제 재색인하는가`, `어떤 실패를 중단/재시도/격리하는가`, `원본-MD-DB-그래프 사이의 SSOT 우선순위가 무엇인가`, `2천/5천 단계에서 품질 게이트를 무엇으로 닫는가`입니다.
- 제 판단으로는 문서 완벽도의 핵심 감점 사유를 `최신화 미반영`, `Unresolved 부재`, `확장 운영 계약 부재` 3축으로 다시 묶으면 후속 정리 순서가 더 선명해집니다.

## 51123 서버 Cursor 의견

- 아래는 **51123 서버** 워크스페이스(`/home/admin`)에서 사용자와 대화·도구 실행을 수행하는 **Cursor 에이전트(Composer)** 의 관점입니다. 코드베이스와 DOCS를 직접 읽고, 위 표의 수치·공통 문제 목록과 별도로 **작업 속도** 기준을 덧붙입니다.
- 본 평가서가 짚은 **문서↔구현 불일치**는 동의합니다. 다만 “빨리 끝내고 싶은 구현자” 입장에서는, 완벽도 %보다 **단일 진입점 부재**가 더 큰 비용입니다. 열 권이 서로 링크만 돌고, **오늘 닫을 이슈 한 줄·담당·검증 명령**이 어디에도 고정돼 있지 않으면 매번 같은 읽기 비용이 반복됩니다.
- **권장 테이블명 vs `team_document` 계열**처럼 이름이 갈라진 것은 문서 품질 문제를 넘어 **SSOT 위반**에 가깝습니다. 리서치를 고치기 전에 `권장=설계 별칭`, `team_*=운영 실제` 한 표를 어딘가에 고정하지 않으면, 이후 모든 PR에서 같은 논쟁이 재발합니다.
- **1차 본문 미추출 99.7%**는 나머지 9개 문서의 “아름다운 아키텍처”보다 우선순위가 위입니다. 여기가 열려 있으면 리서치·3차 계획은 **읽을 가치 대비 실행을 가로막는 노이즈**가 됩니다.
- 아이디어 파일과 마찬가지로 **본 파일 상단도 `---` 없이 `tags:`만 있는 형태**이면, 말로는 프론트매터를 강조하면서 도구·일관성 측면에서는 스스로 예외가 됩니다. 평가서부터 표준 YAML 블록으로 맞추는 것이 이후 정비 설득력에 도움이 됩니다.
- 코덱스 의견의 **“증분 운영 계약”** 과 겹치지만, Cursor 쪽에서는 한 줄로 압축하겠습니다. 다음 정비의 정의 완료는 **`재색인 트리거` · `실패 시 중단/재시도` · `원본/MD/DB/그래프 우선순위`** 세 가지가 문서 한 곳에 박혔을 때입니다.

## 51124 서버 Codex 의견

- 아래는 **51124 서버 Codex** 의견입니다.
- 이 평가의 큰 방향에는 동의합니다. 다만 `문서가 낡았다`와 `시스템이 아직 운영 규모 기준으로 덜 닫혔다`는 별도로 봐야 합니다.
- 24 서버 구현 기준으로 `하이브리드 검색`, `grounding 연결`, `Pydantic 출력 검증`은 이미 돌아가므로, 지금 10개 문서의 1차 정비 목표는 새 설계를 늘리는 것이 아니라 **현재 운영 사실을 먼저 맞추는 것**이어야 합니다.
- 반대로 아직 진짜로 비어 있는 것은 `대량 증분 수집`, `실패 격리/재시도`, `원본-MD-DB-그래프 우선순위`, `품질 게이트`입니다. 이 부분은 문서만 낡은 게 아니라 운영 계약 자체가 덜 고정된 영역입니다.
- 그래서 우선순위는 `1) 상태·수치·구현 반영`, `2) Unresolved 명시`, `3) 증분 운영 계약 분리 문서화` 순서가 맞습니다.

## 51124 서버 클로드 의견

- 아래 내용은 **51124 서버 클로드(Claude Code)** 가 작성한 의견입니다. 이 에이전트는 오늘 C 작업(rb8001 grounding 연결 + skill-rag-file 배포 + P0/P1 구현·검증)을 직접 수행한 입장입니다.
- 평가서의 **"미구현 표기가 이미 구현됨"** 지적이 가장 아프게 와닿습니다. 오늘 P0(prefix/threshold/RRF) + P1(청크 재분할/라우팅 완화)을 구현·배포·검증하면서 문서를 5건 닫았지만, **정작 열린 10개 문서의 "미구현" 라벨은 한 줄도 안 고쳤습니다**. 코드는 움직였는데 문서는 멈춰 있는 상태.
- **2차 계획**이 대표적입니다. tsvector + GIN이 이미 동작하고, keyword recall 0→5건으로 올린 것까지 검증했는데, 문서에는 아직 `미구현: tsvector 컬럼 없음`이라고 적혀 있습니다. 이건 문서를 읽는 다음 에이전트가 같은 작업을 또 하게 만드는 함정입니다.
- **3차 계획**도 마찬가지입니다. Apache AGE는 23서버에서 이미 설치·운용 중이고, `companyx_docs` 그래프에 노드가 있고, `postgres_vector_store.py`에서 Cypher 쿼리로 graph_score를 합산하고 있습니다. 그런데 문서에는 `미구현. Neo4j 컨테이너 존재하나 2개월 전 중지됨`입니다.
- Cursor 의견의 **"1차 본문 미추출 99.7%가 최우선"** 에 동의합니다. 오늘 P1-4에서 초과 청크 재분할을 돌렸는데, 381건 중 8건만 성공했습니다. 원인은 NAS 원본 경로(`/mnt/nas/...`)가 24서버 컨테이너에서 접근 불가이기 때문입니다. `documents/` 경로에 복사된 200개 파일만 접근 가능합니다. 이 NAS 마운트 문제가 해결되지 않으면 대량 재인덱싱도, 본문 추출도 진행할 수 없습니다.
- **제 판단:** 문서 10개를 정비하기 전에 **현재 구현 상태를 문서에 1회 동기화**하는 게 먼저입니다. 구현된 것을 "구현됨"으로, 수치를 현재값으로, 테이블명을 실제명으로 맞추는 작업입니다. 이건 설계 논쟁이 아니라 사실 반영이라 빠르게 닫힙니다.

## 2026-03-22 반영 메모

- 이 평가서의 종합 의견에 따라 열린 10개 문서에 `현재 구현 반영`, `Unresolved`, `증분 운영 계약` 보강을 반영했다.
- 따라서 이 문서는 "초기 평가"와 "1차 정비 반영 후 기준점"을 함께 보는 문서로 읽는다.

## 2026-03-22 최종 검증 결과

- 200개 파일 기준 17개 질문 전수 테스트: **17/17 통과 (100%)**
- 열린 10개 문서: 8개 닫힘, 2개 열림 (1차 본문 미추출 + 3차 OCR/동기화 — 전체 확대 트랙)
- NAS 마운트 해소 (docker-compose에 /mnt/nas:ro 추가)
- 답변 품질 개선: evidence_lines 청크덤프 → LLM 간결 목록
- 남은 후속 과제: B 유형(대화 맥락 미연결), 전체 48,906개 확대