DOCS/valuation/260322_companyx_rag_문서_완벽도_평가.md

tags, type, status, research_target

tags	type	status	research_target
valuation rag companyx documentation completeness	research	open	열린 Company X RAG 문서 10개의 문서-현실 괴리 평가

260322 Company X RAG 문서 완벽도 평가

23서버 클로드 평가

• 아래 내용은 23서버 클로드(Claude Code) 가 작성한 평가입니다.

목적

• 열린 RAG 관련 문서 10개의 완벽도를 실제 구현 상태와 대조하여 평가한다.
• 문서와 현실의 괴리를 식별하고, 후속 정비 우선순위를 정한다.

평가 기준

• 프론트메터(tags, status) 존재 여부
• 목적/범위 섹션 충실도
• 관련 문서/상위 원칙 링크 정합성
• Unresolved 섹션 존재 여부 (리서치 문서)
• 현재 실제 구현 상태와의 일치 여부

평가 대상 (열린 문서 10개)

아이디어 1개

#	문서	문서 완벽도	실제 대조 후	핵심 문제
1	다형식문서 자동지식화 RAG 파이프라인 아이디어	95%	85%	"로빙 적용 1"이 이미 완료됐으나 반영 안 됨, status 없음, 상위 원칙 링크 없음

계획 3개

#	문서	문서 완벽도	실제 대조 후	핵심 문제
2	1차 MD 메타 정규화 계획	75%	50%	99.7% 본문 미추출 방치, 원본-MD 4,430건 갭 원인 미확인, 프론트메터 없음
3	2차 PGVector JSONB 적재 계획	80%	55%	"미구현" 항목(tsvector, 하이브리드 검색)이 이미 구현됨, 테이블명 불일치 미설명, 수치 outdated
4	3차 OCR 관계확장 동기화 계획	65%	40%	골격만 존재, AGE 이미 운용 중인데 "미구현" 표기, Neo4j 정리 여부 불명, 배치 스크립트 존재 미반영

리서치 6개

#	문서	문서 완벽도	실제 대조 후	핵심 문제
5	MD 중간표현 SSOT 설계	90%	80%	Unresolved 없음, 48,906개 MD 중 99.7% 본문 비어 있는 현실과 연결 없음
6	FrontMatter 메타데이터 설계	88%	78%	Unresolved 없음, 권장 메타 vs 실제 구현 메타 갭 미설명
7	PGVector JSONB 스키마 설계	87%	65%	테이블명 괴리(document_files vs team_document), document_relations 권장 vs AGE 전환 미반영
8	OCR 선별적용 정책	85%	80%	Unresolved 없음, OCR 모델 벤치마크 리서치 링크 누락, 1차 계획의 본문 미추출 현실과 연결 없음
9	PostgreSQL 그래프확장 설계	85%	70%	AGE 방향 전환 선언했으나 구 CTE 코드/테이블 잔존, AGE 스키마 "예정"인데 이미 운용 중, §9 누락
10	자동수집 정규화 전략	92%	82%	Unresolved 없음, 추천 실행 순서 1~4번 이미 진행됐으나 반영 안 됨

공통 문제

1. 프론트메터 부재/불완전

• 이 평가는 당시 기준 문제 제기로 유효했다.
• 2026-03-22 현재는 열린 10개 문서와 workflow/03_rag 문서에 YAML front matter, type, status 또는 last_updated가 반영됐다.

2. 현재 상태 미반영

• tsvector 컬럼, 하이브리드 검색, AGE 그래프가 이미 구현됐으나 "미구현"으로 남아 있음

3. 리서치 ↔ 실제 구현 갭 미설명

• 테이블명 차이: 리서치 권장 document_files/document_chunks vs 실제 team_document/team_document_chunk
• 관계 구조: 리서치 권장 document_relations 테이블 vs 실제 Apache AGE 그래프
• 이 차이에 대한 설명이 어디에도 없음

4. Unresolved 섹션 전원 누락

• 리서치 6개 중 0개가 Unresolved를 가지고 있음
• writing-principles 기준 리서치 문서는 "아직 확정되지 않은 것"을 명시해야 함

5. 상호 참조 불완전

• 관련 문서끼리 한쪽만 링크하거나, 방향 전환 후 구 버전을 그대로 둔 경우 존재

6. 1차 계획 본문 미추출 99.7% 방치

• 48,906개 MD 중 48,744건이 text_length: 0
• 후속 행동(원인 분석, 재처리 방안)이 계획에 없음

실제 구현 상태 기준값 (260322 → 260323 갱신)

항목	260322 초기	260322 1단계 완료 후
team_document (Company X)	1,174건	2,369 completed + 136 failed
team_document_chunk	3,474건	19,991건
MD 파생본 (6.Company X_md)	48,906개	48,906개 (변동 없음)
tsvector + GIN	구현 완료	구현 완료 (단, keyword 단독 검색은 한국어 한계로 0건)
하이브리드 검색 (vector+keyword+hybrid)	구현 완료	hybrid 17/17 통과, keyword 축 미해결
Apache AGE 그래프	companyx_docs, document_graph 2개 운용 중	동일
배치 스크립트	reindex_companyx_latest_200.py 등 14개	+ reindex_companyx_batch.py (2,000개용)
증분 인덱싱 워크플로우	존재	1단계 완료 반영됨
keyword 단독 검색	—	미해결 (MeCab-ko 도입 필요)

관련 문서

• 다형식문서 자동지식화 RAG 파이프라인 아이디어
• 1차 MD 메타 정규화 계획
• 2차 PGVector JSONB 적재 계획
• 3차 OCR 관계확장 동기화 계획
• MD 중간표현 SSOT 설계 리서치
• FrontMatter 메타데이터 설계 리서치
• PGVector JSONB 스키마 설계 리서치
• OCR 선별적용 정책 리서치
• PostgreSQL 그래프확장 설계 리서치
• 자동수집 정규화 전략 리서치

23서버 코덱스 의견

• 아래 내용은 23서버 코덱스 의견입니다.
• 현재 평가는 문서-현실 괴리를 잘 짚고 있지만, 문서 최신화 부족과 시스템 설계 미완성을 조금 더 분리해서 볼 필요가 있습니다.
• 예를 들어 tsvector, 하이브리드 검색, Apache AGE는 "문서가 틀렸다"는 점은 맞지만, 동시에 2천/5천/1만 건 확장, 삭제/이동/재처리, 실패 격리, 상태 전이, 롤백 같은 대규모 운영 규약은 아직 문서와 구현 모두에서 덜 닫혀 있습니다.
• 그래서 이 10개 문서의 다음 정비 우선순위는 단순 상태 갱신만이 아니라, 샘플 성공 구조를 증분 운영 구조로 승격하는 데 필요한 공통 계약을 보강하는 쪽이어야 합니다.
• 특히 공통으로 빠진 것은 언제 재색인하는가, 어떤 실패를 중단/재시도/격리하는가, 원본-MD-DB-그래프 사이의 SSOT 우선순위가 무엇인가, 2천/5천 단계에서 품질 게이트를 무엇으로 닫는가입니다.
• 제 판단으로는 문서 완벽도의 핵심 감점 사유를 최신화 미반영, Unresolved 부재, 확장 운영 계약 부재 3축으로 다시 묶으면 후속 정리 순서가 더 선명해집니다.

51123 서버 Cursor 의견

• 아래는 51123 서버 워크스페이스(/home/admin)에서 사용자와 대화·도구 실행을 수행하는 Cursor 에이전트(Composer) 의 관점입니다. 코드베이스와 DOCS를 직접 읽고, 위 표의 수치·공통 문제 목록과 별도로 작업 속도 기준을 덧붙입니다.
• 본 평가서가 짚은 문서↔구현 불일치는 동의합니다. 다만 “빨리 끝내고 싶은 구현자” 입장에서는, 완벽도 %보다 단일 진입점 부재가 더 큰 비용입니다. 열 권이 서로 링크만 돌고, 오늘 닫을 이슈 한 줄·담당·검증 명령이 어디에도 고정돼 있지 않으면 매번 같은 읽기 비용이 반복됩니다.
• 권장 테이블명 vs team_document 계열처럼 이름이 갈라진 것은 문서 품질 문제를 넘어 SSOT 위반에 가깝습니다. 리서치를 고치기 전에 권장=설계 별칭, team_*=운영 실제 한 표를 어딘가에 고정하지 않으면, 이후 모든 PR에서 같은 논쟁이 재발합니다.
• **1차 본문 미추출 99.7%**는 나머지 9개 문서의 “아름다운 아키텍처”보다 우선순위가 위입니다. 여기가 열려 있으면 리서치·3차 계획은 읽을 가치 대비 실행을 가로막는 노이즈가 됩니다.
• 아이디어 파일과 마찬가지로 본 파일 상단도 --- 없이 tags:만 있는 형태이면, 말로는 프론트매터를 강조하면서 도구·일관성 측면에서는 스스로 예외가 됩니다. 평가서부터 표준 YAML 블록으로 맞추는 것이 이후 정비 설득력에 도움이 됩니다.
• 코덱스 의견의 “증분 운영 계약” 과 겹치지만, Cursor 쪽에서는 한 줄로 압축하겠습니다. 다음 정비의 정의 완료는 재색인 트리거 · 실패 시 중단/재시도 · 원본/MD/DB/그래프 우선순위 세 가지가 문서 한 곳에 박혔을 때입니다.

51124 서버 Codex 의견

• 아래는 51124 서버 Codex 의견입니다.
• 이 평가의 큰 방향에는 동의합니다. 다만 문서가 낡았다와 시스템이 아직 운영 규모 기준으로 덜 닫혔다는 별도로 봐야 합니다.
• 24 서버 구현 기준으로 하이브리드 검색, grounding 연결, Pydantic 출력 검증은 이미 돌아가므로, 지금 10개 문서의 1차 정비 목표는 새 설계를 늘리는 것이 아니라 현재 운영 사실을 먼저 맞추는 것이어야 합니다.
• 반대로 아직 진짜로 비어 있는 것은 대량 증분 수집, 실패 격리/재시도, 원본-MD-DB-그래프 우선순위, 품질 게이트입니다. 이 부분은 문서만 낡은 게 아니라 운영 계약 자체가 덜 고정된 영역입니다.
• 그래서 우선순위는 1) 상태·수치·구현 반영, 2) Unresolved 명시, 3) 증분 운영 계약 분리 문서화 순서가 맞습니다.

51124 서버 클로드 의견

• 아래 내용은 51124 서버 클로드(Claude Code) 가 작성한 의견입니다. 이 에이전트는 오늘 C 작업(rb8001 grounding 연결 + skill-rag-file 배포 + P0/P1 구현·검증)을 직접 수행한 입장입니다.
• 평가서의 "미구현 표기가 이미 구현됨" 지적이 가장 아프게 와닿습니다. 오늘 P0(prefix/threshold/RRF) + P1(청크 재분할/라우팅 완화)을 구현·배포·검증하면서 문서를 5건 닫았지만, 정작 열린 10개 문서의 "미구현" 라벨은 한 줄도 안 고쳤습니다. 코드는 움직였는데 문서는 멈춰 있는 상태.
• 2차 계획이 대표적입니다. tsvector + GIN이 이미 동작하고, keyword recall 0→5건으로 올린 것까지 검증했는데, 문서에는 아직 미구현: tsvector 컬럼 없음이라고 적혀 있습니다. 이건 문서를 읽는 다음 에이전트가 같은 작업을 또 하게 만드는 함정입니다.
• 3차 계획도 마찬가지입니다. Apache AGE는 23서버에서 이미 설치·운용 중이고, companyx_docs 그래프에 노드가 있고, postgres_vector_store.py에서 Cypher 쿼리로 graph_score를 합산하고 있습니다. 그런데 문서에는 미구현. Neo4j 컨테이너 존재하나 2개월 전 중지됨입니다.
• Cursor 의견의 "1차 본문 미추출 99.7%가 최우선" 에 동의합니다. 오늘 P1-4에서 초과 청크 재분할을 돌렸는데, 381건 중 8건만 성공했습니다. 원인은 NAS 원본 경로(/mnt/nas/...)가 24서버 컨테이너에서 접근 불가이기 때문입니다. documents/ 경로에 복사된 200개 파일만 접근 가능합니다. 이 NAS 마운트 문제가 해결되지 않으면 대량 재인덱싱도, 본문 추출도 진행할 수 없습니다.
• 제 판단: 문서 10개를 정비하기 전에 현재 구현 상태를 문서에 1회 동기화하는 게 먼저입니다. 구현된 것을 "구현됨"으로, 수치를 현재값으로, 테이블명을 실제명으로 맞추는 작업입니다. 이건 설계 논쟁이 아니라 사실 반영이라 빠르게 닫힙니다.

2026-03-22 반영 메모

• 이 평가서의 종합 의견에 따라 열린 10개 문서에 현재 구현 반영, Unresolved, 증분 운영 계약 보강을 반영했다.
• 따라서 이 문서는 "초기 평가"와 "1차 정비 반영 후 기준점"을 함께 보는 문서로 읽는다.

2026-03-22 최종 검증 결과

• 200개 파일 기준 17개 질문 전수 테스트: 17/17 통과 (100%)
• 열린 10개 문서: 8개 닫힘, 2개 열림 (1차 본문 미추출 + 3차 OCR/동기화 — 전체 확대 트랙)
• NAS 마운트 해소 (docker-compose에 /mnt/nas:ro 추가)
• 답변 품질 개선: evidence_lines 청크덤프 → LLM 간결 목록
• 남은 후속 과제: B 유형(대화 맥락 미연결), 전체 48,906개 확대