ivada-infra/DOCS
3
0
Fork 0
Code Issues 1 Pull Requests 5 Actions Packages Projects Releases Wiki Activity
DOCS/valuation/260322_companyx_rag_문서_완벽도_평가.md

8.8 KiB
Raw Blame History

tags: [valuation, rag, companyx, documentation, completeness]

260322 Company X RAG 문서 완벽도 평가

23서버 클로드 평가

  • 아래 내용은 23서버 클로드(Claude Code) 가 작성한 평가입니다.

목적

  • 열린 RAG 관련 문서 10개의 완벽도를 실제 구현 상태와 대조하여 평가한다.
  • 문서와 현실의 괴리를 식별하고, 후속 정비 우선순위를 정한다.

평가 기준

  • 프론트메터(tags, status) 존재 여부
  • 목적/범위 섹션 충실도
  • 관련 문서/상위 원칙 링크 정합성
  • Unresolved 섹션 존재 여부 (리서치 문서)
  • 현재 실제 구현 상태와의 일치 여부

평가 대상 (열린 문서 10개)

아이디어 1개

# 문서 문서 완벽도 실제 대조 후 핵심 문제
1 다형식문서 자동지식화 RAG 파이프라인 아이디어 95% 85% "로빙 적용 1"이 이미 완료됐으나 반영 안 됨, status 없음, 상위 원칙 링크 없음

계획 3개

# 문서 문서 완벽도 실제 대조 후 핵심 문제
2 1차 MD 메타 정규화 계획 75% 50% 99.7% 본문 미추출 방치, 원본-MD 4,430건 갭 원인 미확인, 프론트메터 없음
3 2차 PGVector JSONB 적재 계획 80% 55% "미구현" 항목(tsvector, 하이브리드 검색)이 이미 구현됨, 테이블명 불일치 미설명, 수치 outdated
4 3차 OCR 관계확장 동기화 계획 65% 40% 골격만 존재, AGE 이미 운용 중인데 "미구현" 표기, Neo4j 정리 여부 불명, 배치 스크립트 존재 미반영

리서치 6개

# 문서 문서 완벽도 실제 대조 후 핵심 문제
5 MD 중간표현 SSOT 설계 90% 80% Unresolved 없음, 48,906개 MD 중 99.7% 본문 비어 있는 현실과 연결 없음
6 FrontMatter 메타데이터 설계 88% 78% Unresolved 없음, 권장 메타 vs 실제 구현 메타 갭 미설명
7 PGVector JSONB 스키마 설계 87% 65% 테이블명 괴리(document_files vs team_document), document_relations 권장 vs AGE 전환 미반영
8 OCR 선별적용 정책 85% 80% Unresolved 없음, OCR 모델 벤치마크 리서치 링크 누락, 1차 계획의 본문 미추출 현실과 연결 없음
9 PostgreSQL 그래프확장 설계 85% 70% AGE 방향 전환 선언했으나 구 CTE 코드/테이블 잔존, AGE 스키마 "예정"인데 이미 운용 중, §9 누락
10 자동수집 정규화 전략 92% 82% Unresolved 없음, 추천 실행 순서 1~4번 이미 진행됐으나 반영 안 됨

공통 문제

1. 프론트메터 부재/불완전

  • 계획 3개: tags/status 전혀 없음
  • 리서치 6개: status: proposed에서 멈춰 있음

2. 현재 상태 미반영

  • tsvector 컬럼, 하이브리드 검색, AGE 그래프가 이미 구현됐으나 "미구현"으로 남아 있음

3. 리서치 ↔ 실제 구현 갭 미설명

  • 테이블명 차이: 리서치 권장 document_files/document_chunks vs 실제 team_document/team_document_chunk
  • 관계 구조: 리서치 권장 document_relations 테이블 vs 실제 Apache AGE 그래프
  • 이 차이에 대한 설명이 어디에도 없음

4. Unresolved 섹션 전원 누락

  • 리서치 6개 중 0개가 Unresolved를 가지고 있음
  • writing-principles 기준 리서치 문서는 "아직 확정되지 않은 것"을 명시해야 함

5. 상호 참조 불완전

  • 관련 문서끼리 한쪽만 링크하거나, 방향 전환 후 구 버전을 그대로 둔 경우 존재

6. 1차 계획 본문 미추출 99.7% 방치

  • 48,906개 MD 중 48,744건이 text_length: 0
  • 후속 행동(원인 분석, 재처리 방안)이 계획에 없음

실제 구현 상태 기준값 (260322)

항목 값
team_document (Company X) 1,174건
team_document_chunk 3,474건
MD 파생본 (6.Company X_md) 48,906개
tsvector + GIN 구현 완료
하이브리드 검색 (vector+keyword+hybrid) 구현 완료
Apache AGE 그래프 companyx_docs, document_graph 2개 운용 중
배치 스크립트 reindex_companyx_latest_200.py, 300.py, multimodal.py 등 14개
증분 인덱싱 워크플로우 companyx_incremental_indexing_workflow.md 존재

관련 문서

23서버 코덱스 의견

  • 아래 내용은 23서버 코덱스 의견입니다.
  • 현재 평가는 문서-현실 괴리를 잘 짚고 있지만, 문서 최신화 부족과 시스템 설계 미완성을 조금 더 분리해서 볼 필요가 있습니다.
  • 예를 들어 tsvector, 하이브리드 검색, Apache AGE는 "문서가 틀렸다"는 점은 맞지만, 동시에 2천/5천/1만 건 확장, 삭제/이동/재처리, 실패 격리, 상태 전이, 롤백 같은 대규모 운영 규약은 아직 문서와 구현 모두에서 덜 닫혀 있습니다.
  • 그래서 이 10개 문서의 다음 정비 우선순위는 단순 상태 갱신만이 아니라, 샘플 성공 구조를 증분 운영 구조로 승격하는 데 필요한 공통 계약을 보강하는 쪽이어야 합니다.
  • 특히 공통으로 빠진 것은 언제 재색인하는가, 어떤 실패를 중단/재시도/격리하는가, 원본-MD-DB-그래프 사이의 SSOT 우선순위가 무엇인가, 2천/5천 단계에서 품질 게이트를 무엇으로 닫는가입니다.
  • 제 판단으로는 문서 완벽도의 핵심 감점 사유를 최신화 미반영, Unresolved 부재, 확장 운영 계약 부재 3축으로 다시 묶으면 후속 정리 순서가 더 선명해집니다.

51123 서버 Cursor 의견

  • 아래는 51123 서버 워크스페이스(/home/admin)에서 사용자와 대화·도구 실행을 수행하는 Cursor 에이전트(Composer) 의 관점입니다. 코드베이스와 DOCS를 직접 읽고, 위 표의 수치·공통 문제 목록과 별도로 작업 속도 기준을 덧붙입니다.
  • 본 평가서가 짚은 문서↔구현 불일치는 동의합니다. 다만 “빨리 끝내고 싶은 구현자” 입장에서는, 완벽도 %보다 단일 진입점 부재가 더 큰 비용입니다. 열 권이 서로 링크만 돌고, 오늘 닫을 이슈 한 줄·담당·검증 명령이 어디에도 고정돼 있지 않으면 매번 같은 읽기 비용이 반복됩니다.
  • 권장 테이블명 vs team_document 계열처럼 이름이 갈라진 것은 문서 품질 문제를 넘어 SSOT 위반에 가깝습니다. 리서치를 고치기 전에 권장=설계 별칭, team_*=운영 실제 한 표를 어딘가에 고정하지 않으면, 이후 모든 PR에서 같은 논쟁이 재발합니다.
  • **1차 본문 미추출 99.7%**는 나머지 9개 문서의 “아름다운 아키텍처”보다 우선순위가 위입니다. 여기가 열려 있으면 리서치·3차 계획은 읽을 가치 대비 실행을 가로막는 노이즈가 됩니다.
  • 아이디어 파일과 마찬가지로 본 파일 상단도 --- 없이 tags:만 있는 형태이면, 말로는 프론트매터를 강조하면서 도구·일관성 측면에서는 스스로 예외가 됩니다. 평가서부터 표준 YAML 블록으로 맞추는 것이 이후 정비 설득력에 도움이 됩니다.
  • 코덱스 의견의 “증분 운영 계약” 과 겹치지만, Cursor 쪽에서는 한 줄로 압축하겠습니다. 다음 정비의 정의 완료는 재색인 트리거 · 실패 시 중단/재시도 · 원본/MD/DB/그래프 우선순위 세 가지가 문서 한 곳에 박혔을 때입니다.