---
tags: [plans, rag, robeing, multimodal, markdown, metadata]
type: plans
status: open
closing_criteria: 원본 스캔부터 파일별 MD 생성과 front matter 최소 메타 생성까지 고정
---

# 260320 다형식문서 RAG 1차 MD·메타 정규화 계획

## 목적

- 대량 원본 파일을 로빙이 읽을 수 있는 최소 공통 포맷으로 정규화한다.
- 1차 범위는 `원본 스캔 -> 파일별 MD 생성 -> front matter 최소 메타 생성`까지다.
- OCR, 임베딩, 그래프 확장은 이번 단계의 완료 조건이 아니다.

## 참조 문서

- [다형식문서 자동지식화 RAG 파이프라인 아이디어](../ideas/260320_다형식문서_자동지식화_RAG_파이프라인_아이디어.md)
- [다형식 문서 RAG 자동수집·정규화 전략 리서치](../research/rag/260320_다형식문서_RAG_자동수집_정규화_전략_리서치.md)
- [Markdown 중간표현 SSOT 설계 리서치](../research/rag/260320_MD_중간표현_SSOT_설계_리서치.md)
- [Front Matter 메타데이터 설계 리서치](../research/rag/260320_FrontMatter_메타데이터_설계_리서치.md)

## 범위

- 파일 타입 식별
- 원본 상대 경로 유지
- 파일 1개당 MD 1개 생성
- 최소 front matter 생성
- 기본 설명/요약 placeholder 생성

## 실제 front matter (구현 기준)

- `title`, `source_path`, `md_path`, `file_type`, `file_size`, `modified_at`, `status`, `text_length`, `summary`
- 파일명 규칙: `원본파일명_확장자.md`
- 디렉터리: 원본 폴더 구조 1:1 미러링

## 산출물

- ~~원본 구조를 반영한 MD 파생본 디렉터리~~ → `6.Company X_md/` 이미 존재
- ~~최소 front matter가 붙은 MD 파일~~ → 48,906개 생성 완료
- 처리 실패/스킵 목록 → 미확인

## 완료 조건

- ~~샘플 100~500개 파일에서 MD 생성 성공률을 확인한다.~~ → 48,906개 생성됨
- ~~주요 확장자별로 최소 한 번 이상 MD 생성이 검증된다.~~ → pdf/hwp/xlsx/pptx/docx 확인
- 원본 경로와 MD 경로의 1:1 대응이 보장된다. → 원본 53,249 vs MD 48,906 (차이 4,343건, 원인 미확인)
- 본문 텍스트 추출이 완료된다. → **미완료**: 48,906건 중 48,744건이 `text_length: 0` (본문 미추출 99.7%)

## 현재 상태 (260320)

- `6.Company X_md/`에 48,906개 MD 생성 완료 (front matter만, 본문 text_length: 0이 48,744건, 99.7% 미추출)
- 파일명 규칙: `원본파일명_확장자.md` 적용됨
- front matter: title, source_path, md_path, file_type, file_size, modified_at, status, text_length, summary

## 현재 상태 보정 (2026-03-22)

- 이 단계의 핵심 산출물인 `MD 파생본 + front matter 최소 메타`는 이미 만들어졌다.
- 다만 `48,906개 중 48,744건 text_length: 0` 상태라서, 실제 운영 가치는 아직 낮다.
- NAS 원본: /mnt/nas/workspace/6.Company X — 53,249파일. 원본과 MD 48,906건의 차이 4,343건 원인 미확인.
- DB: team_document 1,174건 / team_document_chunk 3,474건 (임베딩: Gemini Embedding 2, 768d).
- `생성 완료`보다 `생성 후 본문 부재와 누락 원인 규명`이 현재의 직접 과제다.

## Unresolved

- MD 4,430건 누락 원인이 원본 경로 접근 문제인지, 필터링 규칙인지, 생성 실패 누적인지 확인이 안 됐다.
- 본문 미추출 99.7%를 어떤 우선순위와 배치 정책으로 재처리할지 아직 고정되지 않았다.
- NAS 원본 경로와 24 서버 런타임 컨테이너의 접근 경로가 달라 대량 재처리 경로가 불안정하다.

## 보류

- OCR
- 임베딩
- LLM 기반 상세 요약
- 관계형/그래프 적재
