docs: Update Fluent Bit OpenSearch Data Prepper integration status

- Data Prepper 실제 경로 업데이트 (/home/admin/ivada_project/fluent-bit/data-prepper/)
- data-prepper-config.yaml 파일 추가 설명
- 검증 결과 업데이트 (4,000+ 문서, 안정적 운영)
- 구현 현황 섹션 추가 (Git 구조, 운영 상태, 향후 개선사항)
- restart 옵션 추가 (unless-stopped)

🤖 Generated with Claude Code

Co-Authored-By: Claude <noreply@anthropic.com>
This commit is contained in:
Claude-51124 2025-09-18 00:45:56 +09:00
parent 6fd35b14b6
commit 6f7cc5a3c2

View File

@ -69,11 +69,18 @@ log-pipeline:
document_type: "_doc"
```
#### data-prepper-config.yaml (필요 시)
```yaml
# 기본 설정 파일 (비어있어도 파일은 필요)
```
#### Docker 실행
```bash
docker run -d --name data-prepper \
--network host \
-v /tmp/data-prepper/pipelines.yaml:/usr/share/data-prepper/pipelines/pipelines.yaml:ro \
--restart unless-stopped \
-v /home/admin/ivada_project/fluent-bit/data-prepper/pipelines.yaml:/usr/share/data-prepper/pipelines/pipelines.yaml:ro \
-v /home/admin/ivada_project/fluent-bit/data-prepper/data-prepper-config.yaml:/usr/share/data-prepper/config/data-prepper-config.yaml:ro \
opensearchproject/data-prepper:2.4.0
```
@ -98,9 +105,10 @@ docker restart fluent-bit
```
## 검증 결과
- **인덱스 생성**: `dataprepper-2025.09.18` ✅
- **문서 수집**: 200+ 문서 성공적으로 저장 ✅
- **인덱스 생성**: `dataprepper-2025.09.17`, `dataprepper-2025.09.18` ✅
- **문서 수집**: 4,000+ 문서 성공적으로 저장 ✅
- **실시간 로그**: 모든 Docker 컨테이너 로그 수집 중 ✅
- **안정성**: 지속적으로 HTTP 200 응답, 안정적 운영 중
## 핵심 문제 분석
@ -141,6 +149,24 @@ curl -s "http://192.168.219.45:9200/_cat/indices?v" | grep dataprepper
curl -s "http://192.168.219.45:9200/dataprepper-*/_count"
```
## 구현 현황 (2025-09-18 업데이트)
### Git 리포지토리 구조
- **fluent-bit 리포지토리**: Data Prepper 설정 포함
- `/data-prepper/pipelines.yaml`: 파이프라인 설정
- `/data-prepper/data-prepper-config.yaml`: 기본 설정
- `/data-prepper/README.md`: 실행 가이드
### 현재 운영 상태
- **Data Prepper**: 51124 서버에서 독립 컨테이너로 실행 중
- **Fluent Bit**: Git Actions로 자동 배포 (Data Prepper는 수동 관리)
- **로그 수집**: 정상 작동, OpenSearch에 지속적으로 전송 중
### 향후 개선 사항
- Git Actions에 Data Prepper 자동 배포 추가 고려
- 51124 서버 전용 배포 스크립트 작성 필요
---
*작성자: happybell80*
*작성일: 2025-09-18*
*최종 수정: 2025-09-18 - 실제 구현 현황 추가*