docs: Update Fluent Bit OpenSearch Data Prepper integration status
- Data Prepper 실제 경로 업데이트 (/home/admin/ivada_project/fluent-bit/data-prepper/)
- data-prepper-config.yaml 파일 추가 설명
- 검증 결과 업데이트 (4,000+ 문서, 안정적 운영)
- 구현 현황 섹션 추가 (Git 구조, 운영 상태, 향후 개선사항)
- restart 옵션 추가 (unless-stopped)
🤖 Generated with Claude Code
Co-Authored-By: Claude <noreply@anthropic.com>
This commit is contained in:
parent
6fd35b14b6
commit
6f7cc5a3c2
@ -69,11 +69,18 @@ log-pipeline:
|
||||
document_type: "_doc"
|
||||
```
|
||||
|
||||
#### data-prepper-config.yaml (필요 시)
|
||||
```yaml
|
||||
# 기본 설정 파일 (비어있어도 파일은 필요)
|
||||
```
|
||||
|
||||
#### Docker 실행
|
||||
```bash
|
||||
docker run -d --name data-prepper \
|
||||
--network host \
|
||||
-v /tmp/data-prepper/pipelines.yaml:/usr/share/data-prepper/pipelines/pipelines.yaml:ro \
|
||||
--restart unless-stopped \
|
||||
-v /home/admin/ivada_project/fluent-bit/data-prepper/pipelines.yaml:/usr/share/data-prepper/pipelines/pipelines.yaml:ro \
|
||||
-v /home/admin/ivada_project/fluent-bit/data-prepper/data-prepper-config.yaml:/usr/share/data-prepper/config/data-prepper-config.yaml:ro \
|
||||
opensearchproject/data-prepper:2.4.0
|
||||
```
|
||||
|
||||
@ -98,9 +105,10 @@ docker restart fluent-bit
|
||||
```
|
||||
|
||||
## 검증 결과
|
||||
- **인덱스 생성**: `dataprepper-2025.09.18` ✅
|
||||
- **문서 수집**: 200+ 문서 성공적으로 저장 ✅
|
||||
- **인덱스 생성**: `dataprepper-2025.09.17`, `dataprepper-2025.09.18` ✅
|
||||
- **문서 수집**: 4,000+ 문서 성공적으로 저장 ✅
|
||||
- **실시간 로그**: 모든 Docker 컨테이너 로그 수집 중 ✅
|
||||
- **안정성**: 지속적으로 HTTP 200 응답, 안정적 운영 중
|
||||
|
||||
## 핵심 문제 분석
|
||||
|
||||
@ -141,6 +149,24 @@ curl -s "http://192.168.219.45:9200/_cat/indices?v" | grep dataprepper
|
||||
curl -s "http://192.168.219.45:9200/dataprepper-*/_count"
|
||||
```
|
||||
|
||||
## 구현 현황 (2025-09-18 업데이트)
|
||||
|
||||
### Git 리포지토리 구조
|
||||
- **fluent-bit 리포지토리**: Data Prepper 설정 포함
|
||||
- `/data-prepper/pipelines.yaml`: 파이프라인 설정
|
||||
- `/data-prepper/data-prepper-config.yaml`: 기본 설정
|
||||
- `/data-prepper/README.md`: 실행 가이드
|
||||
|
||||
### 현재 운영 상태
|
||||
- **Data Prepper**: 51124 서버에서 독립 컨테이너로 실행 중
|
||||
- **Fluent Bit**: Git Actions로 자동 배포 (Data Prepper는 수동 관리)
|
||||
- **로그 수집**: 정상 작동, OpenSearch에 지속적으로 전송 중
|
||||
|
||||
### 향후 개선 사항
|
||||
- Git Actions에 Data Prepper 자동 배포 추가 고려
|
||||
- 51124 서버 전용 배포 스크립트 작성 필요
|
||||
|
||||
---
|
||||
*작성자: happybell80*
|
||||
*작성일: 2025-09-18*
|
||||
*작성일: 2025-09-18*
|
||||
*최종 수정: 2025-09-18 - 실제 구현 현황 추가*
|
||||
Loading…
x
Reference in New Issue
Block a user