docs: Update Fluent Bit OpenSearch Data Prepper integration status
- Data Prepper 실제 경로 업데이트 (/home/admin/ivada_project/fluent-bit/data-prepper/)
- data-prepper-config.yaml 파일 추가 설명
- 검증 결과 업데이트 (4,000+ 문서, 안정적 운영)
- 구현 현황 섹션 추가 (Git 구조, 운영 상태, 향후 개선사항)
- restart 옵션 추가 (unless-stopped)
🤖 Generated with Claude Code
Co-Authored-By: Claude <noreply@anthropic.com>
This commit is contained in:
parent
6fd35b14b6
commit
6f7cc5a3c2
@ -69,11 +69,18 @@ log-pipeline:
|
|||||||
document_type: "_doc"
|
document_type: "_doc"
|
||||||
```
|
```
|
||||||
|
|
||||||
|
#### data-prepper-config.yaml (필요 시)
|
||||||
|
```yaml
|
||||||
|
# 기본 설정 파일 (비어있어도 파일은 필요)
|
||||||
|
```
|
||||||
|
|
||||||
#### Docker 실행
|
#### Docker 실행
|
||||||
```bash
|
```bash
|
||||||
docker run -d --name data-prepper \
|
docker run -d --name data-prepper \
|
||||||
--network host \
|
--network host \
|
||||||
-v /tmp/data-prepper/pipelines.yaml:/usr/share/data-prepper/pipelines/pipelines.yaml:ro \
|
--restart unless-stopped \
|
||||||
|
-v /home/admin/ivada_project/fluent-bit/data-prepper/pipelines.yaml:/usr/share/data-prepper/pipelines/pipelines.yaml:ro \
|
||||||
|
-v /home/admin/ivada_project/fluent-bit/data-prepper/data-prepper-config.yaml:/usr/share/data-prepper/config/data-prepper-config.yaml:ro \
|
||||||
opensearchproject/data-prepper:2.4.0
|
opensearchproject/data-prepper:2.4.0
|
||||||
```
|
```
|
||||||
|
|
||||||
@ -98,9 +105,10 @@ docker restart fluent-bit
|
|||||||
```
|
```
|
||||||
|
|
||||||
## 검증 결과
|
## 검증 결과
|
||||||
- **인덱스 생성**: `dataprepper-2025.09.18` ✅
|
- **인덱스 생성**: `dataprepper-2025.09.17`, `dataprepper-2025.09.18` ✅
|
||||||
- **문서 수집**: 200+ 문서 성공적으로 저장 ✅
|
- **문서 수집**: 4,000+ 문서 성공적으로 저장 ✅
|
||||||
- **실시간 로그**: 모든 Docker 컨테이너 로그 수집 중 ✅
|
- **실시간 로그**: 모든 Docker 컨테이너 로그 수집 중 ✅
|
||||||
|
- **안정성**: 지속적으로 HTTP 200 응답, 안정적 운영 중
|
||||||
|
|
||||||
## 핵심 문제 분석
|
## 핵심 문제 분석
|
||||||
|
|
||||||
@ -141,6 +149,24 @@ curl -s "http://192.168.219.45:9200/_cat/indices?v" | grep dataprepper
|
|||||||
curl -s "http://192.168.219.45:9200/dataprepper-*/_count"
|
curl -s "http://192.168.219.45:9200/dataprepper-*/_count"
|
||||||
```
|
```
|
||||||
|
|
||||||
|
## 구현 현황 (2025-09-18 업데이트)
|
||||||
|
|
||||||
|
### Git 리포지토리 구조
|
||||||
|
- **fluent-bit 리포지토리**: Data Prepper 설정 포함
|
||||||
|
- `/data-prepper/pipelines.yaml`: 파이프라인 설정
|
||||||
|
- `/data-prepper/data-prepper-config.yaml`: 기본 설정
|
||||||
|
- `/data-prepper/README.md`: 실행 가이드
|
||||||
|
|
||||||
|
### 현재 운영 상태
|
||||||
|
- **Data Prepper**: 51124 서버에서 독립 컨테이너로 실행 중
|
||||||
|
- **Fluent Bit**: Git Actions로 자동 배포 (Data Prepper는 수동 관리)
|
||||||
|
- **로그 수집**: 정상 작동, OpenSearch에 지속적으로 전송 중
|
||||||
|
|
||||||
|
### 향후 개선 사항
|
||||||
|
- Git Actions에 Data Prepper 자동 배포 추가 고려
|
||||||
|
- 51124 서버 전용 배포 스크립트 작성 필요
|
||||||
|
|
||||||
---
|
---
|
||||||
*작성자: happybell80*
|
*작성자: happybell80*
|
||||||
*작성일: 2025-09-18*
|
*작성일: 2025-09-18*
|
||||||
|
*최종 수정: 2025-09-18 - 실제 구현 현황 추가*
|
||||||
Loading…
x
Reference in New Issue
Block a user