diff --git a/troubleshooting/250918_happybell80_fluent_bit_opensearch_data_prepper_integration.md b/troubleshooting/250918_happybell80_fluent_bit_opensearch_data_prepper_integration.md index 476dbc5..e67074e 100644 --- a/troubleshooting/250918_happybell80_fluent_bit_opensearch_data_prepper_integration.md +++ b/troubleshooting/250918_happybell80_fluent_bit_opensearch_data_prepper_integration.md @@ -69,11 +69,18 @@ log-pipeline: document_type: "_doc" ``` +#### data-prepper-config.yaml (필요 시) +```yaml +# 기본 설정 파일 (비어있어도 파일은 필요) +``` + #### Docker 실행 ```bash docker run -d --name data-prepper \ --network host \ - -v /tmp/data-prepper/pipelines.yaml:/usr/share/data-prepper/pipelines/pipelines.yaml:ro \ + --restart unless-stopped \ + -v /home/admin/ivada_project/fluent-bit/data-prepper/pipelines.yaml:/usr/share/data-prepper/pipelines/pipelines.yaml:ro \ + -v /home/admin/ivada_project/fluent-bit/data-prepper/data-prepper-config.yaml:/usr/share/data-prepper/config/data-prepper-config.yaml:ro \ opensearchproject/data-prepper:2.4.0 ``` @@ -98,9 +105,10 @@ docker restart fluent-bit ``` ## 검증 결과 -- **인덱스 생성**: `dataprepper-2025.09.18` ✅ -- **문서 수집**: 200+ 문서 성공적으로 저장 ✅ +- **인덱스 생성**: `dataprepper-2025.09.17`, `dataprepper-2025.09.18` ✅ +- **문서 수집**: 4,000+ 문서 성공적으로 저장 ✅ - **실시간 로그**: 모든 Docker 컨테이너 로그 수집 중 ✅ +- **안정성**: 지속적으로 HTTP 200 응답, 안정적 운영 중 ## 핵심 문제 분석 @@ -141,6 +149,24 @@ curl -s "http://192.168.219.45:9200/_cat/indices?v" | grep dataprepper curl -s "http://192.168.219.45:9200/dataprepper-*/_count" ``` +## 구현 현황 (2025-09-18 업데이트) + +### Git 리포지토리 구조 +- **fluent-bit 리포지토리**: Data Prepper 설정 포함 + - `/data-prepper/pipelines.yaml`: 파이프라인 설정 + - `/data-prepper/data-prepper-config.yaml`: 기본 설정 + - `/data-prepper/README.md`: 실행 가이드 + +### 현재 운영 상태 +- **Data Prepper**: 51124 서버에서 독립 컨테이너로 실행 중 +- **Fluent Bit**: Git Actions로 자동 배포 (Data Prepper는 수동 관리) +- **로그 수집**: 정상 작동, OpenSearch에 지속적으로 전송 중 + +### 향후 개선 사항 +- Git Actions에 Data Prepper 자동 배포 추가 고려 +- 51124 서버 전용 배포 스크립트 작성 필요 + --- *작성자: happybell80* -*작성일: 2025-09-18* \ No newline at end of file +*작성일: 2025-09-18* +*최종 수정: 2025-09-18 - 실제 구현 현황 추가* \ No newline at end of file