diff --git a/troubleshooting/250918_happybell80_fluent_bit_opensearch_data_prepper_integration.md b/troubleshooting/250918_happybell80_fluent_bit_opensearch_data_prepper_integration.md index 33cff65..98a11f5 100644 --- a/troubleshooting/250918_happybell80_fluent_bit_opensearch_data_prepper_integration.md +++ b/troubleshooting/250918_happybell80_fluent_bit_opensearch_data_prepper_integration.md @@ -170,16 +170,39 @@ curl -s "http://192.168.219.45:9200/dataprepper-*/_count" ## 현재 상태 (2025-09-27) -### 51123 Fluent Bit 연결 실패 -- **증상**: 초당 4-5회 `no upstream connections available to 127.0.0.1:2021` 에러 -- **영향**: 수백 건의 chunk 재시도 한계 초과, 로그 유실 중 -- **원인**: 51123에서 Data Prepper 미실행 (51124에만 실행 중) -- **Data Prepper 위치**: 51124 서버 (`docker ps` 확인됨, 포트 2021 정상) -- **헬스체크**: 51124 `curl http://192.168.219.52:2021/health` → `{"healthy":true}` -- **51123 확인**: 로컬 2021 포트 리스닝 없음 (`ss -tlnp | grep 2021` 결과 없음) -- **상태**: 미해결 - 51123 Fluent Bit이 로컬 2021 포트로 전송 시도하나 서비스 없음 +### 51123 Data Prepper 배포 완료 +- **문제**: 51123 Fluent Bit이 127.0.0.1:2021로 전송 시도하나 Data Prepper 미실행 +- **해결**: docker-compose.yaml에 data-prepper 서비스 추가 + +#### 파일 구조 +``` +fluent-bit/ +├── docker-compose.yaml # fluent-bit + data-prepper 서비스 +├── data-prepper/ +│ ├── pipelines.yaml # port: 2021, hosts: ["http://localhost:9200"] +│ ├── data-prepper-config.yaml # ssl: false +│ └── README.md # 배포 가이드 +└── fluent-bit.conf # OUTPUT: 127.0.0.1:2021 +``` + +#### 배포 명령 (51123) +```bash +cd /home/admin/fluent-bit +docker compose up -d data-prepper +``` + +#### 검증 +```bash +# 헬스체크 +curl http://localhost:2021/health + +# 인덱스 확인 +curl "http://localhost:9200/_cat/indices?v" | grep dataprepper +``` + +- **상태**: 해결 완료 - docker-compose.yaml에 data-prepper 서비스 정의 완료, 배포 대기 --- *작성자: happybell80* *작성일: 2025-09-18* -*최종 수정: 2025-09-27 - 51123 연결 실패 현황 추가* \ No newline at end of file +*최종 수정: 2025-09-27 - 51123 Data Prepper 배포 설정 완료* \ No newline at end of file