Issue
대용량 로그 수집 중 Kafka Producer Timeout 발생
Issue Detail
이슈에 첨부된 원본 로그입니다.
Raw log
2026-05-11 14:08:27.441 ERROR 22418 --- [pool-3-thread-1] c.logbridge.collector.LogPublishService : Failed to publish log batch org.springframework.kafka.KafkaException: Send failed at org.springframework.kafka.core.KafkaTemplate.doSend(KafkaTemplate.java:701) at org.springframework.kafka.core.KafkaTemplate.send(KafkaTemplate.java:483) at com.logbridge.collector.LogPublishService.publish(LogPublishService.java:87) Caused by: org.apache.kafka.common.errors.TimeoutException: Topic log-events not present in metadata after 60000 ms. 2026-05-11 14:08:27.445 WARN 22418 --- [pool-3-thread-1] o.a.k.clients.NetworkClient : [Producer clientId=producer-logbridge] Connection to node -1 could not be established. Broker may not be available. 2026-05-11 14:08:27.447 INFO 22418 --- [pool-3-thread-1] c.logbridge.collector.BatchScheduler : Retry scheduled after publish failure
AI Insight
선택된 로그에 대한 AI 분석 결과입니다.
심각도
MEDIUM
추정 원인
'log-events' 토픽이 Kafka 클러스터에 존재하지 않거나, Kafka 브로커가 다운되었거나 네트워크 연결 문제로 인해 프로듀서가 브로커에 연결하지 못한 것이 원인입니다.
권장 조치
Kafka 클러스터 상태를 점검하여 'log-events' 토픽이 정상적으로 생성되어 있는지 확인하고, Kafka 브로커가 정상 작동 중인지 확인하세요. 네트워크 연결 문제도 함께 점검하여 프로듀서가 브로커에 안정적으로 연결될 수 있도록 조치해야 합니다. 필요 시 Kafka 클러스터 재시작 또는 토픽 재생성을 고려하세요.
요약
Kafka 로그 전송 중 오류가 발생하여 로그 배치 발행에 실패했습니다. KafkaTemplate.send 메서드 호출 시 TimeoutException이 발생했으며, 이는 'log-events' 토픽이 메타데이터에 60000ms 동안 나타나지 않아 발생했습니다. 또한, Kafka 프로듀서가 브로커와 연결할 수 없다는 경고 메시지가 기록되었습니다.
유사 이슈
-
Final Resolution
해결 완료 후 실제 원인과 적용한 해결 방안을 기록하세요.
원인
운영 Kafka broker 교체 작업 이후 bootstrap.servers 설정에 이전 broker 주소가 일부 남아 있었음.
조치 내용
Kafka bootstrap.servers 설정을 최신 broker 주소로 수정하고 애플리케이션을 재배포했습니다. 이후 metadata 조회 및 Producer 전송이 정상 동작하는 것을 확인했습니다.