[KAFKA] Failed to clean up log for __consumer_offsets, Shutdown broker because all log dirs in 원인 분석 및 해결방안

[KAFKA] Failed to clean up log for __consumer_offsets, Shutdown broker because all log dirs in 오류는 Kafka 브로커에서 __consumer_offsets 토픽 로그를 정리하는 동안 문제가 발생하여 Kafka 서버가 종료된 것을 나타낸다.

이 오류가 발생하는 원인은 일반적으로 로그 디렉토리의 권한 문제, 디스크 용량 부족, 파일 시스템 오류 등이고, 이러한 문제로 인해 Kafka가 로그 파일을 삭제할 수 없으며, 이로 인해 Kafka가 종료된다.

이 문제를 해결하기 위해서는 다음과 같은 방법을 시도할 수 있습니다.

1. 로그 디렉토리의 권한을 확인해야 하며, Kafka 브로커가 로그 디렉토리를 읽고 쓸 수 있는지 확인해야 함.. 이를 위해 디렉토리 소유자 및 권한을 확인하고 Kafka 브로커가 해당 디렉토리에 대한 쓰기 권한을 가지고 있는지 확인해야 함.
2. 디스크 용량을 확인해야 함. Kafka 브로커가 로그 파일을 쓸 디스크 공간이 충분한지 확인해야 함. 필요한 경우 더 많은 디스크 공간을 확보해야 함.
3. 파일 시스템 오류를 확인해야 함. 파일 시스템 오류가 발생할 경우 해당 오류를 해결해야 됨.
4. __consumer_offsets 토픽 로그 디렉토리를 수동으로 삭제하고 Kafka 서버를 재시작할 수 있고, 이 방법은 모든 __consumer_offsets 로그 데이터를 삭제하므로 이전에 커밋된 컨슈머 오프셋은 모두 손실되며, 따라서 가능하면 이 방법은 마지막 수단으로 삼아야 함.

위 방법 중 문제를 해결할 수 있는 방법을 시도하여 Kafka 브로커를 다시 시작하면 문제가 해결될 수 있다... 

하지만 원초적인 문제를 해결하지 못했다.

 

이 문제를 해결하기 위해 내가 한 일은 log 보관 용량을 1GB에서 100GB로 용량을 늘렸고, 보관 주기를 7일에서 3일로 보관 주기를 줄였지만, 문제는 해결되지 않았다.
그러나, 확인 도중에 윈도우는 c 드라이브에 있는 tmp 파일에 있는 로그를 자동으로 삭제하는 일이 발생한다는 것을 알게 되었다.

 

해결을 위해서는 리눅스나 도커를 사용해야 되는 것으로 확인되었다.