[KAFKA] 신뢰성

언클린 리더 선출 브로커 단위에서만 가능한 설정으로 unclean.leader.election.enable이고 기본값은 false 기본적으로 파티션 리더에 문제가 생겼을 경우 in-sync-replica 중 모든 데이터가 커밋된 파티션을 리더로 선출함 unclean.leader.election.enable를 true로 설정하면 아웃 오브 싱크 레플리카를 리더로 선출할 수 있다. 단 이 방식으로 사용하면 데이터 유실 및 데이터 중복, 일관성 문제가 발생할 수 있음 그렇다고 이 방식을 사용하지 않으면 리더 파티션이 살아날 때까지 기다려야 되고 만일 모든 파티션에 문제가 생겼으면 가용성이 0으로 돼버린다.

최소 인 싱크 레플리카 토픽과 브로커 단위 모두 min.insync.replicas 설정 가능 카프카의 신뢰성에서 데이터는 모든 in-sync 레플리카에 쓰인 시점에서 커밋된 것으로 간주 토픽에 레플리카가 3개 있고 min.insync.replicas를 2로 잡았으면 프로듀서는 3개의 ...