about consumer group , rebalance in kafka

kafka 에는 producer 와 consumer 라는 생산자와 소비자 개념이 있는데 producer 는 아무나 send 하면 되는데 consumer 는 신경쓸게 좀 있습니다. A 라는 토픽에 대해 consumer 2대가 있다고 합시다. consumer 2대가 서로 상관없는 consumer 라면 A 토픽에 있는 이벤트 10개를 각각 10개씩 수신하면 되겠죠...

그러나, consumer 2대가 사실 동일 서비스이고 이중화때문에 2대가 구동중인거라고 해봅시다. 보통 운영환경에서는 이렇게 2대 이상 동일 서비스가 구동되지요.

일반적으로 이 상황에서는 10개의 이벤트중 5개 정도는 1번 서버가 수신을 하고, 나머지 5개 정도의 이벤트를 2번 서버가 수신하기를 원할겁니다. 이를 위해서는 2대의 서버가 "우린 같은 거라고 봐주세요" 라는 식으로 뭔가 설정을 해줘야 합니다.

이게 바로 consumer group 입니다. 이렇게 동일 consumer group 으로 묶인 2대 이상의 서버들이 ...

요청 처리 중입니다...

about consumer group , rebalance in kafka

등록된 다른 글