spring kafka 를 이용한 producer , consumer 구현 #2/3 ( 멀티 파티션 대응용 )

지난 포스팅에서는 가장 기본적인 구현으로 producer , consumer 를 구현했습니다. 실제 실무에서는 단일 파티션이 아닌 4개, 16개 ...

이런식으로 많은 파티션으로 구성된 토픽을 consumer 할 경우가 많습니다. docker로 파티션 수만큼의 spring boot 를 구동시켜도 되나, consumer의 주요 내용이 DB 쿼리, http request 등 I/O가 많은 작업이라면 cpu, mem이 많이 놀게 되므로 , 단일 쓰레드가 아닌 멀티 쓰레드로 consumer 가 구동되도록 하는게 좋습니다. 이를 위해서는 조금 복잡한 환경 구성이 필요합니다. consumer 는 사실 @KafkaListener 라고 어노테이션이 들어간 함수입니다.

우리가 원하는 건 @KafkaListener라고 어노테이션 들어간 함수가 한개 쓰레드가 아닌 여러쓰레드에서 구동되는 것입니다. 이를 위해서는 아래처럼 ConcurrentKafkaListenerContainerFactory 라는 빈을 ...

요청 처리 중입니다...

spring kafka 를 이용한 producer , consumer 구현 #2/3 ( 멀티 파티션 대응용 )

등록된 다른 글