카프카(Kafka)

Apache Kafka LinkedIn에서 최초로 만들고 opensource화 한 확장성이 뛰어난 분산 메시지 큐(FIFO : First In First Out) "대용량 데이터를 빠르고 안정적으로 송수신하고 처리하기 위한 메시지 큐 시스템" 카프카 아키텍처 카프카 아키텍처 Broker : Kafka를 구성하는 각 서버 1대 = 1 broker Topic : data가 저장되는 곳, 메시지를 구분하는 논리적인 채널 Producer : 데이터를 보내는 쪽, broker에 데이터를 write Consumer : 데이터를 읽는 쪽, broker에 데이터를 read Consumer-Group : 메시지 소비자 묶음 단위 Zookeeper : Kafka를 운용하기위한 Coordination Service, Kafka 클러스터가 잘 동작하도록 중앙에서 관리해주는 비서 같은 역할 (Kafka 2.x까지는 Zookeeper가 필수였고, 3.x부터는 선택) Partition : Topic을 나누는 ...