[Kafka] 기본 개념 및 생태계

서론이 포스팅은 데브원영님의 Youtube 영상을 듣고 내용을 그대로 옮긴 것입니다.Before Kafka️ 엔드투엔드(end to end) 연결 방식의 아키텍쳐️ 데이터 연동의 복잡성 증가(하드웨어, 운영체제, 장애 등)️ 각기 다른 데이터 파이프라인 연결 구조️ 확장에 엄청난 노력 필요모든 시스템으로 데이터를 전송 실시간 처리도 가능한 것.데이터가 갑자기 많아지더라도 확장이 용이한 시스템이 필요함After Kafka️ Producer/ Consumer 분리️ 메시지 데이터를 여러 Consumer에게 허용️ 높은 처리량을 위한 메시지 최적화️ 스케일 아웃 가능️ 관련 생태계 제공Kafka broker️ 실행된 카프카 애플리케이션 서버 중 1대..........