카프카에 대해서

카프카의 탄생 배경 가. 배경 카프카는 리크드인에서 처음 출발한 기술로서, 링크드인 사이트가 급속도로 성장하면서 발생하는 내부 여러 이슈들을 해결하기 위해 탄생했다.

아래 그림은 링크드인이 카프카를 개발하기전 과거 데이터 시스템의 구성도이다. 이 그림을 처음 본 사람은 정말 복잡하다고 생각할 것이다.

이러한 복잡한 구조는 다양한 문제들을 만든다. 첫번째 문제는 실시간 트랜젝션 처리와 비동기 처리가 동시에 이뤄지지만 통합된 전송 영역이 없으니 복잡도가 증가할 수밖에 없다.

두번째 문제는 데이터 파이프라인 관리의 어려움이다. 실시간 트랙ㄴ잭션 데이터베이스, 하둡,모니터링 시스템 등 많은 데이터 시스템이 있는데 이..........