빅데이터 얘기가 나올 때마다 꼭 따라오는 단어가 있어요. 바로 하둡(Hadoop)이거든요.
근데 막상 "하둡이 뭐예요?"라고 물어보면 제대로 설명해주는 사람이 드물죠.
이 글에서 하둡이 왜 만들어졌는지, 어떻게 작동하는지, 실제로 어디서 쓰이는지 한번에 정리해 드릴게요. 이 글에서 다루는 내용 1.
하둡이 뭔지, 왜 만들어졌는지 2. 하둡의 핵심 구성 요소 2가지 3.
하둡 에코시스템 - 함께 쓰이는 주요 도구들 4. 하둡 vs 일반 데이터베이스, 뭐가 다른가요?
5. 실제 기업에서 어떻게 쓰이나요?
6. 하둡의 한계, 그리고 요즘 트렌드 1.
하둡이 뭔지, 왜 만들어졌는지 하둡(Hadoop)은 엄청나게 큰 데이터를 여러 컴퓨터에 나눠서 저장하고 처리하는 오픈소스 프레임워크예요. 2000년대 초반 구글이 문제 하나를 맞닥뜨렸습니다. 웹을 크롤링하다 보니 데이터가 너무 방대해져서 하나의 서버로는 도저히 처리가 안 되는 거거든요.
그래서 구글이 해결책으로 GFS(Google File S...
