파티셔닝

파티셔닝 데이터가 많을 때 데이터를 파티션으로 쪼갤 필요가 있는 데 이걸 샤딩이라고 한다. 여기서 파티션은 엘라스틱 서치로 치면 샤드임 데이터 파티셔닝을 하는 이유는 확장성이다.

비공유 클러스터에서 다른 파티션은 다른 노드에 저장할 수 있음 그렇기에 대용량 데이터셋이 여러 디스크에 분산될 수 있고 질의 부하는 여러 프로세서에 분산됨 파티셔닝과 복제 보통은 복제와 파티셔닝을 함께 적용해서 각 파티션의 복사본을 여러 노드에 저장함. 이 방식으로 내결함성을 보장할 수 있음 위 그림과 같이 한 노드에 여러 파티션 저장 가능하고 리더 팔로워 복제 모델을 사용하면 위와 같은 형태가 된다.

여기서 중요한 게 각 파티션의 리더는 한 노드에 할당되고 (겹치지 않음) 팔로워들은 다른 노드에 할당됨 키-값 데이터 파티셔닝 파티셔닝의 목적은 데이터와 질의 부하를 여러 노드로 고르게 분산시키는 것 파티셔닝이 고르게 이뤄지지 않아서 특정 파티션에 데이터가 많거나 요청이 몰리는 걸 skewed(쏠렸다)고 말함...