클라우드의 등장으로 데이터 팀이 방대한 양의 데이터를 수집해 적절한 비용으로 저장할 수 있게 되면서 데이터 레이크, 데이터 메시 및 기타 현대적 아키텍처를 활용하는 새로운 분석 사용 사례를 향한 문이 열렸다. 그러나 데이터의 크기가 매우 큰 경우 일반적인 데이 터 스토리지 역시 데이터의 액세스와 관리, 사용 방법 측면에서 어려움과 한계가 있다.
Getty Images Bank 클라우드의 일반적인 블롭 스토리지 시스템에는 파일 간의 관계나 테이블 대응을 보여주는 데 필요한 정보가 없어 쿼리 엔진의 작업이 훨씬 더 어렵다. 또한 파일 자체로 인해 테이블의 스키마를 변경하거나 테이블을 건너 “시간 이동(time travel)”을 하기도 쉽지 않다.
각 쿼리 엔진은 파일을 쿼리하는 방법에 관한 자체적인 시야가 있어야 한다. 얼핏 구현하기 쉬워 보였던 데이터 아키텍처가 어느 순간 예 상보다 어려워지는 지점이다.
이런 경우에 테이블 형식을 데이터에 적용하는 방법이 매우 유용하다. 테이블 형식...
#
공개
#
외부
#
의사
#
처리
#
쿼리
#
테이블
#
파일
#
프로젝트
#
협업
#
오픈소스
#
엔진
#
기능
#
기업
#
데이터
#
성능
#
스노우플레이크
#
스키마
#
시간
#
아파치아이스버그
#
형식