로딩
티스토리 데이터 처리 중입니다.

Spark 에서 Parquet 저장할때 GZ 말고 Snappy 사용법

 Spark 에서 Parquet 저장할때 GZ 말고 Snappy 사용법

Spark에서 paruqet 압축 알고리즘을 찾다가. 분명히 두가지 방법중 한가지 방법이면 된다고 하는것 같은데 sqlContext.setConf("spark.sql.psqlContext.setConf("spark.sql.parquet.compression.codec", "snappy")sqlContext.sql("SET spark.sql.parquet.compression.codec=snappy") 저는 이것이 동작하네요 sqlContext.sql("SET spark.sql.parquet.compression.codec=snappy") 사용하는 화경은 HDP 2.5 Spark 1.6 입니다...