Calculate EMD(Earth Mover’s Distance) using SparkSql kt넥스알 2021년 상반기 테크리포트 by 기술블로그 I. 서론 T-근접성은 k-익명성, l-다양성을 만족하더라도 해당 동질 집합의 민감정보 분포가 다른 동질 집합의 분포와 차이가 크면 분포의 차이로 인해 민감정보가 유출될 수 있으므로 모든 가능한 조합 n개에 대해 구한 n(n-1)/2 개의 거리가 임계값 t 보다 작게 만들어 추론을 방지하기 위해 고안된 프라이버시 모델 입니다.
이 때, 두 분포의 거리를 계산하는 방법론으로 통계학에서 사용하는 EMD(Earth Mover's Distance)를 사용합니다. NEA 시스템에서는 T-Closeness 평가를 위해 Spark을 사용하여 EMD 수치를 계산합니다.
또..........
