소스 코딩과 채널 코딩: 디지털 통신의 양대 축

디지털 통신 시스템은 정보를 효율적이고 신뢰성 있게 전달하기 위해 정보의 표현(압축)과 전송(보호)을 분리하여 다룬다. 이를 정보 이론에서는 소스 코딩(Source Coding)과 채널 코딩(Channel Coding)으로 구분한다.

이 개념은 Claude Shannon의 정보 이론(1948)에 기초한다. 1. 소스 코딩 (Source Coding) 1.1.

정의 소스 코딩은 정보의 중복을 제거하여 데이터를 효율적으로 표현하는 압축 기법이다. 이는 정보의 엔트로피(Entropy)에 근거하여 필요한 평균 비트 수를 최소화하는 것이 목적이다.

여기서 H(X)는 소스 X의 엔트로피이며, 이는 이론적으로 가능한 최저 평균 코드 비트 수를 의미한다. 1.2. 대표적 기법 (1) 고정 길이 vs 가변 길이 고정 길이: 모든 심볼에 동일한 비트수 할당.

(예: ASCII) 가변 길이: 자주 나오는 심볼에는 짧은 코드, 드물게 나오는 심볼에는 긴 코드. (예: 허프만 코딩) (2) 무손실 압축 (...