EM 알고리즘과 GMM

EM 알고리즘은 Expectation maximization의 줄임말로, 말 그대로 기댓값을 최대화하는 알고리즘입니다. 여기서 기댓값이 우도에 대한 것이라면 알고리즘을 통해 MLE를 구할 수 있겠습니다.

MLE를 구할 때를 생각하면 그냥 미분하거나 해서 구하면 되는데 어째서 기댓값까지 끌어들이는 것일 까요? 그것은 잠재변수 때문입니다.

잠재변수(Latent variable)은 직접적으로 관측되지 않는 값을 모르는 속성입니다. 따라서 잠재 변수를 포함하는 우도의 경우 최적 해를 구하지 못합니다.

따라서 잠재 변수의 조건부 분포를 이용해 우도의 기댓값을 최대화하도록 합니다. Xv를 관측되는 변수, Xh를 잠재 변수라 하면 모수 θ의 MLE는 다음 함수를 최대화하는 값이 됩니다.

이때, 기댓값을 구하는 적분은 다루기 힘들기 때문에 몬테 카를로 방법을 이용해 계산합니다. 잠재 변수의 조건부 분포는 θ에 의존하므로 사용된 θ값에 따라 다른 값을 내놓을 수 있습니다.

그러므로로 점진적으로 θ를...

요청 처리 중입니다...

EM 알고리즘과 GMM

등록된 다른 글