이름만큼 재미있는 EM 알고리즘

통계학에서는 모수 추정을 위해 다양한 optimization 방법들이 필요하다. 뉴튼-랩슨 류의 fixed point iteration method가 대표적이다.

(즉, 방정식의 해를 찾는 방법론들) 그리고 결측이 존재하는 특이한 상황에서 모수 추정을 해주는 방법론으로 EM알고리즘이 있다. 이 알고리즘은 데이터에 결측이 존재하여도 MLE(최대 가능도 추정량)을 구할수 있게 해준다.

먼저, 예제를 통해 이것의 motivation에 대해 설명하기 위해 다항분포(Multivariate distribution)를 먼저 설명하겠다. k개의 관측치 으로부터 나왔다면, 이것의 확률질량함수는 이며 이때, 는 각 시행에서 k개의 배반사건 중 하나만 일어난다고 할때, n번 시행 후 각 사건이 발생한 횟수의 결과이다. 따라서 을 만족한다.

(n은 총 시행횟수이므로) 그럼 이제 우리에게 다섯개의 관측치 가 관측되었다고 하자. 이때 이 다섯개의 관측치가 의 분포로부터 나왔다는 사실을 안다고 하자.

그러면 우...