최대 가능도 추정량 (Maximum Likelihood Estimator)란?

앞선 게시글에서 베이지안적 사고와 빈도주의적 사고에 대해서 서술하였다. 두 사고 모두 기본적으로 데이터의 분포에 대한 가정에서 시작된다.

물론 데이터의 분포에 대해서 전혀 가정하지 않고 진행하는 empirical distribution methods 나 non-parametric methods 도 존재하긴 한다. 하지만 전통적인(?)

통계학의 관점에서는 아무래도 분포를 가정하고 그에 해당하는 모수를 추정하는 프로시져가 자연스럽다. 오늘은 이와 같은 논조에서 분포를 가정하고 모수를 추정하는 방법론 중에 하나인 최대 가능도 추정법에 대해서 알아보도록 하겠다.

이를 위해서는 먼저 가능도(likelihood)의 개념을 알아야 하겠다. 가능도란, 위키백과에 따르면 확률 분포의 모수가, 어떤 확률변수의 표집값과 일관되는 정도를 나타내는 값 이라고 한다.

즉, 분포의 모수가 어떤 값을 가질 때, 그 해당 분포에 의해서 우리가 가지고 있는 관측값들이 나타날 가능성을 수량적으로 표현한 것이다. 해당...