가우시안 프로세스 회귀 (Gaussian process regression)에서 적용하는 커널의 종류

공분산 함수, 커널은 가우시안 프로세스 회귀의 예측 성능을 결정하는데 중요한 요소이다. 저번 글에서 본 것과 같이 데이터의 종류, 패턴에 따라 적절하지 못 한 커널을 선택한다면 예측 성능이 좋지 않다.

따라서 본 글에서는 대표적인 커널의 종류를 알아보고, 저번 글과 마찬가지로 보스턴 주택 가격 예측에서 적절한 커널을 선정해 보고자 한다. 우선, 가장 대표적인 커널은 radial basis function, RBF이다.

RBF는 두 점 사이의 거리를 고려하여 거리가 멀어질수록 상관관계가 감소한다는 가정에서 출발한다. 따라서 두 점 사이의 거리가 0일 때 (같은 지점일 때) 가장 큰 값을 가지는 형태로 표현된다.

오른쪽 그래프는 특정 포인트를 샘플링하고, RBF를 활용해서 값을 계산한 그래프이다. 샘플링된 포인트가 x 값과 같다면 높은 값을 가지게 된다.

다음은 Rational quadratic kernel (RQK)이다. RQK는 데이터가 거리에 따른 유사도, 상관관계를 갖는 가정은 ...