QDA와 로지스틱 회귀의 제곱항

이전에 x가 정규분포를 따를 때, 베이즈 법칙을 이용해 로지스틱 회귀 형태로 표현되는 것을 확인했습니다. 정규분포에서 로지스틱 유도 Y=0일 때 X가 N(μ0, σ2), Y=1일 때 X가 N(μ1, σ2)를 따른다고 가정한다.

이때 사전 ... blog.naver.com 등분산 가정 하에 X의 제곱항이 사라져서 LDA가 되었습니다. 하지만 분산이 다를 때 이차항은 사라지지 않는데요, 즉 QDA가 됩니다.

베이즈 분류기와 로지스틱 회귀의 관련성을 생각하면, 로지스틱 회귀에서 이분산의 해결책으로 이차항이 도움이 될 것으로 보입니다. 확인하기 위해 랜덤 샘플을 만들어 실험해 보겠습니다.

이진 분류에서 클래스당 100개의 샘플을 만들고, 각 샘플은 모평균이 0, 10인 정규분포에서 생성됩니다. N = 100 #클래스당 sample 수 m1=0 #클래스1의 평균 m2=10 #클래스2의 평균 v1=5 #클래스1의 분산 v2=10 #클래스2의 분산, 등분산 가정에선 사용X 시나리오 1: 등분산 ...