엔트로피, 크로스엔트로피, 쿨벡라이블러 다이버전스

머신러닝을 공부하다 보면, 엔트로피 라는 개념이 등장한다. 이 엔트로피는 물리학 또는 통계물리 쪽에서의 엔트로피와는 좀 다른 느낌이다.

위키백과에도 그냥 엔트로피라고 검색하면, 우리가 원하는 머신러닝에서의 그 엔트로피가 나오지 않을 것이다. 머신러닝에서 말하는 엔트로피는 정보이론에서 나온 것으로, 아래의 링크에서 그 정의를 확인할 수 있다. https://en.wikipedia.org/wiki/Entropy_(information_theory) 아무튼, 정보이론에서 얘기하는 이 엔트로피가 무엇인지, 직관적으로 이해하기에 처음에 너무 힘들었던 기억이 난다.

심지어 아직도 좀 헷갈리는 부분이 있기는 하다. 좀 많이 느슨하게 얘기하면 엔트로피란, 통계학에서의..........