ROC, AUC와 맨 휘트니 통계량 (Mann-whitney U)

이진 분류 문제에서 분류기는 1,0이 아닌 특정 클래스에 해당하는 확률로 예측값을 줍니다. 보통은 0.5를 기준으로 1,0으로 나누지만 데이터 불균형이나 문제에 따라 어느 지점부터 1로 처리할지 결정해야 합니다. 아래는 train set에서 실제 Y 값과 모델을 통해 얻은 score 값입니다. 이를 통해 ROC를 그려보고 AUC와, 그 계산에 있어 맨-휘트니 통계량과의 연관성을 확인해 보도록 하겠습니다. 전공 시험 등 컴퓨터 없이 ROC와 AUC를 계산해야 하는 경우 유용한 방법입니다. 실제 Y 1 0 0 1 1 0 1 0 0 0 예측 Y .96 .94 .89 .84 .71 .45 .39 .37 .23 .03 threshold는 0과 1을 가르는 기준점으로 이보다 크면 1로, 작으면 0으로 판정합니다. ROC는 Y축이 sensitivity, X축이 1-specificity입니다. 예측 score를 내림차순으로 정렬했다고 생각하고 threshold 값을 최대치인 1에서 0으로 감소시킨

EM 알고리즘과 GMM

EM 알고리즘은 Expectation maximization의 줄임말로, 말 그대로 기댓값을 최대화하는 알고리즘입니다. 여기서 기댓값이 우도에 대한 것이라면 알고리즘을 통해 MLE를 구할 수 있겠습니다. MLE를 구할 때를 생각하면 그냥 미분하거나 해서 구하면 되는데 어째서 기댓값까지 끌어들이는 것일 까요? 그것은 잠재변수 때문입니다. 잠재변수(Latent variable)은 직접적으로 관측되지 않는 값을 모르는 속성입니다. 따라서 잠재 변수를 포함하는 우도의 경우 최적 해를 구하지 못합니다. 따라서 잠재 변수의 조건부 분포를 이용해 우도의 기댓값을 최대화하도록 합니다. Xv를 관측되는 변수, Xh를 잠재 변수라 하면 모수 θ의 MLE는 다음 함수를 최대화하는 값이 됩니다. 이때, 기댓값을 구하는 적분은 다루기 힘들기 때문에 몬테 카를로 방법을 이용해 계산합니다. 잠재 변수의 조건부 분포는 θ에 의존하므로 사용된 θ값에 따라 다른 값을 내놓을 수 있습니다. 그러므로로 점진적으로 θ를

기각 샘플링 (rejection sampling)

기각 샘플링은 분포를 알고 있으나 그 관측 값을 생성하기 어려운 경우에 해결책으로 사용할 수 있습니다. 관측 값을 얻기 쉬운 분포를 이용해 목표 분포의 관측 값을 만들어 내는 방법입니다. 우선 쉬운 분포 Q, 목표 분포 P, 그리고 아래 조건을 만족하는 M 값이 필요합니다. 이제 다음 절차를 수행해 샘플을 얻어냅니다. Q에서 관측 값 s를 생성한다. [0, Mq(s)] 사이의 난수와 p(s)를 비교 난수가 작다면 s를 샘플로 채택한다. 크다면 s를 버린다. 목표 샘플 크기까지 반복 이런 식으로 샘플을 뽑았을 때, 그 확률이 목표 분포의 pdf에 비례함을 알 수 있습니다. 이때, 한 번의 시행에서 샘플을 얻을 확률은 s로 적분을 한 1/M이 됩니다. 이것을 채택률이라 하고 샘플의 생성 속도에 영향을 줍니다. 그러므로 조건을 만족하는 M 중 가장 작은 M을 선택하는 것이 유리하겠습니다.

몬테카를로 적분 Monte Carlo integration

몬테카를로 적분은 해석적으로 떨어지는 적분을 하기 힘들 때 그 값을 근사적으로 구하는 방법입니다. 원리는 적분식을 기댓값의 형태로 만들어 주는 것입니다. 이때 I(θ)는 [a, b] 안에 θ가 있으면 1, 아니면 0이 되는 함수입니다. 형태만 바뀐 것이지 아직 계산이 되지는 않았습니다. 이 기댓값은 분포로부터 생성된 샘플의 평균으로 근사할 수 있습니다. 균일 분포에서 아주 큰 N 개의 샘플을 얻고 각 값에 함수 h를 취합니다. 이것들의 평균을 구하면 기댓값의 근사가 됩니다. 예를 들어 지수 함수의 적분 값을 구해 봅시다. mcs <- runif(10000, 0,5) approx_val <- 5*mean(exp(-mcs)) print(approx_val) [1] 0.9845496 적분의 계산 값은 1-e^(-5)=0.99326입니다. 어느 정도 비슷하게 나오는 모습입니다. 편차는 N이 커질수록 줄어들게 됩니다. mcs <- runif(10000000, 0,5) approx_val <-

QDA와 로지스틱 회귀의 제곱항

이전에 x가 정규분포를 따를 때, 베이즈 법칙을 이용해 로지스틱 회귀 형태로 표현되는 것을 확인했습니다. 정규분포에서 로지스틱 유도 Y=0일 때 X가 N(μ0, σ2), Y=1일 때 X가 N(μ1, σ2)를 따른다고 가정한다. 이때 사전 ... blog.naver.com 등분산 가정 하에 X의 제곱항이 사라져서 LDA가 되었습니다. 하지만 분산이 다를 때 이차항은 사라지지 않는데요, 즉 QDA가 됩니다. 베이즈 분류기와 로지스틱 회귀의 관련성을 생각하면, 로지스틱 회귀에서 이분산의 해결책으로 이차항이 도움이 될 것으로 보입니다. 확인하기 위해 랜덤 샘플을 만들어 실험해 보겠습니다. 이진 분류에서 클래스당 100개의 샘플을 만들고, 각 샘플은 모평균이 0, 10인 정규분포에서 생성됩니다. N = 100 #클래스당 sample 수 m1=0 #클래스1의 평균 m2=10 #클래스2의 평균 v1=5 #클래스1의 분산 v2=10 #클래스2의 분산, 등분산 가정에선 사용X 시나리오 1: 등분산

중요도 샘플링 Importance sampling

중요도 샘플링의 목적은 기댓값 E[h(θ)|y]을 계산하는 것입니다. 보통 기댓값은 몬테카를로 방법으로 계산할 수 있습니다. 하지만 사후 분포에서 샘플링이 힘들다면 몬테 카를로를 이용하기 힘듭니다. 간접적으로 사후 분포 대신 더 쉬운 분포를 이용해 위 값을 계산하는 것이 중요도 샘플링입니다. g를 이용해 h(θ)w(θ)의 기댓값을 대신 계산하면 원래 값을 얻을 수 있습니다. 그런데 복잡한 사후 분포는 대게 일반화 상수 P(y)를 알지 못할 수 있는데요. 우도와 사전 분포는 아니까 P(y)를 P(y|θ)P(θ)의 적분식으로 나타내면 아래처럼 두 부분으로 계산할 수 있습니다. 이제 이 방법을 적용해 라플라스 분포의 기댓값을 계산해 보겠습니다. Laplace distribution - Wikipedia In probability theory and statistics , the Laplace distribution is a continuous probability distribution

다변량 정규분포의 Scheffe 신뢰구간 Scheffe simultaneous confidence interval

Hotelling T2 Scheffe 신뢰구간을 보기 전에 알아야 하는 짧은 정보. 다변량 정규분포의 가설 검정에 쓰이는 방법입니다. 평균이 단일 값이 아닌 벡터라서 그 신뢰구간(구역)은 다음과 같이 타원 형태를 가집니다. 아래는 2차원에서 그린 것이고 3차원에선 찌그러진 구같이 확장되겠죠. 다변량을 일변량으로(Scheffe's mothod) 다변량 정규분포에 벡터를 곱해서 스칼라로 만들면, 다변량 정규분포의 성질에 따라 다음의 일변량 정규분포가 됩니다. 이변량 정규분포에서 샘플을 뽑아서 a 위에 사영해서 뿌린 모습입니다. 각 점들이 a에 수직하게 내려와 a 직선 위에 있습니다. a=[1,0]이면 첫 번째 원소만 이용해서 x축 위로 떨어지겠죠. 그림에선 a의 크기를 1로 맞춰서 보기 좋게 만들었습니다. a를 두 배 시킨다면 점들은 a 위에 수직하게 내려오지 않고, 간격이 두 배가 되게 떨어질 것입니다. 이런 방법으로 다변량 정규에서 t-test와 같은 검정을 진행할 수 있습니다. 여

베이지안 - 정규분포, 평균에 대한 사전 분포

분산이 고정된 정규 분포를 데이터의 분포로 두었을 때, 평균이 정규 분포를 따르면 그 사후 분포도 정규 분포를 따릅니다. 사전 분포의 분산을 대신 정확도(precision)로 부르고, 정확도는 분산의 역수가 됩니다. 이제 지수부를 정규분포의 pdf처럼 완전 제곱식 꼴로 만듭니다. 사실 뮤가 없는 부분은 적분 시 분리되므로 결국 약분되게 됩니다. 따라서 사후 분포는 다음과 같습니다.

베이지안 - 혼합 사전 분포

사전 분포는 딱 한 분포로 특정하기 어려울 수 있습니다. 다음 규칙을 따라 여러 pdf를 결합해 사전 분포를 형성할 수 있습니다. f가 정상적 pdf일 때 위첨자는 베이즈 룰이 적용된 수로 생각하면 되겠습니다. (L은 우도함수) 베이즈 룰이 적용되면서 각각의 pdf의 개별적으로 적용이 되고, 각 가중치는 기존 가중치에 우도와 pdf가 곱해진 면적에 비례해 산출됩니다. 우도와 pdf의 곱은 내적처럼 유사할수록 더 큰 값을 가지게 되겠습니다. 우도와 유사한 pdf의 가중치가 증가하는 것입니다.

베이지안 - 감마 포아송 분포

이전에 이항 분포와 베타 분포가 결합되었을 때 켤래 사전 분포가 되는 것을 확인했습니다. 베타 분포가 0과 1사이의 모수를 모델링 했다면, 감마 분포는 양의 실수를 가지는 모수의 사전 분포에 이용됩니다. 사후 분포 유도 포아송 분포의 모수 λ를 알고 있을 때 pmf는 다음과 같습니다. 람다의 사전 분포는 Gamma(α, β)로 지정하면, 람다의 pdf는 다음과 같습니다. 베이즈 룰을 적용해 사후 분포를 구합니다. 아래의 적분식은 감마 분포의 pdf 꼴인 점을 이용해 계산합니다. 그래서 사후 분포가 Gamma( α+x, β/(1+β) )가 됨을 알 수 있습니다. 이것을 여러 관측으로 확장하면 Gamma( α+Σxi, β/(1+nβ) ) 되겠습니다. 사후 분포의 기대값 사후 분포의 기대값을 보면 사전 분포의 모수와 표본 평균 둘의 가중 평균인 모습을 확인할 수 있습니다. 관측 수가 늘어나면서 관측 평균으로 이동하는 모습입니다. 이런 관점에서 베타는 사전 분포를 설정할 때 가진 데이터의

베이지안 - 베이즈 정리, 사전 분포, 사후 분포

베이즈 정리 베이즈 정리는 조건부의 관계를 역전된 확률을 구해줍니다. 보통은 백신 정확도 연습 문제를 풀 때 만나게 되는데, 조건부 확률을 잘 사용한 것이지 굳이 이름을 붙일만한 것인지 의문이 듭니다. 하지만 관점을 바꿔서 보면 베이즈 정리의 진면목이 드러납니다. 사전 분포&사후 분포 베이지안에서는 모수를 확률 변수로 취급합니다. 이 문장을 많이 봤는데 딱 봤을 땐 어쩌라는 거지 싶습니다. 이해를 돕기 위해 상상을 해봅시다. 어떤 매장의 매출액을 예측한다고 합시다. 이것은 미래에 일어날 것이고 따라서 확률 변수로 취급합니다. 이 매출액이 포아송 분포를 따른다고 가정했습니다. 하지만 우리는 이 식은 모수 람다를 포함합니다. 좀 더 명확하게 식을 다시 써보겠습니다. 우리는 여기서 람다를 알지 못합니다. 그러니까 분포를 가정한다 해도 그 모수를 모른다면 예측할 수 없습니다. 이 모수는 어떻게 알 수 있을까요? 일단 이 모수를 아무렇게나 찍었습니다. '대충 20 근처이지 않을까?'. 또 생

가중치 시각화

numpy로 딥러닝 직접 구현하기 그라디언트 구하기 학습 데이터 X가 레이어를 거쳐서 O가 되고, 손실 함수값 L이 되는 상황을 가정합시... blog.naver.com 이전 글의 내용을 바탕으로 합니다. 옵티마이저 adam, adagrad, rmsprop을 구현해 주었습니다. class AdaGradOptimizer(NNOptimizer): def __init__(self, learning_rate=0.01): super().__init__(learning_rate) self.h = {} def _calc_update_gradient(self, idx, local_grad): if idx not in self.h: self.h[idx] = local_grad.applied(np.zeros_like) self.h[idx].apply_arg(lambda prev, new: prev+new**2, local_grad) local_grad.apply_arg(lambda x, h: x*se

numpy로 딥러닝 직접 구현하기

그라디언트 구하기 학습 데이터 X가 레이어를 거쳐서 O가 되고, 손실 함수값 L이 되는 상황을 가정합시다. 역전파를 하면서 레이어 출력과 똑같은 shape의 그라디언트를 얻도록 합니다. 상위 레이어로 가는 그라디언트는 체인-룰을 따라 만들어 냅니다. 레이어 출력에 대한 입력 편미분 값은 영향을 준 변수들 각각의 미분 값의 합입니다. 따라서 아래와 같은 그라디언트 행렬의 곱을 생각할 수 있습니다. 이것은 numpy.matmul을 통해 간단하게 처리할 수 있습니다. 그런데 배치 처리를 하는 경우에는 어떻게 해야 합니까? 이제 데이터는 벡터가 아닌 행렬의 형태로 흐릅니다. 그라디언트 또한 확장되죠. 이럴 땐 아까와 같이 numpy.matmul을 사용할 수 없습니다. 이 계산을 처리하기 위해 numpy의 axis를 고려할 수 있습니다. numpy.newaxis는 차원 확장을 reshape보다 유용하게 수행할 수 있습니다. np.array([[1,2,3], [4,5,6]])[:, np.new

(비모수) 맨-휘트니 통계량 기대값, 분산 증명

귀무가설&가정 검정 통계량 기대값 분산 Rank_XY는 홉합표본에서 랭크, Rank_Y는 Y안에서 랭크. 따라서 윌콕슨 순위합 W=U + n(n+1)/2의 관계.

정규분포에서 로지스틱 유도

Y=0일 때 X가 N(μ0, σ2), Y=1일 때 X가 N(μ1, σ2)를 따른다고 가정한다. 이때 사전 확률 P(Y=1)=0.5라 하자. 베이즈 정리를 이용해 Y가 주어진 X를 X가 주어진 Y로 바꾼다면

기댓값은 무엇을 기대하는가

예전에 가설 검정을 배울 때 어떻게 기각역이 만들어지는지 궁금했었습니다. 어째서 양쪽 끝을 선택하는가? 왜 정규분포의 중심 주변이 채택역이 되는 것인가? 표본 분포의 중심은 어째서 오리지널 분포의 중심과 일치하는가? 어찌 보면 당연한 말입니다. 그리고 계산하고 그냥 기댓값 씌어보면 알 수 있습니다. 그런데 그것이 어떻게 진행되는 것인지, 어떤 의미인지는 막연했습니다. 그래서 글로 풀어서 써보기로 했습니다. 완벽한 설명이 아닐 수 있고 개인적 해석이 포함되어 있습니다. 그러나 직관적인 이해는 괜찮을 것 같습니다. 기댓값은 평균의 개념이다 확률변수 X의 기댓값은 다음과 같습니다. X가 취할 수 있는 값에 pmf, pdf를 곱한 뒤 더한 값입니다. pdf/pmf의 합이 1인 점에서 기댓값은 가중 평균에 해당한다고 볼 수 있습니다. 더 큰 확률을 가지는 값이 더 큰 가중치를 가지는 것은 합리적으로 보입니다. 기대값이라는 표현은 확률변수가 그 값을 가질 것이라고 생각하도록 만드는 것 같습니다

비모수 검정 통계량 계산기 Nonparametric calculator

일표본: 부호 검정, 부호 순위 검정 일표본 위치모수 검정 데이터 입력 가설 설정 mu0= 계산 검정 통계량 데이터 ... 평균 랭크 ... 검정 통계량: - 정규 근사 양측 p-value: - z= . 구간 추정 계산표 i-th ... W_ij ... 중앙값: - X_i | X_j ... ... ... ... ... ... ... ... 개발자 a16620.github.io 아래와 같이 검정 통계량, 정규 근사, 구간 추정에 사용되는 표를 출력합니다. 이표본: 윌콕슨 순위합, 대응 표본(부호 순위), 앤서리 브래들리, 시갤 튜키 검정 이표본 비모수 검정 출력 지우기 개발자 a16620.github.io SAS 스타일을 참고했습니다. 여러 검정을 사용하는 만큼, 연속적으로 작업하기 편하도록 결과가 지워지지 않고 스크롤 아래에 유지됩니다. 이표본 검정에서 유용하도록 X와 Y를 전환하는 기능과 윌콕슨 부호 순위로 추정한 중앙값으로 두 집단의 위치 모수가 같도록 보정하는 기능을 이용할 수

go gin의 ShouldBind와 zero value

api를 작성하다 보면 분명 맞게 데이터를 보냈는데도 아래와 같은 오류가 발생하곤 합니다. Key: 'Val1' Error:Field validation for 'Val1' failed on the 'required' tag 오타가 난 건지 헤더를 잘못 넣었는지 몇 번이고 확인하곤 합니다. 그러나 문제는 통신이 아닌 서버의 처리에 있었습니다. 문제 상황을 이해하기 위해 우선 아래의 예제를 봐보겠습니다. package main import ( "net/http" "github.com/gin-gonic/gin" ) func main() { r := gin.New() r.POST("/post", func(ctx *gin.Context) { var request struct { Val1 int `json:"v1" binding:"required"` } if err := ctx.ShouldBindJSON(&request); err != nil { ctx.String(http.StatusInt

SQL 태그 검색

3개의 테이블을 이용하는 방법을 소개합니다. 상황은 Article에 붙은 여러게의 태그를 검색합니다. SQLite3를 기준으로 작성합니다. 테이블1: Article 정보 CREATE TABLE IF NOT EXISTS article ( id INTEGER PRIMARY KEY AUTOINCREMENT, url TEXT UNIQUE NOT NULL, platform TEXT NOT NULL, description TEXT, thumbnail_url TEXT); 예시로 url, platform 등등을 추가했다. 테이블2: 태그 정보 CREATE TABLE IF NOT EXISTS tag ( id INTEGER PRIMARY KEY AUTOINCREMENT, name TEXT NOT NULL, type INTEGER DEFAULT 0, UNIQUE(name, type)); 태그는 name과 type가 한 쌍으로 구별된다. UNIQUE(name, type)로 필드 각각이 아닌 한 쌍으로 유

응용확률론 반사의 법칙 reflection law ballot problem

확률 통계 응용확률론 반사의 법칙 ballot problem 목표 문제는 Introduction to probability models의 Ex 3.27번 문제입니다. In an election, candidate A receives n votes, and candidate B receives m votes where n > m. Assuming that all orderings are equally likely, show that the probability that A is always ahead in the count of votes is (n-m)/(n+m). 표를 집계하는 과정에서 A가 나온 수가 항상 B보다 앞서는 확률을 구해야 합니다. 이 상황은 평면 좌표계로 옮겨 표현할 수 있습니다. x축을 확인한 표의 수라하면 (0,0)에서 시작해 A가 나오면 u=(1, 1) 만큼 이동하고, B가 나올 때는 d=(1, -1) 만큼 움직이는 규칙을 정합니다. 이 움직임의 마지막 위치는

numpy&pandas KNN (K Nearest Neighbor) 알고리즘

KNN은 따로 학습이라 부를만한 과정은 없습니다. 거리를 계산하고 정렬하는 것이 전부입니다. python과 numpy, pandas를 이용해 작성했습니다. 거리를 측정하는 방법에 유연성을 주고 싶어서 거리 함수를 직접 정의할 수 있게 만들었습니다. 아래는 유클리드, 맨해튼 거리의 함수입니다. import numpy as np def dist_Euclidean(a: np.ndarray, b: np.ndarray): return ((a-b)**2).sum() def dist_Manhattan(a: np.ndarray, b: np.ndarray): return np.abs(a-b).sum() knn: pandas.DataFrame을 입력받아 예측을 수행한다. 하나가 아닌 여러 데이터를 한 번에 처리하기 위해 내부 함수를 이용해 apply를 2번 실행했습니다. 예측 대상(여기선 Species)은 target_column으로 지정합니다. 그 외에 거리 계산에 사용될 컬럼들을 지정하려면 att

파이썬으로 다층 퍼셉트론 multi layer percpetron (1)

numpy를 이용해 행렬곱과 numpy연산으로 다층 퍼셉트론을 구현하였다. 테스트에는 pandas와 iris데이터셋을 이용하였다. 활성화 함수 forward는 순방향 연산. withGrad는 순방향 연산 결과와 함께 미분 값을 함께 계산한다. AFUNCTION = namedtuple('actFn', ['forward', 'withGrad']) sigmoid = lambda x: 1/(1+np.exp(-x)) def sigmoid_withgrad(x): y = sigmoid(x) drv = y*(1-y) return y, np.diag(drv.flatten()) relu = lambda x: np.maximum(0, x) def relu_withgrad(x): y = relu(x) drv = np.where(y <= 0, 0, 1) return y, np.diag(drv.flatten()) identity = lambda x: x def identity_withgrad(x): drv

C/C++ 에서 한글을 어떻게 다루는가 : 유니코드와 멀티바이트 변환

멀티바이트 관련 함수는 이름에서 str을 mb 또는 wc로 바꾼 형태를 가지고 있습니다. mb는 multibyte, wc는 wide char의 축약으로 생각하면 됩니다. 이 기능을 사용하기 전에 반드시 해야할 일이 있습니다. 이 함수들은 locale에 따라 결과가 달라지기 때문에 setlocale을 하는것을 권장합니다. #include <stdio.h> #include <stdlib.h> #include <string.h> #include <locale.h> ... setlocale(LC_ALL, ""); mblen : 멀티바이트의 바이트 수 한글과 같은 문자들을 char배열에 넣으면 한 문자가 2개의 바이트를 차지하기도 합니다. 이때 한 문자가 몇 바이트를 차지하는지 알려주는 함수가 mblen입니다. strlen은 문자열 전체의 길이를 알려주지만, mblen은 주어진 문자열 시작에 있는 한 멀티바이트 문자의 길이만을 알려줍니다. 예시: 각 문자가 차지하는 바이트를 출력한다. voi

파이썬 pandas, numpy로 의사결정 트리 ID3

의사결정 나무(decision tree)는 굉장히 친숙한 방법입니다. 우리는 자주 대상을 범주화해 인식하고 분류를 결정합니다. 시험 문제를 풀 때라든지, 상품을 구매할 때도 짧은 순간에 수많은 질문들을 거쳐 결정합니다. 배달을 시킬 때 가격이 비싼지, 할인을 하는지, 대체재가 있는지를 따집니다. 의사결정 나무는 이 방법을 자동화한 동일한 전략입니다. 스무고개 알고리즘이죠. 이진탐색트리랑 비슷하게 생각하면 되겠습니다. 알고리즘의 최적화는 주어진 데이터를 분류했을 때 오분류를 최소화하는 것이 목적입니다. 다르게 말하면 '분류 집합 안에 같은 것들만 있어야 한다'와 같습니다. 결정 기준을 만드는 여러 방법 중 ID3는 분류 집합의 불순도를 계산하기 위해 엔트로피를 사용합니다. 엔트로피는 위 공식으로 계산되며 c는 범주의 수, p_i는 집합에서 그 범주가 차지하는 비율을 사용합니다. 간단하게 생각하면 특정 종의 비율이 압도적으로 커질수록 엔트로피가 작아집니다. 옆의 그림은 이분 데이터의 경

정규분포에서 카이제곱 분포의 pdf, mgf 유도

카이제곱은 표준 정규분포의 제곱들의 합으로 얻어지는 분포다. 자유도 k=1인 경우를 먼저 구한다. 카이제곱의 cdf를 미분해 pdf를 구한다. mgf를 구한다. 지수와 다항식이 복잡하게 붙어있는 경우엔 감마분포 꼴을 만들면 편하다. 여기서 적분식만 보면 이때 적분 값은 Gamma( 0.5, 1/{0.5-t} )의 pdf이므로 1이 된다. 다시 돌아와서 자유도가 k인 카이제곱분포는 독립인 표준정규의 제곱들의 합이므로 그 mgf는 다음과 같이 표현 가능하다. mgf가 Gamma( k/2, 2 )의 것과 동일하므로 카이제곱분포는 감마분포의 특수한 경우임을 알 수 있다. 따라서 pdf 또한 동일하므로 자유도 k인 카이제곱의 pdf는 다음과 같다.

(통계) { 1-F(x)} 의 무한합=E(X)?

X는 음이 아닌 이산형 확률변수다. X의 cdf를 F(x)=P(X≤x)라 하면. 다음이 성립함을 증명하라. 위 식은 다음과 같다. F(x)의 합만 따로 확인합니다. 여기서 저 합을 x에 따라 행별로 따로 보면 계단 모양이 보입니다. x 0부터 x까지 p(i)의 합 0 p(0) 1 p(0)+p(1) … n-1 p(0)+p(1)+...+p(n-1) n p(0)+p(1)+...+p(n-1)+p(n) 이걸 다시 열 방향으로 봅니다. 그렇다면 p(0)은 n+1개, p(1)은 n개… p(n)은 1개가 존재합니다. 그렇다면 저 이중 합을 다음과 같이 바꿀수 있겠습니다. 이걸 가지고 처음 식으로 돌아갑니다. 여기서 모든 확률의 합은 1이 되므로 앞의 항은 사라진다. 이렇게 [1-F(x)]의 합이 X의 기대값이 됨을 확인할 수 있다. 이 방법에는 문제점이 존재한다. 극한이 존재해야 하는데 다만 검색하다 짜증난 누군가에게 도움이 되었으면 한다.

C++ JSON 파싱 라이브러리

JSON-Parser/Src/json2.hpp at master · a16620/JSON-Parser Contribute to a16620/JSON-Parser development by creating an account on GitHub. github.com JSON의 number, string, object, array는 각각 JNumber, JString, JObject, JArray에 대응합니다. true, false, null은 JLiteral로 함께 다루어집니다. JString은 std::string, JObject는 std::map, JArray는 std::vector를 상속해 기존 알고리즘과 호환가능합니다. 모든 타입은 공통적으로 세가지 기능을 지원합니다. std::ostream& Repr(std::ostream& os) const 및 std::string to_string() const -값을 JSON형식으로 출력합니다. JValue* Clone() const -동

직접 만드는 머신러닝: 소프트맥스 회귀 from scratch. numpy를 곁들인.

목차 -미리 알아둬야 할 정보 -파이썬으로 구현 -Iris 학습하기 미리 알아야 하는 지식 안다면 빠르게 넘어갑시다 머신러닝 학습 구조, 소프트맥스, 크로스엔트로피, Numpy사용법, 행렬, 경사하강법 아마 이 글을 읽는 사람은 기본 개념은 다 이해했는데 구현하기 짜증나서 온 것이겠죠? 아닐 수도 있으니 중요한 거 두 개만 쓰겠습니다. https://wikidocs.net/35476 이거 읽으면 됩니다. 소프트맥스 이렇게 생긴 것이 소프트맥스 함수입니다. 여기서 x는 1xN 벡터입니다. 분모를 보면 지수함수의 합으로 늘 양수임을 알 수 있습니다. 분자는 분모의 합들 중 i 번째 항으로 이 또한 양수입니다. 이때 함수 g의 치역은 (0, 1]이 됩니다. 이 형태는 익숙한 모양입니다. 바로 확률이죠. 모든 g(x)의 합이 1이고 각 g(x)는 0~1의 값을 가지니 각 g(x)를 확률로 취급해도 된다는 말입니다. 회귀 모형에서는 분류할 범주가 N 개 있다고 할 때 g(xi)를 i 번째 범

[C++] 스택 자료구조 구현

#pragma once class Stack { private: class StackNode { private: StackNode* next; int value; public: StackNode* Next() const { return next; } int Value() const { return value; } StackNode(int value, StackNode* next) { this->value = value; this->next = next; } }; private: int _count; StackNode* _top; public: void push(int v) { if (_top == nullptr) _top = new StackNode(v, nullptr); else _top = new StackNode(v, _top); _count++; } int pop() { if (_top == nullptr) throw; StackNode node = _top; int v =

[C++] 이중 연결 리스트 자료구조

#pragma once class linkedlistnode { public: int data; linkedlistnode* next; linkedlistnode* previous; linkedlistnode(int data, linkedlistnode* next, linkedlistnode* previous) { this->data = data; this->next = next; this->previous = previous; } }; class linkedlist { private: //const linkedlistnode* endnode = new linkedlistnode(0, nullptr); linkedlistnode* _begin; linkedlistnode* _end; int _count; public: class linkedlistiterator { private: linkedlistnode* current; friend class linkedlist; public:

R koNLP In value[[3L]](cond) : can't processing

R 4.3 기준으로 koNLP를 설치하면 99%로 "In value[[3L]](cond) : can't processing" 오류가 납니다. 찾아본 바로는 koNLP에서 파일을 다운할때 문제가 생겨서 파일을 다 설치하지 못한 것이 원인입니다. 저는 아래 방법으로 해결했습니다. 이 글은 필요한 부분만 따로 요약합니다. [R] KoNLP패키지 설치 오류(Fail to install scala-library-2.11.8.jar) - Gumu's treasure box 업데이트내용 본 내용은 R 4.0 이전 버전에서만 적용됩니다. 패치를 통해 설치오류가 해결되었다는 공지가 올라왔으나 아직도 지속적으로 설치가 안 되는 분들이 계시는 것으로 보아 완전히 문제가 해결되지 않은 것으로 보인다. 만일 KoNLP설치 이슈가 있다면 library폴더에 제대로 더보기… gumu.kr 해결법 요약 AppData\Local\R\win-library\4.3\KoNLP\java Win+R후 %appdata%를

R koNLP 설치 버전 오류 package 'KoNLP' is not available (for R version ~

package 'KoNLP' is not available (for R version ). R이 4.2 이상만 되어도 install.packages 사용시 맞는 버전이 없다고 나오는데 이때를 위한 설치 방법을 열심히 찾아서 정리합니다. 아래 R코드 그대로 따라가면 쉽게 설치가 가능할 겁니다. 설치 후 나오는 오류도 해결하는 법을 올려 두었습니다. 이 오류 99.9%로 뜹니다. R koNLP In value[[3L]](cond) : can't processing R 4.3 기준으로 koNLP를 설치하면 99%로 "In value[[3L]](cond) : can't processing"... blog.naver.com #----------------------- 라이브러리 설치 오류 해결 ----------------------- # 1.KoNLP보다 자바 먼저 설치 install.packages("rJava") rJava::.jinit() # 1-E. rJava::.jinit()에서

R 네이버 뉴스 크롤링 & 워드클라우드 총정리

이 글에선 네이버를 통해 여러개의 뉴스를 크롤링하고 합치는 방법을 다룹니다. 과정 설명이 필요 없다면 페이지 맨 아래에 전체 코드가 있습니다. 쭉 내리세요. 라이브러리 설치/실행 관련 문제는 여기로. R koNLP 설치 버전 오류 package 'KoNLP' is not available (for R version ~ package 'KoNLP' is not available (for R version ). R이 4.2 이상만 되어도 install.pac... blog.naver.com R koNLP In value[[3L]](cond) : can't processing R 4.3 기준으로 koNLP를 설치하면 99%로 "In value[[3L]](cond) : can't processing"... blog.naver.com 우선 웹크롤링과 파싱을 위해 다음 라이브러리를 사용합니다. library(httr) library(rvest) 네이버 뉴스를 리스트하는 가장 쉬운 방법은 네이버

(flask-socketio) greenlet.error: cannot switch to a different thread

Traceback (most recent call last): File "C:\ProgramData\Anaconda3\lib\site-packages\eventlet\hubs\hub.py", line 476, in fire_timers timer() File "C:\ProgramData\Anaconda3\lib\site-packages\eventlet\hubs\timer.py", line 59, in __call__ cb(*args, **kw) File "C:\ProgramData\Anaconda3\lib\site-packages\eventlet\semaphore.py", line 147, in _do_acquire waiter.switch() greenlet.error: cannot switch to a different thread socketio 클라이언트들에게 일정 시간마다 메세지를 보내거나 rabbitMQ에서 받은 메세지를 broadcasting 할때, app.run은 블로

라즈베리파이 gocv HTTP 이미지 스트리밍

cctv용으로 라즈베리파이를 사용하려고 만든 코드. FanOut방식 이용. subscribers를 chan을 담는 hash set으로 관리하려고 했지만 기본 지원을 안해서 map의 키를 chan으로 하고 값을 아무 의미없는 빈 구조체로 사용해 해결. GitHub - a16620/MJPG-HTTP-Streaming: MPEG Web streamer using gocv MPEG Web streamer using gocv. Contribute to a16620/MJPG-HTTP-Streaming development by creating an account on GitHub. github.com

C++ k-mean clustering implement

k-평균 알고리즘 - 위키백과, 우리 모두의 백과사전 k -평균 알고리즘 27개 언어 문서 토론 읽기 편집 역사 보기 위키백과, 우리 모두의 백과사전. 기계 학습 과 데이터 마이닝 펼치기 문제 펼치기 지도 학습 ( 통계적 분류 • 회귀 분석 ) 펼치기 클러스터 분석 펼치기 차원 축소 펼치기 그래프 모형 펼치기 이상 탐지 펼치기 인공 신경망 펼치기 강화 학습 펼치기 이론 펼치기 관련 문서 v t e k-평균 알고리즘 ( K-means clustering algorithm )은 주어진 데이터 를 k개의 클러스터 로 묶는 알고리즘으로, 각 클러스터와 거리 차이의 분산 을 최소화하는 방식으... ko.wikipedia.org 결과 미리보기: 고분산 샘플 저분산 샘플-단순 구현으로인한 미숙한 분류가 보인다 테스트용 표본 추출 코드: vector<xy> get_sample_data(const xy& center) { const auto batch_cnt = 50; vector<xy> datas

벡터 사영과 축 그리고 회전

사영 벡터는 그림자가 지듯이 위 벡터의 그림자를 밑의 벡터로 나타내는 방법입니다. 정오에 밑 벡터 위에 해가 떴다고 생각하면 b 아래로 그림자가 생기겠죠? 그림판으로 그려서 참.. 이걸 보고 다음과 같이 표기하고 a 위로 b를 사영시킨다고 말합니다. 이것을 어떻게 식으로 나타내 봅시다. 우선 사영 벡터의 크기를 구합니다. a와 b가 이루는 각을 θ라 하면 좌변이 되고 cosθ는 내적으로 바꿔주면 우변의 식이 나옵니다. 사영 벡터는 밑 벡터와 방향이 같으므로 a를 단위벡터로 바꿔서 크기와 곱해주면 다음과 같이 사영을 얻을 수 있습니다. 추가로 생각하면, θ가 90도 이상이면 a와 반대 방향으로 그림자가 생깁니다. 이때 -a와 b 사이 더 작은 각을 θ'이라 하면 코사인의 성질에 따라 -가 상쇄되면서 위 식과 같아집니다. 여기서 더 나아가, 사영을 설명하면서 그림자를 이용했는데 뭔가 떠오르지 않을까요? 밑 벡터가 지면의 역할을 한단 말입니다. 즉, 밑 벡터가 x축이 되는 좌표 평면을 생

React.js useEffect에서 useRef로 컴포넌트 참조 시 undefined 오류

<MyComp ref={myRef} /> 처럼 useRef로 컴포넌트를 참조하기도 합니다. 그런데 useEffect(..., [])를 이용해 초기화를 하면 아주 가끔씩 참조를 읽지 못하는 경우가 생깁니다. 이것은 ref가 할당되기 전에 useEffect가 실행돼서 일어나는 일입니다. useEffect(()=> { mapRef.current.setLevel(2); }, []); 할당되지 않아서 오류가 난다 그 해결책으로 useEffect 2번째 파라미터에 ref.current를 넣어주는 것입니다. 이 방법의 장점은 반드시 한 번은 이 경우 두 케이스를 생각할 수 있습니다. ref에 할당된 후 실행, ref에 할당되기 전 실행. 전자의 경우에는 current가 더는 바뀌지 않기 때문에 한 번의 실행이 확실시됩니다. 그러나 후자는 첫 실행에서 오류가 발생하고, 그 후에 정상 작동이 한번 일어납니다. 그래서 후자의 경우를 고려해 다음과 같은 코드를 추가합니다. if (!myRef.curre

(DB) 블룸 필터

데이터들이 여러 파일에 분산 저장되어 있고 데이터가 어느 파일에 있는지 기록한 별도의 인덱스가 없다면 ...

nginx + gunicorn(eventlet) + flask-socketio 오류 해결법

라즈베리파이에서 nginx와 flask socketio를 이용하면서 생긴 문제를 정리한 문서입니다. 목차: 1. gunicor...

메모리 할당을 최소화한 큐 구현

큐는 연결 리스트를 변형해서 사용할 수 있지만 메모리풀을 사용하지 않는다면 insert시 매번 메모리 할당...

면을 이루는 벡터 방정식 찾기

*면을 표현하려면 매개변수와 곱해진 평행하지 않은 두 벡터가 필요합니다. 세 점이 주어졌을때 세 점을 포...

벡터 각 회전

사용된 요소: 피타고라스 정리 삼각함수 덧셈정리 다음과 같은 상황에서 벡터v의 좌표를 구하겠습니다. (a,...

베지어 곡선 그리기

베지어 곡선이란: 안타깝게도 이걸 잘 설명할 자신이 없어서 시청각자료로 대체합니다. https://www.youtub...

GPU를 이용해 구분구적법으로 정적분 구하기

사전 준비 -조금의 수학적 지식(구분구적법) -C언어 문법 -CUDA 프로그래밍 기초 지식 (링크 들어가면...

괄호와 따옴표를 고려해 문자열 분리하기

SQL 구문 분석할 때 그냥 분리하면 값으로 전달될 문자열이 분리되어 버려서 분석을 방해하는 경우가 있...

(Python) 파이썬 소켓 에코서버(TCP)

Tcp로 클라이언트와 서버를 구현 했습니다.서버 예외 처리 되어있습니다.한글 인코딩 적용했습니다.

기수 정렬 알고리즘 - 2021년 10월 학력평가 국어

아래는 국어 지문에서 소개된 기수 정렬 알고리즘을 가져온 것입니다. 이 알고리즘의 흐름을 이해하고 직접...

CUDA를 이용한 영상처리 [컨볼루션 마스크]

순서CUDA-CUDA 함수-커널컨볼루션 마스크간단한 예제-이미지 밝기 조정-마스크를 이용해 이미지 특...

C++ HTTP 요청하기 - 웹 크롤러

목차-서론-코드와 간단한 설명-테스트웹 크롤링을 하려고 파이썬을 쓰면, 보통 requests나 urllib를 자주...

C++ JSON 파서 만들기

목차-배경 지식-코드와 간단한 설명-테스트-후기JSON은 Javascript Object Notation의 줄임입니다...

DNS 서버 제작 C++

DNS 패킷을 읽기만 하기에는 아쉬워서이번에는 합법적입니다Domain Name Server를 C++로 만들어 봤...

Python DNS 패킷 스니핑하기

하다 걸려도 저는 몰라요

C++ 가상 라우터 제작-끝마침

이전 글시연 영상:위 영상의 토폴로지는 아래와 같습니다.테스트로 1번과 2번 사이의 메시지 전달 그리고 2...

C++ 스레드와 RAII

지금 이 글을 보는 기기의 대부분은 멀티 프로세스 운영체제를 가졌을 것입니다. 프로세스는 실행 중인 프...

C / C++ Select - 이벤트 기반 비동기 소켓

소켓 통신은 동기와 비동기로 나뉩니다. 동기는 작업이 완료될 때까지 스레드가 멈춥니다. 그래서 Blockin...

C / C++ UUID에 대해서

UUID란 Universally Unique IDentifier의 약자이고 한글로는 범용 고유 식별자입니다. 이름에서 알...

C++ 가상 라우터 제작

저번에 이거↓↓↓ 만들면서 메시지 전달 방식이 Flooding 이란 게 참 마음에 들지 않았습니다. 그래서 라...

Golang 웹 서버+자바스크립트 세션 로그인 구현

사용된 도구들-Foundation 웹 프레임워크-JQuery&amp;Ajax-vscode-Gitjub(?)전체 디렉토리rootw...

Visual Studio Code에서 EPERM 오류 날 때 해결법

안되면 삭제하고 다시 깔아라가끔 코드로 디버그 하려고 하면 Failed to &quot;Failed to continue: Err...

C++ 순수 P2P 네트워크 구현하기 (비동기 소켓)

P2p는 peer to peer의 줄임말로 중앙 서버가 모든 작업을 처리하는 서버-클라이언트 구조가 아닌 각 노드(...

[C#] 장부 관리 프로그램

WPF로 제작되었습니다. 파일 저장, 읽기, 구현 되어있습니다. 아직 리스트뷰의 정렬은 없습니다.더 수정...

Visual Studio 사용하기-프로젝트 추가,디버깅,빌드

순서-C 프로그램의 기본 정보-프로젝트, 파일 생성-빌드와 디버그 기능 사용하기C언어로 프로그램을 만...

통합 개발 환경(IDE)과 Visual Studio-설치하기

통합 개발 환경은 개발 과정에서 코딩, 컴파일, 디버깅, 배포와 같은 작업들을 수행할 수 있는 소프트웨어...

C++ 로켓 시뮬레이션 [개발자의블로그X학생의블로그X장화신은우리들]

로켓 시뮬레이션시뮬레이션에 사용된 식과 지식을 더 알고 싶으시다면 아래 링크를 확인해 주세요.https:...

입자 시뮬레이션

이 포스트는 &lt;학생의 블로그&gt;로부터 후원받았습니다.도움을 받은 곳들https://blog.naver.com/yedarm...

C++ 행렬 & 벡터 라이브러리

지식인에 행렬 관련 질문이 많이 보여 제작하게 되었습니다.아직 많은 기능은 없습니다.

C++ 멀티 스레드 명령줄 프로그램

위키백과를 둘러보던 도중 &#x27;행위자 모델&#x27; 이란 문서를 발견했었습니다.상당히 흥미로운 방법이었...

(Python) 소수 구하기-2

C Http 서버(웹서버)

http 헤더의 Date와 Content-type을 자동으로 생성하게 만들었습니다.

C Http 서버(웹서버)

이제 단일 페이지가 아니라 실제 웹서버처럼 /로 접근할수 있습니다.실행 경로안에 public_html폴더와 erro...

(Python) Flask 클라우드/파일 서버 - 2

1: https://blog.naver.com/a16620/221602576289가장 중요한 기능인 파일 다운로드를 추가했습니다. 리스트...

(Python) Flask 클라우드/파일 서버 - 1

플라스크(Flask)와 sqlalchemy, 부트스트랩으로 간단한 파일 서버를 만들어 보았습니다.폴더 구조를 위해 ...

[C++] 평면 좌표상의 삼각형의 외심 구하기

(이 글은 미완성 입니다) 조금 오차가 있어요... 더 좋은 방법이 있으면 말해주세요!

[C++] Http 서버(웹서버?)

http 서버 입니다. 기능은 웹서버라고 보기엔 적지만 웹브라우저에서 접근은 됩니다..http 요청을 받고 임...

[C++] 몬테카를로 방법으로 평형상태 시뮬레이션하기

*이 글과 코드들은 완성되지 않았습니다.최근 &lt;세상물정의 물리학&gt;이란 책을 보던 중, 이동거리의 최...

(Python) 피보나치수열

오늘은 파이썬으로 피보나치수열을 구하는 코드를 작성해 봤습니다. 두 가지 방법으로 만들어 보았는데요, ...

(Python) 소수 구하기

이것은 에라토스테네스의 체를 변형한 것입니다.처음부터 소수에 2를 넣지 않고 2n-1로 2의 배수를 제외한 ...

(Python) RSA와 AES를 이용한 파일 전송 프로그램

이 파이썬 프로그램은 파일전송의 보안을 향상시키기 위해 암호화가 포함되어 있습니다.서버가 받는 쪽입니...

(Python) 웹 크롤러 -1

html문서를 받아오는것은 requests를 이용했습니다.아직 단일 페이지에 있는 주소밖에 찾지 못합니다.

파이썬 네이버 카페 크롤러

이 프로그램은 카페의 html페이지를 입력받아서 게시글이름, 작성자, 조회수, 작성 후 지난시간(!), 게시판...