Testing과 P-value 기초개념

2019-05-01

데이터에 대한 아무런 함수나 검정 통계량이 될 수 있는 것은 아니다. 어떤 함수가 검정 통계량이 되려면 귀무 가설이 사실일 경우 표본에서 계산된 검정 통계량이 따르는 검정 통계량 확률 변수 T의 확률 분포를 정량적으로 알 수 있어야만 한다.

예를 들어 “어떤 병에 걸렸다”는 가설을 혈액 성분 수치로부터 판단하려면 병에 걸린 환자의 성분 수치가 어떤 분포를 따르는지 알 수 있어야 한다. 현실에서는 실제로 병에 걸린 다수의 환자의 혈액 성분 수치를 사용하여 검정 통계량 분포를 구한다.

또한 “어떤 학생이 우등생이다”라는 가설을 시험 성적으로부터 판단하라면 우등생인 모든 학생의 시험 성적에 대한 분포를 구해야 한다.

데이터 분석에서는 어떤 귀무가설을 만족하는 표본을 입력 변수로 놓고 특정한 함수로 계산한 검정 통계량이 특정한 분포를 따른다는 것을 수학적인 증명을 통해 보이는 것이 일반적이다.

통계분야에서 중요한 연구 중의 하나는 특정한 귀무 가설과 검정 통계량 함수가 주어지면 검정 통계량이 어떤 분포를 따르는 지를 증명해 내는 것이다.

계산된 유의 확률 값에 대해 귀무 가설을 기각하는지 채택하는지를 결정할 수 있는 기준 값을 level of significance(유의수준)라고 한다. 일반적으로 사용되는 유의수준은 1%, 5%, 10% 등이다.

검정 통계량이 나오면 확률밀도함수(또는 누적확률함수)를 사용하여 P-value를 계산할 수 있는 것처럼 반대로 특정한 유의확률 값에 대해 해당하는 검정 통계량을 계산할 수도 있다. 유의수준에 대해 계산된 검정 통계량을 critical value(기각역)라고 한다.

기각역 값을 알고 있다면 유의 확률을 유의 수준과 비교하는 것이 아니라 검정 통계량을 직접 기각역과 비교하여 기각 여부를 판단할 수도 있다.

이제 맨위에서 제기한 문제를 다시 풀어보자.

문제 1) 어떤 동전을 15번 던졌더니 12번이 앞면이 나왔다. 이 동전은 휘어지지 않은 공정한 동전(fair coin)인가

동전의 앞면이 나오는 것을 숫자 1, 뒷면이 나오는 것을 숫자 0으로 나타낸다면 이 문제는 베르누이 확률 변수의 모수 검정 문제로 생각할 수 있다. 판단하고자하는 귀무 가설은 베르누이 확률 분포 모수 뮤는 0.5이다.

이 문제에 대한 검정 통계량은 15번 던져 앞면이 나온 횟수가 12이고 이 값은 자유도가 15인 이항 분포를 따른다.

만약 동전이 앞면이 더 많이 나온다는 것을 보이고 싶다면 우측 유의 확률을 계산해야 한다. 이 값은 약 1.76% 이다.

\[\ \text{Bin}(n \geq 12;N=15, \mu=0.5) = 1 - F(11;N=15, \mu=0.5) = 0.017578125\]

이 P-value 값이 5% 보다는 작고 1% 보다는 크기 때문에 유의 수준이 5% 라면 기각할 수 있으며(= 공정한 동전이 아니라고 말할 수 있다.)

P-value가 1% 라면 기각할 수 없다.(즉, 공정한 동전이 아니라고 말할 수 없다.)

문제 2) 어떤 트레이더의 일주일 수익률이 월,화,수,목,금 각각 -2.5%, -5%, 4.3%, -3.7% -5.6% 이라고 할때, 이 트레이더는 계속해서 돈을 잃을 사람인가

수익률이 정규 분포를 따른 다고 가정하면 이 트레이더의 검정통계량은 다음과 같이 계산된다.

\[\ t = \dfrac{m}{\frac{s}{\sqrt{N}}} = -1.4025\]

만약 이 트레이더가 장기적으로 손실을 낸다는 것을 보이고 싶다면 left tail p-value을 구한다. 이 값은 약 11.67%이다.

\[\ t(t\leq -1.4025;dof=4,\mu=0) = F(-1.4025;dof=4,\mu=0) = 0.1167\]

만약 유의 수준이 10%라면 P-value이 이보다 크기 때문에 귀무 가설을 기각할 수 없다. 즉, 정규 분포의 기댓값이 0 보다 작다고 말할수 없다.

이는 해당 트레이더가 장기적으로 손실을 보는 트레이더라고 말할 수 있는 증거가 부족하다는 의미이다.