Posted by 유의수준(Level of Significance)
가설검증에서 귀무가설이 실제로 참일 때 귀무가설에 대한 판단의 오류수준(잘못 기각할 확률)을 말하며, 제1종 오류※의 위험성을 부담할 최대 확률을 가설의 유의수준이라고 한다.
예를 들어, 가설검정 절차에서 5%의 유의수준을 선택한다면, 그것은 실제 채택하여야 하는데도 불구하고 우리가 그것을 기각할 경우는 100번 중 5번 정도임을 의미한다. 즉, 우리가 올바른 의사결정을 할 것을 약 95% 확신한다는 것이다. 이러한 경우에, 우리는 그 가설은 유의수준 0.05에서 기각되었다라고 말하는데, 이것은 곧 우리가 잘못된 의사결정을 내릴 확률이 0.05라는 것을 의미한다.
※ 제 1종 오류: 귀무가설이 참인데도 기각할 오류
네이버 교육평가 용어사전
유의수준으로 0.05를 사용하는 이유
유의수준 0.05는 영국의 저명한 통계 학자 피셔(R. A. Fisher)에 의해 1925년 Statistical Methods for Research Workers (SMRW)에 소개 되었다. SMRW에서 피셔(R. A. Fisher)는 “표준 정규 분포에서 양 끝 누적 확률 5%가 되는 값은 0.96이다. 따라서 유의수준을 0.05로 정하게 되면 표준 오차의 약 2배를 초과하는 편차를 유의 하다고 판단하기 편리하다.”라고 언급하였다.
1926년에는 “20번 시행에서 한번 이상 발생하지 않는 것과 같은 우연이 발생했다고 말할 수 있는 수준(0.05)에서 기준을 선정하는 것이 편리하다”라고 설명하였는데, 이것이 유의수준 0.05의 시초이다. 하지만 피셔(R. A. Fisher)는 이 것을 의사 결정에 사용하기를 의도하지는 않았다.
피셔(R. A. Fisher)는 분석자들이 배경 지식과 데이터 분석을 결합해 결론을 내리기를 기대하였지만 1920년대 말 폴란드의 수학자 예지 네이만(Jerzy Neyman)과 영국의 통계 학자 피어슨(Pearson)이 주도하여 “p-value 0.05보다 작으면 통계작으로 유의하다.”라고 판단하는 새로운 분석 프레임 워크를 제시하면서 이 후 많은 분석가들이 유의수준을 0.05로 사용하며 관습적으로 굳어졌다.