Posted by 가설 검정(Hypothesis Testing)을 처음 배우는 사람이라면 가장 먼저 마주하게 되는 수치가 바로 유의수준(significance level)이다. 특히 그중에서도 0.05, 왜 그렇게 자주 사용될까? 이 글에서는 유의수준의 개념부터, 왜 0.05가 통계 분석에서 사실상 “표준값”이 되었는지를 체계적으로 설명하고자 한다.
유의수준(Level of Significance)이란?
유의수준은 가설 검정에서 제1종 오류(Type I Error), 즉 “참인 귀무가설을 잘못 기각할 확률”을 의미한다.
쉽게 말하면, 어떤 주장을 검증할 때(예: “이 약은 효과가 있다”),
사실은 효과가 없는데도(귀무가설이 참인데),
통계적 우연에 의해 효과가 있다고 결론 내리는 오류를 말한다.
예: 유의수준이 0.05라는 것은, 우리가 100번 실험하면 그중 약 5번은
“사실은 효과가 없지만 효과가 있다고 잘못 판단할 가능성”을 감수하겠다는 의미이다.
제1종 오류란?
| 오류 유형 | 설명 | 예시 |
|---|---|---|
| 제1종 오류 | 귀무가설이 참인데도 기각함 | 효과 없는 약을 효과 있다고 판단 |
| 제2종 오류 | 귀무가설이 거짓인데도 채택함 | 효과 있는 약을 효과 없다고 판단 |
통계학에서 우리는 일반적으로 제1종 오류를 보다 심각한 실수로 간주하며, 그 최대 허용치를 유의수준으로 설정한다.
유의수준 0.05의 역사적 배경
많은 사람들이 의문을 갖는 질문 중 하나가 이것이다.
“왜 하필 0.05지? 0.04도 있고, 0.01도 있을 텐데?”
그 답은 1925년 영국 통계학자 R. A. 피셔(Ronald A. Fisher)의 책 『Statistical Methods for Research Workers』에 처음 등장한다.
피셔는 이렇게 설명한다:
“표준 정규 분포에서 양쪽 끝의 누적 확률이 합쳐서 5%가 되는 지점은 약 ±1.96이다.
이는 대략적으로 평균에서 두 표준편차 이상 떨어진 관측값을 ‘유의하다’고 판단하기 적절한 기준이다.”
즉, 0.05는 특별한 ‘절대적 수치’가 아니라,
정규분포상에서 자연스럽게 도출된 실용적인 판단 기준이었다.
이후 1926년에는 피셔가 다음과 같이 덧붙인다:
“만약 어떤 일이 20번 중 1번도 일어나지 않을 확률이라면,
우리는 그 사건을 ‘우연이라 보기 어렵다’고 판단하는 데 합리적인 수준이다.”
→ 이게 바로 0.05 수준.
피셔는 ‘의사결정 기준’으로 0.05를 의도한 것이 아니었다?
흥미롭게도 피셔는 유의수준을 하나의 참고 지표로 사용하길 원했지,
절대적인 판단 기준으로 만들려 하진 않았다.
그는 연구자가 배경 지식과 분석 결과를 함께 종합해 결론 내리길 바랐다.
하지만 1920년대 후반, 예지 네이만(Jerzy Neyman)과 에곤 피어슨(Egon Pearson)이라는 두 수학자에 의해 상황이 달라진다.
이들은 다음과 같은 명확한 분석 규칙을 제시한다:
“p-value가 유의수준 0.05보다 작으면 귀무가설을 기각한다.
그렇지 않으면 귀무가설을 채택한다.”
이 간단한 룰이 널리 퍼지면서,
많은 학자들과 실무자들이 유의수준 0.05를 하나의 ‘표준’처럼 사용하게 되었고,
오늘날까지도 관습처럼 굳어진 것이다.
그럼 유의수준은 항상 0.05여야 할까?
절대 그렇지 않다. 유의수준은 상황에 따라 조정되어야 한다.
| 분석 목적 | 추천 유의수준 | 이유 |
|---|---|---|
| 생명과 직결된 의료 실험 | 0.01 이하 | 제1종 오류가 치명적이기 때문 |
| 일반적인 마케팅 캠페인 분석 | 0.05 | 실용성과 오류 간의 균형 |
| 탐색적 분석 | 0.10도 가능 | 유연한 해석 가능성이 중요 |
정리
- 유의수준 0.05는 피셔의 실용적 제안에서 출발했다.
- 이후 네이만-피어슨 체계가 분석의 표준으로 자리 잡으며 널리 사용되었다.
- 하지만 절대적인 기준은 아니며, 분석의 목적과 리스크에 따라 조정 가능하다.
- 유의수준은 확률적 오류에 대한 ‘감수 범위’이며,
해석에는 언제나 맥락적 사고와 판단이 동반되어야 한다.