한양과기고 에듀테크 수업도구 대시보드

쇼핑몰이 버튼 A(파랑)와 버튼 B(초록) 중 어느 쪽이 클릭 전환율이 더 높은지 알고 싶다. 방문자를 무작위로 두 그룹에 나눠 보여주고 결과를 비교하는 것이 A/B 테스트다. 문제는, 실제로 아무 차이가 없어도 운(random noise)만으로 한쪽이 더 높게 나올 수 있다는 것 — 그 우연을 걸러내는 도구가 p-value다.

🧪 실험 설정

그룹당 방문자 수 (n) 1000

A 실제 전환율 10%

B의 실제 효과 (A 대비) +0%p

귀무가설 H₀: A와 B의 실제 전환율은 같다 (효과=0).
효과 슬라이더를 0으로 두면 H₀가 참인 세계를 시뮬레이션하는 것이고, 0이 아니면 실제로 차이가 있는 세계를 시뮬레이션하는 것이다.

📊 단일 실험 결과

A 전환 / 방문 — / —

B 전환 / 방문 — / —

관측된 전환율 차이 —

z-값 —

p-value —

실험을 실행해보세요

📈 1,000회 반복 실험의 p-value 분포 미실행

"1,000회 반복 실행"을 눌러보세요. 효과를 0%p로 두면, α=0.05 기준으로도 약 5%의 실험이 우연히 "유의미하다(p<0.05)"고 잘못 나옵니다 — 이것이 1종 오류입니다.

⚖️ 가설 검정의 두 가지 오류

	실제: H₀ 참 (차이 없음)	실제: H₀ 거짓 (차이 있음)
검정: 유의함 (p<0.05)	1종 오류 (α) 거짓 양성	정답 ✅ (검정력 1-β)
검정: 유의하지 않음	정답 ✅	2종 오류 (β) 거짓 음성

유의수준 α=0.05는 "1종 오류를 5%까지 감수하겠다"는 약속이다. 표본 수(n)가 작으면 진짜 효과도 못 잡아내는 2종 오류 위험이 커지고, 결과를 미리 훔쳐보며 유의해질 때까지 계속 확인하는 p-hacking은 1종 오류율을 몰래 부풀린다.