통계적으로 유의하면 의사결정을 바꿔야 할까?

통계적 유의성에 관한 학습 포스팅 예시다.

가상의 실험에서 지표가 아주 조금 개선되고 p-value는 0.01이다. 이 결과만으로 기능을 출시할 수 있을까?

먼저 생각해 보기#

효과 크기, 표본 수, 비용이 달라지면 같은 p-value를 어떻게 해석할지 예측해 보자.

생각한 뒤 답 보기

p-value는 가정한 통계 모형 아래에서 관찰한 결과만큼 또는 더 극단적인 결과가 나올 확률이다. 귀무가설이 참일 확률이나 효과가 실무적으로 중요할 확률은 아니다. 효과 크기와 불확실성, 실험 설계, 여러 비교를 했는지, 비용과 위험도 함께 살펴야 한다.

효과 크기는 같고 표본 수만 늘어나면 어떤 판단이 바뀔까?