[4차 산업, 빅데이터] A/B 테스트에 카이제곱검정과 p value를 더하다.

[4차 산업, 빅데이터] A/B 테스트에 카이제곱검정과 p value를 더하다.

---

안녕하세요. 언제나 휴일, 언휴예요.

마켓팅과 웹 분석에서 A/B 테스트는 두 가지 형태의 테스트 중에 어느 것이 나은지 검토하는 것입니다. (세 가지 이상의 형태 중에 나은 것을 찾는 것 또한 A/B 테스트라고 부릅니다.)

예를 들어 한 회사의 배너 광고를 왼쪽에 다는 것과 오른쪽에 다는 것 중에 어느 쪽이 방문자의 머무는 시간이 길게 유도하는지를 파악하는 것을 들 수 있다. 그런데 이와 같은 형태의 A/B 테스트의 결과를 보다 신뢰성있게 사용하고자 한다면 오차를 고려하여야 할 것입니다. 그리고 이를 통해 테스트 결과가 유의미한 것인지 무의미한 것인지를 판별하는 것이죠.

이처럼 A/B 테스트의 결과(교차 분할표)를 보고 의미있는 결과인지를 판별하기 위한 방법으로 카이제곱검정과 p value를 사용할 수 있습니다.

카이제곱검정은  카이제곱분포에 기초한 통계적 방법으로 관찰빈도가 의미있는 빈도인지 오차인지를 확인하는 해석기법입니다.

위키백과에서 카이제곱검정

크리고 p - value (probability value)는 오차나 우연에 의해 실제가 아닌데 나오는 차이가 발생할 확률을 말하며 이러한 확률을 유의확률이라 부릅니다.

p - value = 오차나 우연에 의해 실제가 아닌데 나오는 차이가 생길 확률

위키백과에서 유의확률

이처럼 A/B 테스트를 하고 난 결과가 우연한 것인지 아닌지를 검증하여 신뢰성을 높이는 것은 단순 통계의 함정에 빠지지 않는 방법입니다.