«   2018/05   »
    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31    
Statistics Graph
관리 메뉴

언제나 휴일

[4차 산업, 빅데이터] A/B 테스트에 카이제곱검정과 p value를 더하다. 본문

프로그래밍 기술/IT 이야기

[4차 산업, 빅데이터] A/B 테스트에 카이제곱검정과 p value를 더하다.

언제나 휴일 언제나휴일 2018.05.08 16:54

[4차 산업, 빅데이터] A/B 테스트에 카이제곱검정과 p value를 더하다.



안녕하세요. 언제나 휴일, 언휴예요.


마켓팅과 웹 분석에서 A/B 테스트는 두 가지 형태의 테스트 중에 어느 것이 나은지 검토하는 것입니다. (세 가지 이상의 형태 중에 나은 것을 찾는 것 또한 A/B 테스트라고 부릅니다.)


예를 들어 한 회사의 배너 광고를 왼쪽에 다는 것과 오른쪽에 다는 것 중에 어느 쪽이 방문자의 머무는 시간이 길게 유도하는지를 파악하는 것을 들 수 있다. 그런데 이와 같은 형태의 A/B 테스트의 결과를 보다 신뢰성있게 사용하고자 한다면 오차를 고려하여야 할 것입니다. 그리고 이를 통해 테스트 결과가 유의미한 것인지 무의미한 것인지를 판별하는 것이죠.


이처럼 A/B 테스트의 결과(교차 분할표)를 보고 의미있는 결과인지를 판별하기 위한 방법으로 카이제곱검정과 p value를 사용할 수 있습니다.


카이제곱검정은  카이제곱분포에 기초한 통계적 방법으로 관찰빈도가 의미있는 빈도인지 오차인지를 확인하는 해석기법입니다.

카이제곱검정 값

더보기


크리고 p - value (probability value)는 오차나 우연에 의해 실제가 아닌데 나오는 차이가 발생할 확률을 말하며 이러한 확률을 유의확률이라 부릅니다.


p - value = 오차나 우연에 의해 실제가 아닌데 나오는 차이가 생길 확률

더보기



이처럼 A/B 테스트를 하고 난 결과가 우연한 것인지 아닌지를 검증하여 신뢰성을 높이는 것은 단순 통계의 함정에 빠지지 않는 방법입니다.

0 Comments
댓글쓰기 폼