내가 보려고 정리하는 [A/B 테스트]

 

ko.wikipedia.org/wiki/A/B_%ED%85%8C%EC%8A%A4%ED%8A%B8

A/B 테스트 - 위키백과, 우리 모두의 백과사전

 

A/B Test 

마케팅과 웹 분석에서, A/B 테스트(버킷 테스트 또는 분할-실행 테스트)는 두 개의 변형 A와 B를 사용하는 종합 대조 실험(controlled experiment)이다. 

이름에서 알 수 있듯이, 두 버전(A와 B)이 비교되는데 사용자의 행동에 영향을 미칠 수 있는 하나의 변형을 제외하면 동일하다. 버전 A는 현재 사용되는 버전(control)이라고 하는 반면, 버전 B의 일부 사항은 수정된다(treatment). (위키피디아 참고)

다시 말해서, A/B TEST는 동일집단에게  A와 B의 선택 사항을 임의로 보여주고 선택하게 한다.
그리고 그 선택의 결과에 따라 더 나은 것을 판단하기 위한 테스트이다. 

이 모든 테스트 과정을 데이터화 할 수 있기 때문에 데이터에 기반한 의사결정(Data-Driven)이라고 할 수 있다.

---

A/B 테스트에 필요할 때 준비해야할 것

• 달성하고자 하는 목표

• 증명하고자 하는 가설

• 테스트 대상 분류 기준

• 데이터 세팅 (테스트 결과를 데이터화 할 수 있는지)

 

예시) 

A/B TEST 목적 : 쿠팡 클릭율 높이기

A/B TEST 가설 : 제품 클릭에는 매력적인 (메세지/이미지)가 중요하다.

A/B TEST 분류 기준 : 같은 제품을 메세지 / 이미지를 다르게 설정하여 상품 올리기

결과 : 메세지 / 이미지 중 클릭율 높은 것이 더 나은 결과물 -> 데이터(클릭율)에 기반한 의사결정

---

<A/B TEST 주의사항> 

1. 가설은 꼭 필요하다.

2. 대상은 임의로 나누어야 한다. (다른 기준으로 나누어진 대상으로 인한 잠복변수를 차단하기 위해서)

3. A/B TEST는 B/A (Before, After) TEST와 다르다.

4. A/B테스트는 목적이 아닌 수단이다. (최적화의 도구일 뿐 , 큰 그림은 보여주지 않는다.) 

---

www.youtube.com/watch?v=XsgrzKQy-q0

스타트업테드님TED의 유튜브를 참고했습니다.