A/B test. A안과 B안으로 테스트 하는 방법

A/B test 

2가지 이상의 시안을 검증할 때 많이 사용하는 방법.

 

사용자를 실험군과 대조군으로 나누고 한 집단에는 A안을, 다른 집단에는 B안을 제시한 다음 사용자의 행동을 정량적으로 평가한다.

 

광고 클릭률, 회원 가입률, 구매전환율 등을 비교 분석할 때 활용할 수 있다.

 

테스트를 통해 전략의 어떤 요소가 가장 큰 효과를 갖고 있는지, 개선이 필요한 요소는 무엇인지, 어떤 요소가 불필요한지 등 확인할 수 있다.

 

테스트를 하는 이유는 상관관계로부터 인관관계일 가능성이 높은 것을 찾아내기 위해서이다.

 

새로운 기획을 시작하려고 할 때, 어떤 접근 방법이 가장 좋은 성과를 보여줄지 확실하지 않은 상황이라면, A/B 테스트를 통해 다른 접근 방법의 성과를 비교하여 서비스에 반영할 수 있다.

 

 

 

 

A/B test 진행 방법

반응형

1) 서비스 분석

- 서비스의 현황과 문제점 파악, 고객 행동 패턴, 사용성, 전환율 등 분석, 개선이 필요한 영역 식별

 

 

2) 가설수립

- 분석 결과를 바탕으로 아이디어 도출, 아이디어 구체화하여 가설 수립, 예상되는 결과와 이유도 포함

 

 

3) A/B 디자인

- 실험군(A)과 대조군(B) 설계, 변경 사항 명확히 정의

 

 

4) 테스트 진행

- 테스트 진행, 데이터 수집, 모니터링

 

 

5) 분석 및 의사결정

- 데이터 분석, 결과를 바탕으로 최종 의사결정

 

 

6) 고객경험 개선

- 결과를 토대로 서비스 개선, 지속적인 A/B 테스트로 서비스 최적화

 

 

 

 

A/B test 사용자 그룹 분리 방법

1. 노출 분산 방식

- 페이지가 보여질 때, 일정 확률로 A와 B를 나눠 노출함.

- 통계적 유의성이 높지만, 사용자들에게 혼란을 줄 수 있음.

- 알고리즘 테스트에 적합함.

 

 

2. 사용자 분산 방식

- 사용자를 A그룹과 B그룹으로 분리하여 고정적으로 A안과 B안을 노출함.

- 해비유저에 따라 결괏값이 왜곡될 수 있음.

- UI/UX 테스트에 적합함.

 

 

3. 시간 분할 방식

- 시간대를 분할하여 A안과 B안을 노출함.

- 보안/설계 상의 문제로 분산 방식의 사용이 어려울 때 활용할 수 있음.

- 대안적인 수단임.

 

 

 

 

A/B test 사례

728x90

https://goodui.org/leaks/

Leaks | GoodUI

 

- Netflix, Google, Amazon 등 회사가 실제로 어떤 항목들로 A/B 테스트를 진행했는지 모아 놓은 사이트.

 

 

https://goodui.org/leaks/