multivariate testing
소개:
우리가 자주 사용하는 많은 웹 사이트와 애플리케이션이 있습니다. 우리가 그것들을 사용하는 동안 우리는 아마도 웹 사이트가 어떻게 현재 버전이되었는지에 대해 많은주의를 기울이지 않을 것입니다. 반면에, 뭔가 옳지 않은 것 같으면 다시는 사이트 / 앱을 방문하지 않을 것입니다.
문제는 – '그것'을 올바르게하기 위해 무엇이 필요한가?
학습 내용 :
- 다 변수 테스트 및 A / B 테스트
- 다 변수 테스트 란 무엇입니까?
- MVT 테스트 유형 :
- 다 변수 테스트를 수행하는 방법
- 피해야 할 실수
- 해야 할 일과하지 말아야 할 일
- 장점과 단점
- A / B 테스트
- A / B 테스트의 장단점 :
- A / B 테스트 vs 다 변수 테스트 vs 분할 테스트
- 다 변수 테스트
- A / B / 분할 / 다 변수 테스트 도구
- 추천 도서
다 변수 테스트 및 A / B 테스트
가장 자주 '그것'은 기능입니다. 테스트하고 평가할 견고한 QA 프로세스가 있습니다. 그러나 '그것'도 디자인, 요소의 조합, 페이지에 콘텐츠 배치, 때로는 색상, 방향 등으로 구성되어 있습니다. 제품의 전반적인 수용 최종 사용자에 의해.
이 분야에서 큰 도움이 될 수있는 테스트 분야는 다 변수 테스트 및 A / B 테스트 .
오늘의 기사에서는 다 변수 (MVT) 테스트 과 A / B 테스트 자세히 유형.
이 두 가지 모두 웹 페이지 최적화 및 웹 사이트의 전환율 (방문자가 고객이되거나 재 방문자가되는 비율, 즉 비즈니스)를 개선하는 데 목표를두고 있습니다.
다 변수 테스트 란 무엇입니까?
우리는 예 .
특정 웹 사이트에서 이미지와 해당 텍스트가 있어야하는 페이지의 디자인 / 재 디자인 / 효과를 결정하는 작업을하고있는 경우-회사가 다음 두 이미지와 두 문장을 후보에 올릴 경우 신중한 고려와 심의 후-가능한 조합이 가능합니다. 다음과 같습니다.
1) 이미지 1
2) 이미지 2
3) 제목 / 문장 1 : “목표는 무사고이어야합니다”
4) 제목 / 문장 2 : “우리의 목표 : 사고 없음”
조합 :
위의 예에서 필드 조합에 대한 변형을 테스트하여 어느 것이 적합한 지 확인했습니다. 간단히 말해 다 변수 테스트가 바로 그것입니다.
더 기술적으로 그리고 구체적으로 아래 공식을 사용하여 번호를 결정합니다. 다른 조합을 테스트하는 데 필요한 가능한 조합의 목록은 다음과 같습니다.
(요소 A의 변형 수) X (요소 B의 변형 수)… .. = (총 변형 수)
위의 예에는 헤드 라인에 대한 2 개의 변형과 이미지에 대한 2 개의 변형이 있습니다.
따라서 공식에 따라 최상의 변형 조합을 찾기 위해 동시에 테스트 할 변형 조합의 총 4 개가 있습니다.
- 다변량 테스트를 수행하는 주요 목적은 최종 시스템에서 각 변형 조합의 효과를 측정하고 결정하는 것입니다.
- 변형 조합을 완료 한 후 사이트에서 충분한 트래픽을 수신하면 가장 성공적인 디자인을 결정하기위한 테스트가 시작됩니다.
- 각 변형 조합으로 얻은 결과를 다른 조합과 비교하여 궁극적 인 목표에 도달하는 데 가장 적합한 디자인을 찾습니다 (대부분의 경우 매상 ).
- 이러한 통계는 특정 변경 사항이 도움이되었는지 여부에 대한 명확한 그림을 제공합니다.
- 또한 사용자 상호 작용에 대한 긍정적 또는 부정적 영향도 분석 할 수 있습니다.
지속적인 다 변수 테스트의 전체 프로세스, 얻은 결과를 기반으로 설계를 개선하고 그로 인해 비즈니스 목표를 달성합니다 ( 예: 특정 페이지에서 사용자의 더 긴 참여 시간)이 호출됩니다. 방문 페이지 최적화 - 더 많은 사용자를 유치하고 특정 페이지에 계속 참여하는 것이 목표입니다.
이 프로세스에는 주로 여러 변형으로 테스트하고, 통계를 수집하고, 얻은 값 / 결과를 기반으로 변경 작업을 수행합니다.
웹 사이트뿐만 아니라 모바일 앱에도 다 변수 테스트가 필요합니다. 웹 사이트와 모바일 앱은 가변 요소의 조합으로 구성되므로 어떤 변형 조합이 가장 효과적인지 파악하기 위해 다 변수 테스트가 수행됩니다.
이것은 인터넷 마케팅 전략에서 중요한 역할을합니다.
MVT 테스트 유형 :
여러 변형 버전에 대한 트래픽 분포에 따라 배수 다 변수 테스트 유형 수행 할 수있는 작업 :
a) 전체 팩토리얼 테스트 :
가장 선호되는 MVT 테스트 형식으로, 가능한 모든 요소 변형 조합이 승자가 발견 될 때까지 웹 사이트 트래픽을 해당 조합으로 전환하여 동등하게 테스트합니다. 가능한 모든 조합에 동일한 확률이 부여됩니다. 이 방법의 가장 좋은 점은 가정이 없으며 매우 신뢰할 수 있고 가장 권장되는 확실한 숫자 / 통계를 기반으로한다는 것입니다.
유일한 단점은 교통량입니다. 다양한 조합의 수가 증가함에 따라 데이터를 분석하고 승자를 결정하기 위해 많은 웹 사이트 트래픽이 필요합니다.
b) 부분 또는 부분 요인 테스트 :
이름에서 알 수 있듯이 모든 대안 조합 버전의 일부만 웹 사이트 트래픽에 노출됩니다. 최상의 전환율을 찾기 위해 나머지 조합에 대해 정적 수학적 계산 및 분석이 수행됩니다.
다구치 방법 부분 요인 다 변수 검정에 가장 많이 사용되는 방법입니다. 이 방법은 전체가 아닌 변형 샘플 만 테스트하므로 정확도가 떨어집니다. 이 방법은 승자를 분석하는 데 시간이 덜 걸리지 만 Full Factorial 테스트의 경우처럼 결과가 정확하다고 생각할 수 없습니다.
c) 적응 형 다 변수 테스트 :
이것은 다 변수 테스트에 대한 새로운 접근 방식입니다. 이 경우 웹 페이지 방문자의 실시간 반응을 분석하여 최상의 대안 조합 버전을 결정합니다.
d) 이산 선택 :
이 방법은 사람들이 구매 결정의 관점에서 트레이드 오프를 만드는 방법과 같은 상호 작용 효과를 밝혀냅니다. 속성이나 내용 요소를 체계적으로 변화시키는 복잡한 기술입니다.
e) 최적 설계 :
이 방법에는 반복 및 테스트 웨이브가 포함됩니다. 최소 시간에 최대한의 크리에이티브 변형을 테스트하는 것 외에도 마케터는 웹 사이트 또는 앱의 콘텐츠 요소에 대한 관계, 상호 작용 및 제한 사항을 고려할 수 있습니다. 이것은 최적의 솔루션을 찾는 데 도움이됩니다.
중요한 질문으로 더 이동하겠습니다. 다 변수 테스트로 웹 마케팅을 최적화 할 수 있습니까?
대답은 '예'입니다.
다 변수 테스트를 사용하면 구현해야 할 사항과 피해야 할 사항을 명확하게 결정할 수 있습니다. 모든 것은 방문자의 경험에 초점을 맞추고 있습니다.
다 변수 테스트를 수행 할 때 다음 측면을 고려합니다.
C ++에서 정적 변수 선언
#1. 다 변수 테스트의 전제 조건은 다음과 같습니다. 마케팅 목표를 정의하거나 웹 사이트의 목표를 검토합니다. 다음은 몇 가지 예입니다.
- 광고, 제품 판매, 클릭 비용 지불을 통해 최대 수익 / 수익을 창출하십시오.
- 고객의 브랜드 인지도 창출
- 비용 절감-예 : 개인 서비스에서 온라인 대신 FAQ를 통해 사용자를 셀프 서비스로 안내합니다.
#두. 조직의 마케팅 목표를 진정으로 목표로하는 것만 테스트해야합니다.
#삼. 마케팅 목표를 정확하게 측정 할 요소 만 선택하십시오.
예는 다음과 같습니다.
- 더 많은 수익을 얻으려면‘지금 구매’/‘결제’와 같은 옵션이 포함 된 페이지에 등록 또는 가입을 완료해야합니다.
- 방문자 및 프로모션에 대한 인지도를 높이려면‘친구에게 보내기’/‘친구 추천’/‘공유’등이 유용 할 수 있습니다.
- 절약을 위해 FAQ, 도움말, 연락처, 전화, 감사 페이지로 연결되는 '장바구니에 추가'클릭 등과 같은 요소에 초점을 맞출 수 있습니다.
다 변수 테스트를 수행하는 방법
1. 문제 식별
첫 번째 단계는 문제를 식별하는 것입니다. 이는 웹 사이트 또는 앱의 개선 범위를 제공합니다. 예를 들어 문제는 웹 사이트 방문자가 다운로드 버튼을 클릭하지 않는 이유와 같은 것일 수 있습니다.
2. 가설 수립
웹 페이지 개선을위한 가설을 세웁니다. 예를 들어, 가시성이 매력적이지 않기 때문에 고객이 다운로드 버튼을 클릭하지 않는다는 가설이있을 수 있습니다. 따라서 매력적으로 만들면 다운로드가 증가 할 것입니다.
3. 변형 만들기
요인을 선택하고 변형을 만듭니다. 두 가지 요소가 '다운로드'제목과 'PDF 제작자'링크라고 가정합니다. 예를 들어, 12 가지 이하의 변형이 있습니다.
4. 표본 크기 결정
각 페이지에 필요한 방문자 수, 테스트를 실행하는 데 필요한 시간, 보유하고있는 유사 콘텐츠의 수 및 통계적 유의성을 알아보십시오.
5. 도구 테스트
테스트를 실행하기 전에 모든 것을 테스트하십시오 (주로 웹 페이지 / 앱이 정상적으로 작동하는지).
6. 트래픽 유도 시작
유사 콘텐츠로 트래픽을 유도하세요.
7. 결과 분석
상당한 시간 동안 테스트를 실행 한 후 분석 할 결과를 얻습니다. 예는 다음과 같습니다.
95 % 이상의 신뢰 수준을 갖는 것은 통계적으로 유의 한 결과입니다.
8. 결과에서 배우십시오
이것은 마지막이자 중요한 단계입니다. 다 변수 테스트를 통해 웹 페이지 / 앱 및 방문자에 대해 알아 봅니다. 이 학습을 향후 테스트에 사용할 수 있습니다.
주의 사항 – 다 변수 테스트를 수행 할 때 다음 사항에 유의하세요.
피해야 할 실수
- 잘못된 변형 선택 . 예 : 하나의 변형 조합 버전에서 헤드 라인 텍스트의 글꼴 크기, 색상 및 스타일을 동시에 변경한다고 가정합니다. 그런 다음 수신 된 데이터에서 어떤 유형의 헤드 라인 (글꼴 크기, 색상 또는 스타일)이 방문자의 반응을 다르게 만들 었는지 분석하기 어렵습니다.
- 다 변수 테스트 실행 기간이 너무 짧습니다. . 테스트 실행을 일찍 종료하고 우승자를 분석하기 위해 작은 범위의 데이터를 선택하면 잘못된 통계로 이어질 수 있습니다.
- 다 변수 테스트 실행 기간이 너무 깁니다. 한계 데이터를 분석하기에는 너무 오래 테스트를 실행하면 많은 시간이 낭비됩니다.
- 주요 지표에 대한 잘못된 이해. 중요하지 않거나 최종 목표와 관련이없는 지표의 변수 조합을 집중, 분석 및 추적
- 몇 가지 핵심 성과 지표 다른 많은 사람들이 추적되지 않는 동안 식별 됨
- 웹 페이지 방문자의 트래픽 유형을 결정합니다. 모든 방문자가 동일하지는 않기 때문에 이것은 매우 위험하고 문제가 될 수 있습니다.
- 결과를 분석하지 않음 사이트를 올바르게 변경합니다.
해야 할 일 및하지 말아야 할 것
위 목록에서 요약 해야 할 일과하지 말아야 할 일 다음과 같을 수 있습니다.
하지 말아야 할 것 :
테스트에 많은 변수를 포함하려고하지 마십시오. 테스트 할 변수의 수가 많을수록; 조합이 클수록 중요한 통계를 수집하려면 더 많은 트래픽이 필요합니다.
해야 할 일 :
유튜브 비디오 다운로더 소프트웨어 무료 다운로드
1. 모든 변형 조합 버전 미리보기 그들 중 일부는 호환되지 않거나 비논리적 일 수 있기 때문에 테스트 실행을 시작하기 전에. 예를 들어, 변수 조합 중 하나는 '구독시 50 % 할인'이라는 제목과 '무료 구독'이라는 끄기 버튼입니다. 그러한 것들은 제거되어야합니다.
2. 조합 버전이 전환율에 미치는 영향을 결정합니다. 전환율에 더 큰 영향을 미치는 조합 만 포함하는 것이 좋습니다.
3. 중요한 통계 데이터를 수집하기 위해 웹 페이지 트래픽을 추정합니다. 테스트 실행을 시작하기 전에 웹 페이지 트래픽에 대해 명확하게 파악하는 것이 좋습니다. 웹 페이지에 하루에 100 ~ 200 명의 방문자 만있는 경우 다 변수 테스트를 실행할 때만 몇 가지 변수를 고려해야합니다.
장점과 단점
지금까지 다 변수 테스트가 무엇인지, 어떻게 수행되는지, 오류, 요인,해야 할 일과하지 말아야 할 일 등을 살펴 보았습니다. 장점 과 단점 그것의 :
장점 :
- 전환율에 대한 변수 또는 요소의 영향에 대한 더 나은 통찰력과 이해 트래픽이 많을수록 더 많은 통계 데이터가 생성되어 궁극적 인 목표에 도달하기위한 최상의 변수 조합 측면에서 더 나은 분석 및 의사 결정으로 이어집니다.
- 디자인 및 레이아웃 변경 측면에서 다 변수 테스트는 유연합니다.
단점 :
- 다 변수 테스트 실행은 완료하는 데 더 오래 걸립니다.
- 중요한 통계를 얻으려면 많은 웹 페이지 트래픽이 필요합니다.
- 테스트 실행을 설정하는 것이 더 복잡합니다.
- 테스트 실행을 위해 더 많은 수의 변수 조합 버전이 필요합니다.
A / B 테스트
다변량 테스트에 대한 간략한 목록이므로 웹 페이지 최적화를 수행하기 위해 수행 할 수있는 다양한 테스트에는 끝이 없으며 사용 가능한 또 다른 인기있는 방법은 A / B 테스트 .
A / B 테스트 란 무엇입니까?
( 영상 출처)
A / B 테스트는 때때로 분할 테스트 . 그러나 분할 테스트는 다릅니다. 이 튜토리얼의 후반부에서 차이점을 확인합니다.
A / B 테스트에서는 동일한 웹 페이지 트래픽 양으로 동일한 웹 페이지의 두 가지 버전을 테스트합니다. 최대 변환 수를 얻는 버전이 궁극적 인 승자입니다. 이 새로운 버전은 확실히 전환율을 증가시킵니다.
A / B 분할 테스트 예 :
이해하자 작은 예제로 A / B 테스트 작업 :
위 이미지는 안전 의식을위한 웹 페이지입니다.
이 이미지는 ' 퀴즈를 풀고 흥미 진진한 상품을 받으세요 이 원본 웹 페이지는 'A 버전'으로 간주됩니다. 이제 'B 버전'은 버튼 색상이 회색에서 빨간색으로 변하는 디자인으로 디자인되었습니다.
이것은 아래 이미지에 나와 있습니다.
라이브 웹 페이지 트래픽은 두 버전 모두로 전환됩니다. 충분한 방문자가 테스트를 치르고 수신 된 통계 데이터를 통해 어떤 버전이 전환율에 더 큰 영향을 미치는지 쉽게 확인할 수 있습니다.
위의 예에서 ' 퀴즈를 풀고 흥미 진진한 상품을 받으세요 ”는 이전의 회색 버튼보다 더 많은 방문자가 버튼을 누르고 퀴즈를 풀도록 유도했습니다.
따라서 더 많은 수익을 올리려는 웹 페이지의 궁극적 인 목표가 달성되었습니다.
장점 과 단점 A / B 테스트 :
장점 :
- 웹 페이지 최적화를위한 실험을 설정하는 쉽고 간단한 방법입니다.
- 웹 페이지 트래픽이 적은 경우에도 신뢰할 수 있고 정확한 결과를 쉽게 결정할 수 있습니다.
- 테스트는 매우 빠르게 수행 할 수 있으며 통계 데이터를 분석하여 궁극적 인 목표에 도달 할 수 있습니다.
- 어떤 형태의 기술에도 크게 의존하지 않습니다.
- 모든 웹 페이지의 레이아웃, 콘텐츠, 디자인 변경에 더 적합합니다.
단점 :
- 한 번에 웹 페이지에 대해 몇 가지 또는 제한된 수의 변경 만 수행 할 수 있습니다.
- 웹 페이지에 존재하는 서로 다른 변수가 서로에게 미치는 영향을 판단하는 것은 불가능합니다.
비교표 :
A / B 테스트 vs 다 변수 테스트 vs 분할 테스트
A / B 테스트, 다 변수 테스트 및 분할 테스트는 UX (사용자 경험) 변형 테스트의 세 가지 주요 유형입니다. 그들이 어떻게 다른지 보자.
| A / B 테스트 | 다 변수 테스트 |
|---|---|
| 웹 페이지 트래픽은 두 개 이상의 완전히 다른 버전의 웹 페이지로 분할됩니다. | 몇 가지 주요 변수가 결정되고 그 조합이 버전을 생성하기 위해 수행됩니다. |
| A / B 분할 테스트에는 상대적으로 적은 트래픽이 필요합니다. | 다중 변형 테스트 방법에는 엄청난 트래픽이 필요합니다. |
| 하나의 변수 만 테스트하여 변경 효과를 확인합니다. | 결합 된 변경 효과를보기 위해 여러 변수를 함께 테스트합니다. |
| A / B 테스트 방법은 전환율을 높이는 다양한 아이디어로 웹 페이지를 다시 디자인하는 데 가장 적합합니다. | 다 변수 테스트는 많은 작업을 수행하거나 재 설계하지 않고도 기존 웹 페이지를 최적화하는 것입니다. |
아래 두 이미지는 A / B 테스트와 다 변수 테스트를 매우 잘 비교해줍니다.
다 변수 테스트
분할 테스트 :
여기에는 A / B 테스트보다 훨씬 더 복잡하고 다음을 포함하는 분할 URL 테스트라는 또 다른 변형이 있습니다. 서버 측 변경 , 서로 테스트되는 두 개의 서로 다른 웹 페이지가 있습니다. 이러한 유형의 테스트는 디자인 팀이 어느 것이 더 잘 작동할지 결정해야하는 경우 랜딩 페이지에 적합합니다.
A / B / 분할 / 다 변수 테스트 도구
이 세 가지 유형의 UX 테스트를 위해 시장에서 사용할 수있는 많은 도구가 있습니다. 여기에서 여러분이 탐험 할 수있는 몇 가지 최고의 이름을 꼽겠습니다. Google Optimize, Optimizely, VMO, Qubit, Maxymiser 및 AB Tasty입니다.
결론 :
두 가지 방법, A / B 및 다 변수 테스트는 전환율을 높이고 성능을 개선하며 웹 페이지 및 앱을 최적화합니다. 둘 다 고유 한 방식으로 유용하며 고유 한 단점과 과제도 있습니다. 요구 사항에 가장 적합한 방법을 식별하고 분석하는 것은 우리에게 달려 있습니다.
테스터는 주로 다 변수 또는 A / B 테스트를 구현하기 위해 수행 된 변경 사항을 테스트하는 데 관여합니다. 이러한 변경이 이루어지고 테스트되면 마케팅 또는 비즈니스 팀이 프로덕션 환경에서 실행하여 결과를 수집 할 수 있습니다.
따라서 테스터가 이러한 변경 사항을 매우 신중하게 테스트하는 것이 매우 중요합니다. 그렇지 않으면 최종 결과가 정확하지 않아 대부분의 경우 비즈니스 수익과 직접 관련되므로 막대한 비즈니스 손실이 발생합니다.