준비 부스터 사용 유도 실험
[실험 배경]
준비 부스터의 구매-사용 활성화를 목표로 진행했던 실험을 소개합니다. 인게임 부스터 실험과 마찬가지로 게임 내 각종 이벤트나 미션 보상으로 유저가 얻은 재화를 가능한 많이 소비하도록 유도하기 위한 실험입니다. 핵심은 레벨 클리어에 도움이 되는 특정 준비 부스터에 추천 배지를 표기해서 사용을 유도하는 것입니다.
실험 설계에 캔디 크러시 프렌즈 사가와 쿠키 잼의 UI를 레퍼런스로 참조했습니다. 다만 캔디 크러시 프렌즈 사가는 준비 부스터를 추천하지 않습니다. 정확히는 게임에 준비 부스터 개념이 없고 대신에 고유 능력을 지닌 캐릭터를 선택할 수 있습니다. 쿠키 잼도 마찬가지입니다. 두 게임은 특정 레벨이나 미션을 클리어하는데 도움이 되는 캐릭터 사용을 유도하기 위해 캐릭터 선택 UI에 추천 배지를 표기합니다. 쿠키 잼은 여기에 준비 부스터까지 제공합니다. 레벨 디자인과 미션 특성에 따라 유용한 준비 부스터가 있는 경우 스케일 업-다운되며 흔드는 애니메이션 연출을 보입니다. 추천 배지와는 다르지만 특정 준비 부스터 사용을 유도하는 목적임은 분명합니다. 단, 두 게임에서 캐릭터 추천 배지나 사용 유도 연출을 보려면 유저가 추천 대상 캐릭터나 부스터를 보유하고 있어야 한다는 전제 조건이 있습니다.
왼쪽이 캔디 크러시 프렌즈사가, 오른쪽이 쿠키 잼
이 두 가지 레퍼런스 방식을 혼용해 캐릭터 선택이 아닌 준비 부스터 영역에 추천 배지를 표기한다면 준비 부스터 구매와 사용을 늘릴 수 있을 것이라 예상했습니다.
실험 가설
1. 특정 레벨 클리어에 도움이 되는 준비 부스터에 추천 배지를 표기하면 해당 레벨에서 유저 1인당 준비 부스터 소비량이 상승할 것.
실험 방법
Match 3 장르 라이브 프로젝트에서 2개 세트(Master/A)로 나누어 실험했습니다. 레벨 디자인과 재화(코인과 부스터) 공급량은 통제 변인으로 각 세트 간 동일하게 적용했습니다. 별도의 마케팅 캠페인 없이 세트당 DAU 약 900명으로 총 1,800명의 일주일간 데이터를 추적했습니다. 독립 변인은 준비 부스터 추천 배지 표기, 종속 변인은 추천 배지가 표기된 레벨의 유저 1인당 준비 부스터 사용량으로 보았습니다.
1. Master세트는 준비 부스터 추천 배지를 표기하지 않음.
2. A세트는 특정 레벨마다 준비 부스터에 추천 배지를 표기.
3. 준비 부스터 추천 배지가 표기된 레벨의 고유 유저 수와 준비 부스터 소비량을 측정.
실험한 2종 게임은 장기간 라이브 중인 게임이라 총 레벨 개수가 1,500개가 넘습니다. 따라서 각 레벨의 디자인 특성과 의도를 완벽히 파악해서 클리어에 도움이 되는 부스터를 정성적으로 분류하는데 어려움이 있었습니다. 대안으로 라이브 게임 데이터를 추출해 각 레벨 별 준비 부스터를 사용량을 분석했고, 분석한 데이터를 기반으로 특정 준비 부스터 사용량이 유독 높은 레벨을 분류해 해당 레벨에만 추천 배지를 표기했습니다. 결과적으로 준비 부스터 추천 배지를 표기한 레벨은 전체 레벨 대비 수가 적었고, 실험의 바이러스 통제를 위해 전체 레벨의 준비 부스터 사용 총량이 아닌 추천 배지를 표기한 레벨의 고유 유저와 부스터 사용량을 측정했습니다.
실험에 사용한 추천 배지의 샘플 디자인
실험 결과
* 보안을 위해 상세한 실험 설계와 데이터는 공개하지 않습니다.
준비 부스터에 추천 배지를 표기한 A세트의 유저 1인당 준비 부스터 소비량이 아무것도 표기하지 않은 Master 세트 대비 약 6% 가량 더 높았습니다. 결과의 신뢰도를 높이기 위해 다른 Match 3 라이브 프로젝트에서 재실험한 결과도 동일하게 A세트가 높게 나왔습니다. 재실험에서는 소비량이 두배 가량 높게 나오기도 했지만 유저 모수가 1차 실험에 비해 다소 부족했다). 따라서 가설은 채택되었습니다. 또 이 결과 외에 주목할만한 부분은, 다른 요인을 통제했음에도 1차 실험과 재실험 모두에서 A세트의 일주일간 D1 리텐션 평균이 5~10% 높게 나왔다는 점입니다. 준비 부스터는 준비 팝업에서 구매가 가능하지만 보통 인게임 플레이 시에도 블록을 조합해서 생성할 수 있습니다. 따라서 추천 배지는 레벨 클리어에 어려움을 겪는 유저에게 일종의 클리어 도움말 역할을 했을 가능성이 있고, 추천 부스터를 사용해서 실제로 레벨을 클리어한 유저에게 긍정적인 경험을 제공했을 가능성도 고려해볼 수 있습니다 [1]. 이 실험의 결과는 준비 부스터를 제공하는 대부분의 모바일 퍼즐게임에서 도움이 될 수 있을 듯합니다. 혹은 퍼즐 게임 외에 아이템을 추천하고 사용하도록 유도해야 하는 다른 장르에도 도움이 될 수 있고. 무엇보다 중요한 것은 실제 레벨 클리어에 도움이 될 수 있는 준비 부스터를 잘 선정하고 추천하는 것입니다.
제언
가장 아쉬움이 남는 부분이 있다면 역시 추천 배지를 표기한 레벨 수가 다소 적었다는 점(대신 정말 도움이 되는 부스터로 추리긴 했지만). 이로 인해 전체 레벨로 확장해서 데이터를 추적하지 않은 점입니다. 라이브 게임에서 실험한 한계이기도 해서 기회가 된다면 신규 프로젝트에서 다시 한번 검증해보고 싶습니다. 아, 그리고 언젠가 시간이 된다면 추천 부스터를 사용해서 실제 레벨 클리어한 유저 코호트만 분리해서 대조군과의 리텐션 차이을 다시 살펴보는 것도 좋을 듯 싶습니다.
[1] 사실 이 가능성을 유추한 데는 나름 이유가 있습니다(!). 1-2차 실험 이전에 파일럿 목적으로 사전 실험을 진행했는데 이 실험에서는 특정 부스터 사용량이 높은 레벨에만 한정적으로 추천 배지를 표기하는 게 아니라, 거의 대부분의 레벨에서 조금이라도 사용량이 높은 부스터가 있다면 모두 추천 배지를 표기했습니다. 결과적으로 이때도 유저 1인당 준비 부스터 사용량은 늘었지만 D1 리텐션은 2~3% 이상 떨어지는 결과가 나왔었습니다.
원문 출처 : https://brunch.co.kr/@jaehyunkim