실험 배경

매치 장르 퍼즐 게임내 대부분의 콘텐츠가 혼자서 해결가능한 이벤트 위주로 구성이 되어 있는 이유는 가장 높은 비중을 차지하고 있는 자기만족적 성향이 강한 성취로 유저에게 만족감을 제공하기 위해서이다. 그런데 최근 몇년 간 매치 장르 탑 티어 게임들에서는 개인 플레이 콘텐츠 이외에도 유저들끼리 협력하거나 경쟁을 유도하는 소셜 콘텐츠들을 많이 제공하고 있는 추세이다. 이러한 소셜 콘텐츠들은 유저의 니즈를 얼마나 충족시켜줄 수 있을까?

​

                                                                                                                        플레이어 유형 분류 (Richard Bartle)

​

Playrix사 Homescapes의 경쟁형 소셜 이벤트

​

다른 유저와의 협력 또는 경쟁을 통해 만족감을 느끼는 사교가 또는 격투가 유형의 유저들은 퍼즐 게임에서 과연 얼마만큼의 비중을 차지하고 있을지, 또 그들이 게임에 어떤 긍정적인 지표변화를 가져다 줄 잠재력이 있을지, 확인하기 위해서 경쟁형 소셜이벤트인 개인 토너먼트 이벤트를 절반의 유저에게 제공해 데이터를 보았다.

​

실험 가설

1. (유저 만족도) 개인 토너먼트 이벤트를 제공받은 유저가 제공받지 못한 유저보다 Retention이 높을 것

2. (수익) 개인 토너먼트 이벤트를 제공받은 유저가 제공받지 못한 유저보다 IAP ARPDAU이 떨어지지 않을 것

개인 토너먼트 이벤트는 다양한 유저 성향의 니즈를 충족시키는 이벤트인 만큼 리텐션을 중점적으로 비교해 보았고, 토너먼트 상위권으로 종료한 유저에게 지급하는 보상재화로 인한 *IAP ARPDAU에 영향이 있지는 않은지 확인하기로 하였다.

​

*IAP ARPDAU : 일단위 유저 1명의 인앱구매 수익

​

실험 방법

매치 장르의 라이브 프로젝트 하나를 선정해 유저를 2 세트로 나누어 한쪽 세트에만 개인 토너먼트 이벤트를 제공했다.

[개인 토너먼트의 경쟁 방식]

1. 기간 안에 레벨 클리어시 획득하는 메타포(Star)를 모아 누적 갯수로 다른 유저와 경쟁

2. 기간 종료시 상위 랭크(1~10등)에 포지션된 유저에게 보상을 차등 지급

​

[개인 토너먼트의 공정성]

1. 난이도 공정성: 비슷한 레벨 구간의 유저끼리 그룹화하여 경쟁을 해야함.

2. 시간 공정성: 같은 그룹의 유저는 같은 시간에 경쟁을 시작해야 함.

개인 토너먼트 이벤트를 설계하면서 가장 중요시했던 부분 중 하나는 바로 공정성이다.

먼저 난이도 공정성에 대해 얘기해 보자면, 플레이하는 레벨 난이도가 비교적 쉬운 초반 유저와, 도전적인 레벨 분포가 높은 고레벨 유저을 같이 경쟁시킨다면 공정하지 않을 것이기 때문에(초반 유저가 경쟁에 유리하다) 비슷한 레벨 구간의 유저를 그룹화하여 경쟁을 붙이도록 하였다.

​

                                                                                                    *보안을 위해 상세한 설계 내용은 공개하지 않습니다.

​

시간 공정성을 말하자면, 지금 참여를 시작하는 유저와 며칠 전에 참여시작한 유저와 같이 경쟁시킨다면 공정하지 않을 것이기 때문에(먼저 시작한 유저가 유리하다) 같은 그룹내 모든 유저의 참여 시작 시간은 격차가 최대 30분이내가 되도록 설계하였다.

​​

실험 결과

​

개인 토너먼트가 제공된 유저가 제공되지 않은 유저에 비해 리텐션의 1~28일자 합계치가 27%p 높게 나왔다. 이벤트가 오픈되는 시점부터 유저들이 경쟁을 위해 더 많은 레벨들을 플레이하고 더 많은 플레이타임을 소비하는 것이 긍정적인 요인으로 작용한 것이다. 리텐션 지표는 28일치에서 결국 동등하게 측정이 되는데, 후반 리텐션은 단일 이벤트의 영향 보다는 레벨 쪽의 영향을 많이 받는 지표이기 때문에 크게 문제되는 부분이라고 생각하지는 않는다.

​

​

수익 지표에서도 긍정적인 데이터가 나왔다. IAP ARPDAU가 24% 증가했다. 유저들은 경쟁 이벤트의 영향으로 더 많이 플레이를 하면서 인앱구매도 더 활발해졌다는 뜻으로 해석 가능하다. 따라서 실험에 대한 두가지 가설은 모두 채택되었고, 경쟁형 소셜 이벤트가 유저의 니즈를 잘 반영해주는 콘텐츠임을 증명하였다. 그런데 측정된 지표중 간과할 수 없는 것이 있다. 일별 인앱구매유저 비율은 왜 높아지지 않았을까?

​

모든 유저가 경쟁형 소셜 이벤트에 대한 니즈가 있는 것이 아니다라고 가정 해보자. 퍼즐 유저의 대부분은 성취가 유형이 차지하고 있고 그들은 소셜 플레이에 관심이 적을 수 도 있다. 토너먼트에서 상위권 순위에 올라가고 싶어하는 격투가 유형의 유저는 그보다 많지 않을 것인데, 그 중에서도 지갑을 열 수 있는 유저는 더 적다고 보면 된다. 따라서 개인 토너먼트 이벤트는 구매유저를 상승시키는 데 큰 영향을 주지는 못하는 반면, *ARPPU를 살펴봤을 때 구매 유저들에게 더 활발한 인앱구매를 유도할 수는 있을 것이다. 이는 경쟁형 소셜 이벤트가 가져다 주는 긍정적인 영향이라고 생각한다.

​

*ARPPU : 일단위 구매유저 1명의 인앱구매 수익

​

​격투가 유형의 유저가 실제로 존재한다면, 개인 토너먼트를 제공받고 상위권 순위에 올라가기 위해 평소보다 더 많이 노력하지 않았을까? 실제로 개인 토너먼트에서의 상위권 유저들은 평균적인 유저들보다 더 많이 플레이하는 경향이 있었다. 이는 경쟁형 이벤트의 특성상 당연한 결과인 것인데, 여기서 한단계 더 접근해보면 상위권 유저는 개인 토너먼트를 제공 받기 이전보다 제공 받은 이후 레벨을 유의미하게 더 많이 클리어했다는 것을 확인할 수 있다.

평소보다 돈을 더 많이 쓴 유저는 이들 중에 있을 것이라고 주장해볼만하다.

​

제언

소셜 콘텐츠 중에는 경쟁형 이벤트만 있는 것이 아니며(예를 들어 협력형 이벤트가 있을 것이다) 경쟁형 이벤트도 다양한 종류가 있을 것이다. 중요한 사실은 퍼즐 게임 유저가 소셜 콘텐츠에 대한 니즈가 있다는 것이고, 이들에게 적절한 콘텐츠와 보상(승리 또는 다른 유저와의 상호작용)을 제공한다면 분명히 좋은 반응과 지표로 돌아올 수 있다는 점이다.