실험 배경

모든 게임에서 중요한 Retention(재방문율)을 높이기 위하여 실험한 결과로, 이번 실험은 많은 유저들이 머물러있는 레벨을 수정함으로써 7 Day Retention을 높이는 것이 목적이다.

​

(이미지)

가설

1. 유저가 공통으로 밀집해있는 레벨은 문제가 있을 것이다.

2. 문제가 있는 레벨을 튜닝한다면 유저가 자연스레 레벨을 풀며 진행을 할 것이고 리텐션 또한 오를 것이다.

​

실험 방법

유저가 게임을 인스톨 한 날짜부터 ~ n일까지의 레벨 데이터를 추출한다. (데이터는 많고 길게 뽑을수록 좋다.) 아래의 그래프는 총 이틀간 설치한 데이터로 설치한 당일부터 설치 후 1일까지 레벨에 유저가 몇 명이나 머물고 있는지를 나타낸다.

(이미지)

10월23일 인스톨한 유저의 레벨 진행도(설치 당일) 10월 23일 인스톨한 유저의 레벨 진행도(설치후 하루 경과)

이렇게 뽑은 그래프를 바탕으로 유저가 공통으로 밀집해 있는 레벨 구간을 찾는다. 예를 들어, 100명의 유저가 설치를 했다고 한다면 Level 8에 머물러 있는 유저가 23일에 20명이고, 24일에도 이와 비슷하다면 문제가 있는 레벨이라고 판단할 수 있다.

​

이러한 레벨은 아래와 같은 공통점을 가지고 있다.

1. 유저에게 의미 없는 턴(Move)을 사용하게 하는 레벨

2. 초반부 유저가 이해하기 어려운 레벨 (특수 블럭을 만들어 클리어하는 레벨 등)

(이미지)
불필요한 Move를 사용하는 레벨 특수

(이미지)

블럭을 이용해 클리어하는 레벨

​

이러한 레벨 구간을 데이터를 기반으로 하여 찾아 유저들이 조금 더 수월하게 다음 레벨로 진행할 수 있도록 아래와 같이 수정하였다.

(이미지)
수정된 레벨

1번의 경우 첫 Move를 사용하고 난 후 다음 턴을 무의미하게 사용하지 않게 기본 블럭을 배치했고, 2번의 경우 아이템을 사용하는 레벨의 경우는 보드를 확장시켜 좀 더 쉽게 특수 블럭을 만들 수 있도록 변경하였다.

​

그 결과, 초반 레벨에 밀집해있던 그래프에 변화가 있었다. 아래 그래프를 보면 유저들이 오른쪽(후반부 레벨)으로 더 많이 이동하였음을 확인할 수 있다.

​

(이미지)
수정후 그래프 변화 (설치 당일)

(이미지)

수정후 그래프 변화 (설치후 하루 경과)

실험 결과

*보안을 위해 상세한 데이터는 공개하지 않습니다.

” 7 Day Retention은 높아졌을까?”

“Yes”

​

수정 후 유저가 게임 진행을 더 했지만 Retention이 떨어졌다면 이 실험의 결과는 실패였을 것이다. 정확한 증가 수치는 보안을 위해 공개할 수 없지만 이 실험의 목적이었던 7 Day 리텐션이 확연하게 증가하였음을 확인할 수 있다.

​

문제가 되어 수정한 레벨들은 어려웠을 수도 있고 단지 재미가 없었을 수도 있다. 이유를 단정 지을 수 없지만 분명한 건 유저들에게 부정적인 영향을 주었다는 것이다. 그게 이탈로 이어지고 리텐션을 낮게 만드는 원인이 되었다.

​

따라서 이러한 정체된 레벨 구간을 찾아내는 것은 매우 중요하다. 데이터를 기반으로 이런 정체된 레벨 구간을 꾸준히 추적하고 분석하여 적절한 Level을 제직하는 것은 좋은 게임을 만드는 발판이 될 것이다.