Analy&cs  in  Gaming  Rajdeep  Gumaste  

Product  Manager  -­‐  TMG  

What  is  Analy;cs?  •  Wiki  says    –  “The  process  of  discovery  and  communica;on  of  paBerns  in  data”  –  We  agree  

•  Metrics  to  measure  different  quan;;es    •  Some  metrics  considered  KPIs  for  benchmarking  •  Metrics  captured  directly  by  third  party  services  (like  GA)  and  by  tracking  in-­‐game  ac;vity  of  users  on  servers  

GeKng  Started  –  What  happens  if  you  do  not  ‘Analy;cs’  ?    

                           Who  decides  what  goes  in  ?  

No  ..really  ..  Why  Do  We  need  it?  

•  To  be  aware  of  what  works  and  what  doesn’t  •  To  target  users  in  a  smarter  way  –  for  promo;ons,  

acquisi;ons  etc.  •  To  roll  out  features  that  maBer  

•  Anybody  involved  in  the  project  can  contribute  to  the  process  of  seKng  up  an  in-­‐game  analy;cs  system  

 •  The  design  and  product  teams  work  in  tandem  as  they  define  the  

iden0ty  of  the  game  and  need  a  set  of  specific  metrics  to  validate  the  same  

How  should  it  behave  (or  ideally  should  behave)?  

Be  Accurate  

Be  Quick  

How  does  the  system  work?  

Product  Goals  

Translate  into  data  

requirements  

Incorporate  into  the  system  

Analyze  results  

Pillars  of  Life  (  in  this  scenario)  

•  Acquisi&on  –  New  installs    •  Reten&on  –  %  people  installing  on  day  X  ,ac&ve  on  your  app  today    •  Engagement  –  Time  based  %  of  returning  users  (weekly  or  Monthly)    •  Mone&za&on  –  Show  me  the  money  !  

A  Case  Study  

Some  thumb  rules  

•  Always  have  a  hypothesis  (or  hypotheses)  for  a  problem  –  Don’t  fret  about  geKng  this  (them)  wrong.  Its  what  we  are  going  to  

prove/not  prove  using  the  analysis    

•  Make  sure  you  use  the  right  amount  of  data  for  your  analysis  –  Too  Much  :  Needlessly  cumbersome  and  maybe  inconclusive  –  Too  liBle  :  Inconclusive    

•  Explore  all  possible  reasons  for  a  par;cular  finding  in  the  data    •  There  may  not  always  be  a  problem  to  solve.  It  can  be  used  to  

do  usual  tasks  in  a  beBer  way.  

Situa;on  1  

111  129   120   125  

157  136   130   122  

105  

148  

121  141  

154   154  134  

122   126   127  150  

0  20  40  60  80  100  120  140  160  180  

New  installs  

New  installs  

•  In  talks  with  vendors  for  acquisi;on  drive    •  Very  important  to  acquire  the  right  kind  of  users  if  you  want  to  make  the  game  

have  stable  numbers  ajer  the  acquisi;on  has  happened  

Hypothesis  1  :  Acquisi;on  :  A  discovery  driven  approach    I  think  a  geographical  skew  exists  in  my  user  base.  I  need  to  target  my  acquisi;ons  in  a  smarter  way  

Approaches  :    •  Look  at  Geographical  skew  in,  Ac;ve  users,  New  users,  Engagement  •  Depending  on  whether  we  want  the  maximum  people  to  download,  or  s;ck  around  

ajer  downloading  ,we  can  choose  the  target  loca;on  

•  Further  Analyses  :    •  Deep  dive  into  the  data  to  see  if  a  carrier  skew  exists  

 

City   DAU   WAU   Installs  Weekly  Eng.  

Delhi   500   3500   300   14%  

Pune   200   2000   200   10%  

Mumbai   150   2500   180   6%  

Bangalore   550   1000   50   55%  

Chennai   400   1500   50   27%  

1800   10500       17%  

Problem  2  :  Reten;on  is  dipping  very  low  from  D3  to  D4  resul;ng  in  very  low  D7  –  mul;ple  reasons  –  content,  Game  features,  player  aspira;on  

45  

40  

35  

22  20  

18  16  

0  

5  

10  

15  

20  

25  

30  

35  

40  

45  

50  

D1   D2   D3   D4   D5   D6   D7  

Dx  Reten;on  

•  The  D1  ,  D7  numbers  are  respectable  on  their  own  

•  This  is  not  a  problem  that  will  break  the  game  

•  Do  we  s;ll  want  to  go  ahead  and  run  stats?  –  Of  Course!  

 Hypothesis  :  My  users  are  exhaus;ng  the  content  very  fast  

Findings/insights  :    •  Ini;al  hypothesis  was  wrong  –  ques;ons  unanswered  •  Further  Analyses  :    

•  CIR  also  low  for  certain  topics  –  ques;on  difficulty  problem  •  #  of  people  playing  each  topic  –  Is  nature  of  the  topic  a  problem?  

Topic  Name  Total  

ques;ons  Ques;ons  answered   CIR  

Ques;ons  unanswered  

Topic  1   200   78   1   122  

topic  2   200   165   0.8   35  

topic  3   200   50   0.5   150  

topic  4   200   44   0.3   156  

topic  5   200   150   1   50  

Problem  3  :  Low  Weekly  Engagement  :  %  of  weekly  ac;ve  users  playing  today  (DAU/WAU)  

20  

25  28  

15  

26  

21   20  

0  

5  

10  

15  

20  

25  

30  

06/02/15   06/01/15   5/31/2015   5/30/2015   5/29/2015   5/28/2015   5/27/2015  

Weekly  Engagement  

Weekly  Engagement  

•  Avg.  Weekly  engagement  is  around  20%,  meaning  only  1/5  of  the  users  in  the  last  week  have  returned  to  play  the  game  

•  Problem  :  In  the  presence  of  content  and  adequate  player  aspira;on,  the  features  in  the  game  are  the  likely  cause    

 Hypothesis  :  Users  are  only  interested  in  playing  with  friends  as  opponents  

Findings:  •  The  finding  seems  to  be  inline  with  the  data  extracted.  Hypothesis  confirmed  

•  Dis;nct  difference  in  the  behavior  of  users  playing  challenges  with  friends  and  random  players  

•  Further  Analyses  :    •  Look  into  why  people  are  sending  such  few  challenges  to  friends  •  Check  if  a  loca;on  skew  exists  for  players  matchmaking  

Random  Topic  Name  

Challenges  sent  

Challenges  completed  

Comple;on  Rate  

Topic  1   250   78   31%  

topic  2   125   65   52%  

topic  3   450   150   33%  

topic  4   500   44   9%  

topic  5   650   150   23%  

Friends  Topic  Name  

Challenges  sent  

Challenges  completed  

Comple;on  Rate  

Topic  1   35   34   97%  

topic  2   60   50   83%  

topic  3   55   50   91%  

topic  4   20   16   80%  

topic  5   80   65   81%  

Is  that  all?  –  Not  by  a  long  shot  

Ques;ons?