1、准备工作1.1 下载数据集去Kaggle搜索Cookie Cats数据集这是全球数据分析最经典的游戏场景AB测试数据1.2 本地环境搭建在电脑上新建一个文件夹叫 AB_test里面建两个子文件夹data/放原始数据output/放最终报告和图表下载好所需要的软件与对应的库如anaconda、jupyter notebook、pandas、scipy、statsmodels等等2、数据导入按下shiftenter逐行运行运行结果如下3、计算所需要的指标3.1 首先计算样本量运行结果如下3.2 进行AA检验在分析实验结果前需要先验证分流是否随机、均匀。所以这里检验两组在游戏总对局数sum_gamerounds这个关键行为指标上是否有显著差异。运行结果如下3.3 活跃度差异检测再做一个卡方检验以验证两组的活跃度差异运行结果如下3.4 检验11日留存率运行结果如下3.5 检验27日留存率运行结果如下3.6 检验3游戏总对局数运行结果如下3.7 效应量与置信区间P值只能说明有无差异还需要计算差异有多大运行结果如下3.8 差异化发现虽然Cookie Cats数据集中没有年龄字段但可以用游戏总对局数做分层看看这次的改动对轻度玩家和重度玩家的影响是否不同运行结果如下4、撰写分析报告根据已有的数据按需撰写相关的分析报告