当前位置: 增长学人首页 > 文章详情

三分钟弄懂A/B测试背后的原理——假设检验!

2022-08-22 浅墨

浅墨 de主页

总篇数1 0 关注0

造访TA的主页
0 0 1.6K字 约5分钟

我们经常会遇到对一个总体数据进行评估的问题,但我们又不能直接统计全部数据。假设检验就是先对总体参数提出一个假设值,然后利用样本信息判断这一假设是否成立。

今天来说说假设检验。这是个古老的方法,近年增长实验、A/B测试大行其道,使假设检验方法迎来了新一波文艺复兴,搞得很多小伙伴都在问:如何做假设检验?那一堆似懂非懂的统计符号啥意思?

今天小熊妹帮大家整理了一个懒人攻略,大家抄起来用即可。

01

假设检验是干什么的?

假设检验最常见的场景有两个:

三分钟弄懂A/B测试背后的原理——假设检验!(图1)

总之是吵架必备,怼人利器。

02

什么时候适合用假设检验?

当错误很明显的时候,不需要做假设检验。比如销售、运营的表现不好,可以直接取过往X天的销售业绩、运营指标来看。如果销售业绩一直下滑,还有啥好说的,这时候不需要假设检验,直接开怼。

有些问题不那么明显,比如上边吐槽的产品寿命问题。除非产品用到烂,否则不知道寿命是多少。而当用户遇到产品寿命很短的问题的时候,他们只会默默换牌子,也很少投诉“不耐用”。此时必须做抽样检测,就得用到假设检验方法。

在论证新点子很好的时候,也需要先把新点子做出来,再做小范围测试。此时也要用假设检验方法。总之,假设检验方法适合于抽样检验/小范围测试的场景。

03

假设检验是怎么验的?

众所周知:证伪比证真容易多了。证真要穷尽各种可能,证伪只要找到反例即可。假设检验的基本思路也是如此,它利用了“小概率事件,不可能在一次小范围抽样中发生”的朴素原理,先提一个假设,之后看能否用小概率事件推翻它。能推翻的,就说明假设不成立;不能推翻,就至少说明不能推翻(是否接受假设,可以再验证)。

基于这个原理,我们一般把要怼翻的结论,作为原假设。然后试着去怼翻它!(如下图)

三分钟弄懂A/B测试背后的原理——假设检验!(图3)

很多小伙伴在这里犯迷糊:到底原假设是啥?最简单的判断方法,就是:想怼翻什么,就把什么放原假设(记得带等号的一定在原假设)。不过实践的时候,还是经常会写错,这里需要多加练习才行。

设定原假设以后,还要设定“小概率事件”到底有多小。一般用显著性水平α来表示。α是一个人工给定的数,一般给0.10,0.05,0,01看起来够小就行。

04

得到假设以后怎么操作?

得到假设后,需要选择合适的检验统计量,代入参数,计算是否属于小概率事件。

检验统计量,和要检验的假设有关系。比如上述产品使用寿命问题,是一个典型的单总体(只有一个产品要检验)+均值(使用寿命,指的是待检测产品的平均寿命)检验问题,因此可以选用t检验。如果是比例检验问题(比如检验产品的合格率,合格率=问题样本/全部抽检样本),则可以使用Z统计量(如下图)

三分钟弄懂A/B测试背后的原理——假设检验!(图4)

有了统计量以后,可以检验是否属于小概率事件。不同的假设,拒绝不同

三分钟弄懂A/B测试背后的原理——假设检验!(图6)

关于拒绝区域,有个简单的记忆方法,就是:

如果假设是等号,拒绝区域就是左右两侧。潜台词就是:既然咱俩相等,那检验值应该不大不小才对。

如果假设是小于号,拒绝区域就是右侧。潜台词就是:既然你比我小,那检验值肯定不太大呀

如果假设是大于号,拒绝区域就是左侧。潜台词就是:既然你比我大,那检验值肯定不能太小呀

这样就容易区分了

当然,有很多统计软件/算法直接给了P值,大家记得:P值小于0.05就拒绝原假设即可。

05

看个简单的例子

某产品经理宣称,目标用户80%都是年轻人(25岁以下),现随机抽样200人,发现146名年龄在25岁以下,问:我们能怼翻产品经理的结论不?

解答过程如下:

三分钟弄懂A/B测试背后的原理——假设检验!(图8)

原假设被拒绝掉了,我们可以认为产品经理在吹逼,打完收工!

06

从假设检验到A/B测试

实际上,假设检验的类型很丰富。为了小伙伴们理解方便,上边举的是最简单的单总体问题。单总体问题,常见于已经有了一个预设结论,之后推翻这个结论的情况。比如证明新版本A比老版本的数据好看。

我们常说的A/B测试,如果真是设计两个版本A版和B版,之后再检验AB版的区别,则涉及2个总体的均值/比例检验,需要用到不同的统计量。

以上检验均值/比例的方法,统称参数检验,还有非参数检验,比如检验身高和体重之间是否有关系。这些方法在实际工作中有不同的应用场景,之后再慢慢介绍吧。

以上就是本篇关于「假设检验」的全部内容啦,希望对您有所启发。

知识分享符合SMEI协会精神,但为尊重创作者,转载时请注明作者和网址{援引自本站法律声明}

出处:

本文转载自公众号:“码工小熊”, 原作者:小熊妹

总篇数1 字数1.6K 0 0 0 文章收藏0 专栏关注0

本文标签: 假设检验 A/B测试

相关文章

举报此文章
编辑推荐

换一换

推荐专栏

换一换

热门文章

换一换

免责声明

本站发表或转载的所有文章出于免费学习研究目的。本站不对其内容的正确与否及观点立场承担责任。 若发现有文章或图片侵害了您或他人的合法权益,欢迎投诉,我们将及时核实并按有关规定处理。

投诉邮箱:service@smei.net

斯脉教育科技(北京)有限公司 2016-2022

京ICP备16016874号-1

评论0 0 举报此文章
0收藏 0转发 0 0评论