专家说

我好像看到了假的数据分析?


我好像看到了假的数据分析?

作为一个小头目,经常会读到来自各种团队的数据分析报告,看似基于理性和事实,然而有可能是有意或无意的诡辩。搞得我经常像傻白甜的美少女面对追求的少男一样,面对这些严谨的数据分析也不得不多长几个心眼。

1.可视化的误导

一般来说,画出图表就容易让人肃然起敬,至少架势是足的,然而其中却容易出现诡计。

下图的作者为了表达中国城镇化率的增加以及家庭小型化趋势对房价的支撑作用,摆出了两个柱状图,然而为了表达这两个指标的强烈趋势,Y轴都不是从0开始,于是在视觉上更容易产生冲击力,但却含有误导性。(不过被误导也就罢了,一二线这个趋势,早几年买房也不是坏事儿。)

下图的作者为了表达软件开发类不同等级之间的工资巨大差异,居然把最低值、平均值和最高值叠加在一起进行呈现。效果是出来了,但逻辑和节操却大珠小珠落玉盘。

2.使用孤证或者不靠谱的绝对值

“林子大了什么鸟都有”,这句俗语特别适合于使用孤证或者不靠谱绝对值来证明自己价值的数据分析,这是大公司里经常出现的场景,因为大公司产品经理偏爱依赖巨大流量来尝试一些新功能。

比如最近某产品推出类社区的产品功能,大家都质疑其与主方向毫无关系。产品经理立即跳出来反驳,使用该功能的N个用户已经找到了工作(找工作是该产品的核心功能之一)。然而每天上千万用户在产品里晃来晃去,做出啥事儿都不稀奇,举出孤证有意思吗?这时候想起知乎名言:脱离剂量,谈论食物毒性,都是耍流氓。

所以为了印象深刻,参考“林子大了什么鸟都有”,这句俗语也可以考虑改成“数字大了什么鸟都有”。

3.推理逻辑混乱

许多数据分析虽然带有充分的数据,但是逻辑推理极其混乱。

前段时间遇到某产品在一级入口上线新功能X,然而却有可能和位于二级入口的原有功能Y冲突,功能X抢夺了功能Y的用户。

如同大家都了解的,大公司里面做产品,经常发生的事情就是左兜掏右兜,把用户像赶鸭子一样赶来赶去,不过总有一个兜的人因为数据大增要得到嘉奖。这里面最直观的例子就是:不少公司的小程序用户大增而受表扬,不过主App的数据跌了。

到了要作报告的时候,这位产品经理经过一天的数据分析后得意宣称:担心是多余的,因为数据显示,使用X功能的用户有60%使用了Y功能。

那么使用X而不用Y的40%用户在干嘛呢?算不算Y功能的流失?

4.扶不上墙的小规模测试

产品经理为了工作的严谨性,经常利用小规模测试甚至是AB测试来观察新功能。然而一个诡异的现象却是,小规模测试效果不错的功能,全量之后却差强人意。这往往可能是因为取样偏差造成的,因为求胜心切,产品经理在取样时很容易有意或无意地形成取样偏差。这里面常见的两个偏差是幸存者偏差和辛普森偏差。

幸存者偏差。前一段我们公司搞用户开放日,与应邀前来的用户做Focus Group(用户焦点访谈)。结果在访谈中用户对我们产品简直是满意无比,大大出乎我们意料。除去用户保持绅士风或淑女风不敢当面怼我们之外,更主要的原因是邀约是通过我们App上面的推广,来的用户都不是被我们伤碎了心的人,所以好感爆棚。如果基于这些用户去做新功能的小规模测试,一定会出现偏差。

辛普森偏差。下图是从网上摘取的一个关于肾结石治疗方案的AB测试。单个病例看,A方案都优于B方案;然而,总体看,结论反转。存在差异的结论主要是来源于样本的不同:大小结石病例在A和B中的构成比例相差较大,从而形成两个完全不同的样本,于是造成这样的结果反转。

5.乱配因果关系

据说世界上比暧昧关系更难证明的是因果关系,它也比暧昧关系更加容易搞错而陷入泥潭。这里以自己犯过的错误为例再恰当不过了(生活中的数据犀利哥之五:找错因果关系 )。

之前在知乎上面对一个冷门问答时,自鸣得意地使用某指数工具的相关功能,发现“诗歌”和“感恩节”之前的强相关性,于是又找到各种理由来让自己相信两者之间的因果关系。

虽然总觉得哪里有点不对,但为了骗赞还是忍不住发了。结果被人打脸,更为可能的因果关系是:被人教版语文课本折磨的六年级小学生,赶上综合性学习活动“轻叩诗歌的大门”,课本的进度正在这个时间点左右(每年11月20号前后),于是大量小学生搜索“诗歌”来完成作业。

这样错配因果关系的案例在生活中不少,大家可以留意收集。不过国外已经有人这么做,我将这些看似逻辑相关,但是其实因果关系错乱的例子发出来与大家共享,以便行文自嘲。

(1)尼古拉斯凯奇在电影中的出镜和淹死在游泳池里的人数,高度相关。

(2)被床单缠死的人数和人均奶酪消耗量,高度相关。

(3)美国在科技及空间领域的投入、绞死及各种窒息的花样作死的人数,高度相关。



专家说
东北振兴来得猝不及防
专家说
深析知识付费领域中的KOL
专家说
把一件事情做到10倍好,比做到10%更容易得多
已有 0 条评论