跳至正文
杂学书库让好奇心有所归处
简体中文

挑选之后产生的错觉:伯克森悖论(Berkson's Paradox)

为什么号称美食的餐馆大多开在小巷深处或偏僻的地方?我们也常听人说,长得帅的明星演技差强人意,而演技好的演员长相却很普通。这样的经历积累多了,人们很容易得出“两种优点很难兼得”的结论。可是,这个结论也许不是世界本身造成的,而是我们看到的样本造成的错觉。这种现象就是“伯克森悖论(Berkson's Paradox)”。

简单来说,伯克森悖论指的是“只观察按某种标准筛选过的群体时,两个互不相关的特征之间会出现虚假负相关的现象”。在统计学中,它也被称为伯克森偏倚(Berkson's Bias)或对撞偏倚(Collider Bias),是由样本选取方式造成的一种选择偏倚。

本文将依次介绍最早发现伯克森悖论的医院故事、虚假关系产生的原理、日常生活中的例子,以及避免这种错觉的方法。

在虚拟的1000张邮票中只选出漂亮或稀有的370张时,不漂亮邮票中的稀有比例从10%变成100%的伯克森悖论说明图。
伯克森悖论:选择标准可以改变样本内部的关系。数值为本文虚拟例子。概念参考:Westreich(2012),Berkson’s bias, selection bias, and missing data。原文出处

伯克森悖论制造的虚假关系

什么是伯克森悖论?

在20世纪40年代的医院病案室里,一位身穿白大褂、戴着圆框眼镜的统计学家坐在木桌前查看成堆的病人卡片和文件夹,身后排列着高高的木制档案柜

这一现象最早由美国梅奥诊所(Mayo Clinic)的生物统计学家约瑟夫·伯克森(Joseph Berkson)在1946年发表于学术期刊《生物统计学通报(Biometrics Bulletin)》的论文中系统地指出。他是一位同时学过物理学、医学和统计学的研究者,关注的是仅凭医院数据来判断疾病病因的研究所存在的陷阱。

(1)只在医院里才看得到的关系
伯克森举的例子是糖尿病和胆囊炎。把住院病人集中起来看,没有糖尿病的病人一定是因为别的原因才来医院的,所以他们患有胆囊炎等其他疾病的可能性比一般人更高。结果,在医院里,这两种病看起来像是互相回避。即使在外面的世界里,这两种病毫无关系。

(2)相近的名称
即使是同一种现象,不同领域的叫法也略有不同。

  • 伯克森偏倚(Berkson's Bias):把同一现象当作样本问题来称呼的名称。
  • 对撞偏倚(Collider Bias):用两个原因共同影响的结果变量来筛选样本时产生的扭曲。
  • 内生选择偏倚(Endogenous Selection Bias):主要在社会学和经济学中使用的名称。

虚假负相关产生的原理

明亮的书房里,大桌子上散落着几百张五颜六色的邮票,旁边的玻璃展示柜里只整齐地摆放着挑选出来的邮票,一位收藏家拿着镊子和放大镜

关键在于“两者至少具备其一才能进入的门”。即使两个特征相互独立,只要把至少具备其中一种特征的人集中起来,缺少一种特征的人就更有可能具备另一种特征。因此在筛选过的群体中,看起来一方越高,另一方就越低。反过来,即使两个特征实际上是一同变化的关系,在筛选过的群体中,这种关系也可能显得变弱,甚至完全消失。

(1)用1,000张邮票算一算
假设某位收藏家有1,000张邮票,其中300张漂亮,100张稀有,30张既漂亮又稀有。在全部邮票中有10%是稀有的,在漂亮的邮票中也有10%是稀有的,所以漂亮与稀有毫无关系。可是,如果只展出漂亮或稀有的370张邮票,展示柜里那70张不漂亮的邮票就全都是稀有的。只看展示柜的人就会误以为“越不漂亮就越稀有”。

(2)“对撞变量”这个名称的含义
在“被展出”这一结果上,漂亮和稀有这两个原因的箭头撞到了一起。像这样两个原因汇聚的变量叫作对撞变量,一旦用这个变量来筛选样本,原本不存在的关系就产生了。


日常生活中的伯克森悖论

傍晚时分,老街区一条狭窄僻静的小巷里,一家小餐馆透出温暖的灯光,门前排着长队,小巷尽头可以看到明亮热闹的大街

伯克森悖论在医院之外也很常见,因为我们看到的大多数群体,都是已经通过了某种标准的人或事物。

[案例1] 长得好看的人为什么没礼貌?

美国数学家乔丹·艾伦伯格(Jordan Ellenberg)以约会对象为例。如果只和亲切程度与外貌相加的分数超过一定水平的人约会,那么不太亲切的人就必须外貌更出众才能过关。于是在约会过的人当中,就会形成“长得好看的人没礼貌”的印象,但在整个世界里,这两种特征可能毫无关系。

[案例2] 新冠肺炎研究的警告

2020年,研究人员也对新冠肺炎研究中的这一陷阱发出了警告。他们指出,如果只收集接受过检测或住院的人进行分析,影响检测和住院的多种因素就会相互交织,从而可能出现与实际不符的危险因素。这个案例说明,样本是如何收集的会改变结论。

[案例3] 偏僻小巷里的美食店

餐馆要生存下去,味道好和位置好这两点至少要占一样。位置好的餐馆即使味道普通,也能靠来往的客人撑下去,而偏僻小巷里的餐馆只有味道出众才不会关门。所以,如果只看今天仍在营业的餐馆,就会看到“越偏僻越好吃”的关系。这是因为已经关门的餐馆从样本中消失了。


如何避免伯克森悖论

在明亮的办公室里,一位研究人员把一个大筛子举在散落着五颜六色小木块的桌子上方,有些木块从筛孔中漏下,有些留在了筛子里

要避免这种错觉,在看结论之前,必须先确认样本是从哪扇门进来的。如果说类似的陷阱幸存者偏差是只看幸存下来的东西的问题,那么伯克森悖论就是错误解读筛选过的事物之间关系的问题。

(1)先问筛网是什么
要弄清这份资料是以什么标准、从哪些人那里收集来的。如果存在住院、录取、知名度这类两种特征共同影响的条件,就应该怀疑是虚假关系。

(2)与未经筛选的群体比较
如果可能,就与一般人群这类没有经过标准筛选的群体的资料进行比较。如果两个群体中呈现的关系不同,那就很可能是选取样本的过程造成的错觉。


伯克森悖论提醒我们,我们看到的世界是已经被筛选过一次的世界。像味道和位置、外貌和性格这样看似此消彼长的关系,打开样本之门重新审视,也许会呈现出完全不同的样子。

比起眼前的关系,先问问这个群体是如何聚集起来的,这正是不被数字欺骗的统计思维的第一步。