往红茶里加牛奶时,先倒牛奶还是先倒茶,味道会不一样吗?大多数人会觉得没什么区别,但在1919年,英国一家研究机构里的一位科学家却坚称两者明显不同。这场小小的争论,引出了统计学史上最著名的实验——女士品茶(Lady Tasting Tea)。
简单来说,女士品茶指的是“用事先设计好的实验,检验某个结果是否难以仅凭偶然出现的方法”。统计学家罗纳德·费希尔(Ronald Fisher)在1935年的著作《实验设计》(The Design of Experiments)中介绍了它,如今它被视为假设检验和随机化实验的起点。
本文将依次介绍实验开端的那杯茶、八杯茶实验的设计、70种组合与1.4%的概率,以及这项实验给今天的研究留下了什么。
用八杯茶来证明
1. 洛桑实验站的一杯茶

故事发生在英国的洛桑实验站(Rothamsted Experimental Station)。1919年,在那里工作的费希尔给同事递上一杯茶,一切由此开始。
(1) 请先倒牛奶
接过茶的是研究藻类的科学家穆里尔·布里斯托(Muriel Bristol)。布里斯托说她更喜欢先倒牛奶的茶,婉拒了这杯茶;费希尔则嗤之以鼻,认为倒的顺序不可能改变味道。
(2) 那就来试试吧
在一旁听到对话的同事威廉·罗奇(William Roach)提议:“我们来测试一下吧。”费希尔和罗奇一起想出了检验布里斯托是否真能分辨味道的方法。几年后的1923年,罗奇与布里斯托结婚。
(3) 把争论变成问题
这段轶事的关键在于,他们没有用嘴争论谁对谁错,而是把它变成了一个可以看结果来判断的问题。在实验之前就定好区分“碰巧猜对”和“真能分辨”的标准,正是这个故事的起点。
2. 八杯茶实验的设计

费希尔在《实验设计》中整理的实验很简单。8杯茶中,4杯先倒牛奶,4杯先倒茶,并按随机顺序端上。品尝者事先知道这种安排,可以相互比较,挑出先倒牛奶的4杯。

- 零假设(Null Hypothesis):假定品尝者没有分辨能力,实验要检验是否出现足以推翻这一假定的证据。
- 随机化(Randomization):把杯子的顺序交给偶然,使杯子的位置、端茶的习惯等其他线索不混入结果。
- 显著性水平(Significance Level):判断结果难以用偶然解释的概率标准,通常使用5%。
- 超几何分布(Hypergeometric Distribution):从8杯中选4杯时,选对杯数所服从的概率分布;使用这一计算的方法就是费希尔精确检验(Fisher’s Exact Test)。
关键在于,实验经过设计,使答对的概率在实验开始前就能计算。正因为顺序是随机打乱的,才能准确算出“如果没有分辨能力,会以多大频率出现哪种结果”。
3. 70种组合与1.4%

设想一个没有分辨能力的人随意挑出4杯。从8杯中挑4杯的方法共有70种,其中正确答案只有一种。
(1) 全部猜对的概率
碰巧4杯全部猜对的概率是1/70,约1.4%。这比常用的5%标准还小,所以一旦出现这种结果,就可以放弃“只是运气好”的解释。
(2) 如果只猜对3杯
4杯中恰好猜对3杯的方法有16种,概率约22.9%;猜对3杯及以上的概率是17/70,约24.3%。这样的结果靠偶然也大约每四次就会出现一次,很难当作证据。因此,费希尔决定只有8杯全部分对时才拒绝零假设。
(3) 实际结果
统计学家戴维·萨尔斯伯格(David Salsburg)在2002年的著作《女士品茶》(The Lady Tasting Tea)中,根据同事H. Fairfield Smith告诉他的话,转述说布里斯托8杯全部猜对。罗奇也回忆说,她猜对的杯数足以证明自己的主张,而且绰绰有余。
4. 留给今天实验的遗产

品茶实验只是一个小插曲,但其中的思想已成为今天从新药临床试验到网站A/B测试等无数实验的骨架。
(1) 随机分配
把什么放在哪一边交给偶然,研究者的期待或未曾察觉的差异混入结果的空间就会变小。费希尔在洛桑实验站的农业试验中也强调了同样的原则。
(2) 不是证明,而是证伪
费希尔写道,零假设在实验中“从未被证明或确立,只可能被推翻”。也就是说,没有把8杯全部猜对,并不能断定她没有分辨能力。
(3) 几杯才够?
只有8杯时,必须4杯全部猜对才能算作证据。费希尔也讨论过增加试验次数、重复实验的好处,今天的研究事先确定样本量,也源于同样的考虑。关于如何设定假设,可以在零假设与备择假设一文中了解更多。
“在争论之前,先数一数如果只是偶然会出现什么结果”这一简单的想法,就是理解女士品茶的第一步。