《The Book of Why》笔记:3-从证据到因

从证据到因

从证据到因:当贝叶斯牧师预见福尔摩斯先生

1. 电脑侦探波拿巴

2014 年,马航空难,调查人员在面对确定繁多的损毁严重的遇难者遗体的身份鉴定问题时,使用法医研究所科学家的工具 “波拿巴” 遇难者识别程序快速的识别出了遇难者中 294 人的身份。

贝叶斯网络在诸多领域发挥了重要的作用。因果图一个典型的贝叶斯网络,其中每个箭头都至少表明可能存在某个因果关系。

2. 贝叶斯牧师与逆概率问题

贝叶斯牧师关心两个事件的概率,其中一个事件(假设)发生在另一个(证据)之前。对因果解释的追求是他提出 “逆概率”(inverse probability)分析背后的驱动力。

贝叶斯的论文表明如果我们知道因,那么可以容易的估计出果的概率,这是一个前向概率。对于反面,则较难推理,贝叶斯致力于打破这种认知不对称,提出了一种估算逆概率的方法。基本体现如下:

P(S|T)P(T) = P(T|S)P(S)
\tag{1}

该公式在统计学上的重要运用是:可以在我们判断较为可靠的方向上直接估算出条件概率,并利用数学工具推导出我们判断较为模糊的另一方向上的条件概率。

可以将贝叶斯法则看作一种方法,用以更新对某一特定假设的信念。人类对没来发生事件的信念大多取决于该事件或者类似事件在过去发生的频率。贝叶斯法则所做的事将数字融入这个推理过程。

对于贝叶斯法则,有两条深刻的异议的存在:

  1. 哲学层面的异议聚焦于将信念解释一种信念度(degree of belief),但是我们是否可以合法地将假设我知道这句表达式翻译成概率语言,这些假设反映了我对命题的信念度,但是如何证明对修正后的信念度。而贝叶斯的成就在于首次提出了条件概率的正式定义。
  2. 在应用层面上,贝叶斯推理允许在数学上表达个人经验,并以条理化的、易懂的方式将其与数据结合,在普通的直觉或者情绪可能导致我们误入歧途的情况下,引导进行正确的推理。

从许多层面说,贝叶斯方法都是对科学方法的提炼:

  1. 提出一个假设
  2. 推断假设的可检验结果
  3. 进行实验并收集证据
  4. 更新对假设的信念

而现实中的的证据并非要么证实了假设,要么驳斥了假设,所有的证据都包含了一定的不确定性。贝叶斯法则告诉如何在现实世界中执行对假设信念的更新。

3. 从贝叶斯法则到贝叶斯网络

20 世纪 80 年代初,使用硬性规则编码的知识库通常很难捕捉到真实生活中的知识,编码者可能没有意识到一直在应对例外情况和证据的不确定性。

当时的研究者们也考虑借助概率来解决这一问题,但该类方法对存储空间和处理效率的要求非常高,以当时的条件看来根本难以满足。

作者在当时提出了非常激进的建议:将概率视为常识的守护者,聚焦于修复在计算方面的缺陷。用一个松散耦合的变量网络来表示概率。假设只让每个变量与它的几个相邻变量发生相互作用,那么就可以克服导致其他概率论者犯错的计算障碍。

4. 贝叶斯网络:应如何看待数据

贝叶斯网络并未假设箭头有任何因果意义,仅仅表示知道前向概率。并运用贝叶斯法则告诉我们如何逆转正向推理的过程。

在形式上,信念传播采用了完全一致的处理方式,并不考虑箭头是因果的还是非因果的。在贝叶斯网络和因果网络中,三种基本的接合都是所有模式的基本组分:

  1. $A \rightarrow B \rightarrow C$,链接合,代表某种中介物机制。中介物屏蔽(screen off)了暴露因子到结果因子的信息。
  2. $A \leftarrow B \rightarrow C$,叉接合,代表某种混杂因子。
  3. $A \rightarrow B \leftarrow C$,对撞接合,代表了两种不相关的共同导致某一因素的因素。当控制了对撞节点之后,反而有可能导致负相关,称为对撞偏倚。

三种接合形式,能够帮助实现从第一层级到第二层级的窥探。每种接合都代表了一个因果流的不同模式。

5. 我的行李箱在哪里?从亚琛到桑给巴尔

图示相当于贝叶斯网络的引擎,使用条件概率表(conditional probability table,CPT)作为驱动的燃料。

为了将因果图转化为贝叶斯网络,必须制定料件概率表。之后使用贝叶斯法则能够自动地进行相应的计算。

6. 真实世界中的贝叶斯网络

从 “波拿巴” 等例子中可以发现,贝叶斯网络存在诸多优势:网络一旦建立,调查员就无需对其进行干预,告诉它该如何评估新的数据片段。整个网络是一体化的,意味着它作为整体对所有的新信息作出反应。它具有透明性。

使用贝叶斯网络的思想理解 turbo 码为信息进行直接编码和添加干扰后的编码的两次编码,相当于在一贝叶斯网络上重复运用信念传播公式。

7. 从贝叶斯网络到因果图

从理论和实践的角度,贝叶斯网络专注了实现因果图和数据的交互的关键。其所有概率性质和基础上发展起来的信念传播算法在因果图中仍然有效。

但是两者之间的主要区别在于他们构造和用途。贝叶斯网络只不过是一张巨大的概率表的简洁表现形式。而因果图的思路和最终的对图示的解释相关。其中,结构和箭头指向都非常重要:

  • 因果假设不能是心血来潮的虚构:必须经过数据的审查,并且是可证伪的
  • 它的图形属性决定哪些因果模型可以借助数据来区分,哪些永远无法借助数据来区分

贝叶斯网络对因果推断的影响还体现在:被揭示出的因果图的图形结构与它所代表的数据之间的关系,允许在不进行实际操作的情况下模拟调整。

对于传统统计学家所掌握的处理因果关系的方法的局限性:统计学家在一种特殊的情况下赦免对因果关系的讨论:随机对照实验(RCT),其中 “处理” 被随机的分配给某些个体,不分配给其它个体,之后对比在两组个体中观察到的结果变量的变化的差异。

下一章将讨论为什么必须进行随机化实验,才能在旧的、模型盲的科学中才能获取因果结论,以及混杂的性质。

Tagged with:

发表评论

电子邮件地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据