【老计带你懂概率统计】03：条件概率与贝叶斯定理，从线索反推真相的神器

【老计带你懂概率统计】03条件概率与贝叶斯定理从线索反推真相的神器开头一个能吓坏人的体检问题先给你出一道题这道题据说很多医生都会答错。假设有一种病在人群里的发病率是0.1%一千人里有一个。有一种检测手段准确率99%真有病的人99%能被查出阳性没病的人也有99%显示阴性。现在你去体检结果显示阳性。请问你真的得了这种病的概率是多少绝大多数人的第一反应是“检测准确率99%那我得病的概率应该有99%吧完了完了。”大错特错。正确答案是你真得病的概率其实只有大约9%。是的就算查出阳性你有九成以上的可能是虚惊一场。这个反直觉到让人震惊的答案背后就是这一篇的主角条件概率和贝叶斯定理。搞懂它你不仅能解开这个谜题还能获得一种从线索反推真相的强大思维能力。这是整个概率统计里我个人觉得最优美、最有用的一块。先讲条件概率在某个前提下的概率要理解贝叶斯定理先得懂条件概率。条件概率说的是在某个条件已经成立的前提下另一件事发生的概率。记作在B发生的条件下A发生的概率。举个例子。随便抽一个人他是篮球运动员的概率很低。但如果我告诉你这个人身高两米一那他是篮球运动员的概率一下就高了。“身高两米一这个条件改变了我们对是不是篮球运动员的判断。这个已知身高两米一、他是篮球运动员的概率”就是条件概率。条件概率的核心思想是新的信息会改变概率。没有任何信息时你有个基础判断一旦获得新条件、新线索你就该据此更新判断。这和上一篇贝叶斯派根据新证据更新信念是一脉相承的。这里有个关键区分很多错误都源于把两个方向的条件概率搞混“是篮球运动员、身高超两米的概率”几乎百分百和“身高超两米、是篮球运动员的概率”其实不高因为高个子里也有很多不打篮球的这是完全不同的两回事。前面那道体检题很多人答错正是把有病、查出阳性的概率99%当成了查出阳性、真有病的概率其实只有9%。这两个方向绝不能划等号而贝叶斯定理正是连接这两个方向的桥梁。贝叶斯定理连接两个方向的桥梁贝叶斯定理干的事一句话概括它让你用容易知道的那个方向的条件概率去算出你真正想知道、却不好直接得到的另一个方向的条件概率。我不写吓人的公式用大白话讲清它需要哪几样东西还是用体检的例子先验概率在没做检测前你得病的基础概率也就是发病率0.1%。这叫先验是你的初始判断。似然如果真有病检测查出阳性的概率99%如果没病检测误报阳性的概率1%。贝叶斯定理把这几样一综合就能反算出你真正想要的查出阳性后、真有病的概率这叫后验概率是结合了新证据后更新的判断。核心逻辑就是先有个初始判断先验再拿新证据检测结果去修正它得到更新后的判断后验。这个先验加证据得到后验的过程就是贝叶斯定理的灵魂它精确地量化了看到线索后该如何更新对真相的判断。这里有个特别美的性质值得单独讲贝叶斯更新是可以连续进行的。今天你根据一条证据把先验更新成了后验明天又来了新证据你就把昨天的后验当成新的先验再更新一次得到新的后验。信念就这样随着证据的不断到来一步步被打磨得越来越接近真相。前面那道体检题就是活例子初筛阳性后你别慌后验才9%但如果再做一次更精确的复查又是阳性你就拿这9%当新先验再更新一次这次后验会大幅提高这时候才真该重视。这种证据越攒越多、判断越来越准的机制特别符合我们理性认识世界的过程也正是机器学习里模型吃的数据越多、就越聪明的数学本质。一个懂贝叶斯的人不会因为一条证据就下死结论也不会对堆积如山的证据视而不见而是让判断随证据动态演进这是一种难得的思维成熟。破解体检之谜为什么阳性了也大概率没病现在用大白话把那个9%算出来你就彻底懂了。想象有一万个人来体检。真有病的一万人里发病率0.1%也就是10个人真有病。这10个人里99%被查出阳性约10个阳性真阳性。没病的剩下9990个人没病。但检测有1%的误报率所以有9990乘1%约100个没病的人也被误查成阳性假阳性。现在关键来了。所有被查出阳性的人一共是 10真阳性加 100假阳性等于110个。而其中真正有病的只有10个。所以你查出阳性、真有病的概率是10除以110约等于9%。看明白了吗问题的关键在于这个病太罕见了先验概率极低。罕见到就算检测很准那些数量庞大的健康人贡献的假阳性100个也远远多过真病人贡献的真阳性10个。所以阳性里绝大多数是虚惊。打个比方在一个几乎没有小偷的诚实小镇上就算你的报警器很灵敏它响起来时也多半是误报被风吹了、猫碰了而不是真来了小偷因为真小偷实在太少了。这就是为什么医生对罕见病的初筛阳性通常会让你别慌、再做进一步确诊而不是直接下结论。这个道理的杀伤力极大它提醒我们判断一件事不能只看证据本身有多强检测多准还必须考虑这件事本身的基础概率先验有多低。忽略先验概率是人类最常犯的思维错误之一心理学上叫基础比率忽视。上代码验证贝叶斯计算我们用代码把上面的推算跑一遍验证那个9%。输入发病率、检测准确率。输出阳性后真有病的概率。# 依赖纯Python,无需额外库# 场景参数prevalence0.001# 发病率(先验):0.1%sensitivity0.99# 真有病查出阳性的概率(灵敏度)specificity0.99# 没病显示阴性的概率(特异度),所以误报率1-0.990.01# 用贝叶斯定理算:阳性条件下真有病的概率(后验)# P(病|阳) P(阳|病)*P(病) / P(阳)# P(阳) 真有病且阳 没病却阳p_pos_given_diseasesensitivity*prevalence p_pos_given_healthy(1-specificity)*(1-prevalence)p_positivep_pos_given_diseasep_pos_given_healthy p_disease_given_posp_pos_given_disease/p_positiveprint(f发病率(先验):{prevalence:.1%})print(f检测准确率:{sensitivity:.0%})print(f查出阳性后,真有病的概率(后验):{p_disease_given_pos:.1%})# 换个场景:如果这病很常见(发病率10%),再看看阳性后有病的概率prevalence20.10p2(sensitivity*prevalence2)/(sensitivity*prevalence2(1-specificity)*(1-prevalence2))print(f\n如果发病率是10%,阳性后真有病的概率:{p2:.1%})print(对比可见:病越罕见,阳性的可信度越低;病越常见,阳性越可信)运行输出示例发病率(先验): 0.1% 检测准确率: 99% 查出阳性后,真有病的概率(后验): 9.0% 如果发病率是10%,阳性后真有病的概率: 91.7% 对比可见:病越罕见,阳性的可信度越低;病越常见,阳性越可信运行你会看到发病率0.1%时阳性后真有病概率约9%而发病率提到10%时同样的检测阳性后真有病概率飙升到约92%。这清楚地说明同一个检测结果的意义严重依赖于先验概率。脱离先验谈证据会得出完全错误的结论。这段代码你可以改改参数亲自体会先验概率的巨大影响。在AI和现实里怎么用贝叶斯定理是概率统计里应用最广的工具之一在AI里上个系列讲的朴素贝叶斯分类器垃圾邮件、文本分类核心就是它用词出现的规律似然加上垃圾邮件的基础比例先验反推出一封邮件是垃圾的概率后验。更广地说很多机器学习模型都可以理解为在用数据不断更新对参数的贝叶斯信念。在现实里这套先验加证据得后验的思维是理性判断的黄金框架。看到一个惊人的说法先想想它的先验概率高不高一个平平无奇的人自称首富先验极低需要极强证据医疗初筛阳性别先吓自己考虑先验甚至判断一个人可不可信也是先有印象先验再根据接触证据不断更新。贝叶斯思维本质是一种既不盲从证据、也不无视证据的清醒。一个自然的疑问先验从哪来学到这你可能会问贝叶斯全靠先验那这个先验概率到底哪来的、会不会是拍脑袋这是个好问题也是历史上频率派攻击贝叶斯派的点我给你说清楚。先验的来源通常有这么几种。最理想的是有客观数据比如疾病发病率、某类事件的历史频率这种先验最硬。其次是基于领域知识的合理估计比如医生根据经验判断一个病症的大致概率。实在没有信息时可以用一个不偏不倚的先验比如认为各种可能性均等让数据自己说话。关键的一点是别太纠结先验不够精确。因为贝叶斯有个让人安心的特性随着证据数据越来越多先验的影响会越来越小后验会越来越被数据主导。就像前面说的连续更新哪怕你一开始的先验估得糙一点只要不断有新证据进来判断最终还是会收敛到真相附近。打个比方先验像你对一个陌生人的第一印象可能不太准但随着交往加深证据积累你对他的判断会越来越客观第一印象的偏差会被慢慢冲淡。所以贝叶斯方法在实践中相当稳健不用因为先验有点主观就否定它。常见误区忽视先验基础比率只看证据多强不看事情本身多罕见这是最大的坑前面体检题就是。混淆两个方向的条件概率把有病查出阳性当成阳性就有病方向反了。以为高准确率就万无一失在罕见事件上再高的准确率也可能被海量的假阳性淹没。小结与承上启下条件概率在某个条件成立的前提下另一件事的概率核心是新信息会改变概率。贝叶斯定理连接两个方向条件概率的桥梁用先验加证据似然算出后验量化了看到线索后如何更新判断。体检之谜病越罕见阳性越可能是假阳性因为必须考虑极低的先验概率忽视先验是人类常犯的大错。应用AI里的朴素贝叶斯现实里既不盲从也不无视证据的理性判断框架。我们已经会用概率描述单个事件、用贝叶斯从线索反推真相了。可现实里我们常常面对的不是一个事件而是一个会变化的量比如明天的气温、一次促销的销量、一个用户的停留时长。怎么用概率来描述这种会随机取不同值的量下一篇我们讲随机变量与概率分布把不确定性变成可计算的数学对象。我们下一篇见。延伸阅读贝叶斯定理与假阳性问题可按关键词Base Rate Fallacy基础比率谬误检索经典案例姊妹篇《老计带你懂AI算法》第06篇朴素贝叶斯是本篇思想在机器学习里的直接应用说明以上为公开资料如链接失效可用标题搜索。