条件概率/全概率/贝叶斯公式个人理解

2019-12-03

一个事件A在另一个事件B已经发生条件下的发生概率，记为P(A|B)

条件概率公式
若P(B)=0, P(A|B)无定义

两个事件共同发生的概率，记为P(AB)、P(A, B) 或 P(A∩B)

若两个随机事件A、B相互独立，则 P(AB) = P(A) × P(B)
反之，若P(AB) = P(A) × P(B) ，则两个随机事件A、B相互独立

独立即随机事件发生的情况都有可能，而互斥则表示不可能同时发生

事件L₁，L₂，… ，L_n，是一个完备事件组（全集），对任意一个事件C，若有

成立，则称此公式为全概率公式
将条件概率引入，即 P( C) = P(C|L₁)+ … + P(C|L_n)

到达某个目的（C）有多种方式，对应不同的概率，求到达目的的概率P( C)

贝叶斯公式也叫贝叶斯定理，由条件概率和全概率导出。关于应用还不太清楚，这里只简单介绍这几个概率公式，为后续互信息熵做基础。

由条件概率可导出： P(A∩B) = P(A|B) × P(B) = P(B|A) × P(A)
即：P(A|B)=P(B|A)×P(A) / P(B)
将全概率公式意义代入：即 B <- C ， A <- L
则有：
贝叶斯公式
即

联合全概率会更容易些。
全概率是求到达目的的多种方式概率之和，而贝叶斯概率公式执果索因，已知结果C的情况下，求导致这个结果的某个原因L_k的概率