混合类型随机变量的贝叶斯公式离散变量用大写PPP表示概率连续变量用小写ppp表示概率密度。1. 离散型随机变量Discrete Random Variables当XXX和YYY都是离散型随机变量时贝叶斯公式用于计算在观测到XxXxXx的条件下YYY取值为kkk的概率。公式P(Yk∣Xx)P(Xx∣Yk)⋅P(Yk)P(Xx) P(Yk \mid Xx) \frac{P(Xx \mid Yk) \cdot P(Yk)}{P(Xx)}P(Yk∣Xx)P(Xx)P(Xx∣Yk)⋅P(Yk)​分母展开全概率公式P(Xx)∑jP(Xx∣Yj)⋅P(Yj) P(Xx) \sum_{j} P(Xx \mid Yj) \cdot P(Yj)P(Xx)j∑​P(Xx∣Yj)⋅P(Yj)符号说明P(Yk∣Xx)P(Yk \mid Xx)P(Yk∣Xx)后验概率Posterior即观测到数据后类别为kkk的概率。P(Xx∣Yk)P(Xx \mid Yk)P(Xx∣Yk)似然度Likelihood在类别kkk下观测到数据xxx的概率。P(Yk)P(Yk)P(Yk)先验概率Prior类别kkk出现的固有概率。P(Xx)P(Xx)P(Xx)证据因子Evidence观测到数据xxx的总概率归一化常数。2. 连续型随机变量Continuous Random Variables当XXX和YYY都是连续型随机变量时由于单点取值的概率严格为 0即P(Xx)0P(Xx)0P(Xx)0不能使用大写PPP而使用概率密度函数PDF即小写ppp。公式p(y∣x)p(x∣y)⋅p(y)p(x) p(y \mid x) \frac{p(x \mid y) \cdot p(y)}{p(x)}p(y∣x)p(x)p(x∣y)⋅p(y)​分母展开连续型全概率公式p(x)∫−∞∞p(x∣y)⋅p(y) dy p(x) \int_{-\infty}^{\infty} p(x \mid y) \cdot p(y) \, dyp(x)∫−∞∞​p(x∣y)⋅p(y)dy符号说明p(y∣x)p(y \mid x)p(y∣x)后验概率密度函数。p(x∣y)p(x \mid y)p(x∣y)类条件概率密度函数似然函数。p(y)p(y)p(y)先验概率密度函数。p(x)p(x)p(x)边缘概率密度函数归一化常数。3. 混合贝叶斯公式当XXX为连续随机变量YYY为离散随机变量时贝叶斯公式写作P(Yk∣Xx)p(x∣Yk)⋅P(Yk)p(x) P(Yk \mid Xx) \frac{p(x \mid Yk) \cdot P(Yk)}{p(x)}P(Yk∣Xx)p(x)p(x∣Yk)⋅P(Yk)​其中分母p(x)p(x)p(x)通过全概率公式计算求和形式p(x)∑jp(x∣Yj)⋅P(Yj) p(x) \sum_{j} p(x \mid Yj) \cdot P(Yj)p(x)j∑​p(x∣Yj)⋅P(Yj)P(Yk∣Xx)P(Yk \mid Xx)P(Yk∣Xx)后验概率。这是一个具体的数值0 到 1 之间。含义在观测到特征值为xxx的条件下随机变量YYY取值为kkk的概率。p(x∣Yk)p(x \mid Yk)p(x∣Yk)类条件概率密度。因为XXX是连续变量这里必须用小写ppp表示密度。含义在已知类别为kkk的情况下特征XXX落在xxx附近的概率密度即似然度。P(Yk)P(Yk)P(Yk)先验概率。因为YYY是离散变量这里用大写PPP表示事件的概率。含义在没有观测数据之前类别kkk出现的固有概率。p(x)p(x)p(x)边缘概率密度。因为XXX是连续变量这里用小写ppp表示密度。含义特征XXX取值为xxx的总体密度起到归一化常数的作用。