第4章 朴素贝叶斯法

1.基本方法

朴素贝叶斯法（naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入$x$，利用贝叶斯定理求出后验概率最大的输出$y$.

先学习先验概率分布$P(Y=c_k)$及条件概率分布$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},\cdots,X^{(N)}=x^{(n)}|Y=c_k)$从而得到联合概率分布$P(X,Y)$
由于条件概率分布有指数级数量的参数，所以对条件概率分布做了条件独立性假设用于分类的特征在类确定的条件下都是条件独立的：$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},\cdots,X^{(N)}=x^{(n)}|Y=c_k)=\prod_{j=1}^n{P(X^j=x^j|Y=c_k)}$
分类器：$y=f(x)=\arg\max_{c_k}\frac{P(Y=c_k)\Pi_{j}P(X^{j}=x^j|Y=c_k)}{\sum_k{P(Y=c_k)\Pi_{j}P(X^{j}=x^j|Y=c_k)}}$

后验概率最大化的含义

期望风险最小化准则变为了后验概率最大化准则
$$
\begin{align}
f(x)&=\arg\min_{y\in\mathcal{Y}}\sum_{k=1}^K{L(c_k,y)P(c_k|X=x)}\
&=\arg\min_{y\in\mathcal{Y}}\sum_{k=1}^K{P(y\neq c_k|X=x)}\
&=\arg\min_{y\in\mathcal{Y}}{(1-P(y=c_k|X=x))}\
&=\arg\max_{y\in\mathcal{Y}}{P(y=c_k|X=x)}\
\end{align}
$$

2.朴素贝叶斯法的参数估计

极大似然估计

估计先验概率：$P(Y=c_k)=\frac{\sum_{i=1}^N{I(y_i=c_k)}}{N},I为指示函数$
估计条件概率：$P(X^j=a_{jl}|Y=c_k)=\frac{\sum_{i=1}^{N}{I(x_i^j=a_{jl},y_i=c_k)}}{\sum_{i=1}^{N}{I(y_i=c_k)}}$
会出现所有估计概率值为0的情况

贝叶斯估计

估计先验概率：$P_\lambda(Y=c_k)=\frac{\sum_{i=1}^N{I(y_i=c_k)}+\lambda}{N+K\lambda},I为指示函数$
估计条件概率：$P_\lambda(X^j=a_{jl}|Y=c_k)=\frac{\sum_{i=1}^N{I(x_i^j=a_{jl},y_i=c_k)+\lambda}}{\sum_{i=1}^N{I(y_i=c_k)+S_j\lambda}}$
$\lambda=0$就是极大似然估计，$\lambda=1$就是拉普拉斯平滑