1.基本方法

朴素贝叶斯法（naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入$x$，利用贝叶斯定理求出后验概率最大的输出$y$.

2.1 感知机模型

$$
f(x)=sign(w\cdot x+b),\ sign(x)=\begin{cases}+1,x\ge0\-1,x\lt0\end{cases}
$$

对于特征空间$\mathbf{R}^n$中的一个超平面$S$，其中$w$是超平面的法向量，$b$是超平面的截距。

1. 统计学习基本分类

监督学习 学习输入到输出的映射的统计规律

1-输入空间、特征空间和输出空间：特征连续预测是回归，离散预测是分类
2-联合概率分布：假设输入与输出服从联合分布（关于数据的基本假设）
3-假设空间：模型属于由输入空间到输出空间的映射的集合，意味着学习范围的确定。模型可以是概率模型（$P(Y|X)$）或非概率模型$Y=f(X)$