机器学习之【朴素贝叶斯分类】理论部分

15195775117

朴素贝叶斯，是目前使用最广的2种分类模型之一：

1、朴素贝叶斯模型（Naive Bayesian Model=NBM）

2、决策树模型（Decision Tree Model=DTM）

贝叶斯数学基础简单温习见：贝叶斯公式与核酸检测

1、应用领域

（1）维度非常高的数据集；

（2）为分类问题提供快速粗糙的基本方案；

（3）常用于文本分类，尤其对英语等语言，

（4）垃圾文本过滤，情感预测，推荐系统...

2、优点

• 数学理论基础坚实；
• 分类效率稳定；
• 与其他分类方法相比误判率很低；
• 对小规模数据表现很好；
• 算法简单，所需参数少，运行速度快；
• 算法健壮，对缺失数据不敏感；
• 适合增量式训练，尤其是数据量超出内存时，可以一批批进行增量式训练。这个特点非常好！就好像克里金插值法支持拼接一样，很nice！
• 当数据集属性之间的关系相对独立时，效果更好。
  

3、缺点

• 对输入数据的表达形式敏感(离散连续、极大值极小值)
• 分类是通过【先验概率+数据-->后验概率】来实现的，但先验概率很多时候取决于假设，假设准不准是个问题。
• 如果属性比较多，或相关性较大时，分类效果不好。例如O3与NO2，气温与湿度关联性很大，这就不太好了。改进方法：【半朴素贝叶斯】
  

15195775117

4、【朴素贝叶斯】的通俗逻辑

依据条件概率公式，计算当前特征的样本属于某个分类的概率，选择最大的概率分类。
比如，现在有一个人，我们不知道他是哪个民族的，
我们记录他的肤色、颧骨、腿长、体毛等身体特征，
然后计算相似属性的人在美国、中国、南非、阿拉伯的比例，看哪个概率最大。

5、番外：【零概率问题】-【拉普拉斯校准】

在贝叶斯分类的数学公式中，有个小bug：

有些事件没有发生，概率为0，会导致错误。

[拉普拉斯校准]就是为了fix这种bug的。

（其实，乘法、对数相关的数学模型，常需要对付零这个捣蛋鬼。）

当然，知道有这回事即可，sklearn的贝叶斯算法模型肯定早把这个写进去了。