机器学习之归纳偏好、奥卡姆剃刀、没有免费的午餐

15195775117

【归纳偏好】的指导性原则---【奥卡姆剃刀】


对于相同的【训练数据】，可以得出不同的模型，不同的模型给出的对【测试数据】的预测结果会不同，
我们很难说那种模型才是对的，

不同人有不同的喜好，选择了不同的模型，这就叫【归纳偏好】。


因为符合【训练数据】的模型可能有很多，所以：
任何一个有效的机器学习算法必有其归纳偏好。
不然，如果算法对一个固定的样例，给出的结果每次不一样，那就没意义。


对于有多个模型可选的情况，有一个指导性原则，叫【奥卡姆剃刀】：选那个最简单的！
这个定理有点哲学味道。
按我的理解，越简单就越一般，越复杂就越特殊，简单的通常普适性较好。


但是，什么算“简单”呢？有时2个模型看起来，简单或复杂程度差不多，不好比较。

15195775117

【没有免费的午餐NFL】定律


这个定理是说，基于相同【训练数据】得出的一些模型，无论这个算法多么“聪明”，那个算法多么“笨拙”，“期望性能”是相同的。

我觉得，这个定律等于废话，因为除了看美丑，你没有硬指标来比较模型的好坏，所以就泛泛而论，说是一样的。

当然，NFL定律的真正含义，是说，模型与具体问题的适配性，即我们的【归纳偏好】有没有“蒙对”，决定了算法好不好。

topmad

每天跟着一起学

15195775117

topmad 发表于 2022-8-17 15:58
每天跟着一起学

{:5_265:}
{:5_265:}

xiaomaozhao77

赞一个，继续学习

myj0219

谢谢分享！！！！！！！！！！！！！！