机器学习之线性回归、对数几率回归

15195775117

属性参数化的方法：

1、对于有大小相对关系的：
['高','矮']->[1,0]
['高','中','低']->[1,0.5,0]

2、没有大小相对关系的：
['西瓜','南瓜','黄瓜']->[(0,0,1),(0,1,0),(1,0,0)]

从“线性映射”到“非线性映射”：

西瓜书56页的【对数线性回归】其实是为了说明：
线性模型可以通过添加【联系函数】g实现“非线性”映射，
即【广义线性模型】：g(y)=w*x+b

我的理解：线性模型，不论维数多高，都是一个N维平面，存在局限。

【对数几率回归】：

对于【二分类】问题，结果有{0,1}2个。
但线性回归模型的预测值y=w*x+b是实值，如何归类呢？

我们选择【对数几率函数/对率函数】Sigmoid：
Sigmoid(x)=1/(1+exp(-x))
作为联系函数。


这货在神经网络中也有。

则：y=Sigmoid(w*x+b)
推出：ln(y/(1-y))=w*x+b
这就是【对数几率回归模型】
虽名为“回归”，实则是一种分类学习方法。
如何解这个模型？书上理论太晦涩，没必要看，sklearn中一定有现成的。

“对数几率”名称的由来：

将y视作“正例”，则1-y为“反例”，
二者的比值y/(1-y)为“几率”，
则ln(y/(1-y))为“对数几率”。

topmad

针不戳