[已收纳]《神经网络与深度学习》概览

15195775117

NN算法的优点

（1）通用的优化算法
（2）与传统的“参数模型方法”相比，NN算法不需要对问题模型做任何“先验假设”，是数据驱动的自适应技术！
对于规律不清、规律难以描述、规律过于抽象，但却有不少观察数据的问题，NN算法可以获取其函数关系。
（3）泛化能力使NN算法具有预测能力。
（4）NN是普适的“函数逼近器”，能以任意精度逼近任何连续函数！
在处理同一个问题时，NN的内部函数形式比传统的统计方法更灵活有效，
传统的统计预测模型存在各种限制，不能对复杂的变量函数关系进行有效的估计。
这一点我深有体会，很早的时候，激光雷达反演云信息是用指数模型，怎么研究都不对，这可不嘛，指数模型太生硬了，后来又改进成了先验模型，准确性才提升，但先验模型也有生硬之处。

15195775117

神经元结构
细胞体和树突是接收端，神经末梢是输出端，神经元之间的连接叫做“突触”

-------------------------------------------------
M-P神经元模型
神经元i有n个输入信号[x1,x2,...,xn]
对应的连接权分别是[wi1,wi2,...,win]
f是激活函数
net是“净激活”
神经元i的“净激活”：net i=∑x*w-偏置
神经元i的输出：y i=f(net i)
将偏置看成是一个输入，即偏置=-x0*wi0
则net i=∑XW
神经元i的输出yi=f(∑XW)
若“净激活”>0，则神经元处于激活状态；
若“净激活”<0，则神经元处于抑制状态。
还是手写公式比较方便：

15195775117

tf激活函数表

激活函数f是一个非线性函数，神经元的输出通过f之后，整个NN模型不再是线性的了，f给NN加入了非线性因素，解决了线性模型表达能力不足的缺陷。
激活函数的输入输出都必须是可微的。
------------------------------------
TensorFlow提供的激活函数有：
1、y=1/[1+exp(-x)]
tf.nn.sigmoid(x,name=None)
2、tanh函数，即双曲正切（大学时高数第一章就有这个）
ft.nn.tanh(x,name=None)
3、整流函数：max(features,0)
tf.nn.relu(features,name=None)
4、以6为阈值的整流函数：min[max(features,0),6]  
tf.nn.relu6(features,name=None)
5、softplus函数：In[exp(features)+1]
tf.nn.softplus(features,name=None)
6、softmax函数：
tf.nn.softmax(logits,name=None)
7、softmax函数的对数：
tf.nn.log_softmax(logits,name=None)

15195775117

激活函数之比较
（1）sigmoid，值域(0,1)，优于“阶跃函数”
（2）tanh，值域(-1,1)，比sigmoid收敛快
（3）ReLU函数：凡输入小于0，输出都是0，输入大于0则原样输出。
ReLU流行于处理隐藏层，最主要的好处：对大于0的输入，导数值不变，可使NN训练速度加快。
（4）softmax常用于输出层，分类问题需要softmax算法。
如果判断输入属于某一个类的概率大于其他，这个类对应的值就逼近1，其他的就逼近0。
softmax可理解为sigmoid的扩展。
距离解释：
对于输入V=[v1,v2,...,vn]
对所有元素取e指数然后求和：sum=∑exp(vi)
那么每个元素的softmax值=Si=exp(vi)/sum
显然，∑Si=1

15195775117

损失函数/成本函数

--------------------------------

最优化的输出是那些“损失函数值”最小的输出
常用的损失函数有2个：（1）均方差函数（就是标准差）（2）交叉熵函数
1、均方差函数

观测值与实际值之差的平方的均值，与中小学的标准差有所区别
2、交叉熵函数

交叉熵（Cross Entropy）概念源自信息论
用于度量2个概率分布的差异
以交叉熵作为损失函数的好处：避免梯度消散
TensorFlow中的交叉熵函数有：
（1）sigmoid交叉熵函数:tf.nn.sigmoid_cross_entrop_with_logits(logits,labels,name=None)
（2）softmax交叉熵函数:tf.nn.softmax_cross_entrop_with_logits(logits,labels,name=None)
（3）sparse交叉熵函数:tf.nn.sparse_softmax_cross_entrop_with_logits(logits,labels,name=None)  
（4）加权sigmoid交叉熵函数:tf.nn.weight_cross_entrop_with_logits(logits,labels,name=None)
其中，

labels：表示的训练数据的label信息

logits ：表示的是模型计算出来的结果

计算的交叉熵就是logits和labels的交叉熵

↘禹禹獨行…

感谢楼主分享{:eb502:}{:eb502:}

ゼヅ欢チニ

非常感谢楼主，整体框架了解了，才能更好的学习

foxzjl

非常感谢！学习啦~~~~~

Alexander

seq2seq 用的比较多，许多开源都是用这个

candyzh

{:eb502:}   浅显易懂， 学习了{:eb502:}