人工智能AI概念的通俗理解

15195775117

5.4【损失函数】

含义：

【损失函数】(cost function)==【成本函数】(loss function)

这是神经网络迭代学习的约束条件，类似于【最小二乘法】的【误差函数】。

神经网络试图让【输出值】接近【实际值】，网络准确性就以【损失函数】来衡量，

【损失函数】最小的输出叫做【最优化输出】。

常用的损失函数：

有2个：【均方差函数】【交叉熵函数】

1、【均方差函数】

就是我们熟知的标准差

2、【交叉熵函数】

交叉熵（Cross Entropy）概念源自信息论，用于度量2个概率分布的差异。

以交叉熵作为损失函数的好处：避免【梯度消散】

TensorFlow中的交叉熵函数：

sigmoid函数	tf.nn.sigmoid_cross_entrop_with_logits(logits,labels,name=None)
softmax函数	tf.nn.softmax_cross_entrop_with_logits(logits,labels,name=None)
sparse函数	tf.nn.sparse_softmax_cross_entrop_with_logits(logits,labels,name=None)
加权sigmoid函数	tf.nn.weight_cross_entrop_with_logits(logits,labels,name=None)

其中，

labels：表示的训练数据的label信息

logits ：表示的是模型计算出来的结果

计算的交叉熵就是logits和labels的交叉熵。

15195775117

5.5【传播与迭代】

权重更新方式：

定义神经网络时，为节点分配【随机权重】和【偏差值】，一旦收到单次迭代的输出，就可计算网络的错误，然后将该错误与【损失函数】的【梯度】一起从外层通过【隐藏层】流回，以更新【权重】。

这个过程由于是反的，所以叫【反向传播】

网络的【前向传播】和【后向传播】的一来一回是一个【周期】，

周期数可以选择，周期数多可以提高准确性，但是也会更耗时，可能出现【过拟合】。

学习率：

是下降到【损失函数】的最小值的速率。

可以理解是一种探索最佳结果的【步长】，

如果【学习率】过小，【损失函数】的变化速度会很慢，大大增加网络的收敛复杂度，并且很容易困在局部最小值；

如果学习率过大，可能会使损失函数直接越过全局最优点，梯度在最小值附近来回震荡，甚至可能无法收敛。