[已收纳]《神经网络与深度学习》概览

15195775117

TensorFlow的安装
--------------------
TensorFlow分CPU版本和GPU版本，初学者用CPU版本即可安装方法与安装一般包一样，从运行环境中点击Open Terminal：


然后在弹出的命令窗中键入pip install tensorflow，会自行下载安装，
如果要指定安装版本：pip install tensorflow==1.12.0


但是从桌面左下角搜索cmd打开命令提示符是不行的，原理我也不清楚：

15195775117

半个世纪神经网络命运的起起伏伏
-------------------------------------
神经网络=Neural Network=NN
人工神经网络=Artificial Neural Network=ANN


NN或ANN是指利用大量简单计算单元（=神经元）构成的非线性系统，
模仿了人脑神经系统的信息处理、存储、检索功能。


跨界合作的硕果：
1943年，一名心理学家和一名数学家合作提出了神经元的数学模型---MP神经元模型，
证明了单个神经元能执行逻辑功能，开创了神经科学理论研究的时代。


1957年，感知机模型诞生，由阈值性神经元构成，1969年被指出基础型缺陷，ANN陷入低潮。
1982年，突破性进展，Hopfield神经网络诞生，引入“能量函数”，给出了网络“稳定性判据”。
1985年，“BP网络的误差反向传播学习”算法诞生。

1990年，BP识别了手写数字，是NN的第一个重大应用。
2002年，宿敌来袭，1963年诞生“支持向量机”，对手写识别准确率远高于NN，相比而言，BP消耗算力大，有“梯度弥散”问题，NN进入低潮。
2012年，AlexNet诞生，击溃了“传统机器学习方法”。

15195775117

术语集（上）

------------------------------------

“人工神经元”

NN中执行接收、处理、输出的基本单元。
------------------------------------
“权重”
如果一个神经元有3个“输入”：a,b,c，
它们进入神经元时会被分别乘以"关联权重":x,y,z
通过节点后输出就是a*x,b*y,c*z
权重的初始化是随机的，在训练过程中，权重会更新。
------------------------------------
“偏置”
用于改变[输入]*[权重]的值范围，使用方法是相加：
[输出]=[输入]*[权重]+[偏置]
------------------------------------
“激活函数”
作用是加入非线性因素，弥补线性模型之不足。
NN要求在数学上处处可微，所以激活函数的输入输出也必须可微。
常用激活函数有4个：sigmoid,tanh,ReLU,softmax
激活函数将非线性变换置于线性组合，该线性组合会生成输出，激活的神经元的组合会给出输出值。
------------------------------------
“输入层”“输出层”“隐藏层”
“输入层”=网络的第一层，可见；
“输出层”=网络的最终层，可见；
剩下的二者之间的就是“隐藏层”了，是网络中的“处理层”，不可见。
（这么说，NN是逐层处理的？）

15195775117

术语集（中）

------------------------------

“正向传播”
“正向传播”：输入层→隐藏层→输出层，没有反向运动。
------------------------------
“反向传播”=使用“损失函数”的梯度的权重更新。
定义NN时，为节点分配[随机权重]和[偏差值]，一旦收到单次迭代的输出，就可计算网络的错误，然后将该错误与损失函数的梯度一起从外层通过隐藏层流回，以更新权重。最后更新这些权重，以减少后续迭代中的错误。（小白：是否错误如何判别？）
------------------------------
“损失函数”=“成本函数”（cost?）
网络试图让输出值接近实际值，网络准确性以“损失函数”来衡量，损失函数最小的输出是“最优化输出”。
------------------------------
“学习率”
是每次迭代中，损失函数中最小化的量。
是下降到损失函数的最小值的速率。
学习率的选择很关键，
如果学习率过大，最佳方案可能被错过；
如果学习率过小，网络优化效率会很低。
（类似步长吧！）
------------------------------
“泛化”
指训练好的模型在新数据上的表现能力；
如果新数据跟训练数据很相似模型才表现好，是泛化性差；
如果新数据跟训练数据有所差别(毕竟也不能是完全不一样)模型也表现好，是泛化性好

15195775117

术语集（下）


------------------------------
“正则化”
在损失函数中加入模型复杂程度，避免“过拟合”
------------------------------
“批次”
训练网络时，将输入分成几个随机的、大小相等的块，训练时将数据分批发送，这样建立的模型更具一般性。
------------------------------
“周期”
网络的前向传播和后向传播的一来一回是一个周期，周期数可以选择，周期数多可以提高准确性，但是也会更耗时，可能出现“过拟合”。

15195775117

根据神经元互连方式，NN可分为3类：
（1）前馈NN，只在训练中有反馈信号，分类过程中只向前，例如BP
（2）反馈NN，有反馈信号的，比前馈NN复杂很多，例如Elman网络，Hopfiled网络
（3）自组织NN，非监督学习网络，自动寻找样本中的内在规律，自组织、自适应地改变参数与网络结构，例如“聚类分析”（这个貌似就比较专业了，但不知通用性如何？）

15195775117

经过漫长的等待（约莫2小时，建议睡前安装），tensorflow终于装好了
spyder中运行以下代码：
import tensorflow as tf
hello=tf.constant('Hello TensorFlow!')
sess=tf.Session()
print(sess.run(hello))

输出：
b'Hello TensorFlow!'
表示安装成功！

qxtlyf

謝謝斑竹，让我对深度学习有更深的了解

15195775117

qxtlyf 发表于 2019-7-3 04:23
謝謝斑竹，让我对深度学习有更深的了解

虽然前路漫漫，但只要慢慢磨就能学会！

15195775117

NN的运作有2种状态：学习，工作

---------------------------

NN的“学习”是指，使用“学习算法”调整神经元间的“连接权”，使输出更符合实际。
“学习算法”分为：
（1）“监督学习算法”，是将一组“训练集”送入网络，根据“实际输出”和“期望输出”的差别来调整“连接权”。
（2）“非监督学习算法”，将样本集合的统计特性以“连接权”的形式存于网络。
---------------------------
“监督学习算法”的主要步骤：
1、取一个样本（A，B），A是输入，B是期望输出
2、计算实际输出O
3、D=B-O
4、根据D调整“权矩阵”W
5、迭代执行，直到误差≤XXX

---------------------------
“Delta学习规则”
是一种简单的监督学习算法，意思是：
if(实际输出>期望输出)减小所有输入为正的连接的权重and增大所有输入为负的连接的权重
if(实际输出<期望输出)增大所有输入为正的连接的权重and减小所有输入为负的连接的权重
公式形式：
W代表神经元j到i的连接权，
j的状态可能为0,1,-1，处于激活态为1，
t表示迭代次数，
连接权和神经元状态都是随迭代而更新的，所以二者都可加t的下标表示迭代次数，
连接权的递推式如下：
新连接权W(t+1)=原连接权W(t)+(i的期望输出-i的实际输出)*j的状态(t)*学习速度常数
公式分析：
假设j的状态(t)=1，i的期望输出>i的实际输出，则连接权增大；反之减小。
（学习速度常数是正值）
---------------------------
NN的工作状态
NN处于工作状态时，连接权不变(显而易见嘛)，作为“分类器”“预测器”使用