[已收纳]《神经网络与深度学习》概览

15195775117

人工智能学科的诞生：1956年夏，美国达特茅斯学院，一众科学家集中讨论“用机器模拟智能”的一系列问题，首次提出“人工智能”这一术语。
人工智能是神经科学、脑科学与计算机科学的交叉。
人工智能典型的应用领域：机器人、语言识别、图像识别、自然语言处理、专家系统。
神经网络已发展上百种模型，分别针对不同的应用领域。
-------------------------
番外：什么是专家系统？
专家系统是一个具有大量的专门知识与经验的程序系统，它应用人工智能技术和计算机技术，根据某领域一个或多个专家提供的知识和经验，进行推理和判断，模拟人类专家的决策过程，以便解决那些需要人类专家处理的复杂问题，简而言之，专家系统是一种模拟人类专家解决领域问题的计算机程序系统。
所以，如果把众多气象理论知识形成代码写入程序，达到预报天气和空气质量、控制污染等目的，这就是个专家系统了。
-------------------------
神经活动与计算机模拟方式的对应关系：
神经细胞接受周围细胞的刺激后输出信号---“线性加权”+“函数映射”
神经细胞的网络结构和权值调整---“优化学习”。

15195775117

什么是机器学习？
机器学习是AI的一个分支，是实现人工智能的有效手段。
机器学习是利用大量历史数据学习规律（即“训练”），实现解决问题或者预测结果，
AlphaGO就是利用大量历史对弈讯自我训练，打败了李世石。
不过，我想，有些事情没有什么历史经验可供参考，比如核大战的结果，火箭发射成功率，你拿什么训练？这种事可能只能用近似的东西往上靠。
作为气象学子，我也想过用神经网络+WRF模式来预报天气，
不过我同学说他们做过，还是没法预报多天以后的天气，说这是个混沌系统。

15195775117

机器学习的形式1、监督学习（训练样本有标签）
训练集包括输入(=特征)和输出(=目标，人为标注)，
最常见的是“分类问题”：训练样本→最优模型→利用该模型对输入进行处理。
监督学习算法有：回归分析，统计分析。
（我想，高斯的最小二乘法可能是最简单的例子了吧！）
2、非监督学习（训练样本没标签）
没有训练样本，需要直接对数据建模，样本数据类别未知，
需要根据样本间的相似性对样本集进行分类，实现类内差距最小，类间差距最大，
典型例子：聚类，聚类是把相似的东西聚在一起，而并不关心是什么类。
3、半监督学习
样本有的有标签，有的没标签，
在有标签的样本加入无标签样本，可增强“有监督分类”的效果（半监督学习的主要形式）；
在无标签样本中加入有标签样本，可增强“无监督聚类”的效果（半监督学习的次要形式）。

贫道敬孔

楼主真厉害，有想法，加油！！

15195775117

AI概念梳理：人工智能是广义的高级计算智能；
机器学习是人工智能的手段；
深度学习是机器学习的分支；
神经网络是深度学习的主流实现方式。


工具的选择：
以前我考虑过使用matlab的神经网络工具箱，毕竟资料好找。
后来接触了TensorFlow，或许这个更符合潮流。
虽然IDL8.7增加了机器学习部分，但是新版本不知要等到什么时候。
所以，从流行性和开源性来看，使用TensorFlow更实际！

15195775117

由于目前神经网络是深度学习的几乎唯一的实现形式，所以可以简单粗暴地认为：深度学习=神经网络

-------------------------------------------
很多数学工具都是基于实际需求来的---
为解决“深层结构相关”的优化难题，Hinton等人于2006年，基于“深信度网(DBN)”，提出了“非监督、贪婪训练逐层算法”。
-------------------------------------------
目前应用最广的2种深度学习模型：
1、卷积神经网络(CNN=Convolutional Neural Network)
是第一个真正多层结构的学习算法，利用空间相对关系减少参数数目，提高训练性能。
2、循环神经网络在处理和预测序列数据领域应用较多，比如语音、翻译等。
可见，卷积神经网络可用于高维数据处理，用处更为广泛！
CNN是一种“前馈”神经网络，其“权值共享”的网络结构更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。
----------------------------------------------
CNN的优势：
传统识别算法需要对图像进行复杂的特征提取和数据重建，多维图像更为复杂，
但是这些庞杂的预处理工作，对于CNN是不存在的，CNN是为识别二维形状而特殊设计的一个多层神经网络，这种网络结构对于平移、缩放、倾斜等等变形具有“高度不变性”！
所以，在模式分类领域，CNN很有优势。
----------------------------------------------
CNN与普通神经网络的区别：
CNN多了“特征提取器”=“卷积层”+“子采样层”

15195775117

RNN的复兴：
循环神经网络RNN刚开始实现起来比较困难，该网络的结构被一些“传统机器学习算法”和“全连接神经网络”取代。
但是2个接替者都有问题！
全连接神经网络=FCNN=Fully Connected Neural Network
1、“传统机器学习算法”非常依赖人工提取（这可能就是以“传统”命名之的原因了），不能自动化终究是不行的；
2、全连接神经网络参数太多，无法利用数据中的时间序列。
所以，科学家又回过头攻克RNN。
RNN与FCNN和CNN的原理区别：
FCNN和CNN中，网络结构：输入层-隐藏层-输出层，层之间全连接or部分连接，每层之间的节点无连接。
RNN的隐藏层之间的节点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。
所以，RNN会记忆之前的信息，这可以用来预测句子的下一个词语。

15195775117

张量Tensor与流Flow：
TensorFlow是一个开源的机器学习库
其采用数据流图，Tensor=张量=N维数组，Flow=流
“图”这种数据结构中包括2个基本元素：节点（Node），边（Edge）。
节点表示要进行的数学操作，可以表示数据输入的起点或输出的终点。
边表示节点之间输入输出关系，多维数组型数据沿着边传递。

junyang517

顶~~~~~~~~~~~~~~~~~~~~~~~~~~~{:eb502:}{:eb502:}{:eb502:}

15195775117

TensorFlow的特点：

（1）不是严格的“神经网络库”，只要计算表示为“数据流图”就可以使用，比较灵活
（2）低层核心以C++编译，支持PC、服务器、手机端，支持分布式系统，具有可移植性
（3）除了python，还支持C、C++、Java、GO语言
（4）支持线程、队列、异步操作，在CPU、GPU上均可运行，充分利用硬件