请选择 进入手机版 | 继续访问电脑版
爱气象,爱气象家园! 

气象家园

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

搜索
查看: 783|回复: 4

[经验总结] 卷积神经网络(CNN)总结(系列一)

[复制链接]

新浪微博达人勋

发表于 2020-2-13 01:03:22 | 显示全部楼层 |阅读模式

登录后查看更多精彩内容~

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博登陆

x

卷积神经网络(CNN)总结

好久不上下了点东西发现金币有点少,吓的我赶快发一贴混点金币,虽然本人水平比较低可能有些地方有出入,请大家原谅我将就的看看把。

一.卷积神经网原理

先看看卷积网的定义:
图片1.png

可以处理时序,但处理图像更广泛一点。

1.卷积

图片2.png

卷积操作由三个部分组成:输入,核函数,特征映射。

下面是用一个二维的核去卷积一个二维的图像的公式:
图片3.png


直观来看,当然这种东西一搜一大把:
图片4.png


如果输入是三维的tensor那么,核也是三维的图如下:
图片5.png


卷积运算的动机:
图片6.png


首先是稀疏集交互,神经网的每一个参数都描述了输入与输出的交互关系,当输入量比较大时,运算时间顶不住,而卷积则可以用少量的参数去提取重要的特征具有稀疏交互的特征。其次,参数共享降低了储存的需求。最后平移等变大意指只要存在这个特征不限于其位置,卷积网也能提取到它的特征。


2.池化

典型的卷积网中卷积+激活函数后会跟一个池化操作,深一点的网在卷积+激活中会加一个bn层:




Bn层有如下作用:加快收敛,防止梯度弥散,缓解过拟合(原理大概是相当于引入噪声,是一种正则化操作),下面是bn的公式:
图片8.png 图片7.png


池化操作中常用的有最大池化和平均池化,其作用如下:
图片10.png 图片9.png



它的另一个作用就是降低参数量,有利于高层特征的抽取。

深入的理解卷积和池化,我们可以理解其为引入了一个很强的先验概率分布,学得的卷积函数只包含局部链接关系且对平移具有等变性,而池化函数的先验则是少量平移不变性。


3.步幅(stride),填充(padding),空洞卷积:

步福是指卷积核在移动的过程中,会按一定的步长移动,填充指向输入矩阵的两边填0,空洞卷积指往卷积核中加入间隔,增大感受野。

卷积计算公式如下:
图片11.png


Pytorch中conv2d卷积层函数:
图片12.png


参数说明如下:
图片13.png


一般分类任务中,几个卷积层后会跟全链接层用来分类。


二.经典卷积网分析resnet

卷积网花里胡哨一大堆,但我个人觉得resnet对其发展影响比较大所以简单的剖析一下这个网络。Resnet引入残差结构,使得深层卷积网在分类比赛上大幅度提升识别率,对卷积网影响比较大。其引入的残差块使得网络更容易训练和优化:


下面是一些restnet网络的参数,比如在比赛中我就使用过resnet101作为预训练模型。
图片15.png


首先定义一个残差块函数
图片14.png


它的卷积都是这种卷积+bn+relu激活函数。
图片16.png

然后在forward方法中实现残差块功能
图片17.png


之后在主体函数中定义一个make_layers方法,用来实现中间四个卷积块:
图片18.png


主体函数如下:
图片19.png


整个结构如同模型参数图一一对应,即conv1+4个卷积块+平均池化+全连接层,参数初始化conv2d使用kaiming初始化,bn层使用参数为1偏置为0的初始化。

三.卷积网在比赛中的策略

思路参考“观云识天”分类比赛第五名的解决方案,这个团队实力很强,解决方案很有参考性。

1.    数据处理:

比赛数据分布不均匀,他们团队采用数据增强和过采样扩充数据集

2.    损失函数:

使用标签平滑和多元损失函数,优化器使用Radam+lookahead

3.    模型:

使用了上面提到的resnet101和efficientnet

4.    使用注意力机制:
图片20.png


5.    模型融合+svm替换fc+tta

模型融合使用k-foldstacking,原理如下:
图片21.png


四.卷积网在气象领域的应用

用来预测enso或气温什么的还有风速之类的比较常见
图片22.png



遥感图像分类,这个好像已经用的很普遍了随便一搜一堆
图片23.png



降尺度和数值模式中的参数方案学习等等。

发帖不容易,如果图比较糊的话可以下载附件,感兴趣的话大家可以交流交流,dl在气象领域应用的还是比较广泛的。


参考链接:





https://www.cnblogs.com/Terrypython/p/11147490.html





在气象中应用:






cnn.docx

2.92 MB, 下载次数: 10, 下载积分: 金钱 -5

评分

参与人数 3金钱 +50 贡献 +10 体力 +40 收起 理由
KIMO23 + 10 赞一个!
言深深 + 20 + 5 + 40 赞一个!
mofangbao + 20 + 5

查看全部评分

密码修改失败请联系微信:mofangbao

新浪微博达人勋

 楼主| 发表于 2020-2-13 01:08:50 | 显示全部楼层
这个字体怎么这么大。。。。。。。不习惯的话可以下载附件里面排版比较舒服{:eb302:}{:eb302:}{:eb302:}{:eb302:}{:eb302:}{:eb302:}
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2020-2-13 10:38:23 | 显示全部楼层
谢谢分享!
密码修改失败请联系微信:mofangbao
回复

使用道具 举报

新浪微博达人勋

发表于 2020-2-13 11:36:12 | 显示全部楼层
谢谢分享 学到了很多东西
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2020-2-18 11:05:14 | 显示全部楼层
不错,受教了。
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

Copyright ©2011-2014 bbs.06climate.com All Rights Reserved.  Powered by Discuz! (京ICP-10201084)

本站信息均由会员发表,不代表气象家园立场,禁止在本站发表与国家法律相抵触言论

快速回复 返回顶部 返回列表