【备份数据】分享备份数据的心得

edwardli

引：数据，往大了说气象资料是气象各方面发展的关键基础，模式、同化etc；往小了说，我们每个人写文章都要气象数据，尤其对于地市级预报员，评工程师尚好，评高工不搞个统计、分型etc你都不好意思投稿。
再引：鄙人略识的首席们，省台虽有存档，但多数首席都自己存档数据。同时——NCEP、EC等等资料网上随时随地可以下载自己需要的时次资料。PS：ftp://nomads.ncdc.noaa.gov/GFS/Grid3/ 发现一个有一定时间的GFS资料的地址。
引结：见过清风大神还是哪位大神分享过“文件夹同步”功能的小程序，掠过一眼，不知是否好用。鄙人愚拙，通用的基础的办法，大家方便本地化。


说正事
一、资料大小
    大家都知道中国特色的Micaps资料大部都是带有格式的文本，数据多大我就不多说了，用过的都知道。举个例子，ECMWF的2.5资料的某个时次的所有文件是23.9MB，而其原始数据(1097个Bin文件)的总大小是4.28MB。如果不是特殊需要，有过程时存些Micaps资料，所有的bin全部存档，将来想用那天就再解码即可。毕竟硬盘还是很贵的，能用U盘干的事，就不用动用大额资金了。
二、存档资料类别
    “引”中赘述，多数情况只需要存实况资料就行了，也就是high+surface+physic。我这里培训需要，存的(high+surface+physic+ws)+(fy2c2d+Satellite)+(ecmwf+T639+fax+typhoon)+ sevp，也就会实况、云图、模式、公报这几类。我能想到的自己使用、培训需求的就是这些，关于雷达来上课的老师基本都自带，我这里的接收到的也只是三个仰角的基数据和一些简单的产品，存档意义不大(我本人也不想研究短临方面)。
    另外对于模式资料，初步想法是将ecmwf、ecThin、edThin、JP、JPThin都存档，日后解码一些用得到的。
    山西省台赵首席长久以来只存档high+surface+physic，究其本质，就是你需要什么存档什么。
三、获取前一天日期
    百度很强http://bbs.bathome.net/thread-3330-1-1.html   批处理获取指定天数之前的日期
    我挑取的很好用的一个命令提示符的操作如下：
        @Echo off
        REM 指定天数
        set DaysAgo=1
        >"%temp%\MyDate.vbs" echo LastDate=date()-%DaysAgo%
        >>"%temp%\MyDate.vbs" echo FmtDate=right(year(LastDate),4) ^& right("0" ^& month(LastDate),2) ^& right("0" ^& day(LastDate),2)
        >>"%temp%\MyDate.vbs" echo wscript.echo FmtDate
        for /f %%a in ('cscript /nologo "%temp%\MyDate.vbs"') do (
           set DstDate=%%a
        )
        set DstDate=%DstDate:~0,4%-%DstDate:~4,2%-%DstDate:~6,2%
        echo %DaysAgo%天之前的日期是：%DstDate%
    返回的值就是前一天的日期，至于为什么，如果你真的存档资料的时候你就知道了。
四、几个有用的命令
    xcopy    forfiles  百度依旧很强大，大家可以搜一下(接上节获取日期DstDate之后)
    例：forfiles /p S:\NWP_MCTR_001\ECMF_GLB\PUB\ /m *.bin /d +%DstDate%  /c "cmd /c echo @file"
               xcopy /s /y X:\ecmwf\*.* W:\Micaps\%date:~0,7%\ecmwf\ /d:%DstDate:~5,2%-%DstDate:~8,2%-%DstDate:~0,4%
五、定时运行
    计划任务使用也很实在；多线程(Tread+Timer类)，我自己写过C#的挂起线程“撞钟”的程序，很简单。我手头也有一个TaskSchedule.exe，“盗来的”，不过确实很好用。各显神通吧~

cqcswky

国家信息中心这些资料都有、更全，就是不拿给大家，然后自己又研究不出东西，最后硬盘坏了……

balfulosa

看到您分享的那个GFS数据ftp服务器了，看了一下大概90个变量。您那里有木有这些grd的ctl么？或者说，grd格式数据有办法用grads自动生成ctl么？谢谢了~

balfulosa

balfulosa 发表于 2014-10-23 16:49
看到您分享的那个GFS数据ftp服务器了，看了一下大概90个变量。您那里有木有这些grd的ctl么？或者说，grd格 ...

呃  貌似用grib2ctl弄出来描述文件了。。

clare

小木子老师腻害！！

gxnuzlx

厉害，学习了！

农民蜀黍

顶一下！！

李璠

数据备份不搞起来，用的时候老抓瞎啊！

紫竹

每到做总结时，总发现找不到数据

xiao豆豆

厉害，学习了！