利用python脚本，批量自动下载欧洲中心的气象数据

leeol

sosbbxc 发表于 2015-6-3 19:52
下面那一段http后面的就是绝对地址，可以直接复制这个地址到迅雷，用迅雷下载，如果网络通畅的话能达到最大 ...

嗯，是的，这个适用于下载少量文件，或者急需快速下载

平流层的萝卜

谢谢楼主，非常给力

niuda

好东西啊，学习一下，不过为什么月资料无法下载（自动回复：请不要使用迅雷等下载工具，点我查看下载帮助）？

rust123

楼主，用python下数据的时候，数据的大小有没有限制？我下载数据到3.1g的时候就会出现错误？

leeol

rust123 发表于 2015-6-19 11:39
楼主，用python下数据的时候，数据的大小有没有限制？我下载数据到3.1g的时候就会出现错误？

不是Python的限制，是欧洲中心的限制，好像是在2G左右

837078493

楼主 我下载的时候总是错误：
HTTP Error 400: BAD REQUEST
mars - WARN   - 20150625.082259 - Closing connection with 915628 bytes outstanding
mars - ERROR  - 20150625.082259 - Maximum retrieve size 10.00 G reached. Please split your request.
mars - ERROR  - 20150625.082259 - Mars server task finished in error
mars - INFO   - 20150625.082259 - 5172 fields have been interpolated
mars - INFO   - 20150625.082259 -   Post-processing: wall: 8 min 30 sec cpu: 8 min 29 sec
mars - INFO   - 20150625.082259 - Request time:  wall: 9 min 2 sec  cpu: 8 min 59 sec
mars - WARN   - 20150625.082259 - Got 725291972 out of 908718480 bytes
mars - ERROR  - 20150625.082259 - Some errors reported
mars - INFO   - 20150625.082259 -   Read from network: 691.69 Mbyte(s) in 1 sec  [590.69 Mbyte/sec]
mars - INFO   - 20150625.082259 -   Writing to target file: 10.00 Gbyte(s) in 13 sec  [776.00 Mbyte/sec] cpu: 12 sec
mars - ERROR  - 20150625.082259 - Request failed
mars - INFO   - 20150625.082259 -   Visiting marser: wall: 9 min 2 sec
mars - ERROR  - 20150625.082259 - Error code is -2
mars - ERROR  - 20150625.082259 - Double buffer error: Assertion failed: length == buffers_.length_ in run, line 297 of /users/maxtest/git/eckit/src/eckit/io/DblBuffer.cc(RemoteException from Connector[dhs1427:9701]) [marser]

Traceback (most recent call last):
  File "H:\second year\xiaxueqi\gongzuo\shuju\ecmwf-api-client-python\lupit_pl_14_20.py", line 32, in <module>
    'target'  : "H:/second year/xiaxueqi/gongzuo/shuju/ecmwfapi/pl_20080701_20080710.grib"
  File "H:\second year\xiaxueqi\gongzuo\shuju\ecmwf-api-client-python\ecmwfapi\api.py", line 414, in retrieve
    c.execute(req, target)
  File "H:\second year\xiaxueqi\gongzuo\shuju\ecmwf-api-client-python\ecmwfapi\api.py", line 366, in execute
    self.connection.wait()
  File "H:\second year\xiaxueqi\gongzuo\shuju\ecmwf-api-client-python\ecmwfapi\api.py", line 269, in wait
    self.call(self.location, None, "GET")
  File "H:\second year\xiaxueqi\gongzuo\shuju\ecmwf-api-client-python\ecmwfapi\api.py", line 76, in wrapped
    return func(*args,**kwargs)
  File "H:\second year\xiaxueqi\gongzuo\shuju\ecmwf-api-client-python\ecmwfapi\api.py", line 248, in call
    raise APIException("ecmwf.API error 1: %s" % (self.last["error"],) )
APIException: u'ecmwf.API error 1: Task status set to aborted'
>>>



使用到的脚本是：
'dataset' : "interim",
          'step'    : "0",
          'stream'  : "oper",
          'number'  : "all",
          'levtype' : "pl",
          'levelist': "10/20/30/50/70/100/125/150/200/250/300/350/400/450/500/550/600/650/700/750/800/850/900/925/950/975/1000",
          'date'    : "20080701/to/20080710",
          'time'    : "00/06/12/18",
          'origin'  : "all",
          'type'    : "an",
          'param'   : "129.128/133.128/131.128/132.128/130.128/157.128",
          'grid'    : "0.25/0.25",
          'target'  : "H:/second year/xiaxueqi/gongzuo/shuju/ecmwfapi/pl_20080701_20080710.grib"
          })

想问问哪里出错了啊  已经试了几次都不行  我是下载到 移动硬盘的路径

837078493

leeol 发表于 2015-6-23 20:52
不是Python的限制，是欧洲中心的限制，好像是在2G左右

如果不能超过2G的话 那么如果想下载多年的数据 怎么下载啊 楼主的例子 是下载多年的  那岂不是会超过2G?

leeol

837078493 发表于 2015-6-25 16:45
如果不能超过2G的话 那么如果想下载多年的数据 怎么下载啊 楼主的例子 是下载多年的  那岂不是会超过2G?

分快下载，我是1年1个变量下载的

江南鹤

楼主好人啊

ywg1314

这个 python 数据爬虫的功能 python 还有很多数据分析等等