Python爬虫批量下载网页数据（例子+代码）

气象豫州

Python爬虫批量下载网页数据—以NOAA数据为例 https://www.esrl.noaa.gov/psd/cgi-bin/db_search/DBListFiles.pl?did=118&tid=40290&vid=2227 air.py (873 Bytes, 下载次数: 8)

2019-9-16 21:50 上传

点击文件名下载附件 具体：python3.7.3 + urllib3 + BeautifulSoup 4.6.3

from urllib.request import urlopen
from urllib.request import urlretrieve
from bs4 import BeautifulSoup
import re
html=urlopen(
    'https://www.esrl.noaa.gov/psd/cgi-bin/db_search/DBListFiles.pl?did=118&tid=40290&vid=2227'
).read().decode('ascii')                                  #获取页面的HTML

soup = BeautifulSoup(html, 'lxml')
list_urls=soup.find_all("a", {"href":re.compile("ftp://ftp.cdc.noaa.gov/Datasets/20thC_ReanV2/Dailies.*")}) #定位到存放url的标号为content的div标签

urls=[]
for url in list_urls:
    urls.append(url['href'])
# print(urls)

for i,url in enumerate(urls):
    print("This is file"+str(i+1)+" downloading! You still have "+str(142-i-1)+" files waiting for downloading!!")
    file_name = "/media/wzc/OS/Edesk/Meteorological-data/NECP/NOAA-air2m/"+url.split('/')[-1] #文件保存位置+文件名
    urlretrieve(url, file_name)

源代码见附件：参考来源：https://blog.csdn.net/Maverick_7/article/details/79976072  （不过博主的代码运行有些问题，以上是自己修改后的代码）