一点爬虫的小应用:爬取PyNGL/PyNIO的Tutorial Example

8828

最近想学学PyNGL和PyNIO, 但是没联网，于是学了一下爬虫，把官网Tutorial中的Example爬下来，留着没网的时候用。看了一下家园里爬虫的帖子，不是很多，可能前辈们都玩得很cool了吧，我就趁机发个帖子请前辈们批评指点，感谢! :)

#发帖的时候有的文字没了，吃完饭再补上吧　:- |
##################################
爬取内容：１．网页的讲解文字内容
　　　　　２．程序结果(.jpg)
　　　　　３．脚本(.py)
##################################
准备内容：１．Linux-Python 3.x
　　　　　２.　requests   
　　　　　３.　BeautifulSoup
　　　　　４.　PIL
　　　　　５.　BytesIO
　　　　　６.　os
　　　　　７.　time
###################################

1. 爬取思路：这次是纯手动爬取，更高级的有scrapy, selenium...

复制代码

#########################

1. def get_soup(url):
   
2.     try:
   
3.         response = requests.get(url)
   
4.         response.encoding = response.apparent_encoding
   
5.         text = response.text
   
6.         print(response.status_code)
   
7.         soup = BeautifulSoup(text, 'lxml')
   
8.         return soup
   
9.     except:
   
10.          print("ERROR")
    

复制代码

做汤：
1.response = request.get(url, [headers]) 模拟浏览器发送请求， headers是一个字典，多数情况下是包含浏览器信息的，增加访问的成功率，可以利用      浏览器开发者工具的Network选项查询到
2. 编码
3. 获取html code，对应开发者工具中的Element 选项
4. 打印状态信息，200表示成功
5. 利用BeautifulSoup加工html code， 便于提取信息，需要安装lxml库。（也有其他选项）

#############################################

1. def get_urls(url=tutorial_url):
   
2.     soup = get_soup(url)
   
3.     info = soup.find_all('tr')
   
4.     contents = {}
   
5. 
   
6.     for infos in info:
   
7.         try:
   
8.             intro = infos.get_text().strip().split('\n')
   
9.             name = intro[0].replace(' ', '_')
   
10.             link = tutorial_url + infos.a.attrs['href']
    
11.             contents[name] = link
    
12. 
    
13.             os.mkdir(path + '/' + name)
    
14.             os.chdir(path + '/' + name)
    
15.             with open(name + '.txt', 'a') as f:
    
16.                   for word in intro:
    
17.                        f.write(word)
    
18.                        f.write('\n')
    
19.          except:
    
20.               print("URL ERROR")
    
21. 
    
22.     return contents

复制代码

提取Examples 的url保存在contents字典中：
1. 通过右击inspect网页上感兴趣的元素在html code 的位置可以找到它info = soup.find_all('tr') 找到所有含有‘tr’的标签， 里面有想要的url信息。
2. intro = infos.get_text().strip().split('\n')  中 get_text()方法获得文本内容，包含了对Example的介绍
3. link = tutorial_url + infos.a.attrs['href'] 中 .a 表示tag <a href=' url '>, .attrs返回一个字典，['href']获得value
4. os.mkdir, os.chdir 用于创建不同Example的文件夹，以及进入对应文件夹保存文件#####################################################

1. def get_img_urls(url):
   
2.     soup = get_soup(url)
   
3.     imgs = soup.find_all('td')
   
4.     urls = []
   
5.     for img in imgs:
   
6.         try:
   
7.             link = raw_url + img.a.attrs['href']
   
8.             urls.append(link)
   
9.         except:
   
10.             print("IMG URL ERROR")
    
11. 
    
12.      return urls

复制代码

获取Examples 中结果的url， 这是图片的url，用于爬取图片。思路同上。
#############################################

1. def get_img_content(urls, dir_path):
   
2.     for index, url in enumerate(urls):
   
3.         try:
   
4.             response = requests.get(url)
   
5.             time.sleep(0.02)
   
6.             img = Image.open(BytesIO(response.content))
   
7.             file = dir_path + '/' + 'output_' + str(index) + '.png'
   
8.             img.save(file)
   
9.         except:
   
10.             print("IMG STORE ERROR")

复制代码

保存图片内容：
1. response获取响应内容
2. time.sleep(0.02) 休息一下，防止ip被封
3. response.content 图片的字节流
4. BytesIO 存放字节流
5. PIL.Image.open() 打开字节流
6. save() 保存
#############################################

1. def get_content(contents, path=path):
   
2.     names = list(contents.keys())
   
3.     urls = list(contents.values())
   
4.     for name, url in zip(names, urls):
   
5.         try:
   
6.             soup = get_soup(url)
   
7.             main = soup.find('div', class_='main')
   
8.             text = main.get_text().strip().split('\n')
   
9.             start = text.index('  0. #')
   
10.             end = -3
    
11.             img_urls = get_img_urls(url)
    
12. 
    
13.             dir_path = path + '/' + name
    
14.             os.chdir(dir_path)
    
15.             with open(name + '.txt', 'a') as f:
    
16.                 for word in text[start:end]:
    
17.                     f.write(word)
    
18.                     f.write('\n')
    
19. 
    
20.             get_img_content(img_urls, dir_path)
    
21.      except:
    
22.             print("CONTENT ERROR")
    

复制代码

筛选所需信息并存储
1. main = soup.find('div', class_='main')  中.find 返回符合条件的第一项，相当于.find_all()中关键字limit=1， class_对应CSS，也可写成字典形式
2.  其余代码多用于处理字符串，显得很臃肿，编程刚算入门，写代码的水平有限，sorry
#############################################

1. def get_script(path=path, script_url=script_url):
   
2.     for i in range(101, 112):
   
3.         try:
   
4.             url = script_url.replace('  ', str(i)[1:])
   
5.             try:
   
6.                  if (str(i)[1:].index('0') == 0):
   
7.                      name = 'Example_' + str(i)[-1]
   
8.                  else:
   
9.                      name = 'Example_' + str(i)[1:]
   
10.              except:
    
11.                    name = 'Example_' + str(i)[1:]
    
12.              filename = path + '/' + name + '/' + name + '.py'
    
13.              response = requests.get(url)
    
14.              text = response.text.split('\n')
    
15.              with open(filename, 'w') as f:
    
16.                    for word in text:
    
17.                         f.write(word)
    
18.                         f.write('\n')
    
19.         except:
    
20.               print("SCRIPT ERROR")

复制代码

获取脚本内容：
1. 观察脚本的url可以发现，只是换了换数字来对应相关的Example，写个循环就可搞定
2. 原理与前面类似，只是多了一些字符串的技巧，我的字符串技巧太烂，勉强看看吧


#############################################
完整代码：

1. # coding: utf-8
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. from PIL import Image
   
5. from io import BytesIO
   
6. import os
   
7. import time
   
8. 
   
9. raw_url = 'https://www.pyngl.ucar.edu'
   
10. tutorial_url = 'https://www.pyngl.ucar.edu/Tutorial/'
    
11. script_url = 'https://www.pyngl.ucar.edu/Examples/Scripts/ngl  p.py'
    
12. path = '/media/wangweiyi/FILE/Documents/python/pyngl/example'
    
13. 
    
14. 
    
15. def get_soup(url):
    
16.     try:
    
17.         response = requests.get(url)
    
18.         response.encoding = response.apparent_encoding
    
19.         text = response.text
    
20.         print(response.status_code)
    
21.         soup = BeautifulSoup(text, 'lxml')
    
22.         return soup
    
23.     except:
    
24.         print("ERROR")
    
25. 
    
26. 
    
27. def get_urls(url=tutorial_url):
    
28.     soup = get_soup(url)
    
29.     info = soup.find_all('tr')
    
30.     contents = {}
    
31.     for infos in info:
    
32.         try:
    
33.               intro = infos.get_text().strip().split('\n')
    
34.               name = intro[0].replace(' ', '_')
    
35.               link = tutorial_url + infos.a.attrs['href']
    
36.               contents[name] = link
    
37.               os.mkdir(path + '/' + name)
    
38.               os.chdir(path + '/' + name)
    
39.               with open(name + '.txt', 'a') as f:
    
40.                      for word in intro:
    
41.                            f.write(word)
    
42.                            f.write('\n')
    
43.          except:
    
44.                  print("URL ERROR")
    
45. 
    
46.     return contents
    
47. 
    
48. 
    
49. def get_img_urls(url):
    
50.      soup = get_soup(url)
    
51.      imgs = soup.find_all('td')
    
52.      urls = []
    
53.      for img in imgs:
    
54.           try:
    
55.                 link = raw_url + img.a.attrs['href']
    
56.                 urls.append(link)
    
57.          except:
    
58.                  print("IMG URL ERROR")
    
59. 
    
60.         return urls
    
61. 
    
62. 
    
63. def get_img_content(urls, dir_path):
    
64.        for index, url in enumerate(urls):
    
65.                try:
    
66.                      response = requests.get(url)
    
67.                      time.sleep(0.02)
    
68.                      img = Image.open(BytesIO(response.content))
    
69.                       file = dir_path + '/' + 'output_' + str(index) + '.png'
    
70.                       img.save(file)
    
71.                  except:
    
72.                        print("IMG STORE ERROR")
    
73. 
    
74. 
    
75. def get_content(contents, path=path):
    
76.         names = list(contents.keys())
    
77.         urls = list(contents.values())
    
78.         for name, url in zip(names, urls):
    
79.                try:
    
80.                       soup = get_soup(url)
    
81.                       main = soup.find('div', class_='main')
    
82.                       text = main.get_text().strip().split('\n')
    
83.                       start = text.index('  0. #')
    
84.                       end = -3
    
85.                       img_urls = get_img_urls(url)
    
86. 
    
87.                       dir_path = path + '/' + name
    
88.                       os.chdir(dir_path)
    
89.                       with open(name + '.txt', 'a') as f:
    
90.                                  for word in text[start:end]:
    
91.                                  f.write(word)
    
92.                                  f.write('\n')
    
93. 
    
94.                         get_img_content(img_urls, dir_path)
    
95.                    except:
    
96.                           print("CONTENT ERROR")
    
97. 
    
98. 
    
99. def get_script(path=path, script_url=script_url):
    
100.         for i in range(101, 112):
     
101.               try:
     
102.                      url = script_url.replace('  ', str(i)[1:])
     
103.                      try:
     
104.                             if (str(i)[1:].index('0') == 0):
     
105.                                    name = 'Example_' + str(i)[-1]
     
106.                             else:
     
107.                                    name = 'Example_' + str(i)[1:]
     
108.                      except:
     
109.                               name = 'Example_' + str(i)[1:]
     
110.                     filename = path + '/' + name + '/' + name + '.py'
     
111.                     response = requests.get(url)
     
112.                     text = response.text.split('\n')
     
113.                     with open(filename, 'w') as f:
     
114.                              for word in text:
     
115.                                      f.write(word)
     
116.                                       f.write('\n')
     
117.                     except:
     
118.                             print("SCRIPT ERROR")
     
119. 
     
120. 
     
121. def main(tutorial_url=tutorial_url, script_url=script_url, path=path):
     
122.         contents = get_urls(tutorial_url)
     
123.         get_content(contents)
     
124.         get_script(path, script_url)
     
125. 
     
126. 
     
127. if __name__ == '__main__':
     
128.     　main()

复制代码

weinihou

{:eb502:}{:eb502:}

chiqu296

{:eb502:}{:eb502:}{:eb502:}{:eb502:}{:eb502:}

lgz

{:5_238:}

放逐流年

好东西，留着学习学习

faith-f

{:5_213:}{:5_213:}{:5_213:}

diliu

收藏，学习python中

黄叁3

我要是大学时候有你这样的觉悟 就不至于现在画点图磨磨唧唧的了

xiao瑞

收藏学习，谢谢楼主分享~