對(duì)于一個(gè)net開(kāi)發(fā)這爬蟲(chóng)真真的以前沒(méi)有寫(xiě)過(guò)。這段時(shí)間開(kāi)始學(xué)習(xí)python爬蟲(chóng)，今天周末無(wú)聊寫(xiě)了一段代碼爬取上海租房圖片，其實(shí)很簡(jiǎn)短就是利用爬蟲(chóng)的第三方庫(kù)Requests與BeautifulSoup。python 版本：python3.6 ,IDE ：pycharm。其實(shí)就幾行代碼，但希望沒(méi)有開(kāi)發(fā)基礎(chǔ)的人也能一下子看明白，所以大神請(qǐng)繞行。
第三方庫(kù)首先安裝
我是用的pycharm所以另為的腳本安裝我這就不介紹了。
如上圖打開(kāi)默認(rèn)設(shè)置選擇Project Interprecter，雙擊pip或者點(diǎn)擊加號(hào)，搜索要安裝的第三方庫(kù)。其中如果建立的項(xiàng)目多記得Project Interprecter要選擇正確的安裝位置不然無(wú)法導(dǎo)入。
Requests庫(kù)
requests庫(kù)的官方定義：Requests 唯一的一個(gè)非轉(zhuǎn)基因的 Python HTTP 庫(kù)，人類可以安全享用。其實(shí)他就是請(qǐng)求網(wǎng)絡(luò)獲取網(wǎng)頁(yè)數(shù)據(jù)的。
import requests
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
res=requests.get('http://sh.58.com/zufang/',headers=header)
try:
print(res.text);
except ConnectionError:
print('訪問(wèn)被拒絕！！！')
結(jié)果如下：
其中Request Headers的參數(shù)如下：
#headers的一些屬性：
#Accept:指定客戶端能夠接收的內(nèi)容類型，內(nèi)容類型的先后次序表示客戶都接收的先后次序
#Accept-Lanuage:指定HTTP客戶端瀏覽器用來(lái)展示返回信息優(yōu)先選擇的語(yǔ)言
#Accept-Encoding指定客戶端瀏覽器可以支持的web服務(wù)器返回內(nèi)容壓縮編碼類型。表示允許服務(wù)器在將輸出內(nèi)容發(fā)送到客戶端以前進(jìn)行壓縮，以節(jié)約帶寬。而這里設(shè)置的就是客戶端瀏覽器所能夠支持的返回壓縮格式。
#Accept-Charset:HTTP客戶端瀏覽器可以接受的字符編碼集
# User-Agent : 有些服務(wù)器或 Proxy 會(huì)通過(guò)該值來(lái)判斷是否是瀏覽器發(fā)出的請(qǐng)求
# Content-Type : 在使用 REST 接口時(shí)，服務(wù)器會(huì)檢查該值，用來(lái)確定 HTTP Body 中的內(nèi)容該怎樣解析。
# application/xml ： 在 XML RPC，如 RESTful/SOAP 調(diào)用時(shí)使用
# application/json ： 在 JSON RPC 調(diào)用時(shí)使用
# application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時(shí)使用
# 在使用服務(wù)器提供的 RESTful 或 SOAP 服務(wù)時(shí)， Content-Type 設(shè)置錯(cuò)誤會(huì)導(dǎo)致服務(wù)器拒絕服務(wù)
BeautifulSoup庫(kù)
BeautifulSoup可以輕松的解析Requests庫(kù)請(qǐng)求的頁(yè)面，并把頁(yè)面源代碼解析為Soup文檔，一邊過(guò)濾提取數(shù)據(jù)。這是bs4.2的文檔。
Beautiful Soup支持Python標(biāo)準(zhǔn)庫(kù)中的HTML解析器,還支持一些第三方的解析器，如果我們不安裝它，則 Python 會(huì)使用 Python默認(rèn)的解析器，其中l(wèi)xml 據(jù)說(shuō)是相對(duì)而言比較強(qiáng)大的我下面的暗示是python 標(biāo)準(zhǔn)庫(kù)的。
選擇器select
# 選擇所有div標(biāo)簽
soup.select("div")
# 選擇所有p標(biāo)簽中的第三個(gè)標(biāo)簽
soup.select("p:nth-of-type(3)")
相當(dāng)于soup.select(p)[2]
# 選擇div標(biāo)簽下的所有img標(biāo)簽
soup.select("div img")
# 選擇div標(biāo)簽下的直接a子標(biāo)簽
soup.select("div > a")
# 選擇id=link1后的所有兄弟節(jié)點(diǎn)標(biāo)簽
soup.select("#link1 ~ .mybro")
# 選擇id=link1后的下一個(gè)兄弟節(jié)點(diǎn)標(biāo)簽
soup.select("#link1 + .mybro")
# 選擇a標(biāo)簽，其類屬性為className的標(biāo)簽
soup.select("a .className")
# 選擇a標(biāo)簽，其id屬性為idName的標(biāo)簽
soup.select("a #idName")
# 選擇a標(biāo)簽，其屬性中存在attrName的所有標(biāo)簽
soup.select("a[attrName]")
# 選擇a標(biāo)簽，其屬性href=http://wangyanling.com的所有標(biāo)簽
soup.select("a[)
# 選擇a標(biāo)簽，其href屬性以http開(kāi)頭
soup.select('a[href^="http"]')
# 選擇a標(biāo)簽，其href屬性以lacie結(jié)尾
soup.select('a[href$="lacie"]')
# 選擇a標(biāo)簽，其href屬性包含.com
soup.select('a[href*=".com"]')
# 從html中排除某標(biāo)簽，此時(shí)soup中不再有script標(biāo)簽
[s.extract() for s in soup('script')]
# 如果想排除多個(gè)呢
[s.extract() for s in soup(['script','fram']
BeautifulSoup庫(kù)需要學(xué)習(xí)的知識(shí)點(diǎn)，請(qǐng)參考bs4.2的文檔。在這不再過(guò)多敘述。
import requests
from bs4 import BeautifulSoup
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
res=requests.get('http://cd.58.com/zufang/',headers=header)
soup=BeautifulSoup(res.text,'html.parser')
print(soup.prettify())
案例：爬取上海租房圖片
import requests
import urllib.request
import os
import time
from bs4 import BeautifulSoup
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}
url=['http://sh.58.com/zufang/pn{}/?ClickID=2'.format(number) for number in range(6,51)]#分頁(yè)抓取
adminCout=6
for arurl in url:
adminCout=adminCout+1
res=requests.get(arurl,headers=header)
soup=BeautifulSoup(res.text,'html.parser')
arryImg=soup.select('.img_list img')
print(arryImg)
count = 0;
for img in arryImg:
print(img['lazy_src'])
_url = img['lazy_src']
pathName = "E:\\2333\\" + str(adminCout)+"_"+str(count) + ".jpg" # 設(shè)置路徑和文件名
result = urllib.request.urlopen(_url) # 打開(kāi)鏈接，和python2.x不同請(qǐng)注意了
data = result.read() # 否則開(kāi)始下載到本地
with open(pathName, "wb") as code:
code.write(data)
code.close()
count = count + 1 # 計(jì)數(shù)+1
print("正在下載第：", count)
time.sleep(30)
只是實(shí)現(xiàn)功能，至于代碼結(jié)果如下：
結(jié)語(yǔ)：
對(duì)于python并非為了從net跳出來(lái)，學(xué)習(xí)python只是感興趣，但是通過(guò)這段時(shí)間的學(xué)習(xí)確實(shí)有些思想從net的思路中跳了出來(lái)，接下來(lái)一年的業(yè)余時(shí)間應(yīng)該都會(huì)花在學(xué)習(xí)python上，還希望自己能堅(jiān)持下去。這應(yīng)該是2017年最后一篇文章，在這給大家拜個(gè)早年。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系： 360901061
您的支持是博主寫(xiě)作最大的動(dòng)力，如果您喜歡我的文章，感覺(jué)我的文章對(duì)您有幫助，請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長(zhǎng)非常感激您！手機(jī)微信長(zhǎng)按不能支付解決辦法：請(qǐng)將微信支付二維碼保存到相冊(cè)，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
