寫(xiě)一個(gè)爬蟲(chóng)首先就是學(xué)會(huì)設(shè)置請(qǐng)求頭header,這樣才可以偽裝成瀏覽器。下面小編我就來(lái)給大家簡(jiǎn)單分析一下python3怎樣構(gòu)建一個(gè)爬蟲(chóng)的請(qǐng)求頭header。
1、python3跟2有了細(xì)微差別,所以我們先要引入request,python2沒(méi)有這個(gè)request哦。然后復(fù)制網(wǎng)址給url,然后用一個(gè)字典來(lái)保存header,這個(gè)header怎么來(lái)的?看第2步。
2、打開(kāi)任意瀏覽器某一頁(yè)面(要聯(lián)網(wǎng)),按f12,然后點(diǎn)network,之后再按f5,然后就會(huì)看到“name”這里,我們點(diǎn)擊name里面的任意文件即可。
3、之后右邊有一個(gè)headers,點(diǎn)擊headers找到request headers,這個(gè)就是瀏覽器的請(qǐng)求報(bào)頭了。
4、然后復(fù)制其中的user-agent,其他的cookie還有Accept可以要也可以不要,主要是偽裝成瀏覽器,所以我就用了user-agent
5、接著再用Request方法把url和headers組合在一起就可以構(gòu)造一個(gè)比較簡(jiǎn)單的請(qǐng)求了。Request有三個(gè)參數(shù)(url,data,headers),如果有使用data就是post請(qǐng)求了,沒(méi)有就是get請(qǐng)求。這里我沒(méi)有data,所以我就指定headers=header,不然header就會(huì)被當(dāng)成data了。
6、請(qǐng)求對(duì)象rq就構(gòu)造好了,然后用urlopen發(fā)送這個(gè)請(qǐng)求對(duì)象就可以了。這就是簡(jiǎn)單的請(qǐng)求頭設(shè)置了。
?總結(jié):以上就是關(guān)于python3爬蟲(chóng)怎樣構(gòu)建請(qǐng)求頭的相關(guān)知識(shí)點(diǎn),感謝大家的閱讀和對(duì)腳本之家的支持。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號(hào)聯(lián)系: 360901061
您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
