我們在python爬蟲寫腳本時，往往會遇到些問題，小編前幾天也遇到了個小問題。在這里想跟大家分享下，以免大家走更多的彎路
列如我要去有道翻譯，去爬取我們自己所翻譯的東西。

            
              import urllib.request
import urllib.parse

url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36"}
formdata={
"i":" 加油",
"from":" AUTO",
"to": "AUTO",
"smartresult":"dict",
"client": "fanyideskweb",
"salt":" 15687710834733",
"sign": "d0b955f562cc4dfa3d33448f438b09b1",
"ts": "1568771083473",
"bv": "53850875da92527c18a78e804f4c65b4",
"doctype":"json",
"version":" 2.1",
"keyfrom": "fanyi.web",
"action":" FY_BY_CLICKBUTTION",
"typoResult": "true"}
data=bytes(urllib.parse.urlencode(formdata).encode('utf-8'))
request=urllib.request.Request(url,data=data,headers=headers)
response=urllib.request.urlopen(request)
print(response.read().decode('utf-8'))


            
          

腳本其實大家都會，但是隨著腳本和反爬蟲的機(jī)制也在更新。
問題1，大家寫完腳本會出現(xiàn) {"errorCode":50} 這樣的錯誤。原因是我們給的 Request URL: http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule
只需要將改成 Request URL: http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule 即可解決
問題2，有的同學(xué)看質(zhì)料上寫，會出現(xiàn)以下類似問題。

其實，你寫的代碼根本就沒有這么多，但它給我報錯以下多少多少行出錯。這個問題大多數(shù)都是那個地方少標(biāo)識符
還是以上題為列

            
              headers={"User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36"}

            
          

改成

            
              headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36"}

            
          

如果你用Chrome瀏覽器，點擊右鍵“檢查", 再點擊"network", 你就會發(fā)現(xiàn)真正處理翻譯并返回翻譯結(jié)果的url是http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule。你還會了解發(fā)送請求的方式是POST，返回的相應(yīng)數(shù)據(jù)是JSON格式。如果請求方式是POST，我們一定還要了解POST什么數(shù)據(jù)，服務(wù)器才會返回正確的響應(yīng)(Response)。
如果你繼續(xù)下拉Headers頁面，你就會發(fā)現(xiàn)需要POST的數(shù)據(jù)Form Data里不僅包含了我們需要翻譯的詞(i), 還包括其它加密用的salt和簽名字符串sign。我們在請求里必需把這些data加進(jìn)去，有道才會返回翻譯結(jié)果。這就是明顯的反爬機(jī)制啊。當(dāng)然高人無處不在，弄清了salt和sign的生成原理，就可以輕易破解有道的反爬機(jī)制了。