前面說到了urllib2的簡單入門，下面整理了一部分urllib2的使用細(xì)節(jié)。

1.Proxy 的設(shè)置

urllib2 默認(rèn)會(huì)使用環(huán)境變量 http_proxy 來設(shè)置 HTTP Proxy。
如果想在程序中明確控制 Proxy 而不受環(huán)境變量的影響，可以使用代理。
新建test14來實(shí)現(xiàn)一個(gè)簡單的代理Demo：

這里要注意的一個(gè)細(xì)節(jié)，使用 urllib2.install_opener() 會(huì)設(shè)置 urllib2 的全局 opener 。
這樣后面的使用會(huì)很方便，但不能做更細(xì)致的控制，比如想在程序中使用兩個(gè)不同的 Proxy 設(shè)置等。
比較好的做法是不使用 install_opener 去更改全局的設(shè)置，而只是直接調(diào)用 opener 的 open 方法代替全局的 urlopen 方法。

2.Timeout 設(shè)置

在老版 Python 中（Python2.6前），urllib2 的 API 并沒有暴露 Timeout 的設(shè)置，要設(shè)置 Timeout 值，只能更改 Socket 的全局 Timeout 值。

在 Python 2.6 以后，超時(shí)可以通過 urllib2.urlopen() 的 timeout 參數(shù)直接設(shè)置。

3.在 HTTP Request 中加入特定的 Header

要加入 header，需要使用 Request 對(duì)象：

對(duì)有些 header 要特別留意，服務(wù)器會(huì)針對(duì)這些 header 做檢查
User-Agent : 有些服務(wù)器或 Proxy 會(huì)通過該值來判斷是否是瀏覽器發(fā)出的請求
Content-Type : 在使用 REST 接口時(shí)，服務(wù)器會(huì)檢查該值，用來確定 HTTP Body 中的內(nèi)容該怎樣解析。常見的取值有：
application/xml ： 在 XML RPC，如 RESTful/SOAP 調(diào)用時(shí)使用
application/json ： 在 JSON RPC 調(diào)用時(shí)使用
application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時(shí)使用
在使用服務(wù)器提供的 RESTful 或 SOAP 服務(wù)時(shí)， Content-Type 設(shè)置錯(cuò)誤會(huì)導(dǎo)致服務(wù)器拒絕服務(wù)

4.Redirect

urllib2 默認(rèn)情況下會(huì)針對(duì) HTTP 3XX 返回碼自動(dòng)進(jìn)行 redirect 動(dòng)作，無需人工配置。要檢測是否發(fā)生了 redirect 動(dòng)作，只要檢查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

如果不想自動(dòng) redirect，除了使用更低層次的 httplib 庫之外，還可以自定義HTTPRedirectHandler 類。

5.Cookie

urllib2 對(duì) Cookie 的處理也是自動(dòng)的。如果需要得到某個(gè) Cookie 項(xiàng)的值，可以這么做：

運(yùn)行之后就會(huì)輸出訪問百度的Cookie值：

6.使用 HTTP 的 PUT 和 DELETE 方法

urllib2 只支持 HTTP 的 GET 和 POST 方法，如果要使用 HTTP PUT 和 DELETE ，只能使用比較低層的 httplib 庫。雖然如此，我們還是能通過下面的方式，使 urllib2 能夠發(fā)出 PUT 或DELETE 的請求：

7.得到 HTTP 的返回碼

對(duì)于 200 OK 來說，只要使用 urlopen 返回的 response 對(duì)象的 getcode() 方法就可以得到 HTTP 的返回碼。但對(duì)其它返回碼來說，urlopen 會(huì)拋出異常。這時(shí)候，就要檢查異常對(duì)象的 code 屬性了：

8.Debug Log

使用 urllib2 時(shí)，可以通過下面的方法把 debug Log 打開，這樣收發(fā)包的內(nèi)容就會(huì)在屏幕上打印出來，方便調(diào)試，有時(shí)可以省去抓包的工作

這樣就可以看到傳輸?shù)臄?shù)據(jù)包內(nèi)容了：

9.表單的處理

登錄必要填表，表單怎么填？
首先利用工具截取所要填表的內(nèi)容。
比如我一般用firefox+httpfox插件來看看自己到底發(fā)送了些什么包。
以verycd為例，先找到自己發(fā)的POST請求，以及POST表單項(xiàng)。
可以看到verycd的話需要填username,password,continueURI,fk,login_submit這幾項(xiàng)，其中fk是隨機(jī)生成的（其實(shí)不太隨機(jī)，看上去像是把epoch時(shí)間經(jīng)過簡單的編碼生成的），需要從網(wǎng)頁獲取，也就是說得先訪問一次網(wǎng)頁，用正則表達(dá)式等工具截取返回?cái)?shù)據(jù)中的fk項(xiàng)。continueURI顧名思義可以隨便寫，login_submit是固定的，這從源碼可以看出。還有username，password那就很顯然了：

10.偽裝成瀏覽器訪問

某些網(wǎng)站反感爬蟲的到訪，于是對(duì)爬蟲一律拒絕請求
這時(shí)候我們需要偽裝成瀏覽器，這可以通過修改http包中的header來實(shí)現(xiàn)

11.對(duì)付"反盜鏈"

某些站點(diǎn)有所謂的反盜鏈設(shè)置，其實(shí)說穿了很簡單，
就是檢查你發(fā)送請求的header里面，referer站點(diǎn)是不是他自己，
所以我們只需要像把headers的referer改成該網(wǎng)站即可，以cnbeta為例：
#...
headers = {
??? 'Referer':'http://www.cnbeta.com/articles'
}
#...
headers是一個(gè)dict數(shù)據(jù)結(jié)構(gòu)，你可以放入任何想要的header，來做一些偽裝。
例如，有些網(wǎng)站喜歡讀取header中的X-Forwarded-For來看看人家的真實(shí)IP，可以直接把X-Forwarde-For改了。