獲取登錄窗口背后的信息

大多數(shù)網(wǎng)站的服務器進行數(shù)據(jù)交互時都是用HTTP 協(xié)議的 GET 方法去請求信息，而頁面表單基本上可以看成是一種用戶提交 POST 請求的方式。就像網(wǎng)站的 URL 鏈接可以幫助用戶發(fā)送 GET 請求一樣，HTML 表單可以幫助用戶發(fā)出 POST 請求。

Requests 庫是一個擅長處理那些復雜的 HTTP 請求、cookie、header（響應頭和請求頭）等內容的 Python 第三方庫。

1 表單提交只需要關注兩件事 ：
? 你想提交數(shù)據(jù)的字段名稱(本案例是firstname，lastname)
? 表單的 action 屬性，也就是表單提交后網(wǎng)站會跳轉到的頁面(本案例是http://url1)

• 常見的表單如下：

            
              

                
First name: 
                
                

                
Last name: 
                
                

                
              
            
          

            
              import requests
params = {'firstname': 'Ryan', 'lastname': 'Mitchell'}
r = requests.post("url1", data=params)
print(r.text)

            
          

• 如果遇到上傳圖片文件，如下：

            
              

                
Submit a jpg, png, or gif: 

                
                

                
              
            
          

則構造請求如下：

            
              提交文件的方式如下：
files = {'uploadFile': open('../files/Python-logo.png', 'rb')}
r = requests.post("url2",files=files)
            
          

• 碰到的是傳遞參數(shù)的GET請求，我們只需要觀察URL形式就可以確認相應的表單：

http://domainname.com?thing1=foo&thing2=bar

這個請求就是下面這種表單：

對應的 Python 參數(shù)就是：
{'thing1':'foo', 'thing2':'bar'}

2 處理登錄和cookie

大多數(shù)新式的網(wǎng)站都用 cookie 跟蹤用戶是否已登錄的狀態(tài)信息。有的網(wǎng)站經(jīng)常暗自調整cookie，或者如果你從一開始就完全不想要用 cookie，那么 Requests 庫的session函數(shù)可以完美地解決這些問題。

            
              import requests

session = requests.Session()
params = {'username': 'username', 'password': 'password'}
s = session.post("http://pythonscraping.com/pages/cookies/welcome.php", params)
print("Cookie is set to:")
print(s.cookies.get_dict())
print("-----------")
print("Going to profile page...")
s = session.get("http://pythonscraping.com/pages/cookies/profile.php")
print(s.text)
            
          

會話（session）對象（調用 requests.Session() 獲取）會持續(xù)跟蹤會話信息，像 cookie、header，甚至包括運行 HTTP 協(xié)議的信息。

3 HTTP基本接入認證

在發(fā)明 cookie 之前，處理網(wǎng)站登錄最常用的方法就是用 HTTP 基本接入認證（HTTP basicaccess authentication）。有時還能見到它們，尤其是在一些安全性較高的網(wǎng)站或公司網(wǎng)站。Requests 庫有一個 auth 模塊專門用來處理 HTTP 認證：

            
              import requests
from requests.auth import AuthBase
from requests.auth import HTTPBasicAuth

auth = HTTPBasicAuth('ryan', 'password')
r = requests.post(url="http://pythonscraping.com/pages/auth/login.php", auth=auth)
print(r.text)
            
          

?