代理

ProxyHandler處理器（代理）

1、代理的原理:在請求目的網(wǎng)站之前，先請求代理服務(wù)器，然后讓代理服務(wù)器去請求目的網(wǎng)站，代理服務(wù)器拿到目的服務(wù)器的網(wǎng)站數(shù)據(jù)后，再轉(zhuǎn)發(fā)給我們的代碼。
2、http://httpbin.org/ip這個網(wǎng)站可以方便我們查看一些http請求參數(shù)
3、使用代理的方法：
ProxyHandle這個方法需要傳入一個字典，key：請求schema，value：代理服務(wù)器ip+端口

            
              from urllib import request
#
# url = 'http://httpbin.org/ip'
# rst = request.urlopen(url)
# print(rst.read())

# 使用代理服務(wù)器

    url = 'http://httpbin.org/ip'

# 1、使用ProxyHandler，傳入代理構(gòu)建一個handler
handler = request.ProxyHandler({'http': '113.58.232.168:22'})
# 2、使用上邊創(chuàng)建的handler構(gòu)建一個opener
opener = request.build_opener(handler)
# 3、使用opener去發(fā)送一個請求
resp = opener.open(url)
print(resp.read())

            
          

##Cookie

Cookie是指網(wǎng)站服務(wù)器為了辨別用戶身份和進(jìn)行session跟蹤，而儲存在瀏覽器上的文本文件，Cookie可以保持登陸信息到用戶下次與服務(wù)器的會話。
以人人網(wǎng)為例，人人網(wǎng)中，如果要訪問某個用戶的主頁，必須要登陸才能訪問，登陸即是要有cookie信息。我們采用兩種方法實現(xiàn)，第一種是使用瀏覽器訪問，然后將cookie信息復(fù)制出來，放到header中：
# - - coding: UTF-8 - -

            
              from urllib import request

# 大鵬董成鵬的主頁：http://www.renren.com/880151247/profile
# 人人網(wǎng)登陸頁面：http://www.renren.com/SysHome.do

dapeng_url = 'http://www.renren.com/880151247/profile'
login_url = 'http://www.renren.com/SysHome.do'

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit'
                  '/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
    'Cookie': 'anonymid=k02impal-tmpd25; depovince=GW; _r01_=1; JSESSIONID=abcYqcqOuNhffcBi8BYZw; ick_login=7c4d0511-c893-42c1-8fda-3564faa28a52; t=0eff0522ab61294e3bc281fe70aa325a0; societyguester=0eff0522ab61294e3bc281fe70aa325a0; id=972132120; xnsid=8dc4e96; jebecookies=9ab2903d-4f30-4a28-93f6-9ba3d660cdc7|||||; ver=7.0; loginfrom=null; jebe_key=19da0328-52ed-4a5e-9d8a-e1f55f4462e0%7C2dde9b9acea3b1be0942f6c86fb36dce%7C1567514411855%7C1%7C1567514413401; jebe_key=19da0328-52ed-4a5e-9d8a-e1f55f4462e0%7C2dde9b9acea3b1be0942f6c86fb36dce%7C1567514411855%7C1%7C1567514413403; wp_fold=0'
}

req = request.Request(url=dapeng_url, headers=headers)
resp = request.urlopen(req)
# print(resp.read().decode('utf-8'))
with open('renren.html', 'w', encoding='utf-8') as f:
    # python3 中，write函數(shù)必須寫入一個str的數(shù)據(jù)類型
    # resp.read()返回的是一個bytes數(shù)據(jù)類型
    # bytes -> decode -> str
    # str -> encode -> bytes
    f.write(resp.read().decode('utf-8'))

    # -*- coding: UTF-8 -*-
    
    from urllib import request
    from urllib import parse
    from http.cookiejar import CookieJar
    

# 大鵬董成鵬的主頁：http://www.renren.com/880151247/profile
# 人人網(wǎng)登陸頁面：http://www.renren.com/SysHome.do
login_url = 'http://www.renren.com/PLogin.do'
dapeng_url = 'http://www.renren.com/880151247/profile'


def get_openner():
    # 1、創(chuàng)建一個cookiejar對象
    cookiejar = CookieJar()
    # 2、使用cookiejar創(chuàng)建一個HTTPCookieProcessor對象
    handler = request.HTTPCookieProcessor(cookiejar)
    # 3、使用上一步創(chuàng)建的handler創(chuàng)建一個opener
    opener = request.build_opener(handler)
    return opener

def login_renren(opener):
    # 5、使用opener來發(fā)送登陸的請求
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit'
                      '/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
    }
    data = {
        'email': 'xxxxxxxxxxxxx',
        'password': 'xxxxxx'
    }
    req = request.Request(login_url, headers=headers, data=parse.urlencode(data).encode('utf-8'))
    opener.open(req)

def visit_profile(opener):
    # 獲取個人頁面時，不需新建一個opener
    # 而應(yīng)該使用之前的那個opener，因為之前的opener已經(jīng)包含了登陸所需的cookie信息
    req = request.Request(dapeng_url)
    resp = opener.open(req)
    with open('renren1.html', 'w', encoding='utf-8') as f:
        f.write(resp.read().decode('utf-8'))

if __name__ == '__main__':
    opener = get_openner()

    login_renren(opener)
    visit_profile(opener)

            
          

保存和讀取本地cookie

            
              # -*- coding: UTF-8 -*-

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar('test_cookie.txt')
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

resp = opener.open('http://httpbin.org/cookies/set?course=test')
cookiejar.save(ignore_discard=True)

# 加載cookie

cookiejar = MozillaCookieJar('test_cookie.txt')
cookiejar.load(ignore_discard=True)
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)
resp = opener.open('http://httpbin.org/cookies')
for cookie in cookiejar:
    print(cookie)