本文實例講述了python中urllib模塊用法。分享給大家供大家參考。具體分析如下：
一、問題：
近期公司項目的需求是根據客戶提供的api，我們定時去獲取數據， 之前的方案是用php收集任務存入到redis隊列，然后在linux下做一個常駐進程跑某一個php文件， 該php文件就一個無限循環，判斷redis隊列，有就執行，沒有就break.
二、解決方法：
最近剛好學了一下python, python的urllib模塊或許比php的curl更快，而且簡單. 貼一下代碼
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
import os
import json
from urllib import urlopen
doc = urlopen("http://xxxx?webid=1&tid=901&cateid=101").read()
doc = json.loads(doc)
print doc
print doc.keys()
print doc["msg"]
print doc['data']
print doc['ret']
發現第一次訪問所需要的時間為[Finished in 3.0s]
而第二次訪問的時間為[Finished in 0.2s]
可見python的urllib模塊是加有緩存的
urllib/2用法典型的例子
??? import cookielib
??? import urllib
??? class Hi_login:
??????? def __init__(self):
??????????? cookie = cookielib.CookieJar()
??????????? self.cookie = urllib2.HTTPCookieProcessor(cookie) ##### 生成cookie ###
??????? def login(self,user,pwd):
??????????? url='http://passport.baidu.com/?login'
??????????? postdata=urllib.urlencode({
????????? 'mem_pass':'on',
???????
????????? 'password':pwd
?????????? 'Submit':'',
????????? 'tpl':'sp',
????????? 'tp_reg':'sp',
????????? 'u' :'http://hi.baidu.com',
????????? 'username':user})
??????????? ### proxy_support = urllib2.ProxyHandler({"http":"http://ahad-haam:3128"}) 然后加入opener方法里####
??????????? opener = urllib2.build_opener(self.cookie) ### 使用cookie ###
??????????? headers = { ####### dict結構，可以加入x-forward-for甚至refer等 #######
?????????? 'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
??????????? urllib2.install_opener(opener)
??????????? request = urllib2.Request(url,urllib.urlencode(postdata),headers = headers)
??????????? urllib2.urlopen(request)
??? if __name__=='__main__':
?????? pwd='123456'
?????? user='xiaofu'
?????? test=Hi_login()
?????? test.login(user,pwd)
假如訪問需要認證的頁面比如nagios監控頁面等，
??? password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm()
??? url = "http://202.1.x.y/nagios"
??? password_mgr.add_password(None, url, user='abc',passwd='xxxxxx')
??? handler = urllib2.HTTPBasicAuthHandler(password_mgr)
??? opener = urllib2.build_opener(handler)
??? urllib2.install_opener(opener)
??? f=urllib2.urlopen(url)
??? print f.code
返回結果200，否則就是401認證錯誤
希望本文所述對大家的Python程序設計有所幫助。
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
