本文實例講述了Python基于BeautifulSoup和requests實現(xiàn)的爬蟲功能。分享給大家供大家參考，具體如下：

爬取的目標(biāo)網(wǎng)頁： http://www.qianlima.com/zb/area_305/

這是一個招投標(biāo)網(wǎng)站，我們使用python腳本爬取紅框中的信息，包括鏈接網(wǎng)址、鏈接名稱、時間等三項內(nèi)容。

使用到的Python庫：BeautifulSoup、requests

代碼如下：

            
# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
url = 'http://www.qianlima.com/zb/area_305/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
headers = { 'User-Agent' : user_agent}
r = requests.get(url,headers=headers)#連接
content = r.text#獲取內(nèi)容，自動轉(zhuǎn)碼unicode
soup = BeautifulSoup(content,"lxml")
tags1 = soup.select('div .shixian_zhaobiao')
tag1 = tags1[0]
tag2 = tag1.find(name = 'dl')
tags2 = tag2.find_all(name = 'a')
tags3 = tag2.find_all(name = 'dd')
for tag in tags2:
 print tag.get('href')
 print tag.string
 print tag.next_element.next_element.string


          

運行結(jié)果如下

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對大家Python程序設(shè)計有所幫助。