這是一個簡單的Python腳本，主要從懶人圖庫下載JavaScript特效模板，在腳本中使用了gevent這個第三方庫，使用的時候需要先安裝。
#!/usr/bin/python
# -*- coding: utf-8 -*-
import urllib,os,sys
import gevent,re
from gevent import monkey
from bs4 import BeautifulSoup
gevent.monkey.patch_socket()
'''
Description：Python 爬蟲抓取懶人圖庫的JS腳本模板
Author：admin
Create-Date：2015-05-25
Version：1.0
'''
HTTP_URL = 'http://www.lanrentuku.com%s'
DOWNLOAD_URL = HTTP_URL[:-2] + '/js/d%szip'
reg=r'\d{1,}\.+'
def encode(text):
return text.encode("utf8")
def createDirectory(curPath):
myPath = os.path.join(getSubDirectory(), u'JS代碼模板')
if not os.path.exists(myPath):
os.mkdir(myPath)
return os.path.join(myPath, curPath)
def getSubDirectory():
return os.getcwd()
def schedule(a, b, c):
per = 100.0 * a * b / c
if per > 100 :
per = 100
sys.stdout.write('%.1f%%\r' % per)
sys.stdout.flush()
def geturllist(url):
url_list = {}
html = urllib.urlopen(url)
content = html.read()
html.close()
# 用BeautifulSoup解析
decodeHtml = BeautifulSoup(content)
try:
aTags = decodeHtml.find_all('div', {'class':'list-pngjs'})[0].find_all('a')
except IndexError, e:
print e
aTags = None
# 獲取鏈接地址和標題
if aTags is not None:
for a_tag in aTags:
url_list[HTTP_URL % a_tag.get('href')] = a_tag.get_text()
return url_list
def download(down_url):
try:
m=re.search(reg,down_url[0])
name = DOWNLOAD_URL % m.group(0)
urllib.urlretrieve(name,createDirectory(down_url[1] + name[-4:]),schedule)
except Exception, e:
print e.message
def getpageurl(xUrl):
# 進行列表頁循環
return [xUrl % page for page in xrange(1,49)]
if __name__ == '__main__':
jobs = []
pageurl = getpageurl('http://www.lanrentuku.com/js/p%s.html')
# 爬取所有鏈接
for i in pageurl:
for k in geturllist(i).items():
jobs.append(gevent.spawn(download, k))
gevent.joinall(jobs)
以上所述就是本文的全部內容了，希望大家能夠喜歡。
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
