亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python利用urllib實現爬取京東網站商品圖片的爬蟲實例

系統 1824 0

本例程使用urlib實現的,基于python2.7版本,采用beautifulsoup進行網頁分析,沒有第三方庫的應該安裝上之后才能運行,我用的IDE是pycharm,閑話少說,直接上代碼!

            
# -*- coding: utf-8 -*
import re
import os
import urllib
import urllib2
from bs4 import BeautifulSoup
def craw(url,page):
 html1=urllib2.urlopen(url).read()
 html1=str(html1)
 soup=BeautifulSoup(html1,'lxml')
 imagelist=soup.select('#J_goodsList > ul > li > div > div.p-img > a > img')
 namelist=soup.select('#J_goodsList > ul > li > div > div.p-name > a > em')
 #pricelist=soup.select('#plist > ul > li > div > div.p-price > strong')
 #print pricelist
 path = "E:/{}/".format(str(goods))
 if not os.path.exists(path):
  os.mkdir(path)
 for (imageurl,name) in zip(imagelist,namelist):
  name=name.get_text()
  imagename=path + name +".jpg"
  imgurl="http:"+str(imageurl.get('data-lazy-img'))
  if imgurl == 'http:None':
   imgurl = "http:" + str(imageurl.get('src'))
  try:
   urllib.urlretrieve(imgurl,filename=imagename)
  except:
   continue

'''
#J_goodsList > ul > li:nth-child(1) > div > div.p-img > a > img
#plist > ul > li:nth-child(1) > div > div.p-name.p-name-type3 > a > em
#plist > ul > li:nth-child(1) > div > div.p-price > strong:nth-child(1) > i
'''

if __name__ == "__main__":
 goods=raw_input('please input the goos you want:')
 pages=input('please input the pages you want:')
 count =0.0
 for i in range(1,int(pages+1),2):
  url="https://search.jd.com/Search?keyword={}&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.def.0.T06&wq=diann&page={}".format(str(goods),str(i))
  craw(url,i)
  count += 1
  print 'work completed {:.2f}%'.format(count/int(pages)*100)
          

圖片的命名為商品的名稱,京東商品圖片地址的屬性很可能會有所變動,所以大家進行編寫的時候應該舉一反三,靈活運用!?
這是我下載下來的手機類圖片文件的截圖:?

python利用urllib實現爬取京東網站商品圖片的爬蟲實例_第1張圖片

我本地的爬取的速度很快,不到一分鐘就能爬取100頁上千個商品的圖片!

以上這篇python利用urllib實現爬取京東網站商品圖片的爬蟲實例就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持腳本之家。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 欧美video巨大粗暴18 | 四虎国产成人亚洲精品 | 精品亚洲性xxx久久久 | 国产激情久久久久久影院 | 热久久这里是精品6免费观看 | 深夜福利在线看 | 久久久久久久91精品免费观看 | 久久香蕉国产线看观看8青草 | 国产一区二区亚洲精品天堂 | 国产精品永久在线 | 国产免费资源 | 深夜久久 | 最新日本免费一区二区三区中文 | 国产欧美一区二区精品久久久 | 美日韩黄色片 | 成人免费动作大片黄在线 | 尤物精品国产福利网站 | 999热在线精品观看全部 | 亚洲欧美一区二区三区麻豆 | 奇米影视基地 | 黄片毛片大全 | 国产一级特黄a大片免费 | 99久久免费精品国产免费 | 亚洲视频污 | 在线观看中文字幕 | 久久精品伦理 | 饥饿游戏在线 | 欧美精品成人a多人在线观看 | 亚洲欧美综合国产精品一区 | 日韩亚洲成a人片在线观看 日韩亚洲第一页 | 最近中文字幕在线 | 中文 | 亚洲欧美另类精品久久久 | 久99久热只有精品国产99 | 久久精品99 | 欧美 日韩 中字 国产 | 国产亚洲精品久久久久91网站 | 日韩精品一区二区三区中文精品 | 日本一区二区三区不卡在线视频 | 久久99九九| 日日操夜夜操天天操 | 真实的国产乱xxxx在线播放 |