亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

學習Python爬蟲,抓取美女圖片它不香嘛?

系統 1857 0

學習編程語言是很枯燥的,尤其是對一個編程零基礎的人來說,更為枯燥!所以我們要從枯燥的學習中找點樂趣和動力!比如,抓點小姐姐的圖片


在這里插入圖片描述

完整代碼

          
            import os
import time
import requests
from lxml import etree
'''
遇到不懂的問題?Python學習交流群:821460695滿足你的需求,資料都已經上傳群文件,可以自行下載!
'''
def get_img_url(url):
    '''
    :param url: 圖集url
    :return: 圖集名字和圖片地址所構成的字典
    '''
    img = {}#空字典,用于放圖片url和對應的編號
    html = requests.get(url)#獲取頁面源碼
    html.encoding = 'gb2312'
    data = etree.HTML(html.text)#解析
    title = data.xpath('//div[@class="wrapper clearfix imgtitle"]/h1/text()')[0]#圖集名
    page = data.xpath('//div[@class="wrapper clearfix imgtitle"]/h1/span/span[2]/text()')[0]#圖集圖片數
    img['1'] = data.xpath('//a[@class="down-btn"]/@href')[0]#第一張的圖片地址
    for i in range(2,int(page)+1):
        #其余的圖片地址
        img_url = etree.HTML(requests.get(url.replace('.html','_%s.html'%str(i))).text).xpath('//a[@class="down-btn"]/@href')[0]
        img['%s'%str(i)] = img_url#寫入字典
    return title,img


def downloader(url,path,name,header={}):
    start = time.time()#開始時間
    if os.path.exists(path):  # 判斷路徑及文件夾是否存在,不存在即創建
        pass
    else:
        os.mkdir(path)
    size = 0
    if header is None:
        response = requests.get(url, stream=True)#stream屬性必須帶上
    else:
        response = requests.get(url, stream=True,headers=header)#stream屬性必須帶上
    chunk_size = 1024#每次下載的數據大小
    content_size = int(response.headers['content-length'])#總大小
    if response.status_code == 200:
        print('[文件大小]:%0.2f MB' % (content_size / chunk_size / 1024))#換算單位并print
        with open(path+'\\%s'%name, "ab") as file:
            for data in response.iter_content(chunk_size=chunk_size):
                file.write(data)
                file.flush()#清空緩存
                size += len(data)#已下載文件大小
                #\r指定行第一個字符開始,搭配end屬性完成覆蓋進度條
                print('\r'+'[下載進度]:%s%.2f%%' % ('>'*int(size*50/ content_size),float(size / content_size * 100)),end='')
    end = time.time()#結束時間
    print('\n'+"%s下載完成!用時%.2f秒"%(name,(end-start)))

if __name__ == '__main__':
    url_list=[]#放入所有頁面url
    url = 'http://www.mmonly.cc/mmtp/'
    url_list.append(url)#先放入第一頁
    html = requests.get(url)
    html.encoding = 'gb2312'
    page = etree.HTML(html.text).xpath('//a[text()="末頁"]/@href')[0].split('_')[-1].split('.')[0]
    for i in range(2,int(page)+1):
        url_list.append(url+'list_9_{}.html'.format(str(i)))#其余頁面url,注意第一頁和其他頁不一樣
    for url_i in url_list:
        img_urls = etree.HTML(requests.get(url_i).text).xpath('//div[@class="ABox"]/a/@href')
        for img_url in img_urls:
            title,imgs = get_img_url(img_url)
            for img in imgs.keys():
                path = 'E:\\python\\mn\\%s' % title
                downloader(url= imgs[img],path=path,name='%s.jpg'%(title+img))

          
        
實現效果圖

更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 成人在线视频国产 | 色干综合 | 浮力影院欧美三级日本三级 | 久久婷五月综合 | 青青青国产精品手机在线观看 | 国产精品亚洲综合第一区 | 99久久99久久精品免费看蜜桃 | 国产午夜成人无码免费看 | 人成精品视频三区二区一区 | 色片免费在线观看 | 国产精品福利尤物youwu | 成人免费牛牛在线视频 | 欧美一级视频在线观看 | 亚洲精品午夜级久久久久 | 欧美日韩亚洲一区 | 国产羞羞视频在线播放 | 亚洲成人手机在线观看 | 在线免费观看毛片 | 色偷偷91久久综合噜噜噜 | 欧美xxxxx性另类 | 四虎成人国产精品视频 | 久久色亚洲 | 日韩免费小视频 | 卡通动漫精选国产欧美 | 亚洲色中文字幕在线播放 | 久久久成人网 | 99热这里只有精品4 99热这里只有精品5 | 亚洲片在线观看 | 久久久国产精品视频 | 日韩精品一区二区三区中文在线 | 麻豆久久精品免费看国产 | 日日影院 | 亚洲精品成人中文网 | 五月婷婷在线视频 | 久青草免费在线视频 | 久久亚洲精品久久久久 | 一级毛片免费在线观看网站 | 91精品免费国产高清在线 | 四虎永久在线精品影院 | 热久久免费视频 | 国产伦精品一区二区三区视频小说 |