還是分析一下大體的流程：
首先還是Chrome瀏覽器抓包分析元素，這是網(wǎng)址：https://www.douyu.com/directory/all
發(fā)現(xiàn)所有房間的信息都是保存在一個(gè)無序列表中的li中，所以我們可以先獲取一個(gè)裝有l(wèi)i的element對(duì)象的列表，然后在對(duì)每個(gè)element逐一操作
分析斗魚的翻頁，有一個(gè)下一頁按鈕，是個(gè)li，
class="dy-Pagination-item-custom"
，但是當(dāng)煩到最后一頁的時(shí)候，
class="dy-Pagination-disabled dy-Pagination-next"
，所以我們要想利用selenium模擬點(diǎn)擊這個(gè)按鈕，我們應(yīng)該利用
get_elements_by_xpath()這個(gè)函數(shù)，這樣到最后一頁就獲取不到了，就可以終止程序了。而用elements的原因是當(dāng)?shù)阶詈笠豁摰臅r(shí)候獲取不到的話，element會(huì)報(bào)錯(cuò)
然后還是通用的套路：發(fā)送請(qǐng)求獲取響應(yīng)、提取數(shù)據(jù)和下一頁的元素、保存數(shù)據(jù)、點(diǎn)擊下一頁的元素循環(huán)......
遇到的兩個(gè)坑：
需要用time.sleep()函數(shù)強(qiáng)制等待頁面加載完再獲取元素，否則報(bào)錯(cuò)，睡幾秒就看你的網(wǎng)速了
xpath定位的時(shí)候，網(wǎng)頁上有的類如這樣：
class=" abc"
或者
class="abc "
，前面或后面有空格的，xpath處理的時(shí)候也必須有空格，否則獲取不到
代碼實(shí)現(xiàn)：
import time
from selenium import webdriver
class DouyuSpider(object):
def __init__(self):
self.start_rul = 'https://www.douyu.com/directory/all'
self.driver = webdriver.Chrome()
def get_content_list(self):
time.sleep(10) # 強(qiáng)制等待10秒，否則可能報(bào)錯(cuò)
li_list = self.driver.find_elements_by_xpath('//ul[@class="layout-Cover-list"]/li')
content_list = []
for li in li_list:
item = {}
item['room_img'] = li.find_element_by_xpath('.//img[@class="DyImg-content is-normal "]').get_attribute('src')
item['room_title'] = li.find_element_by_xpath('.//h3[@class="DyListCover-intro"]').text
item['root_category'] = li.find_element_by_xpath('.//span[@class="DyListCover-zone"]').text
item['author_name'] = li.find_element_by_class_name('DyListCover-user').text
item['watch_num'] = li.find_element_by_class_name('DyListCover-hot').text
content_list.append(item)
print(item) # 打印每次獲取到的直播房間的信息
# 獲取下一頁的元素,為了防止沒有報(bào)錯(cuò)，這里用elements，翻到最后一頁一定就沒有了，返回一個(gè)列表
next_url = self.driver.find_elements_by_xpath('//li[@class=" dy-Pagination-next"]')
next_url = next_url[0] if len(next_url) > 0 else None
return content_list, next_url
def save_content_list(self, content_list):
pass # 保存數(shù)據(jù)這里就不再做演示
def run(self): # 實(shí)現(xiàn)主要邏輯
# 1.start_url
# 2.發(fā)送請(qǐng)求，獲取響應(yīng)
self.driver.maximize_window()
self.driver.get(self.start_rul)
# 3.提取數(shù)據(jù)，提取下一頁的元素
content_list, next_url = self.get_content_list()
# 4.保存數(shù)據(jù)
self.save_content_list(content_list)
# 4.點(diǎn)擊下一頁元素，循環(huán)
while next_url is not None:
next_url.click()
content_list, next_url = self.get_content_list()
self.save_content_list(content_list)
if __name__ == '__main__':
douban = DouyuSpider()
douban.run()
以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系： 360901061
您的支持是博主寫作最大的動(dòng)力，如果您喜歡我的文章，感覺我的文章對(duì)您有幫助，請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長非常感激您！手機(jī)微信長按不能支付解決辦法：請(qǐng)將微信支付二維碼保存到相冊(cè)，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
