?

一、在豆瓣網爬取以下圖書的信息：

?

二、參考代碼：

1、連接 MongoDB 數據庫，并且創建數據庫和表

            
              import pymongo
myclient = pymongo.MongoClient("mongodb://127.0.0.1:27017/")

db = myclient['webCrawler'] # 創建數據庫 webCrawler

datatable = db['Book_info'] # 創建 Book_info 表
            
          

2、爬取數據并且 存儲到數據庫

            
              import re 
import pandas as pd
import requests
from bs4 import BeautifulSoup


dataSet = [] # 用來存儲 爬取下來的書籍信息

# 爬取 前五頁 的數據
for i in range(5):
       
    u = 'https://book.douban.com/tag/%E4%BA%92%E8%81%94%E7%BD%91?start='+str(i*20)+'&type=T'
    
    txt = requests.get(url = u)
    
    soup = BeautifulSoup(txt.text,'lxml') # 解析網址：使用 BeautifulSoup解析網址內容
    
    lis = soup.find('ul',class_="subject-list").find_all('li') # 查找所有 ul 的class 為"subject-list"下的 所有 li 標簽
    
    
    for li in lis:
        book_dict = {} # 用來存儲 每本書的信息
        book_dict['書名'] = li.h2.text.replace(' ','').replace('\n','')
        book_dict['其他信息'] = li.find('div',class_="pub").text.replace(' ','').replace('\n','')
        book_dict['評分'] = li.find('span',class_='rating_nums').text
        book_dict['評價人數'] = re.search(r'(\d*)人',li.find('span',class_='pl').text.replace(' ','').replace('\n','')).group(1)
        
        datatable.insert_one(book_dict) # 插入 圖書信息到數據庫中
        
        dataSet.append(book_dict) # 把每本書的信息 添加到列表中       
        

dataSetdf = pd.DataFrame(dataSet) # 將 list 類型的數據轉換成 DataFrame 類型
            
          

三、可在數據庫里查看爬取下來的信息：