文章發(fā)出不到30分鐘就被首頁下架了，默哀……

起因

為了督促自己更加積極地寫博客，我希望有一個排名系統(tǒng)能讓我看到自己的進(jìn)步。但是博客園對用戶的排名體系相對是比較少的，主要是推薦博客排行和積分排行；但它們?nèi)藬?shù)少難度大，短期內(nèi)難以進(jìn)入排名。因此我決定自力更生，爬取一份博客園粉絲數(shù)排行榜。

重要聲明

為避免誤(封)會(號)，先做如下聲明：

1、本排行榜非官方發(fā)布，是我通過爬蟲得到的。

2、爬蟲過程一直堅持網(wǎng)站友好原則：

（1）只查詢網(wǎng)站公開內(nèi)容（當(dāng)然，非公開的我也不會）

（2）為避免對服務(wù)器造成壓力，一直使用單線程發(fā)送請求，且每兩個請求之間都設(shè)置了一定時間間隔

爬蟲思路

首先介紹一下爬蟲的思路，不感興趣的朋友可以直接拉到文章最后看結(jié)果，或者點擊這里查看：博客園粉絲數(shù)排行榜(粉絲數(shù)不少于100)

思路基本分兩步：1、初始化種子用戶；2、迭代。

1、初始化種子用戶

這一步的目標(biāo)，是找到盡可能多的種子用戶，種子用戶最好發(fā)過文章，尤其是高質(zhì)量文章，這樣他們有較大概率有較多的粉絲。

下面是我選取的種子用戶來源，在博客園的對應(yīng)位置在下圖標(biāo)出：

• 1、首頁文章作者（200頁）：
• 2、精華文章作者（80+頁）
• 3、編輯推薦文章作者（160+頁）
• 4、推薦博客排行(100+人)
• 5、積分排行榜(3000人)

?

得到種子用戶的用戶名后，便可以在其個人頁面獲取昵稱、粉絲數(shù)、園齡、文章首頁等基本信息。例如，榜首（昵稱：孤傲蒼狼）的用戶名是xdp-gacl，則他的個人頁面是：https://home.cnblogs.com/u/xdp-gacl/

2、迭代

迭代的目的是從種子用戶出發(fā)，找到其他粉絲數(shù)較多的用戶； 方法是獲取種子用戶 “ 關(guān)注的人” ——因為被關(guān)注的人有較大概率有更多的粉絲。用戶關(guān)注的人在這里(還是以榜首孤傲蒼狼為例)：https://home.cnblogs.com/u/xdp-gacl/followees/

因此一輪迭代的步驟是這樣的：

（1）遍歷當(dāng)前用戶列表，得到他們關(guān)注的用戶；

（2）將這些關(guān)注的用戶加入到當(dāng)前用戶列表。

如此循環(huán)往復(fù)，進(jìn)行多輪迭代；直到不再有新的用戶為止。

3、不足

有義務(wù)說明一下本排行榜的不足之處：

（1）爬取時間主要在5.10-5.19，排行榜不會反映在此期間及之后發(fā)生的變化(如用戶粉絲數(shù)上漲)。

（2）通過這種方式，肯定無法爬取所有用戶信息，但是粉絲數(shù)較多的用戶被爬到的概率要大得多； 因此為了盡可能保證準(zhǔn)確性，排行榜只列出了粉絲數(shù)不少于 100 的用戶。

（3） 排行究竟漏掉了多少用戶，仍是一個未知數(shù)， 如果你認(rèn)為有什么方法上的漏洞，或者有漏掉的用戶，歡迎討論。

技術(shù)

本次爬蟲使用的技術(shù)比較常規(guī)：語言使用Python3，發(fā)送請求使用requests庫，HTML解析使用BeautifulSoup，數(shù)據(jù)存儲使用Redis；此外，爬蟲過程中還會遇到動態(tài)加載頁面、使用cookie進(jìn)行身份校驗等，都比較常見，不再贅述。

數(shù)據(jù)存儲之所以選擇Redis，主要是考慮到數(shù)據(jù)在內(nèi)存中，訪問快，且Redis提供了豐富的數(shù)據(jù)類型(如有序集合)，使用起來比較方便；為了保證數(shù)據(jù)不丟失，一定要保證Redis開啟了持久化，最好開啟AOF持久化。

結(jié)果

排行榜(粉絲數(shù)不小于100)可以點擊鏈接查看：博客園粉絲數(shù)排行榜

前25名截圖如下：

其中：

1、榜首是孤傲蒼狼，有1.8w+粉絲，遙遙領(lǐng)先；在我爬蟲這幾天，漲了幾十名粉絲，實在厲害。

2、粉絲數(shù)10000以上的，共有5位；粉絲數(shù)1000以上的，有286位；粉絲數(shù)100以上的，有3068位。

3、官方賬號博客園團(tuán)隊有4644位粉絲，排第26位。

4、如果你的目標(biāo)是進(jìn)入前100名，至少需要2200+位粉絲；如果你的目標(biāo)是進(jìn)入前1000名，至少需要300+位粉絲。