貝葉斯在淘寶

http://blog.netoearth.com/html/201012/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%9C%A8%E6%B7%98%E5%AE%9D.htm

隨著電子商務(wù)的快速發(fā)展，淘寶的規(guī)模也逐漸壯大，淘寶在業(yè)界的影響力也越來越大。目前，淘寶網(wǎng)的日獨立訪問數(shù)已逾4000萬，而注冊的用戶數(shù)現(xiàn)在已經(jīng)達(dá) 到1.63億，中國網(wǎng)民也就3.3億，在所有的中國網(wǎng)民中，幾乎有一半都是淘寶的用戶。現(xiàn)在每天獨立訪問淘寶的用戶數(shù)，已達(dá)到2000+w，可以說，中國 互聯(lián)網(wǎng)網(wǎng)民，每天近9%左右的人會上淘寶，而他們上淘寶的目的也很明確，就是消費。這個規(guī)模，這個市場，這樣優(yōu)質(zhì)的消費流量，同樣也受到很多“不法分子” 的覬覦和青睞。

“不法分子”們在淘寶上也看到強大的商機(jī)，那就是垃圾賬號的注冊器的研發(fā)。隨著每天用戶注冊數(shù)的劇增，每天的垃圾小號也在不斷飆升，所謂垃圾小號，是指 不符常理的，都是亂七八糟的中文會員、英文會員、數(shù)字組合會員和郵箱前綴，其中重點高危的郵箱有：@tom、@126、@hao240、 @yahoo.cn、@sogou、@不知名的但大量注冊的郵箱、也包括大量注冊不符常理的知名郵箱，或者是存在關(guān)聯(lián)的中文或英文會員，如金鼠報春01、 金鼠報春02…… ;a789887865、a786645565……，這些垃圾小號一般通過注冊機(jī)自動或半自動完成用戶的注冊和激活，他們通常的在淘寶上的活動就是用小號 發(fā)布旺旺垃圾消息，在淘寶郵箱發(fā)送垃圾郵件，或用小號進(jìn)行信譽炒作，嚴(yán)重影響淘寶上的用戶體驗和交易安全。而現(xiàn)在每天的注冊量中，垃圾小號基本過半，在這 樣的數(shù)量級上，通過人工審核和排查機(jī)制來降低垃圾小號數(shù)量已是浮云了。

于是查殺垃圾小號的需求也就應(yīng)運而生。

查殺垃圾小號其實與垃圾郵件的查殺原理一致，只是垃圾郵件包含的信息比垃圾小號更加豐富一些。其基本原理是相通的，換湯不換藥。在所有反垃圾郵件的技術(shù) 中，最簡單、有效而且在實際應(yīng)用中較成功的分類器就屬貝葉斯了，根據(jù)2003年5月BBC專題報道稱，貝葉斯應(yīng)用在垃圾郵件的識別上，其識別率可以達(dá)到 99.7％的，同時誤判率極低。是目前最有效的反垃圾郵件技術(shù)。

下面花小點時間介紹下貝葉斯相關(guān)的基礎(chǔ)知識，Thomas Bayes,托馬斯·貝葉斯是一位英國牧師數(shù)學(xué)家，他發(fā)表了貝葉斯統(tǒng)計理論，即根據(jù)已經(jīng)發(fā)生的事件來預(yù)測事件發(fā)生的可能性，貝葉斯理論假設(shè)：如果事件的 結(jié)果不確定，那么量化它的唯一方法就是事件的發(fā)生概率。如果過去試驗中事件的出現(xiàn)率已知，那么根據(jù)數(shù)學(xué)的方法可以計算出未來試驗中事件出現(xiàn)的概率。貝葉斯 定理可以用一個數(shù)學(xué)公式表達(dá)，那就是貝葉斯公式。說起貝葉斯公式，大家可能都不會很陌生，大學(xué)的必修課，概率論與數(shù)理統(tǒng)計這門課程，沒記錯的話，教材的第 一章講述的是隨機(jī)事件及其概率，其中在介紹條件概率時，就有詳細(xì)介紹貝葉斯公式和全概率公式。

貝葉斯決策理論方法是統(tǒng)計模型決策中的一個基本方法，其基本思想是：

1、已知類條件概率密度參數(shù)表達(dá)式和先驗概率。

2、利用貝葉斯公式轉(zhuǎn)換成后驗概率。

3、根據(jù)后驗概率大小進(jìn)行決策分類。

他對統(tǒng)計推理的主要貢獻(xiàn)是使用了”逆概率”這個概念，并把它作為一種普遍的推理方法提出來。假定B1,B2,……是某個過程的若干可能的前提，則 P(Bi)是人們事先對各前提條件出現(xiàn)可能性大小的估計，稱之為先驗概率。如果這個過程得到了一個結(jié)果A，那么貝葉斯公式提供了我們根據(jù)A的出現(xiàn)而對前提 條件做出新評價的方法。P(Bi∣A)既是對以A為前提下Bi的出現(xiàn)概率的重新認(rèn)識，稱 P(Bi∣A)為后驗概率。

樸素貝葉斯（Na?ve Bayes）是以貝葉斯定理為理論基礎(chǔ)的一種在已知先驗概率與條件概率的情況下得到后驗概率的模式識別方法，用這種方法可以確定一個給定樣本屬于一個特定類的概率。應(yīng)用樸素貝葉斯分類器時，訓(xùn)練時，對于n個類別，計算每個特征 在類別 的先驗概率 。測試時，對于一個由m個特征組合成特征向量，使后驗概率 最大的類作為分類結(jié)果 。

樸素貝葉斯分類是基于特征之間的獨立性假設(shè)的基礎(chǔ)上的，即給定一個實例的類標(biāo)簽，實例中每個屬性的出現(xiàn)獨立于實例中其它屬性的出現(xiàn)，也就是說特征之間是 相互獨立的。盡管這種假設(shè)在一定程度上限制了樸素貝葉斯模型的適用范圍，然而從目前的許多研究看，即使在違背這種假設(shè)的條件下，樸素貝葉斯分類方法也能得 到很好的效果。由于后驗概率 是文檔在某一個類別上的概率，因此可以設(shè)定當(dāng)后驗概率滿足某一閾值就劃分為該類，這樣就滿足了多類標(biāo)注的要求。

再回到淘寶查殺垃圾小號上來，其實查殺垃圾小號是一件具有相當(dāng)難度的事情，垃圾小號每天都在增加和變化。而且現(xiàn)在的垃圾小號注冊器變得更加狡猾，之前采用 靜態(tài)查殺垃圾小號技術(shù)也很難防范。注冊器的研發(fā)者們只要簡單的研究一下現(xiàn)在采用了哪些靜態(tài)查殺小號規(guī)則，然后相應(yīng)的改變一下注冊內(nèi)容，就可以逃避查殺了。 因此，必須采用一種新的方法來克服靜態(tài)查殺的弱點，于是我們選用了貝葉斯過濾技術(shù)。將貝葉斯理論（即根據(jù)已經(jīng)發(fā)生的事件可以預(yù)測未來事件發(fā)生的可能性）運 用到查殺垃圾小號上：若已知某些字詞的組合，注冊行為，或郵件后綴等等，經(jīng)常出現(xiàn)在垃圾小號的行為中，卻很少出現(xiàn)在正常用戶的行為中，那么若一個會員符合 這個特征時，那么他是垃圾小號的可能性就很大。

所以基于這個理論，首先，把注冊用戶分成2個類別：垃圾小號和正常用戶。

其次，利用注冊信息將用戶映射到上面兩個類別。

再次，分析用戶的活動和行為，分別映射到兩個類別；

最后，用na?ve Bayes模型進(jìn)行分類。

如從以下幾個字段提取信息：

昵稱 e-mail ip 注冊時段 xxx

98524w7gz8b3 xiacharu@163.com123.8.220.253 14　 ……

從上述幾個簡單的字段信息，便可抽取到10幾個靜態(tài)的特征如：昵稱的長度，nick中英文字母數(shù)，漢字的個數(shù)，數(shù)字的個數(shù)，nick中文字的 bigram，注冊的時段，email前綴的長度，email中name英文個數(shù)，漢字個數(shù)，數(shù)字個數(shù)，以及文字的bigram，email后綴是否為 常用的垃圾郵箱后綴等等特征，簡寫如下：

f1. nick-name長度，

f2. nick-name中漢字個數(shù)，

f3. nick-name英文字母個數(shù)，

f4. nick-name標(biāo)點字符個數(shù)，

f5. nick-name數(shù)字個數(shù)，

f6. e-mail中所含id長度，

f7. email的服務(wù)商(yahoo.cn, 163.com…..),

f8. email-id 中漢字個數(shù)，

f9. email-id 英文字母個數(shù)，

f10. email-id 標(biāo)點字符個數(shù)，

f11. email-id 數(shù)字個數(shù)，

f12. 注冊時段

f13. Nick-name中文字的bigram, eg. piaoxue -> bigrams. pi, ia,ao,ox,xu,ue

f14. Email-id的bigram eg. p iaoxue@taobao.com , email-id piaoxue -> bigrams. pi, ia,ao,ox,xu,ue

通過選取正樣本（正常用戶，淘寶上正常的活動用戶）和負(fù)樣本（垃圾小號，Alisoft通過事后行為，即已經(jīng)發(fā)生垃圾旺旺消息發(fā)送被查殺的垃圾賬號）， 把樣本的信息轉(zhuǎn)換到一組一組的feature list上。貝葉斯的分類器就會統(tǒng)計出每個feature在垃圾小號中出現(xiàn)的概率以及在正常用戶中出現(xiàn)的概率，然后根據(jù)公式計算出當(dāng)會員的特征包含某些 feature時則為垃圾小號的概率。

例如：

121686195 hfdz3wm f3qi8a3@163.com 124.229.24.4 12 ……

其feature list為：

nick-name長度： uid_7

nick-name中Bigrams: hf fd dz z3 3w wm

email-id長度： email_7

email中bigrams: f3 3q qi i8 8a a3

email服務(wù)商：163.com

ip：124.22.9.24

注冊時段：hour_12

nick-name漢字個數(shù)：unc_0

nick-name英文字母個數(shù)：une_6

nick-name數(shù)字個數(shù)：und_1

nick-name字符標(biāo)點個數(shù)： unnt_0

email漢字 個數(shù)：unc_0

email英文字母個數(shù)：une_4

email數(shù)字個數(shù)：und_3

email字符標(biāo)點個數(shù)： unnt_0

根據(jù)訓(xùn)練集上數(shù)據(jù)，統(tǒng)計各個特征在正常用戶和非正常用戶概率(eg. wm在正常賬號數(shù)據(jù)出現(xiàn)2次，在垃圾小號數(shù)據(jù)出現(xiàn)8次，則p(wm)是正常賬號概率為0.2,垃圾小號0.8.)， 然后計算上述特征在正常用戶聯(lián)合概率 和垃圾小號的聯(lián)合概率。

在正常賬號的聯(lián)合概率：P(f1)*P(f2)……*P(f14)……*P(fn)

和垃圾小號上面聯(lián)合概率：P(f1)*P(f2)……*P(f14) ……*P(fn)

聯(lián)合概率取對數(shù) ，在正常用戶類別 -181.639

聯(lián)合概率取對數(shù)，在垃圾小號類別 -177.095

故其被判斷為垃圾小號 。

使用貝葉斯過濾的優(yōu)點在于：

1、 貝葉斯過濾技術(shù)基于樣本的內(nèi)容進(jìn)行分析，不僅僅是其中的某些關(guān)鍵詞；

2、 貝葉斯過濾技術(shù)具備自適應(yīng)功能――通過學(xué)習(xí)新的垃圾小號及正常用戶樣本，貝葉斯將能查殺最新的垃圾小號；

3、 貝葉斯過濾技術(shù)支持多語種或者說與編碼無關(guān)。對于貝葉斯而言，他分析的是字串，無論他是字、詞、符號、還是別的什么，當(dāng)然更與語言無關(guān)。

如何才能訓(xùn)練出一個好的貝葉斯分類器呢？貝葉斯的樣本數(shù)并不是越多越好，但一般需要超過一定的數(shù)量才能工作，只有達(dá)到一定的量級才具有一定的統(tǒng)計意義。要訓(xùn)練出一個比較好的貝葉斯，有如下建議：

1、 不要過多的重復(fù)某種分類或某一類特征，以免概率失真（失衡），最好是分批分時間多次進(jìn)行，這樣樣本分布廣泛和均勻。

2、 對會員的類別歸類一定要認(rèn)真，不能讓分類器學(xué)習(xí)到錯誤的知識。

3、 如果存在有垃圾小號，但是跟正常會員很接近，最好不要分類。

4、在追求precision的應(yīng)用需求上，應(yīng)采用不同的決策規(guī)則。

貝葉斯在淘寶