5秒導(dǎo)讀，本文將敘述貝葉斯公式，以及如何使用貝葉斯公式，進(jìn)行垃圾郵件判斷
說到垃圾分類，一定是當(dāng)下最火的話題之一，聽說“你是什么垃圾？”已經(jīng)逼瘋了很多上海人。
不過除了上海人，我們的郵件過濾器每天也在問同樣的問題
要垃圾分類，我們首先從貝葉斯公式說起，貝葉斯公式，其實(shí)是一種非常古老的技術(shù)，嗯，大概是康熙至乾隆年間的技術(shù)——貝葉斯 ( Thomas Bayes 1702-1761 )
雖然大清亡了！但是貝葉斯公式還在，至于貝葉斯公式有什么用——很多，很大，我們從最基本的說起垃圾郵件過濾說起！貝葉斯公式告訴我們，如果郵件中含有“*寞*婦”，“秒到賬”，“一刀999級(jí)”....等詞，那么十有八九是垃圾郵件
Ok，進(jìn)入正題，貝葉斯公式最大的作用，在于使用已知條件，求出未知條件，比如說，一個(gè)學(xué)習(xí)男女比例6：4，假如男生都穿長褲，女生一半穿長褲，一半穿裙子（不考慮偽娘情況）。你看見一個(gè)穿長褲的人走來，但是你沒看清他是男是女，請(qǐng)問他是女生概率多大？
這里已知的條件是: P(穿褲子|女生)（在已知是女生的條件下穿褲子的概率）
而所求概率為p(女生|穿褲子)，（一個(gè)穿褲子的人多大概率是女生）
先看看貝葉斯公式長什么樣子
嗯，和條件概率公式長的差不多！其實(shí)不但長的差不多，本質(zhì)也差不多，都是一個(gè)核心——占比！比如說上期的摸牌P(人頭牌|紅色)，就是所有紅色中，人頭牌的占比。這次的p(女生|穿褲子)，所有穿褲子的人中女生占比！
P（B|A）P（B）是啥？根據(jù)條件概率公式，就是P（A，B）！再一次請(qǐng)出，條件概率公式
就褲子問題而言，P(B|A)*p(A)就是她是女生并且穿褲子的概率，下面的P（B）呢？不管是男是女穿褲子的概率！
OK，那么褲子問題的答案是多少？（友情提示，千萬不要在公式里繞！記住一個(gè)關(guān)鍵——占比！然后把圖畫出來一切就清楚了！）
P（女生且穿褲子）=P（穿褲子|女生）*p(女生) = 1/2 *4/10 = 2/10（圖中漸變淺藍(lán)部分）
P（穿褲子）=P（穿褲子|男生）p（男生）+P（穿褲子|女生）*p(女生) =6/10*1 + 4/10*1/2 = 8/10
P（女生|穿褲子）=P（女生且穿褲子）/ P（穿褲子） 0.2 / 0.8 = 0.25，也就是說你看見一個(gè)穿長褲的人走來，他/她是女生的概率只有25%。
其實(shí)貝葉斯公式，還有更標(biāo)準(zhǔn)的寫法，再次提醒！不管怎么寫，用占比去理解！
公式右邊的分母，其實(shí)是一個(gè)全概率公式
怎么理解呢？發(fā)生B的概率，等于所有的發(fā)生B且發(fā)生Ai概率之和。怎么理解還是看圖，穿褲子的概率=男生穿褲子的概率+女生穿褲子的概率。
好吧貝葉斯公式講完。那么怎么用貝葉斯公式分類垃圾郵件？答案就是，每收到一封郵件，我們都讓貝葉斯過濾器問一問：
首先我們可以手工統(tǒng)計(jì)一下垃圾郵件的概率！然后，我們可以把郵件內(nèi)容拆成一組詞記作D{d1,d2.....dn}
比如說...額..還是不比如了！全是馬賽克
然后寫出貝葉斯公式
P(垃圾郵件|D) = P(垃圾郵件)*p(D|垃圾郵件)/P(D)
P(正常郵件|D) = P(正常郵件)*p(D|正常郵件)/P(D)
上面兩個(gè)概率算出來哪一個(gè)更大歸為哪一類就行！
為了方便計(jì)算，我們?cè)O(shè)d1與dn獨(dú)立，也就是d1的出現(xiàn)不影響dn出現(xiàn)的概率（事實(shí)上并不獨(dú)立，比如出現(xiàn)“寂寞”后面多半是“*婦”，出現(xiàn)“一刀999”后面多半是“*玩*月”，不過顧不了那么多了，好在其對(duì)結(jié)果影響小到可以忽略不記）。另一方面，樸素貝葉斯還假設(shè)每一個(gè)特征都同等重要（事實(shí)上這個(gè)也不一定）。
在d1...dn相互獨(dú)立的條件下，p(D|垃圾郵件)就變成了p(d1,d2...dn|垃圾郵件) = p(d1|垃圾郵件)* p(d2|垃圾郵件)* p(dn|垃圾郵件)。
啥意思呢？統(tǒng)計(jì)一下垃圾郵件中出現(xiàn)“*寞*婦”，“秒到賬”，“一刀999級(jí)”....等詞的頻率就行了！
因?yàn)槭潜容^兩個(gè)式子的大小，所以P(D)不用算。尋思一下吧...正常郵件哪來的“一刀999級(jí)”？所以P(馬賽克|正常郵件)的概率會(huì)非常小，而P(馬賽克|正常郵件)普遍高達(dá)10-30%！
今天的內(nèi)容到此為止
關(guān)注我們，獲取更多有關(guān) AI與大數(shù)據(jù)的信息。ASRay明日麗科技——科技助力企業(yè)發(fā)展，攜手共創(chuàng)更美明天！
暫無評(píng)論，快來評(píng)論吧!