朴素贝叶斯

朴素贝叶斯是一种经典的分类算法

贝叶斯定理

条件概率：记事件A发生的概率为P(A)，事件B发生的概率为P(B)，则在B事件发生的前提下，A事件发生的概率即为条件概率，记为P(A|B)。

P(A|B)=P(AB)/P(B) 由此可以得P(AB)=P(A|B)*P(B)

即同理 P(AB)=P(B|A)*P(A)

即P(A|B)=P(B|A)*P(A)/P(B)

全概率公式：表示若事件 ${A_1},{A_2}, \cdots ,{A_n}$ 构成一个完备事件组且都有正概率，则对任意一个事件B都有公式成立：

将全概率公式带入贝叶斯公式中，得到

P(A)称为先验概率，即在B事件发生前，对A事件概念的一个判断

P(A|B)称为后验概率，即在B事件发生之后，对于A事件的重新评估。

样例

下面是随便列举的一堆数据

品德	性格	成绩	是否可以被评选为优秀学生
好	好	优	是
不好	好	良	不是
不好	不好	差	不是
好	好	良	是
不好	好	优	是
好	不好	良	不是
好	好	差	是
不好	不好	优	不是
好	不好	优	是
不好	好	差	不是

贝叶斯公式为

根据贝叶斯公式转化为分类任务的表达式为

P(类别|特征）=P(类别）* P(特征|类别）/ P(特征），然后计算P（是 |品德好性格不好成绩差）和 P（不是 |品德好性格不好成绩差），选择是或不是。

解决步骤如下：

朴素贝叶斯对文本进行分类的python代码

import numpy as np
from functools import reduce

#创建一个实验样本
def loadDataSet():
    dataSet= [['my','dog','has','flea','problems','help','please'],
            ['maybe','not','take','him','to','dog','park','stupid'],
            ['my','dalmation','is','so','cute','I','love','him'],
            ['stop','posting','stupid','worthless','garbage'],
            ['mr','licks','ate','my','steak','how','to','stop','him'],
            ['quit','buying','worthless','dog','food','stupid']]
    classVec = [0,1,0,1,0,1]
    return dataSet,classVec

# 创建一个包含在所有文档中出现的不重复词的词表
def createbvocabList(dataSet):
    vocabSet=set([])# 创建一个空集
    for doc in dataSet:
        vocabSet=vocabSet|set(doc)# 创建两个集合的并集
        vocabList=list(vocabSet)
    return vocabList

# 将文档词条转换成词向量
def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len(vocabList)#创建一个其中所含元素都为0的向量
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else:
            print ("the word: %s is not in my Vocabulary!" % word)
    return returnVec
#把实验数据中的每条文本转化为词向量
def get_trainMat(dataSet):
    trainMat=[]
    vocabList=createbvocabList(dataSet)
    for inputSet in dataSet:
        returnVec=setOfWords2Vec(vocabList,inputSet)
        trainMat.append(returnVec)
    return trainMat

# 朴素贝叶斯分类器训练函数 从词向量计算概率
def trainNB(trainMat,classVec):
    n=len(trainMat)#文档数目
    m=len(trainMat[0])#文档的词条数
    pAb=sum(classVec)/n#文档属于侮辱类的
    p0Num=np.ones(m)
    p1Num=np.ones(m)
    p0Denom=2
    p1Denom=2
    for i in range(n):
        if classVec[i]==1:
            p1Num+=trainMat[i]
            p1Denom+=sum(trainMat[i])
        else:
            p0Num+=trainMat[i]
            p0Denom+=sum(trainMat[i])
    p1V=np.log(p1Num/p1Denom)#拉普拉斯平滑，为了解决零概念事件
    p0V=np.log(p0Num/p0Denom)
    return p0V,p1V,pAb

def classifyNB(vec2Classify,p0V,p1V,pAb):
    p1=sum(vec2Classify*p1V)+np.log(pAb)
    p0=sum(vec2Classify*p0V)+np.log(1-pAb)
    print("p0",p0)
    print("p1",p1)
    if p1>p0:
        return 1
    else:
        return 0
def testingNB(testVec):
    dataset,classVec=loadDataSet()
    vocabList=createbvocabList(dataset)
    trainMat=get_trainMat(dataset)
    p0V,p1V,pAb=trainNB(trainMat,classVec)
    thisone=setOfWords2Vec(vocabList,testVec)
    if classifyNB(thisone,p0V,p1V,pAb)==1:
        print("属于侮辱类")
    else:
        print("属于非侮辱类")

testVec=["stupid","garbage"]
print(testingNB(testVec))

testVec1=["love","my"]
print(testingNB(testVec1))

文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/197061.html

朴素贝叶斯

相关推荐

发表回复