Python版數(shù)據(jù)挖掘?qū)嶒?yàn)5報(bào)告：使用樸素貝葉斯進(jìn)行社會(huì)媒體挖掘

一、實(shí)驗(yàn)名稱：使用樸素貝葉斯進(jìn)行社會(huì)媒體挖掘1、實(shí)驗(yàn)?zāi)康模菏褂脴闼刎惾~斯進(jìn)行社會(huì)媒體挖掘2、實(shí)驗(yàn)內(nèi)容：學(xué)習(xí)樸素貝葉斯算法原理，并使用樸素貝葉斯進(jìn)行社會(huì)媒體挖掘3、實(shí)驗(yàn)環(huán)境（設(shè)備、軟件、實(shí)驗(yàn)數(shù)據(jù)）：設(shè)備：筆記本電腦 軟件：Pythonidle 實(shí)驗(yàn)數(shù)據(jù)：python_classes.data、python_tweets.data 4、實(shí)驗(yàn)步驟：安裝相關(guān)Python庫Json、nltk、Numpy、Sklearn、twitter；從社交網(wǎng)站下載數(shù)據(jù)；importtwitterconsumer_key="<YourConsumerKeyHere>"consumer_secret="<YourConsumerSecretHere>"access_token="<YourAccessTokenHere>"access_token_secret="<YourAccessTokenSecretHere>"authorization=twitter.OAuth(access_token,access_token_secret,consumer_key,consumer_secret)importosoutput_filename=os.path.join(os.path.expanduser("~"),"Data","twitter","python_tweets.json")importjsont=twitter.Twitter(auth=authorization)獲取到Twitter消息，使用json庫的dump函數(shù)將其轉(zhuǎn)換為字符串形式后，寫入到輸出文件中；withopen(output_filename,'a')asoutput_file:search_results=t.search.tweets(q="python",count=100)['statuses']fortweetinsearch_results: if'text'intweet: output_file.write(json.dumps(tweet)) output_file.write("\n\n")加載庫，提取消息；importos

importjson

fromsklearn.feature_extractionimportDictVectorizer

fromsklearn.naive_bayesimportBernoulliNB

importnumpyasnp

fromsklearn.baseimportTransformerMixin

fromnltkimportword_tokenize

fromsklearn.model_selectionimportcross_val_score

fromsklearn.pipelineimportPipeline#添加文件路徑,路徑最好不要出現(xiàn)中文input_filename=os.path.join("../","Data","twitter","python_tweets.json")

labels_filename=os.path.join("../","Data","twitter","python_classes.json")#加載消息。我們只對消息內(nèi)容感興趣，因此只提取和存儲(chǔ)它們的text值，存在tewwts[]內(nèi)tweets=[]

withopen(input_filename)asinf:

forlineininf:#strip()方法用于移除字符串頭尾指定的字符（默認(rèn)為空格或換行符）或字符序列。

iflen(line.strip())==0:

continue

tweets.append(json.loads(line)['text'])#加載數(shù)據(jù)集：消息的類別（設(shè)置消息的類別為1或0）withopen(labels_filename)asinf:

labels=json.load(inf)構(gòu)造一個(gè)用于抽取特征的類，返回結(jié)果為一個(gè)元素為字典的列表，第一個(gè)字典的各項(xiàng)為第一條消息中的所有詞語；classNLTKBOW(TransformerMixin):

deffit(self,X,y=None):

returnself

deftransform(self,X):#word_tokenize對句子進(jìn)行分詞

return[{word:Trueforwordinword_tokenize(document)}fordocumentinX]抽取特征，將字典轉(zhuǎn)換為矩陣，分類器安裝順序組裝起來，創(chuàng)建流水線，將之前獲取的消息導(dǎo)入流水線進(jìn)行處理，得出結(jié)果；#流水線的每一步都用元組（‘名稱’，步驟）來表示?，F(xiàn)在來創(chuàng)建流水線。#具體使用流水線在第三章實(shí)驗(yàn)流水線。

pipeline=Pipeline([('bag-of-words',NLTKBOW()),('vectorizer',DictVectorizer()),('naive-bayes',BernoulliNB())])#通過交叉檢驗(yàn)使用流水線，導(dǎo)入數(shù)據(jù)

scores=cross_val_score(pipeline,tweets,labels,scoring='f1',cv=3