紅樓夢(mèng)文本分析

2023高教社杯全國(guó)大學(xué)生數(shù)學(xué)建模競(jìng)賽（選拔賽）承諾書我們仔細(xì)閱讀了中國(guó)大學(xué)生數(shù)學(xué)建模競(jìng)賽的競(jìng)賽規(guī)則.我們完全明白，在競(jìng)賽開始后參賽隊(duì)員不能以任何方式（包括、電子郵件、網(wǎng)上咨詢等）與隊(duì)外的任何人（包括指導(dǎo)教師）研究、討論與賽題有關(guān)的問題。我們知道，抄襲別人的成果是違反競(jìng)賽規(guī)則的,如果引用別人的成果或其他公開的資料（包括網(wǎng)上查到的資料），必須按照規(guī)定的參考文獻(xiàn)的表述方式在正文引用處和參考文獻(xiàn)中明確列出。我們鄭重承諾，嚴(yán)格遵守競(jìng)賽規(guī)則，以保證競(jìng)賽的公正、公平性。如有違反競(jìng)賽規(guī)則的行為，我們將受到嚴(yán)肅處理。我們參賽選擇的題號(hào)是（從A/B/C/D中選擇一項(xiàng)填寫）：我們的參賽報(bào)名號(hào)為（如果賽區(qū)設(shè)置報(bào)名號(hào)的話）：所屬學(xué)校（請(qǐng)?zhí)顚懲暾娜簠①愱?duì)員(打印并簽名)：1.2.3.指導(dǎo)教師或指導(dǎo)教師組負(fù)責(zé)人(打印并簽名)：日期：年月日賽區(qū)評(píng)閱編號(hào)（由賽區(qū)組委會(huì)評(píng)閱前進(jìn)行編號(hào)）：隊(duì)員信息表（必須如實(shí)填寫）學(xué)號(hào)姓名所屬院專業(yè)年級(jí)指導(dǎo)教師是否有筆記本202300800277周怡數(shù)學(xué)與統(tǒng)計(jì)學(xué)院統(tǒng)計(jì)學(xué)2023未選定202300820017段熙玉數(shù)學(xué)與統(tǒng)計(jì)學(xué)院統(tǒng)計(jì)學(xué)2023未選定202300800138林陽機(jī)電與信息工程軟件工程2023未選定注：如未選定指導(dǎo)教師可不填寫“指導(dǎo)教師”一欄。2023高教社杯全國(guó)大學(xué)生數(shù)學(xué)建模競(jìng)賽（選拔賽）編號(hào)專用頁賽區(qū)評(píng)閱編號(hào)（由賽區(qū)組委會(huì)評(píng)閱前進(jìn)行編號(hào)）：賽區(qū)評(píng)閱記錄（可供賽區(qū)評(píng)閱時(shí)使用）：評(píng)閱人評(píng)分備注全國(guó)統(tǒng)一編號(hào)（由賽區(qū)組委會(huì)送交全國(guó)前編號(hào)）：全國(guó)評(píng)閱編號(hào)（由全國(guó)組委會(huì)評(píng)閱前進(jìn)行編號(hào)）：對(duì)《紅樓夢(mèng)》文本的計(jì)算機(jī)識(shí)別方法的研究與設(shè)計(jì)摘要本文通過對(duì)文本人物關(guān)系、文本結(jié)構(gòu)分層、作者行文風(fēng)格的分析來分析中文文本。針對(duì)問題一，我們運(yùn)用聚類分析和層次分析建立模型從物理結(jié)構(gòu)與邏輯結(jié)構(gòu)兩方面來分析文本，我們提取文本中和文本標(biāo)題中的人名作為特征項(xiàng)，用matlab編程分別統(tǒng)計(jì)每個(gè)人名在各個(gè)段落中的頻數(shù)。通過運(yùn)用主成分分析法對(duì)文本進(jìn)行的分析我們得出自變量與常數(shù)項(xiàng)幾乎不相關(guān)，因此不需要采取主成分回歸分析。通過系統(tǒng)聚類分析，我們得到了聚類圖，從中得出了主演人物之間的關(guān)系。通過層次劃分，我們將樣本一劃分為兩層，樣本二劃分為兩層，樣本三劃分為兩層。最后通過matlab編程統(tǒng)計(jì)樣本中虛詞的頻數(shù)，并且分別對(duì)樣本中虛詞總體和各個(gè)虛詞進(jìn)行統(tǒng)計(jì)，運(yùn)用計(jì)算風(fēng)格學(xué)理論，我們得出前八十回與后四十回作者的行文風(fēng)格存在差異。針對(duì)問題二，我們對(duì)聚類分析、層次劃分、行文風(fēng)格進(jìn)行了檢驗(yàn)。對(duì)于聚類分析的結(jié)果，我們與從對(duì)文本概述的文學(xué)概括分析得到的人物關(guān)系進(jìn)行比較檢驗(yàn)，驗(yàn)證了聚類分析結(jié)果是可靠性。對(duì)于層次分析，我們通過用Excel對(duì)數(shù)據(jù)做出折線圖，對(duì)圖形進(jìn)行分析，得出與用層次分析算法得出的相同的人物關(guān)系結(jié)論。針對(duì)問題三，我們計(jì)算了各個(gè)樣本中主要人物的比重，做出了折線圖，從圖中我們得出了文本結(jié)構(gòu)一致性的結(jié)論，體現(xiàn)了三個(gè)樣本的相同性。通過計(jì)算同一個(gè)人物在不同樣本中的頻數(shù)（以黛玉為例），我們得出各個(gè)樣本由于主題思想的不同主要人物也有差異。最后說明模型的優(yōu)缺點(diǎn)及需要改進(jìn)的地方。關(guān)鍵字:系統(tǒng)聚類計(jì)算風(fēng)格學(xué)文本層次分析一、問題重述文本（text），與訊息（message）的意義大致相同,是有一定的符號(hào)或符碼組成的信息結(jié)構(gòu)體，這種結(jié)構(gòu)體可采用不同的表現(xiàn)形態(tài)，如語言的、文字的、影像的等等。文本是由特定的人制作的，文本的語義不可避免地會(huì)反映人的特定立場(chǎng)、觀點(diǎn)、價(jià)值和利益。因此，由文本內(nèi)容分析，可以推斷文本提供者的表述方式，意圖和目的。文本分析是指對(duì)文本的表示及其特征項(xiàng)的選??；文本分析是文本挖掘、信息檢索的一個(gè)基本問題，它把從文本中抽取出的特征詞進(jìn)行量化來表示文本信息。將它們從一個(gè)無結(jié)構(gòu)的原始文本轉(zhuǎn)化為結(jié)構(gòu)化的計(jì)算機(jī)可以識(shí)別處理的信息，即對(duì)文本進(jìn)行科學(xué)的抽象，建立它的數(shù)學(xué)模型，用以描述和代替文本。使計(jì)算機(jī)能夠通過對(duì)這種模型的計(jì)算和操作來實(shí)現(xiàn)對(duì)文本的識(shí)別。由于文本是非結(jié)構(gòu)化的數(shù)據(jù),要想從大量的文本中挖掘有用的信息就必須首先將文本轉(zhuǎn)化為可處理的結(jié)構(gòu)化形式。在分析問題是我們了解到目前有關(guān)文本表示的研究主要集中于文本表示模型的選擇和特征詞選擇算法的選取上。用于表示文本的基本單位通常稱為文本的特征或特征項(xiàng)。特征項(xiàng)必須具備一定的特性：（1）特征項(xiàng)要能夠確實(shí)標(biāo)識(shí)文本內(nèi)容；（2）特征項(xiàng)具有將目標(biāo)文本與其他文本相區(qū)分的能力；（3）特征項(xiàng)的個(gè)數(shù)不能太多；（4）特征項(xiàng)分離要比較容易實(shí)現(xiàn)。在中文文本中可以采用字、詞或短語作為表示文本的特征項(xiàng)。相比較而言，詞比字具有更強(qiáng)的表達(dá)能力，而詞和短語相比，詞的切分難度比短語的切分難度小得多。因此，目前大多數(shù)中文文本分類系統(tǒng)都采用詞作為特征項(xiàng)，稱作特征詞。因此，在處理問題時(shí)角度和特征項(xiàng)的選擇是關(guān)鍵。我們要解決的問題是：(1)從第一回--第四十回，第四十一回--第八十回，第八十一回--第一百二十回分別選取3段文字（每段不少于2000字,指出開始,結(jié)束的頁碼和行數(shù)）作為3個(gè)樣本，對(duì)這3個(gè)樣本提出文本分析的角度,特征項(xiàng)的選取及數(shù)量表征，并建立數(shù)學(xué)模型。(2)分別估計(jì)3個(gè)模型的參數(shù)，并對(duì)模型進(jìn)行檢驗(yàn)。(3)基于你們的模型，對(duì)3個(gè)文本進(jìn)行比較分析（包括相同點(diǎn)和它們之間的差異性分析）。將上述研究結(jié)果寫成綜合性的研究報(bào)告。二、問題分析本問題主要是通過不同的文本分析角度，建立數(shù)學(xué)模型，實(shí)現(xiàn)對(duì)文本的識(shí)別，來推斷文本提供者的表述方式，意圖和目的。對(duì)于問題一，根據(jù)物理結(jié)構(gòu)和邏輯結(jié)構(gòu)兩個(gè)角度確立我們文本分析角度，物理結(jié)構(gòu)方面，通過計(jì)算文本虛詞使用頻率確定作者的行文風(fēng)格；邏輯結(jié)構(gòu)方面，以紅樓夢(mèng)主要人物名字為特征值對(duì)人物關(guān)系進(jìn)行分析，和以標(biāo)題詞匯為特征值的文本層次分析。使用聚類和層次分析法建模。對(duì)于問題二，運(yùn)用所建立的模型對(duì)選擇樣本進(jìn)行運(yùn)算，得到文本總字?jǐn)?shù)，虛詞的使用情況，人物關(guān)系情況由聚類法得到，再將文本由標(biāo)題詞匯判定段落分層。在模型檢驗(yàn)方面，我們由人為讀出的結(jié)論與模型得到的人物關(guān)系進(jìn)行大致方向上的比較，由分段后主要人物在各層次所占比重判斷層次分析的精確性，作者行文風(fēng)格通過所得結(jié)論與專家推斷比較檢驗(yàn)。對(duì)于問題三，分別選取三個(gè)樣本中的虛詞頻率和人物分析進(jìn)行比較。通過虛詞頻率的比較我們可以大致分析出各四十回中作者的行文風(fēng)格從而判斷紅樓夢(mèng)作者是否為一人；而對(duì)人物分析方面，對(duì)人物與人物之間關(guān)聯(lián)度的比較，能大致確立出在整篇文章中的主要人物和與其關(guān)聯(lián)密切的人物的關(guān)系進(jìn)展，通過關(guān)聯(lián)度相同性與差異性的比較，確立主要人物的日常交際圈和主要人物之間的關(guān)系變化。三、模型假設(shè)[1]每個(gè)樣本擁有獨(dú)立性（不受其他樣本影響也不影響其他樣本）；[2]樣本選取是隨機(jī)的，具有普遍性；[3]虛詞的使用頻率的異同可以充分區(qū)分作者的行文風(fēng)格；[4]標(biāo)題中詞匯在整個(gè)文本中具有代表性（標(biāo)題是整個(gè)文本中心思想的概括）；[5]3個(gè)樣本在整個(gè)文本各四十回中的人物關(guān)系具有代表性。[6]可忽略同名不同義的詞對(duì)研究結(jié)果的影響[7]樣本中出現(xiàn)頻率很低的人物名可忽略，對(duì)結(jié)果無影響。四、符號(hào)系統(tǒng)——人物i在第j段中的頻數(shù)T——特征值組成的向量——表示人物i的第j個(gè)特征值的頻數(shù)——第i自然段五、建立文本識(shí)別模型1）人物關(guān)系：由主要人物每段出現(xiàn)頻數(shù)向量確定人物相關(guān)性；2）文本結(jié)構(gòu)分析：由標(biāo)題詞匯每段出現(xiàn)頻數(shù)比較分層，使層內(nèi)差異達(dá)到最小值；3）行文風(fēng)格：統(tǒng)計(jì)虛詞使用情況。5.1人物關(guān)系模型研究與確立目前人們通常采用向量空間模型來描述文本向量,但是如果直接用分詞算法和詞頻統(tǒng)計(jì)方法得到的特征項(xiàng)來表示文本向量中的各個(gè)維,那么這個(gè)向量的維度將是非常的大。這種未經(jīng)處理的文本矢量不僅給后續(xù)工作帶來巨大的計(jì)算開銷,使整個(gè)處理過程的效率非常低下,而且會(huì)損害分類、聚類算法的精確性,從而使所得到的結(jié)果很難令人滿意。因此,必須對(duì)文本向量做進(jìn)一步凈化處理,在保證原文含義的基礎(chǔ)上,找出對(duì)文本特征類別最具代表性的文本特征。為了解決這個(gè)問題,最有效的辦法就是通過特征選擇來降維。紅樓夢(mèng)通篇是文言文，在進(jìn)行文本分析時(shí)，由于虛詞在文本內(nèi)容角度的無用性我們將虛詞統(tǒng)計(jì)次數(shù)后用批處理技術(shù)刪除，同時(shí)去除的還有停用詞（常用詞如‘了’等和生僻詞）。從人物關(guān)系的分析角度看，由于文本中形容詞的多樣化與詞義分析方面的復(fù)雜性，不從該角度分析。為使操作簡(jiǎn)單化，我們根據(jù)研究的角度，將紅樓夢(mèng)中主要人物名字設(shè)置為特征值，T表示由人名組成的向量，表示第i個(gè)人名特征值，n表示人名特征值的個(gè)數(shù)為n可將選擇的文本表示為I表示所選文本，表示文本I中的第i自然段，N表示文本i中共有N個(gè)自然段。將人物在文本每一自然段中出現(xiàn)的次數(shù)組合成向量，經(jīng)過對(duì)不同人物之間的相關(guān)性度量，組合成相關(guān)系數(shù)矩陣，再對(duì)其聚類分析得出人物關(guān)聯(lián)度。A表示各特征詞在各段的頻數(shù)矩陣，表示第i個(gè)特征詞在第j自然段中的頻數(shù),A矩陣的行與行向量之間對(duì)應(yīng)數(shù)據(jù)關(guān)系即可反映在該文本中兩人物之間的聯(lián)系。，這里我們使用在對(duì)變量聚類分析時(shí)利用最多的相關(guān)系數(shù)矩陣越接近1，與越相關(guān)或越相近；越接近0，與的相關(guān)性越弱。與分別表示與兩個(gè)特征值的頻數(shù)特征向量。由于紅樓夢(mèng)中主要人物過多，我們要對(duì)特征值進(jìn)行降維處理，再考慮人物關(guān)系。人物關(guān)系體系建立：利用多元統(tǒng)計(jì)分析的主成分分析法、系統(tǒng)聚類分析法將所選主要人物特征值進(jìn)行簡(jiǎn)化歸類。5.1.1主成分分析法在多元統(tǒng)計(jì)分析中，主成分分析（英語：Principalcomponentsanalysis，PCA）是一種分析、簡(jiǎn)化數(shù)據(jù)集的技術(shù)。主成分分析經(jīng)常用于減少數(shù)據(jù)集的維數(shù)，同時(shí)保持?jǐn)?shù)據(jù)集中的對(duì)方差貢獻(xiàn)最大的特征。這是通過保留低階主成分，忽略高階主成分做到的。這樣低階成分往往能夠保留住數(shù)據(jù)的最重要方面。但是，這也不是一定的，要視具體應(yīng)用而定。由于主成分分析依賴所給數(shù)據(jù)，所以數(shù)據(jù)的準(zhǔn)確性對(duì)分析結(jié)果影響很大。[1]人為主要人物往往帶有主觀性，必須對(duì)所選文件的特征值用數(shù)理統(tǒng)計(jì)方法，由上所得的相關(guān)系數(shù)矩陣經(jīng)過正交化處理，將文本所確立的人名特征值轉(zhuǎn)化為少數(shù)幾個(gè)綜合人名后的新指標(biāo)（即主成分），其中每個(gè)主成分都是原始變量的線性組合，各主成分之間相互正交，從而這些主成分能夠反映始變量的絕大部分信息，且所含的信息互不重疊，把復(fù)雜問題簡(jiǎn)單化。主成分分析法的基本步驟第一步：設(shè)估計(jì)樣本數(shù)為n，選取的文本人名特征值總數(shù)為p，則由估計(jì)樣本的原始數(shù)據(jù)可得矩陣，其中表示第i個(gè)特征值在第j段中的頻數(shù)。第二步：為了消除各項(xiàng)理化指標(biāo)之間在量綱化和數(shù)量級(jí)上的差別，用極差標(biāo)準(zhǔn)化法對(duì)指標(biāo)數(shù)據(jù)進(jìn)行規(guī)范化，將其化為0～1間的標(biāo)準(zhǔn)數(shù)據(jù)得到規(guī)范化矩陣。第三步：根據(jù)規(guī)范化數(shù)據(jù)矩陣建立協(xié)方差矩陣R，是反映標(biāo)準(zhǔn)化后的數(shù)據(jù)之間相關(guān)關(guān)系密切程度的統(tǒng)計(jì)指標(biāo)，值越大，說明有必要對(duì)數(shù)據(jù)進(jìn)行主成分分析。其中，（i，j=1，2，…，p）為原始變量與的相關(guān)系數(shù)。由數(shù)據(jù)可得是對(duì)稱矩陣，其計(jì)算公式為：其中第四步：根據(jù)協(xié)方差矩陣R求出特征值、主成分貢獻(xiàn)率和累計(jì)方差貢獻(xiàn)率，確定主成分個(gè)數(shù)。解特征方程，求出特征值λi（i=1，2，…，p）。因?yàn)镽是正定矩陣，所以其特征值λi都為正數(shù)，將其按大小順序排列，即λ1≥λ2≥…≥λi≥0，其對(duì)應(yīng)的特征向量為。特征值是各主成分的方差，它的大小反映了各個(gè)主成分的影響力。主成分的貢獻(xiàn)率，累計(jì)貢獻(xiàn)率為根據(jù)選取主成分個(gè)數(shù)的原則，特征值要求大于等于1且累計(jì)貢獻(xiàn)率達(dá)85%的特征值λ1，λ2，…，λm所對(duì)應(yīng)的1，2，…，m（m≤p），其中整數(shù)m即為主成分的個(gè)數(shù)。第五步：建立初始因子載荷矩陣，解釋主成分。因子載荷量是主成分與原始指標(biāo)的相關(guān)系數(shù)，揭示了主成分與各理化指標(biāo)之間的相關(guān)程度。第六步：計(jì)算綜合人名后的新指標(biāo)，并進(jìn)行降序排列：第七步：主成分與方差貢獻(xiàn)率構(gòu)建出文本中人物關(guān)系模型文本原始人名特征值的主成分分析首先對(duì)三個(gè)文本的原始矩陣進(jìn)行處理得規(guī)范化矩陣（見附錄），然后用matlab并經(jīng)過一列變換后得評(píng)價(jià)指標(biāo)相關(guān)系數(shù)，見下表：上述表顯示自變量幾乎不存在共線性，常數(shù)項(xiàng)（Constant）與變量x中的任何幾個(gè)幾乎均沒有一致性，因此自變量與常數(shù)項(xiàng)幾乎不相關(guān)，不需要采取主成分回歸分析。[2]5.1.2聚類分析法聚類分析（英語：Clusteranalysis，亦稱為群集分析）是對(duì)于靜態(tài)數(shù)據(jù)分析的一門技術(shù)，在許多領(lǐng)域受到廣泛應(yīng)用，包括機(jī)器學(xué)習(xí)，數(shù)據(jù)挖掘，模式識(shí)別，圖像分析以及生物信息。聚類是把相似的對(duì)象通過靜態(tài)分類的方法分成不同的組別或者更多的子集（subset），這樣讓在同一個(gè)子集中的成員對(duì)象都有相似的一些屬性，常見的包括在坐標(biāo)系中更加短的空間距離等。由于我們選用對(duì)人物名頻數(shù)計(jì)算比較的方法，在人物關(guān)系上我們選用系統(tǒng)聚類分析法。1).聚類要素的數(shù)據(jù)處理

假設(shè)有m個(gè)聚類的對(duì)象，每一個(gè)聚類對(duì)象都有個(gè)要素構(gòu)成。它們所對(duì)應(yīng)的要素?cái)?shù)據(jù)可用表3.4.1給出。（點(diǎn)擊顯示該表）在聚類分析中，常用的聚類要素的數(shù)據(jù)處理方法有如下幾種。①總和標(biāo)準(zhǔn)化

②標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化

③極大值標(biāo)準(zhǔn)化

經(jīng)過這種標(biāo)準(zhǔn)化所得的新數(shù)據(jù)，各要素的極大值為1，其余各數(shù)值小于1。

④極差的標(biāo)準(zhǔn)化

經(jīng)過這種標(biāo)準(zhǔn)化所得的新數(shù)據(jù)，各要素的極大值為1，極小值為0，其余的數(shù)值均在0與1之間。

2).距離的計(jì)算

距離是事物之間差異性的測(cè)度，差異性越大，則相似性越小，所以距離是系統(tǒng)聚類分析的依據(jù)和基礎(chǔ)。

①絕對(duì)值距離選擇不同的距離，聚類結(jié)果會(huì)有所差異。我們運(yùn)用歐式距離距離進(jìn)行聚類。5.2文本結(jié)構(gòu)分析層次是文章思想內(nèi)容的表現(xiàn)次序,它著眼于文章思想內(nèi)容的邏輯關(guān)系,是表示意義的結(jié)構(gòu)單位。而段落是構(gòu)成文章的最小單位,段落是體現(xiàn)層次的外部形式。在一般情況下,層次大于或等于自然段。層次具有有序性，是由若干連續(xù)有序的自然段組成。同一層次的若干自然段,由于共同支持該層次所表達(dá)主題思想,因此在選用的詞匯上以及用詞的頻率上往往具有很大的相同之處,可。針對(duì)《紅樓夢(mèng)》樣本的實(shí)際分析，我們從一到四十回、四十一到八十回、八十一到一百二十回分別選取一回作為研究樣本，由于作者已給出沒一回的標(biāo)題，從標(biāo)題中我們可以得到該回描述的主題思想（根據(jù)標(biāo)題可分為兩部分），為了讓讀者能清晰、準(zhǔn)確、方便地找出樣本正文中的層次，我們采取有序聚類的方式來劃分文本的層次，保證每一個(gè)層次都由若干連續(xù)的互不交叉的自然段組成,從而達(dá)到識(shí)別樣本的目的。設(shè)樣本T具有n個(gè)自然段,K個(gè)層次,用H表示文本層次,P表示自然段,則有如下組成關(guān)系:T=H1H2?HK={Pi1?Pi2-1}{Pi2?Pi3-1}?{Pik?Pik+1-1}其中:i1=1≤i2≤?.≤iK≤iK+1-1=n(為了敘述和書寫方便,P1,P2,?,Pn簡(jiǎn)記為1,2,??,n)設(shè)文本T的特征項(xiàng)集為{t1,t2,??,tm}則設(shè)Pi=(wi1,wi2,??,wim)為第i段的特征向量。其中wij是特征項(xiàng)tj在第i段中權(quán)重。將n個(gè)段落劃分為K個(gè)層次,則所有可能的分法共有CK-1n-1種,設(shè)S(n,K)是任一種分法,其中S(n,K)={i1=1,i1+1,?,i2-1},?,{ij,ij+1,?,ij+1-1},?,{iK,iK+1,?,n}。有序聚類就是尋找一種分法使K個(gè)層次內(nèi)差異盡可能地小,而層次間的差異盡可能地大。設(shè)D表示第j層內(nèi)的差異量,則總體誤差函數(shù):E(S(n,K))=為了使上述總體誤差函數(shù)達(dá)到最小,尋求最優(yōu)的K分法。相當(dāng)把n個(gè)段落分成兩個(gè)部分{i1=1,i1+1,??,iK-1}{iK,??,n},將前一部分進(jìn)行最優(yōu)K-1分法,然后再考慮后一部分的誤差,由此尋找到最優(yōu)K分法。設(shè)S0(n,K,cK)是使總體誤差函數(shù)達(dá)到最小的分法,其中cK是上述最佳分法的分割點(diǎn)iK。則有如下遞推公式:E(S0(n,K,cK))=Min{E(S0(iK-1,K-1,cK-1)+D(iK,n))}文本層數(shù)的確定關(guān)系到文本邏輯結(jié)構(gòu)的建立,它可以通過如下方法確定最優(yōu)層次劃分的數(shù)目,一是給定閥值ε,當(dāng)|E(S(n,K+1))-E(S(n,K))≤ε時(shí),則最優(yōu)層數(shù)為K。二是根據(jù)語言學(xué)知識(shí)和實(shí)際經(jīng)驗(yàn),預(yù)先給定層數(shù)K。這里,我們?cè)谶\(yùn)行過程中根據(jù)段落數(shù)目和總體誤差情況給定層數(shù),K的范圍一般情況下是從2到6。具體算法如下:文本的特征矩陣W==計(jì)算層次內(nèi)部差異量:Dij=，其中，i=1,2,?,n,j=i,i+1,?,n。計(jì)算總體誤差函數(shù):Sij(Cij用來存儲(chǔ)每次分割點(diǎn))S1j=D1jj=1,2,?,nSij=，Cij=，i=2,3,?,K,j=i+1,?,n。則最佳K分法為:{=1,+1,??,-1},{,+1,??,-1},??,{,,??,n}其中:iK=CKn，=Ck-1，，=Ck-2,,??,i1=1。[3]5.3判定作者行文風(fēng)格計(jì)算機(jī)設(shè)計(jì)語體風(fēng)格是人們?cè)谡Z言表達(dá)活動(dòng)中的個(gè)人言語特征，是人格在語言活動(dòng)中的某種體現(xiàn)。這種風(fēng)格可在一定程度上通過數(shù)量特征來刻畫。能夠區(qū)別文學(xué)作品的特征主要有：用詞、句式、修辭手法、中心意象、主題等等；能利用的特征有：語音、字、詞、句子、段落等等語篇結(jié)構(gòu)的信息。計(jì)算風(fēng)格學(xué)可被應(yīng)用來解決“作者考證”這種問題。當(dāng)然要十分謹(jǐn)慎。如：捷澤等學(xué)者關(guān)于《靜靜的頓河》的作者考證。[4]能夠區(qū)別文學(xué)作品的特征主要有用詞、句式、修辭手法、中心意象、主題等等。但是能用于統(tǒng)計(jì)的特征有語音、字、詞、句子、段落，語篇結(jié)構(gòu)等等可以量化考察的信息。因此它反映的不是作者想表現(xiàn)的內(nèi)容，而是作者行文中不經(jīng)意間體現(xiàn)出的用詞造句習(xí)慣。最常用的方法是字、詞頻率統(tǒng)計(jì)。除了使用詞語頻率的方法以外，許多文本信息都可供使用。例如句長(zhǎng)和詞長(zhǎng)可以代表人們?cè)煸~句的風(fēng)格。句長(zhǎng)是句子中的單詞數(shù)，詞長(zhǎng)是詞中的音節(jié)數(shù)，反映作者風(fēng)格的不是單個(gè)詞的詞長(zhǎng)和單個(gè)句子的句長(zhǎng)，而是以一定數(shù)量的語料為基礎(chǔ)的平均句長(zhǎng)和平均詞長(zhǎng)。平均詞長(zhǎng)M=語料中音節(jié)總數(shù)L/單詞總數(shù)N平均句長(zhǎng)=語料中音節(jié)總數(shù)L/句子總數(shù)N此外還有作者在同義詞使用中的傾向性。是值得利用但較困難的。我們?cè)谶@里選用虛詞這一文言文中的特殊詞匯判定作者行文風(fēng)格，虛詞是一類特殊的詞匯，它不在文章中有實(shí)義，從而虛詞在文言文中的使用情況僅由作者用詞習(xí)慣決定，從而可以通過對(duì)虛詞的使用情況分析代表作者的一類行文風(fēng)格。首先統(tǒng)計(jì)全文字?jǐn)?shù)，再分別統(tǒng)計(jì)出各虛詞在文本每一自然段中的使用頻數(shù)，對(duì)三個(gè)樣本中的虛詞使用比率進(jìn)行比較，分析出作者使用虛詞的總體情況。在分別就每一個(gè)虛詞的使用分析確定作者的行文風(fēng)格。六、三個(gè)文本模型成果與檢驗(yàn)6.1.1人物關(guān)系模型結(jié)果分析由5.1.2模型得出下述結(jié)果文本1人物關(guān)系層次分析從聚類分析得到的聚類圖中也可以得到寶釵、寶玉、黛玉之間有密切關(guān)系。文本2人物關(guān)系觀察系統(tǒng)聚類分析的樹形圖的每一次類的合并情況，鳳姐和平兒、賈母和賈璉分別合并成一類然后合并成一類。文本3人物關(guān)系從聚類分析的聚類圖中可以看出惜春與鴛鴦間有密切聯(lián)系，從聚類圖的每一次類的合并情況來看賈璉與惜春為一類后與賈珍合并為一類，再與賈母合并為一類，可得出賈珍與賈璉之間存在聯(lián)系，而賈母又與這些人物有著關(guān)聯(lián)；從圖中還可以看出賈蕓與鳳姐之間有著聯(lián)系。6.1.2人物關(guān)系模型檢驗(yàn)由文章的標(biāo)題可以確定出三個(gè)文本的主要人物分別為薛寶釵、賈寶玉；王熙鳳、平兒；賈寶玉、賈珍。故事分別圍繞這六個(gè)人展開。第八回概述：寶玉想起寶釵小病，前去探望，寶釵要看寶玉那塊“落草時(shí)銜下來的寶玉”，寶釵只見通靈寶玉上銘文：莫失莫忘，仙壽恒昌。寶玉也要過寶釵佩帶的金鎖來看，發(fā)現(xiàn)金鎖上銘文：不離不棄，芳齡永繼。正巧黛玉來了，見寶玉，寶釵在一起，心下不悅，黛玉借尋雁送手爐趁機(jī)奚落寶釵。寶玉深感郁悶喝醉回房，趁酒意大罵李嬤嬤。從概述里可以看出寶釵、寶玉、黛玉之間存在著情感關(guān)聯(lián)，寶釵的金鎖、寶玉的通靈寶玉上的兩句銘文恰好是對(duì)仗工整的一副聯(lián)語，也是所謂“金玉良緣”的根據(jù)。黛玉因看到寶釵與寶玉在一起而心生不悅，從而引出三人之間的情感聯(lián)系。從聚類分析得到的聚類圖中也可以得到寶釵、寶玉、黛玉之間有密切關(guān)系，與文本內(nèi)容相吻合。第44回主要講的是鳳姐過生日，喝醉了酒，就叫平兒扶她回房間，沒想到走到院子里的時(shí)候看見一個(gè)丫頭一看見鳳姐就沒命的跑，鳳姐很生氣，逼問那個(gè)丫頭，那個(gè)丫頭就說賈璉和鮑二媳婦在屋里偷情，鳳姐一氣之下沖進(jìn)院里，站在窗外偷聽，聽賈璉和鮑二媳婦說要毒死她，把平兒扶正，鳳姐聽了生氣，就打了平兒一耳光，沖進(jìn)屋內(nèi)，大喊大嚷，又打又鬧，平兒感覺很委屈，也去打鮑二媳婦，賈璉很生氣，就拿劍要?dú)ⅧP姐，鳳姐就沖到賈母屋里告狀，賈母就要賈璉狠狠罵了一頓，要他跟鳳姐道歉，也要鳳姐跟平兒道歉．從概述里可以看出在這回中，主要的矛盾沖突存在于鳳姐和平兒間，賈母與賈璉之間，以及這四個(gè)人物間關(guān)系糾葛。觀察系統(tǒng)聚類分析的樹形圖的每一次類的合并情況，鳳姐和平兒、賈母和賈璉分別合并成一類然后合并成一類，與我們對(duì)文本分析得到的結(jié)論相同。第八十八回概述：賈母八十一大壽時(shí)，鴛鴦叫惜春寫經(jīng)。李紈與賈母打雙陸。寶玉給賈母送蟈蟈解悶。師傅讓對(duì)對(duì)子，賈環(huán)對(duì)不了，寶玉幫他對(duì)，他買蟈蟈謝寶玉；賈蘭對(duì)好了，寶玉夸賈蘭。賈環(huán)、賈蘭給賈母表安來了。賈珍、賈璉怒打鬧仗的周瑞、何三和鮑二。賈蕓和小紅在鳳姐外相見戲笑。賈蕓給鳳姐送東西，鳳姐不收；賈蕓把鳳姐不要的東西給小紅兩件。從概述可以看出鴛鴦與惜春因賈母大壽產(chǎn)生聯(lián)系，賈環(huán)、寶玉、賈蘭因?qū)?duì)子產(chǎn)生聯(lián)系，賈珍與賈璉因鬧仗的悍仆而產(chǎn)生聯(lián)系，在前幾組人物的關(guān)系發(fā)展中賈母的大壽是主要因素，因此賈母又與鴛鴦、惜春、賈環(huán)、賈蘭、寶玉之間存在聯(lián)系；賈蕓與鳳姐因送東西而產(chǎn)生聯(lián)系。從聚類分析的聚類圖中可以看出惜春與鴛鴦間有密切聯(lián)系，從聚類圖的每一次類的合并情況來看賈璉與惜春為一類后與賈珍合并為一類，再與賈母合并為一類，可得出賈珍與賈璉之間存在聯(lián)系，而賈母又與這些人物有著關(guān)聯(lián)；從圖中還可以看出賈蕓與鳳姐之間有著聯(lián)系。從聚類圖中可以得出的人物關(guān)系與從文本內(nèi)容概述的得出的關(guān)系相符合。6.2.1文本結(jié)構(gòu)分析成果得到的分層結(jié)果如下:樣本一（第八回）1至13自然段可劃分為第一層，主題為薛寶釵小恙梨香院；14自然段到本回結(jié)束為第二層，主題為賈寶玉大醉絳蕓軒。下表為標(biāo)題中出現(xiàn)的人物名在各段落中出現(xiàn)的頻率:寶釵015003142011100000000寶玉3811033232551646562522經(jīng)過文本的層次分析,可以得到文本的邏輯結(jié)構(gòu),它的直觀形式體現(xiàn)為文本的結(jié)構(gòu)樹:樣本一層次二層次一樣本一層次二層次一段落18段落14段落1段落13段落18段落14段落1段落13樣本二（第四十四回）1至8自然段為第一層，主題為變生不測(cè)鳳姐潑醋；9至本回結(jié)束為第二層，主題為喜出望外平兒理妝。下表為標(biāo)題中出現(xiàn)的人物名在各段落中出現(xiàn)的頻率：鳳姐1351157201102123327平兒0007313205347423312樣本二樣本二層次一層次一層次二層次二段落18段落1段落9段落18段落1段落9段落8....................樣本三（第八十八回）1至5自然段為第一層，主題為博庭歡寶玉贊孤兒；第6至10自然段為第二層，主題為正家法賈珍鞭悍仆。下表為標(biāo)題中出現(xiàn)的人物名在各段落中出現(xiàn)的頻率：寶玉0051100000000000000賈珍0000024644000000000樣本三樣本三第八十八回層次一層次一層次二層次二段落19段落5段落1段落6段落19段落5段落1段落6................6.2.2文本結(jié)構(gòu)分析檢驗(yàn)設(shè)文本共有N個(gè)自然段,專家劃分H1=(Pi1?Pi2-1)(Pi2?Pi3-1)?(Pik?PiK+1-1),機(jī)器自動(dòng)劃分H2=(Pj1?Pj2-1)(Pj2?Pj3-1)?(PjK?PjK+1-1),定義評(píng)判得分Q=，其中函數(shù)h(Pi)=1,若Pi在H1,H2中的劃分一致;h(Pi)=0,若Pi在H1、H2中的劃分不一致。根據(jù)各樣本標(biāo)題中人物名在各段落中出現(xiàn)的頻數(shù)，我們用Excel繪制了折線圖，根據(jù)圖形我們可以大致得出層次劃分的結(jié)論：（1）樣本一從圖中我們可以看出14自然段之后寶釵在文本中沒有出現(xiàn)，寶玉在文本中出現(xiàn)的次數(shù)保持一個(gè)相對(duì)穩(wěn)定的狀態(tài)，由此，我們可以得到層次劃分的分界點(diǎn)是在第13自然段，從而驗(yàn)證在層次分析中得到的對(duì)文本的層次劃分是符合實(shí)際的。（2）樣本二從圖中可以看出在前8段中，鳳姐與平兒出現(xiàn)頻數(shù)波動(dòng)幅度較大，并且兩者變動(dòng)趨勢(shì)大致相同，而后10段鳳姐與平兒的頻數(shù)均相對(duì)穩(wěn)定，且平兒的頻數(shù)明顯大于鳳姐，由此可以得出1至8段為第一層，9至18段為第二層，從而驗(yàn)證層次分析中的結(jié)論。樣本三從圖中可以看出，寶玉只在前5段中出現(xiàn)，而賈珍只在6段之后出現(xiàn)，由實(shí)際對(duì)《紅樓夢(mèng)》第八十八回的閱讀，不難發(fā)現(xiàn)，在11段之后描寫的是和賈珍有密切關(guān)系的人,所以可以得到1至5段為第一層，6至19段為第二層，從而驗(yàn)證了層次分析中的結(jié)論。6.3.1作者行文風(fēng)格模型結(jié)論以下是對(duì)我們所選取的是三個(gè)樣本中虛詞使用情況的模型結(jié)果與分析三個(gè)文本的總字?jǐn)?shù)分別為6587、6677、6670計(jì)算虛詞使用頻率為從上述圖表中我們可以看出在虛詞使用頻率方面，前80回的作者對(duì)虛詞的使用大致占總文本的2%，而后40回的作者使用虛詞的頻率較低，大致為1.4%。兩個(gè)作者為同一個(gè)的可能性為（2%—1.4%）/1.4%=42.9%,從中我們可以看出紅樓夢(mèng)的作者為兩個(gè)人。樣本1、樣本2、樣本3中虛詞使用頻率圖樣本1、2、3中各虛詞使用情況分布圖在上述圖表中，我們可以看出各文本中虛詞‘也’的使用頻率最高，文本1中各虛詞使用頻率分布集中，文本2中除去虛詞‘也’之外的虛詞使用情況也很集中，而文本3中的虛詞使用情況較為分散，較為集中的使用幾個(gè)虛詞。故我們可以看出，寫前80回的作者對(duì)虛詞使用沒有特定偏好，而后40回的作者對(duì)‘何’，‘若’，‘為’，‘也’，‘因’等部分虛詞有使用上的偏好，而虛詞的使用不由文本內(nèi)容所影響，僅由作者寫作習(xí)慣決定，從而分析出前80回的作者不同于后40回的作者。6.3.2作者行文風(fēng)格模型結(jié)果檢驗(yàn)1970年，趙岡提出了使用“的”、“了”、“在”、“幾”、“著”5個(gè)字的出現(xiàn)頻率來研究《紅樓夢(mèng)》的作者問題，得出了前80回和后40回出自不同人之手的結(jié)論。1980年，在威斯康辛大學(xué)舉辦的首屆國(guó)際《紅樓夢(mèng)》研討會(huì)上，陳炳藻發(fā)表《從詞匯上的統(tǒng)計(jì)論〈紅樓夢(mèng)〉的作者問題》一文。陳炳藻教授的研究結(jié)果1986年，陳炳藻教授公開發(fā)表了《電腦在文學(xué)上的應(yīng)用：〈紅樓夢(mèng)〉與〈兒女英雄傳〉兩書作者用詞的比較》一文；之后又出版了《電腦紅學(xué)：論〈紅樓夢(mèng)〉作者》的專著。陳炳藻將《紅樓夢(mèng)》一百二十回本按順序編成三組，每組四十回。并將《兒女英雄傳》作為第四組進(jìn)行比較研究。從每組中任取八萬字，分別挑出名詞、動(dòng)詞、形容詞、副詞、虛詞這五種詞，通過計(jì)算機(jī)程序?qū)@些詞進(jìn)行編排、統(tǒng)計(jì)、比較和處理，進(jìn)而找出各組相關(guān)程度。結(jié)果發(fā)現(xiàn)《紅樓夢(mèng)》前八十回與后四十回所用的詞匯正相關(guān)程度達(dá)78.57%，而《紅樓夢(mèng)》與《兒女英雄傳》所用詞的正相關(guān)程度是32.14%。由此推斷得出前八十回與后四十回的作者均為曹雪芹一人的結(jié)論。李賢平的分析論點(diǎn)1987李賢平發(fā)表了《〈紅樓夢(mèng)〉成書新說》作者選擇了四十七個(gè)虛字的出現(xiàn)頻率，有時(shí)還用到句長(zhǎng)分布。(1)十三個(gè)文言虛字:之、其、或、亦、方、于、即、皆、因、仍、故、尚、乃(2)九個(gè)句尾虛字:呀、嗎、咧、罷咧、啊、罷、罷了、么、呢。(3)十三個(gè)常用的白話虛字:了、的、著、一、不、把、讓、向、往、是、在、別、好。(4)十個(gè)表示轉(zhuǎn)折、程度、比較等意的虛字:可、便、就、但、越、再、更、比、很、偏。(5)后綴于名詞的“兒”字和后綴于副詞、形容詞和動(dòng)詞的“兒”字。采用了各種統(tǒng)計(jì)分析方法(主要有主成份分析，典型相關(guān)分析，多維尺度法，廣義線性模型，類卡方距離與相關(guān)系數(shù)等等)利用以上信息，作者推斷出結(jié)論：《紅樓夢(mèng)》前八十回是曹雪芹據(jù)《石頭記》增刪而成，其中插入他早年著的《金瓶梅》式小說《風(fēng)月寶鑒》，并增寫了具有深刻內(nèi)涵的許多內(nèi)容。《紅樓夢(mèng)》后四十回是曹家親友在曹雪芹全書尚未完成就突然去世之后，搜集整理原稿并加工補(bǔ)寫而成。程偉元將全稿以活字版印刷刊行。高鶚?？碑愇难a(bǔ)遺訂訛。我們可以確定的是前80回的作者在寫作中對(duì)虛詞的使用頻率較高，大致為2%。并且對(duì)各虛詞的使用沒有特定的偏好；后40回中作者的虛詞使用頻率較低，對(duì)‘何’，‘若’，‘為’，‘也’，‘因’等部分虛詞有使用上的偏好。從而推斷出前80回的作者的行文風(fēng)格不同于后40回的作者。與專家趙岡、李賢平的分析結(jié)果相同，但是與陳炳藻教授的研究結(jié)果不同。故該用模型確立作者的行文風(fēng)格有可行性。七、基于所建模型的三個(gè)樣本的分析比較7.1相同性文本結(jié)構(gòu)均分為兩個(gè)層次，即文本結(jié)構(gòu)不變性；文本通過聚類分析后我們發(fā)現(xiàn)，主要人物的活動(dòng)范圍幾乎不變；例如人物寶玉，寶玉與寶釵、黛玉關(guān)系的緊密性不變（人物頻數(shù)變化大致相同），而同時(shí)與襲人、茜雪、晴雯的關(guān)系為上下級(jí)關(guān)系，因?yàn)閷氂癯霈F(xiàn)后，上述三人均會(huì)出現(xiàn)，并且位于下一類，由下圖顯示：前80回作者的行文風(fēng)格相同前80回的作者在寫作中對(duì)虛詞的使用頻率較高，大致為2%。并且對(duì)各虛詞的使用沒有特定的偏好。7.2差異性人物出現(xiàn)頻數(shù)的變化，可以分析出人物的狀況。例如黛玉在三個(gè)樣本中頻數(shù)的變化：由上圖可以看出黛玉在三個(gè)文本中出現(xiàn)的頻數(shù)在急劇下降到幾乎消失，可以推斷出黛玉的身體狀況可能出現(xiàn)了問題，而最后的頻數(shù)為零可以大膽假設(shè)為黛玉病?；蛩劳?。作者的行文風(fēng)格前后發(fā)生變化前80回的作者在寫作中對(duì)虛詞的使用頻率較高，大致為2%。并且對(duì)各虛詞的使用沒有特定的偏好；后40回中作者的虛詞使用頻率較低，對(duì)‘何’，‘若’，‘為’，‘也’，‘因’等部分虛詞有使用上的偏好。從而推斷出前80回的作者的行文風(fēng)格不同于后40回的作者。八、模型的評(píng)價(jià)與推廣8.1模型的優(yōu)點(diǎn)運(yùn)用系統(tǒng)聚類的方法來描述人物間的聯(lián)系，通過生成水平樹形圖可以非常清楚地看到人物的分層合并，并且與直接分析文本所得到的人物間聯(lián)系吻合的效果很好。用人名作特征值既具有代表性，又可以很簡(jiǎn)化的統(tǒng)計(jì)出人物關(guān)系。而在確定具體人名時(shí)，我們先規(guī)劃了主要人物，然后選用了概括性最強(qiáng)的人名最為特征值。文本結(jié)構(gòu)分析運(yùn)用層次分析法鮮明的表現(xiàn)出了文本結(jié)構(gòu)，在特征值的選取上，根據(jù)紅樓夢(mèng)文本標(biāo)題的概括性提取出故事主要人物，以此為特征值使結(jié)論中結(jié)構(gòu)分析簡(jiǎn)易化、精確化。應(yīng)用計(jì)算風(fēng)格學(xué)，采用計(jì)算機(jī)技術(shù)和統(tǒng)計(jì)方法，編制特定的數(shù)學(xué)程序和數(shù)量模型來研究文章風(fēng)格。我們根據(jù)語言單位之間的數(shù)量關(guān)系，對(duì)不同的比率進(jìn)行比較，歸入不同的類型（虛詞），確定文章風(fēng)格的差異。該文本識(shí)別模型從物理結(jié)構(gòu)與邏輯結(jié)構(gòu)兩個(gè)方面分析文本，得到了作者行文風(fēng)格、段落劃分及文本結(jié)構(gòu)和人物關(guān)系的結(jié)論。8.2模型的缺點(diǎn)在特征詞量化方面，由于中文含義上的多樣性，存在人名用代詞替換的情況，使頻數(shù)出現(xiàn)誤差；同名不同義的特征詞出現(xiàn)也會(huì)造成頻數(shù)誤差（如：寶玉、通靈寶玉）。文本層次劃分由于特征詞的選用是根據(jù)《紅樓夢(mèng)》文本的標(biāo)題決定的，該文本標(biāo)題是全文內(nèi)容的概括，出現(xiàn)人名就是故事主要人物，但這類文本不具有普遍性，故幾乎不可用于其他文本結(jié)構(gòu)分析上，不具有普遍性。張首映指出，單個(gè)作家的“語言風(fēng)格”是不可求證的，（文學(xué)自由談，1988（4））單個(gè)作家的“語言風(fēng)格”，無論在時(shí)間之軸上，還是在空間之維中，都必定不可能產(chǎn)生。林語堂式的幽默，沈從文式的淡雅，都是不同的言語風(fēng)格，而不是語言風(fēng)格。因此計(jì)算起來可能很難。這一論斷表明，我們不可能以量化的數(shù)值來表示絕對(duì)的作家風(fēng)格。計(jì)算風(fēng)格學(xué)的量化指標(biāo)都只能作