學術不端文獻檢測系統(tǒng)培訓手冊

1、 學術不端文獻檢測系統(tǒng)培訓手冊學術不端文獻檢測系統(tǒng)培訓手冊專業(yè)資料網(wǎng)豆丁淘花資料下載服務第一章 系統(tǒng)簡介1.1 系統(tǒng)概述學術不端文獻檢測系統(tǒng)（簡稱“amlc”）以中國學術文獻網(wǎng)絡出版總庫為全文比對數(shù)據(jù)庫，實現(xiàn)了對抄襲與剽竊、偽造、篡改等學術不端行為的快速檢測，可供用戶檢測論文，并支持用戶自建比對庫。其系統(tǒng)示意圖如圖1所示。圖1 檢測系統(tǒng)示意圖1.2 系統(tǒng)技術路線介紹amlc采用cnki自主研發(fā)的自適應多階指紋（）特征檢測技術，具有檢測速度快，準確率，召回率較高，抗干擾性強等特征。支持篇章、段落、句子各層級檢測；支持文獻改寫，多篇文獻組合等各種文獻變形檢測；支持研究生論文、圖書專著等超長文獻的學

2、術不端檢測。cnki自適應多階指紋技術原理如圖2所示：圖2 cnki自適應多階指紋技術原理圖對任意一篇需要檢測的文獻，系統(tǒng)首先對其進行分層處理，按照篇章、段落、句子等層級分別創(chuàng)建指紋，而比對資源庫中的比對文獻，也采取同樣技術創(chuàng)建指紋索引。這樣的分層多階指紋結構，不僅可以滿足我們對超長文獻的快速檢測，而且，因為我們的最小指紋粒度為句子，因此，也滿足了系統(tǒng)對檢準率和檢全率的高要求。原則上，只要檢測文獻與比對文獻存在一個相同的句子，就能被檢測系統(tǒng)發(fā)現(xiàn)。1.3 系統(tǒng)功能概述系統(tǒng)主要功能包括：已發(fā)表文獻檢測、論文檢測、問題庫查詢、自建比對庫管理等。已發(fā)表文獻檢測：指檢測系統(tǒng)能夠自動將屬于用戶的已正式發(fā)表

3、的論文檢索出來，并對每一篇已發(fā)表文獻進行實時檢測，快速給出檢測結果。論文檢測：主要實現(xiàn)論文實時在線檢測功能。問題庫查詢：指用戶可以將檢測結果中確認有問題的文獻放入到問題庫，便于用戶集中管理。自建比對庫：指管理人員可以選擇將檢測文獻放入個人比對庫或者批量上傳文獻作為個人比對庫，該個人比對庫即可作為以后學術不端文獻檢測的比對數(shù)據(jù)庫，該自建個人比對庫完全屬于用戶，其他用戶無權使用。1.4 系統(tǒng)目的amlc的目的是提供辨別和處理學術不端文獻的能力，為審查論文提供技術服務。檢測系統(tǒng)在對論文進行檢測之后，生成檢測報告，為判斷論文性質提供相關依據(jù)。第二章 檢測原理及方法2.1 支撐技術cnki擁有強大的技術

4、研發(fā)隊伍，目前已經(jīng)擁有了具有國際或國內領先水準的全面的數(shù)字出版的相關技術，包括資源采集技術，文本數(shù)據(jù)庫加工技術，文本數(shù)據(jù)庫技術, 數(shù)字資源版權保護技術, 知識挖掘技術, 自然語言處理技術、快速比對技術等。在海量的全文數(shù)據(jù)的基礎上實現(xiàn)快速準確的檢測，上述技術是基本的保證。2.2 支撐資源amlc需要一個盡可能完備的全文數(shù)據(jù)比對資源庫，而cnki的中國學術文獻網(wǎng)絡出版總庫則正好滿足這一要求。到目前為止，cnki擁有學術期刊7000余種，期刊全文文獻2480萬篇，期刊期數(shù)和文獻收錄完整率都大于99.9%，文獻量居國際國內同類產(chǎn)品之首；出版503家碩士學位點的72萬篇優(yōu)秀碩士論文，368家博士學位點的

5、9.6萬篇博士論文；1286家重要會議論文106萬篇；515家重要報紙500多萬篇；1376種重要年鑒787萬篇；600多種工具書220多萬條；學術引文索引數(shù)據(jù)600多萬條；這些出版物做到平均日更新20000條記錄；國家標準、專利、springer數(shù)據(jù)庫也集成到cnki網(wǎng)絡出版平臺中；另外，出版平臺還集成整合出版了各類第三方數(shù)據(jù)庫資源1020種。在收錄資源種類上，cnki在國內具有明顯優(yōu)勢，收錄了期刊、論文、會議論文、報紙、年鑒、工具書、專利、外文文獻、學術文獻引文等與科學研究、學習相關的主要資源。在資源收錄數(shù)量上，cnki明顯優(yōu)于同類產(chǎn)品，各個資源庫收錄年限長，期刊等主要資源庫回溯到創(chuàng)刊。在

6、資源更新速度上，cnki產(chǎn)品除了第三方合作的外文文獻以外，其他資源都做到了日更新，單日更新數(shù)量大，這是推行產(chǎn)業(yè)化、標準化運作的結果。2.3 系統(tǒng)架構模式2.3.1 系統(tǒng)架構圖圖3 系統(tǒng)架構圖2.3.2 系統(tǒng)示意圖檢測系統(tǒng)提供整套的文獻學術不端行為檢測，系統(tǒng)服務器位于cnki中心網(wǎng)站，用戶將待檢測的論文通過網(wǎng)絡在線提交到中心網(wǎng)站服務器，服務器在檢測完成后，自動將檢測結果返回給用戶。整套系統(tǒng)架構為b/s結構，客戶端不需要安裝任何軟件。其系統(tǒng)示意圖如圖4所示：用戶3用戶1server1監(jiān)測服務server2監(jiān)測服務server3監(jiān)測服務學位論文期刊學術文獻用戶2用戶4用戶5會議論文用戶自有資源報紙文

7、獻server1監(jiān)測結果server2監(jiān)測結果server3監(jiān)測結果專利全文圖4 系統(tǒng)示意圖2.3.3 系統(tǒng)流程圖圖5 系統(tǒng)核心流程圖2.4 用戶提供的資源實現(xiàn)論文的學術不端檢測，用戶需要提供的資源包括：1論文全文內容論文全文內容是檢測論文是否存在學術不端行為的基礎數(shù)據(jù)。本檢測系統(tǒng)是對提交的論文全文內容進行分析，在內容分析的基礎上，生成各項檢測指標。因此，全文數(shù)據(jù)是系統(tǒng)所需要的必要資源。2元數(shù)據(jù)信息元數(shù)據(jù)指論文相應的作者、作者單位、發(fā)表時間、支持基金項目等信息。元數(shù)據(jù)是檢測系統(tǒng)對學術不端類型進行判斷所需的基礎數(shù)據(jù)，為了更準確的便于系統(tǒng)做出預判，用戶可以在提交檢測文獻的同時，一并提交文獻的元數(shù)據(jù)

8、信息。特別提到的是：在進行論文檢測的時候，作者信息是非常必要的。輸入作者信息，在后續(xù)的檢測過程中，系統(tǒng)能夠自動根據(jù)作者信息區(qū)分比對資源中的文獻是屬于該作者已發(fā)表的文獻，還是他人的文獻，為用戶快速甄別論文是否存在學術不端行為提供更直觀的印象。因為在論文中，引用自己以前發(fā)表過的文獻是合理的。注意：元數(shù)據(jù)不是系統(tǒng)必需的數(shù)據(jù)，用戶在使用檢測系統(tǒng)的時候，可以選擇不填寫元數(shù)據(jù)。但我們建議最好輸入作者信息。2.5 檢測結果內容在對用戶提交的檢測文獻檢測之后，系統(tǒng)生成的檢測結果包括：1 重合文字來源文獻信息。系統(tǒng)詳細列出重合文字來源文獻信息，這些文獻都是真實存在，而且應是公開發(fā)表或得到發(fā)表確認的。2 比對信息

9、。檢測文獻和來源文獻的詳細比對信息，用戶可以快速選擇重合文字部分查閱。3 總檢測指標。該指標體系從多個角度對檢測文獻中的文字復制情況進行了概括性描述。4 子檢測指標。因為論文一般較長，因此，系統(tǒng)一般按章檢索，并且每一章給出子檢測指標，該檢測指標從多個角度對該章內容的檢測情況進行了詳細描述。5 診斷類型。系統(tǒng)根據(jù)指標參數(shù)以及其他元數(shù)據(jù)相關信息，自動給出一個預判的診斷類型，供審查人員參考。6 檢測報告。檢測系統(tǒng)自動生成一個檢測報告單，詳細列出檢測文獻的學術不端行為檢測情況，用戶可以對該報告單進行修改，生成終審報告。注意：系統(tǒng)只對疑似存在學術不端行為的論文生成檢測報告。第三章 檢測指標體系學術不端文

10、獻檢測系統(tǒng)采用的指標體系分為兩個部分：3.1 總檢測指標論文一般文獻篇幅較大，字數(shù)多，碩士論文一般為35萬字，博士論文則多達十多萬字。因此，為了讓用戶對整個論文有一個快速的概況了解，特制定了以下指標體系：l 總重合字數(shù)（cca）l 總文字復制比（ttr）l 總文字數(shù)（tca）l 疑似章節(jié)數(shù)（qca）l 總章節(jié)數(shù)（tca）l 首部重合文字數(shù)（hcca）l 尾部重合文字數(shù)（ecca）上述指標從整體情況描述了論文的檢測情況，便于用戶快速了解該論文總的檢測概況。下面對上述指標分別進行說明。3.1.1總重合字數(shù)（cca）論文一般篇幅大，少則35萬字，多則十多萬字，若以文字復制比來衡量一篇論文的文字重合情

11、況，則不太合適。因為對于一篇十幾萬字的博士論文來說，10%就已達到1萬字，文字復制情況已經(jīng)非常嚴重。因此，對于博碩士論文檢測，檢測系統(tǒng)使用絕對字數(shù)即總重合字數(shù)作為檢測結果的核心指標。如圖6所示：圖6 總重合字數(shù)示例3.1.2總文字復制比（ttr）總文字復制比則是指論文中總的重合字數(shù)在總的論文字數(shù)中所占的比例。通過該指標，我們可以直觀了解到重合字數(shù)在該檢測論文中所占的比例情況。3.1.3總文字數(shù)（tca）總文字數(shù)是指該檢測論文所有包含的字數(shù)，文字復制比與總文字數(shù)的乘積即為重合字數(shù)。3.1.4疑似章節(jié)數(shù)（qca）、總章節(jié)數(shù)（tca）疑似章節(jié)數(shù)是則檢測論文疑似存在學術不端行為的章節(jié)的數(shù)量?？傉鹿?jié)數(shù)則

12、是指論文總的章節(jié)數(shù)（對于不按章節(jié)顯示，而是按照固定長度切分的論文，每一段落為一章節(jié)）。3.1.5首部重合文字數(shù)（hcca）、尾部重合文字數(shù)（ecca）首部重合文字數(shù)指論文前1萬字中重合的文字數(shù)量。尾部重合文字數(shù)是指除去前1萬字，剩下的部分中重合的文字數(shù)量。對于論文，一般開頭部分均是綜述性的報告介紹，其重要性遠低于論文尾部。3.2 子檢測指標對于論文的每一章節(jié)，又制定了如下檢測指標來反映該章節(jié)的檢測情況，對于一篇論文來說，每一章的內容各異，重點也不一樣，其核心工作內容一般主要存在某幾章中，子檢測指標可以讓用戶迅速了解每一章節(jié)的檢測情況。子檢測指標包括：l 文字復制比（tr）l 重合字數(shù)（cnw）

13、l 最大段長（lpl）l 平均段長（apl）l 段落數(shù)（pn）l 段文字比（pr）l 首部復制比（hr）l 尾部復制比（er）l 引用復制比（rr）*上述指標從多個角度反映了檢測文獻的檢測情況，便于用戶進行針對性審核。下面對各項指標分別進行說明。3.2.1 文字復制比（tr）因為論文一般文字量較多，為了便于用戶快速瀏覽檢測結果。系統(tǒng)會自動對論文進行切分處理。有如下兩種處理方式：1若用戶提交的論文是ms word格式，且按照ms word格式生成了文檔目錄，檢測系統(tǒng)會自動識別論文章節(jié)，按論文實際章節(jié)信息顯示論文內容。2若論文不存在明顯的章節(jié)信息，或者不是ms word格式論文，則系統(tǒng)會自動按照每

14、段1萬余字符切分論文，按照切分后的結果顯示。文字復制比即指論文切分后每一章節(jié)段落的文字復制情況。文字復制比即指論文的某一章節(jié)與比對文獻比較后，重合文字部分在該章節(jié)中所占的比例。比例越高，反映該章節(jié)越多的文字來自于其他已發(fā)表文獻。文字復制比反映了文章“抄襲”的文字數(shù)量比例，一般來說，文字復制比越高，存在學術不端行為的可能性越大。文字復制比情況如圖7所示。圖7 文字復制比示例3.2.2 重合字數(shù)（cnw）重合字數(shù)指論文該章節(jié)與比對文獻比較后，重合部分的字數(shù)。一般來說，不管文字復制比如何，重合字數(shù)越多，存在學術不端行為的可能性越大。如圖8所示，在圖中，雖然文字復制比只有16%，比例不高，但圖中左文標

15、紅部分實際上是抄襲了右文的標紅部分。圖8 重合字數(shù)示例3.2.3 最大段長（lpl）、平均段長（apl）、段落數(shù)（pn）在論文檢測中，當連續(xù)文字超過一定比例時，稱之為段。在本系統(tǒng)中，一般認為，連續(xù)200以上文字稱為段。與比對文獻重合的最大段長度即為最大段長。最大段長反映成段抄襲特征。連續(xù)的文字越長，抄襲的可能性越大。在論文中，所有段的長度的平均值即為平均段長。在論文中，所有段的數(shù)量為段落數(shù)。平均段長和段落數(shù)反映了重合文字在論文中的分布情況，一般來說，指標參數(shù)越高，存在學術不端行為的可能性越大。如圖9所示，標紅部分的連續(xù)文字構成了段，而且它是算法設計的抄襲，審查人員比較容易判斷；而在圖10中，標

16、紅文字不構成段，連續(xù)文字較少，對它的性質判斷則可能需要更多的信息。圖9 段落復制示例圖10 句子復制示例3.2.4 段文字比（pr）在論文的某一章節(jié)中，所有該章節(jié)文字重合段的字數(shù)之和占該章節(jié)文字數(shù)的比例為段文字比。段文字比反映了抄襲連續(xù)特征。一般來說，連續(xù)文字出現(xiàn)的越多，比文字分散出現(xiàn)的情況更可能存在學術不端行為。3.2.5 首部復制比（hr）論文某一章節(jié)的前20稱之為章節(jié)首部，首部的文字復制比為首部復制比。就中文文獻來說，一般每一章節(jié)正文開頭部分出現(xiàn)的是綜述性語言，重要性相對偏低。如圖11所示，左文和右文開頭大段相同，但文字內容基本都是綜述性的介紹。圖11 首部復制比示例3.2.6 尾部復制

17、比（er）每一章節(jié)的后80稱之為章節(jié)尾部，尾部的文字復制比為尾部復制比。通常情況下，尾部文字內容就重要性來說，比前部文字內容要高。如圖12所示，我們仔細查閱比較圖11和圖12的內容發(fā)現(xiàn)，圖11中首部文獻是綜述他人工作，而圖12中尾部文獻則是闡述自己的研究工作的目的和意義，應該是作者個人工作的體現(xiàn)，在這部分直接抄襲他文，性質要嚴重得多。圖12 尾部復制比示例3.2.7 引用復制比（rr）引用復制比指與存在引證關系的文獻的文字重合部分的比例。對于論文來說，存在引證關系與不存在引證關系的復制部分應區(qū)別對待。復制了他文內容，而不注明引用，性質要更加嚴重。同時我們也認為，不是所有的注明了引用的，就不存在

18、抄襲，引用也應有一個度和范圍的限制。第四章 類型及實例介紹按照上面的檢測方法和指標體系，amlc能夠處理多種的學術不端類型。在論文檢測中，一般不存在不當署名、一稿多投等學術不端行為。對于論文檢測中的各類學術不端行為，按照性質的嚴重性由低到高排序，主要包括：抄襲、篡改、偽造等。下面分別進行介紹。4.1 抄襲針對抄襲各種類型，下面分別舉例說明：1輕度句子抄襲圖13 輕度句子抄襲示例2句子抄襲圖14 句子抄襲示例3輕度段落抄襲圖15 輕度段落抄襲示例4段落抄襲圖16 段落抄襲示例5整體抄襲圖17 整體抄襲示例另外，按照抄襲來源還可以將抄襲劃分為：l 單源抄襲：重合文字全部來自于一篇文獻；l 多源抄襲

19、：重合文字來源于兩篇及以上文獻。如圖18所示，重合文字來源有13篇文獻，屬多源抄襲。圖18 多源抄襲示例4.2 篡改篡改是指按照期望值隨意篡改或取舍數(shù)據(jù)，以符合自己的研究結論，一般有主觀取舍數(shù)據(jù)和篡改原始數(shù)據(jù)等形式。對于篡改，系統(tǒng)也具有一定的手段進行檢測，首先來看一個例子，在一篇文獻中提到：分詞的準確率為99.66%，詞性標注的準確率為99.07%，利用cnki已有的相關技術，系統(tǒng)可以快速檢測與分詞準確率和詞性標注準確率有關的數(shù)值信息，供審查人員參考，對文獻中數(shù)據(jù)值遠高于當前公布的數(shù)據(jù)值的情況，提醒審查人員仔細核查，如圖19所示。圖19 篡改檢測示例在圖中，上面黃色標示的是檢測文獻中描述的分詞

20、準確率和詞性標注準確率，下面部分則是在cnki特色搜索功能數(shù)值搜索中檢索到的當前關于分詞準確率和詞性標注準確率的描述。我們可以觀察到，當前檢測到的所有關于分詞準確率和詞性標注準確率的描述文字中，其數(shù)值均低于檢測文獻中所描述的數(shù)值，因此，我們有理由對檢測文獻中的分詞準確率產(chǎn)生懷疑，提示審查人員進一步核查。4.3 偽造偽造的特點：新研究成果中提供的材料、方法、數(shù)據(jù)、推理等方面不符合實際，無法通過重復試驗再次取得，有些甚至連原始數(shù)據(jù)都被刪除或丟棄，無法查證。偽造包括的方面很多，可以偽造數(shù)據(jù)、偽造基金、偽造項目、偽造數(shù)值、表格、圖形等。偽造基金/偽造項目：有些論文中虛設基金、項目支持，這種情況可通過查

21、詢政府相關基金項目庫可以快速驗證；偽造數(shù)值、圖表等知識元，則可以通過cnki已有的成熟的數(shù)值搜索技術、圖表搜索技術進行查證，起到警示作用。注意：偽造是檢測難度最高的不端行為，還需要做進一步、更深的研究。4.4 其他類型學術不端類型肯定不止上面列出的幾種，其他目前能夠有所處理的類型還包括：1引用杜撰別人根本沒有說過的話，自己編造，卻作為他人的話引用。尤其是杜撰引用國外學者。2引文杜撰根本就不存在的文獻，杜撰一篇引文。第五章 系統(tǒng)功能及實例分析amlc主要功能包括：已發(fā)表文獻檢測、論文檢測、問題庫查詢、自建比對庫管理等，下面分別結合例子進行介紹。5.1 已發(fā)表文獻檢測各注冊用戶可在權限范圍內查看本

22、單位已被cnki正式收錄論文的檢測結果。對于確定有問題的文獻，還可以將其直接放入問題記錄庫。其流程圖如圖20所示：選擇年份選擇文獻瀏覽檢測結果放入問題庫查看原版文獻生成系統(tǒng)報告單圖20 已發(fā)表文獻檢測流程圖用戶可以選擇具體某一年的論文進行查閱檢測，也可以通過頁面提供的檢索功能，檢索某一個作者的論文或者按照論文篇名檢索具體的某一篇文獻，如圖21所示。按作者或篇名查詢已畢業(yè)的學位論文按博士或碩士論文分類學位授予單位圖21 已發(fā)表文獻檢測列表注意：因為相關原因，所有示例中涉及具體單位和個人的信息基本都隱去。選擇某一篇論文，點擊論文標題，進入下一個頁面，對于論文來講，一般會被切分成幾個到十幾個段落，用

23、戶可以依次點擊查閱，如圖22所示。圖22 已發(fā)表文獻切分段落點擊每一段落查看詳細的檢測結果，包括：檢測指標，重合文字來源文獻的信息以及與其文字復制比，在頁面下部還標紅了所有重合的文字。讓用戶快速了解到選擇文獻大約有多少文字與其他文獻重合以及重合文字所處的位置等，如圖23所示。重合文字 檢測指標圖23 檢測結果頁面（1）再選擇點擊某篇重合文字來源文獻篇名，進入下一頁面，該頁面顯示了檢測文獻與重合文字來源文獻具體的比對信息，兩篇文獻所有重合文字部分均有藍色字體標示，用戶可以選擇左文的任意藍色文字點擊，其字體顏色變?yōu)榧t色，同時，右文中與之相同的文字段將自動 標紅，并自動定位到頁面的上部，便于用戶查閱

24、，如圖24所示。圖24 已發(fā)表文獻檢測頁面（2）點擊圖24頁面中的“查看原版比對”按鈕，還可以查看論文的原版比對，原版是指文獻發(fā)表時的排版樣式，這使得用戶可以快速的確定網(wǎng)頁所指文獻是否與原版文獻文字一致，如圖25所示。圖25 原版比對頁面5.2 論文檢測該項功能提供對論文的實時在線檢測。將待檢測文獻通過互聯(lián)網(wǎng)提交到檢測系統(tǒng)服務器，系統(tǒng)根據(jù)論文長度大小將在數(shù)秒內返回檢測結果給用戶。包括以下特點：1）多手段論文提交方式。在線提交論文的方式包括三種：一是單篇論文在線提交，可以選擇需要檢測的某一論文直接上傳提交；二是批量論文在線提交，可以將需要檢測的多篇論文壓縮為一個zip格式或rar格式的壓縮文件，

25、然后提交壓縮文件至檢測服務器，系統(tǒng)將自動處理壓縮文件，完成壓縮文件內所有論文的檢測；三是手工錄入方式，可以在線錄入一段文字進行檢測，如圖26所示。2）多格式論文處理能力。系統(tǒng)能夠自動處理ms word、pdf、caj、html、txt等多種格式文檔，如圖26所示。 上傳文獻圖26 提交文獻頁面3）文件夾式管理方式。為便于用戶管理，系統(tǒng)采取了用戶完全自主的文件夾式管理方法。用戶可以創(chuàng)建文件夾，設定文件夾的各項系數(shù)，包括：比對專業(yè)范圍選擇、檢測時間選擇、比對數(shù)據(jù)庫類型選擇等。在創(chuàng)建文件夾之后，當用戶將文獻提交到選擇的文件夾之后，系統(tǒng)將自動根據(jù)該文件夾設定的各項系數(shù)進行檢測，而用戶無需每次都進行系數(shù)

26、設置操作。而且用戶可以隨時對文件夾系數(shù)進行修改，重新設定文件夾系數(shù)，如圖27所示。網(wǎng)絡檢測刪除文獻重新檢測論文修改文獻刪除文件夾修改文件屬性圖27 文件夾式管理頁面4）便捷的文件夾系數(shù)設置。用戶可以設置比對專業(yè)，例如只選擇醫(yī)學領域文獻作為比對數(shù)據(jù)庫；可以設置檢測時間，例如只選擇2000年到2007年的文獻作為比對數(shù)據(jù)庫；可以設置比對庫類型，cnki收錄了期刊、論文、會議論文、報紙、年鑒、工具書、專利、外文文獻、學術文獻引文等與科學研究、學習相關的主要資源，這些資源構成了檢測系統(tǒng)豐富的比對庫類型，用戶可以選擇一種或多種比對庫進行檢測，在檢測系統(tǒng)中，用戶在提交論文頁面下，選擇創(chuàng)建文件夾鏈接，將出現(xiàn)如圖28所示頁面，供用戶設置文件夾各項系數(shù)。設置比對資源時間選擇比對數(shù)據(jù)庫選擇比對領域圖28 文件夾系數(shù)設置5）用戶完全自主的控制模式。對于用戶提交的所有文獻，用戶擁有完全的處置能力，可以隨時進行刪除。不僅可以刪除某一篇文獻，還可以刪除整個文件夾，如圖27所示。注意：對于論文，因篇幅較大，系統(tǒng)只允許用戶重新檢測每一章節(jié)，不能對整個論文進行重新檢測。6）快速的檢測結果瀏覽方式。當系