基于大數(shù)據(jù)的科技專家?guī)旃芾硐到y(tǒng)構(gòu)建研究

1、    基于大數(shù)據(jù)的科技專家?guī)旃芾硐到y(tǒng)構(gòu)建研究    趙望強 柳毅 譚青摘 要：在大數(shù)據(jù)的基礎(chǔ)上，針對目前各類科技咨詢專家?guī)旃芾硇畔⑾到y(tǒng)建設(shè)現(xiàn)狀和應(yīng)用存在的問題，結(jié)合大數(shù)據(jù)存儲和分析技術(shù)，對專家?guī)旃芾硇畔⑾到y(tǒng)進行了框架設(shè)計和系統(tǒng)功能設(shè)計的研究。通過對專家?guī)旃芾硇畔⑾到y(tǒng)的構(gòu)建探討，從而實現(xiàn)科學管理專家信息和抽取專家。該構(gòu)建方法有利于盤活數(shù)據(jù)，讓數(shù)據(jù)說話，為專家信息服務(wù)提供支撐。關(guān)鍵詞：大數(shù)據(jù) 專家信息 專家?guī)旃芾硇畔⑾到y(tǒng)：tp311.13 ：a ：1672-3791（2018）10（c）-0012-03abstract：on the basis of bi

2、g data，aiming at the current situation and application problems of various types of science and technology consulting expert library management information system construction， combined with big data storage and analysis technology， the framework design and system function design of expert database

3、management information system are studied.through the discussion of the construction of the expert database management information system， scientific management expertinformation and extraction experts can be realized.thisconstruction method is conducive to revitalizing data， allowing data to speak

4、and providing support for expertinformation services.key words：big data； expert information； expert library management information system隨著科技創(chuàng)新咨詢與決策環(huán)境的日益復雜化以及科技創(chuàng)新咨詢與評審項目的層出不窮，科技評審專家其咨詢意見和建議對于促進科技成果轉(zhuǎn)化，減少科技決策失誤，提高科技發(fā)展水平和科技創(chuàng)新具有重要作用。而專家?guī)旃芾硇畔⑾到y(tǒng)（以下簡稱“專家?guī)旃芾硐到y(tǒng)”）作為收集各行業(yè)專家的信息智庫，為發(fā)揮專家在科技創(chuàng)新戰(zhàn)略咨詢決策中的重要作用，及提高科技管理和

5、決策的科學化、規(guī)范化水平提供重要平臺條件保障。數(shù)字化時代下，特別是在科技行業(yè)中，現(xiàn)科技項目存在著多學科的交叉和融合，如何根據(jù)科技項目特點抽取合適的專家已成為專家?guī)旃芾硐到y(tǒng)建設(shè)難點。針對上述問題，通過介紹專家?guī)煨畔⑾到y(tǒng)的應(yīng)用現(xiàn)狀，本文提出了基于大數(shù)據(jù)技術(shù)下專家?guī)旃芾硐到y(tǒng)的總體框架和系統(tǒng)設(shè)計及如何在建設(shè)中應(yīng)用大數(shù)據(jù)技術(shù)。1 科技專家?guī)旃芾硇畔⑾到y(tǒng)建設(shè)現(xiàn)狀1.1 目前建設(shè)現(xiàn)狀科技專家?guī)煨畔⑾到y(tǒng)的建設(shè)是一個動態(tài)建設(shè)和管理過程，目前，基本的建設(shè)現(xiàn)狀如下。（1）承擔建設(shè)主體多。各省市科技業(yè)務(wù)部門均不同程度開展了專家?guī)斓慕ㄔO(shè)，均建有自己的科技咨詢專家?guī)旃芾硐到y(tǒng)1。因各個專家?guī)旖ㄔO(shè)的標準和評審業(yè)務(wù)類型不同，這

6、些專家?guī)煜嗷オ毩?，分別由不同的部門管理和使用，而且相互間難以共享。（2）專家標準規(guī)范多。現(xiàn)已建各類專家?guī)旃芾硐到y(tǒng)按照各自管理需要對專家進行標準分類入庫，各類專家的信息標準規(guī)范基本上能夠符合本級所屬業(yè)務(wù)需要或使用需要，（3）抽取專家方法一致。對評審項目中按照項目所屬技術(shù)領(lǐng)域或?qū)W科大類對項目分組，根據(jù)分組統(tǒng)一對入庫專家進行匹配，從而實現(xiàn)專家抽取。1.2 應(yīng)用存在問題（1）專家基礎(chǔ)資源少，難以找到需求數(shù)量。雖然專家信息系統(tǒng)建設(shè)主體多，但相互獨立，導致科技專家資源過度分散、不便交流，難以聯(lián)通。專家信息來源方式單一，由專家自我填寫。一旦當參評項目數(shù)超過庫有專家一定比例要求時，就會存在難以找到更多的專家滿

7、足項目評審的需求。（2）專家類型單一，難以滿足精準需求。專家標準規(guī)范多，分類類別標準不一，以及在數(shù)據(jù)庫專家信息關(guān)系上結(jié)構(gòu)單一，常用關(guān)系數(shù)據(jù)庫線性表存儲，容易造成僅是數(shù)據(jù)量的疊加，不是信息的展現(xiàn)。一定程度上影響項目對評審專家的精準匹配需求。2 大數(shù)據(jù)技術(shù)下專家?guī)旃芾硇畔⑾到y(tǒng)構(gòu)建2.1 專家?guī)旃芾硇畔⑾到y(tǒng)架構(gòu)大數(shù)據(jù)環(huán)境下，以科技項目、成果、專家等為代表的科技數(shù)據(jù)發(fā)展著不可或缺的作用，以科技大數(shù)據(jù)為基礎(chǔ)，將科研項目、專家、成果、大型儀器、科技文獻等科技創(chuàng)新要素進行有機結(jié)合，可以為科技管理者、科研人員、社會公眾等各類用戶開展專家管理、專家推薦等輔助決策服務(wù)。系統(tǒng)架構(gòu)設(shè)計如圖1所示。（1）基礎(chǔ)數(shù)據(jù)層。專

8、家?guī)旃芾硐到y(tǒng)主要依托專家信息基本庫和接入各類科技計劃管理系統(tǒng)的現(xiàn)有或歷史的項目基礎(chǔ)數(shù)據(jù)及其他各類數(shù)據(jù)，如：人員信息庫、論文資源庫、機構(gòu)信息庫等。這些數(shù)據(jù)具有海量、標準規(guī)范不一、結(jié)構(gòu)各異的特征。（2）數(shù)據(jù)存儲分析層。數(shù)據(jù)存儲分析層是基礎(chǔ)數(shù)據(jù)匯聚（包括數(shù)據(jù)識別、數(shù)據(jù)傳輸、數(shù)據(jù)感知等過程2）后，在數(shù)據(jù)管控和數(shù)據(jù)安全前提下運用大數(shù)據(jù)處理技術(shù)對數(shù)據(jù)進行標準清洗及加工形成數(shù)據(jù)中心庫。在數(shù)據(jù)中心庫中對數(shù)據(jù)進行計算、數(shù)據(jù)分析及關(guān)聯(lián)關(guān)系，將結(jié)果提供給數(shù)據(jù)服務(wù)層，支撐系統(tǒng)業(yè)務(wù)。（3）數(shù)據(jù)服務(wù)層。數(shù)據(jù)服務(wù)層主要是根據(jù)業(yè)務(wù)的實際需要，整合互聯(lián)網(wǎng)的可視化互動交流技術(shù)實現(xiàn)前端的顯示和應(yīng)用。具體業(yè)務(wù)應(yīng)用有專家管理、科技項目

9、咨詢、評審等。2.2 大數(shù)據(jù)關(guān)鍵技術(shù)（1）數(shù)據(jù)存儲技術(shù)。對于從各種類型庫來源的數(shù)據(jù)，如有專家信息、項目信息（項目申報書、任務(wù)書、驗收書、科技報告等）、視頻、圖片、音頻等，這些數(shù)據(jù)類型可分為結(jié)構(gòu)化和非結(jié)構(gòu)化，結(jié)構(gòu)化數(shù)據(jù)一般使用關(guān)系型數(shù)據(jù)庫進行存儲和管理。而管理非結(jié)構(gòu)化數(shù)據(jù)就非常復雜，海量異構(gòu)管理方面存在著一定的問題3。在這種情況下，就需要用到大數(shù)據(jù)存儲技術(shù)將零散數(shù)據(jù)整合到一起管理。主要運用存儲技術(shù)有分布式文件系統(tǒng)（hdfs）、nosql數(shù)據(jù)庫（hbase）、大數(shù)據(jù)倉庫（hive）、mpp數(shù)據(jù)庫等存儲系統(tǒng)，實現(xiàn)對結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的存儲和數(shù)據(jù)實時處理。（2）大數(shù)據(jù)挖掘分析技術(shù)。各類基礎(chǔ)數(shù)據(jù)里

10、隱藏著無窮的價值，但直接從里面獲取有效的信息，是非常困難的。主要是因為數(shù)據(jù)分散且數(shù)據(jù)規(guī)模大，難以處理且難以消化等。因此，在數(shù)據(jù)已經(jīng)收集存儲的基礎(chǔ)上，通過對帶數(shù)據(jù)挖掘技術(shù)對這些數(shù)據(jù)進行挖掘分析，大數(shù)據(jù)技術(shù)不是一款簡單的數(shù)據(jù)分析軟件，而是要從大體量、多類別數(shù)據(jù)中獲取價值。常用的大數(shù)據(jù)分析方法：回歸分析、聚類分析、網(wǎng)絡(luò)分析、關(guān)聯(lián)分析等。本文主要采用關(guān)聯(lián)分析和文本分析。文本分析屬于自然語言處理領(lǐng)域，主要包括詞典管理和文本處理。詞典庫是文本分析的數(shù)據(jù)基礎(chǔ)，文本處理是產(chǎn)生高質(zhì)量文本的過程，提供了詞性分析、自動摘要、依存文法、關(guān)鍵詞提取、詞義聯(lián)系、分詞工具、漢字轉(zhuǎn)拼音、繁體轉(zhuǎn)換、簡體轉(zhuǎn)換等功能。根據(jù)文本分析

11、形成的數(shù)據(jù)，進行多維關(guān)聯(lián)分析，語義關(guān)聯(lián)與聚合，實現(xiàn)以人為中心的關(guān)系圖譜。2.3 專家管理信息系統(tǒng)的設(shè)計專家?guī)旃芾硐到y(tǒng)使用用戶有科研項目管理者、專家。該系統(tǒng)一方面是為科研管理者提供信息手段管理，另一方面是為專家提供服務(wù)?？偟脑瓌t是以大數(shù)據(jù)技術(shù)為技術(shù)基礎(chǔ)，保證科技咨詢專家科學管理的同時，重點強化數(shù)據(jù)支撐科技咨詢業(yè)務(wù)的能力建設(shè)。專家?guī)旃芾硐到y(tǒng)根據(jù)業(yè)務(wù)需求主要由專家管理和專家推薦兩大部分組成，如圖2所示。（1）專家管理。專家管理系統(tǒng)以信息標準規(guī)范為基準，大數(shù)據(jù)存儲技術(shù)為手段，負責對專家的信息征集，對有效專家信息的入庫，出庫審核。通過大數(shù)據(jù)信息挖掘與分析技術(shù)對專家信息深度化高效動態(tài)管理等。（2）專家推薦

12、。專家推薦以專家管理中對專家數(shù)據(jù)分析為基礎(chǔ)，并對大數(shù)據(jù)關(guān)聯(lián)分析形成的專家多維信息（基本信息、學歷、工作經(jīng)歷、榮譽、承擔項目、科研成果等）進行標引。經(jīng)過限制條件（如支撐、人才稱號等）層層篩選，與被評審項目精細化匹配。評審活動結(jié)束后由管理者對參與的專家進行進一步評價，以此來提高專家項目評審質(zhì)量。3 系統(tǒng)其他方面的建議（1）加強數(shù)據(jù)權(quán)限和安全管理。專家管理信息系統(tǒng)不僅只是單個管理系統(tǒng)，也是個人信息的大數(shù)據(jù)資源。信息安全問題也就由此產(chǎn)生。特別是基本信息、知識產(chǎn)權(quán)信息等等都面臨著使用權(quán)限和安全管理等問題，也就帶來了更高的管理要求。（2）擴大基礎(chǔ)數(shù)據(jù)來源?；A(chǔ)數(shù)據(jù)不足或有效數(shù)據(jù)量不多時，系統(tǒng)也就發(fā)揮不出特有的數(shù)據(jù)優(yōu)勢。建議擴寬信息來源渠道，如從網(wǎng)絡(luò)或從其他機構(gòu)獲??；提高信息質(zhì)量檢測篩選或以共建共享方式提高數(shù)據(jù)質(zhì)量。4 結(jié)語通過大數(shù)據(jù)技術(shù)對專家?guī)旃芾硇畔⑾到y(tǒng)進行重新構(gòu)建，為建設(shè)資源豐富、運行高效、結(jié)構(gòu)合理、標準規(guī)范的科技專家?guī)焯峁├碚搮⒖?。完善了專家推薦能力，提高決策的科學化和民主化水平，以及對科技管理工作水平及項目評審的規(guī)范性及客觀公