基于數(shù)據(jù)挖掘的企業(yè)競爭情報智能采集策略研究(I)

基于數(shù)據(jù)挖掘的企業(yè)競爭情報智能采集策略研究(I)

1引言企業(yè)競爭情報(enterprisecompetitiveintelligence)是指為滿足企業(yè)競爭決策需求，實(shí)現(xiàn)其競爭戰(zhàn)略目標(biāo)所需的關(guān)于競爭環(huán)境、競爭對手和競爭策略等內(nèi)、外部知識性信息，是提升企業(yè)競爭力的關(guān)鍵因素。企業(yè)競爭情報采集在企業(yè)競爭情報的理論與應(yīng)用研究中備倍受關(guān)注。伴隨著社會信息化進(jìn)程和資源數(shù)字化的不斷發(fā)展，網(wǎng)絡(luò)信息資源已成為企業(yè)和政府部門的主要競爭情報來源。面對海量的網(wǎng)絡(luò)信息環(huán)境，如何有效地采集有價值的情報以支持企業(yè)的戰(zhàn)略決策，成為一個亟待解決的難題。本文首先對國內(nèi)外重點(diǎn)行業(yè)領(lǐng)域中的有關(guān)企業(yè)以及管理與研究機(jī)構(gòu)進(jìn)行多方面的現(xiàn)狀調(diào)查，并在此基礎(chǔ)上詳細(xì)分析其情報采集的特點(diǎn)、不足之處以及未來的發(fā)展趨勢，為后文探討企業(yè)競爭情報智能采集策略提供支持。2調(diào)查對象及調(diào)查方法鑒于競爭情報工作性質(zhì)的特殊性，本文主要采用網(wǎng)上調(diào)查方法，通過查閱競爭情報系統(tǒng)提供商所提供的產(chǎn)品應(yīng)用案例介紹以及競爭情報業(yè)界所發(fā)表的實(shí)踐報告、文獻(xiàn)著作等，在收集并綜合分析有關(guān)信息的基礎(chǔ)上，力圖全面了解目前企業(yè)開展競爭情報采集工作的現(xiàn)狀。由于調(diào)研主要建立在第三方信息介紹的基礎(chǔ)上(只有少數(shù)資料來自于企業(yè)或企業(yè)員工對外的宣傳介紹)，并且信息本身會有一定的滯后性，因此不可避免地存在與具體某個企業(yè)的現(xiàn)實(shí)狀況有所出入的情況，本文力求從總體上把握、分析企業(yè)競爭情報采集現(xiàn)狀與特點(diǎn)。由于政府機(jī)關(guān)、組織團(tuán)體等也密切關(guān)注并廣泛開展競爭情報采集，本文也將其列入調(diào)研范圍。表1列出了部分調(diào)查對象(排序不分先后)。3調(diào)查結(jié)果與分析3.1調(diào)查結(jié)果表2是對調(diào)查結(jié)果的匯總，按照表1所列舉的調(diào)查對象，對其競爭情報需求及其采集現(xiàn)狀進(jìn)行了簡要介紹。3.2企業(yè)競爭情報采集特點(diǎn)下面根據(jù)調(diào)查結(jié)果，從企業(yè)競爭情報需求和企業(yè)所采取的競爭情報采集方法兩方面分析企業(yè)競爭情報采集特點(diǎn)。(1)企業(yè)競爭情報需求的特點(diǎn)從總體上看，企業(yè)的競爭競爭需求體現(xiàn)在如下三個方面。1)企業(yè)內(nèi)外結(jié)構(gòu)化信息的深層挖掘與分析的需求。目前企業(yè)都已實(shí)現(xiàn)了信息源的淺層開發(fā)與利用，但也意識到企業(yè)內(nèi)外數(shù)據(jù)庫所蘊(yùn)含的潛在價值，希望從這些結(jié)構(gòu)化信息的挖掘與分析中采集到深層次的情報。2)企業(yè)內(nèi)外非結(jié)構(gòu)化信息和實(shí)時動態(tài)情報的獲取與利用的需求。企業(yè)內(nèi)外通常擁有許多文獻(xiàn)資料、研發(fā)報告、交互消息等非結(jié)構(gòu)化信息和實(shí)時動態(tài)情報。目前，大多數(shù)企業(yè)都重點(diǎn)采集互聯(lián)網(wǎng)上的非結(jié)構(gòu)化信息和實(shí)時情報；少數(shù)企業(yè)，特別是國外的企業(yè)，尤其重視從內(nèi)部非結(jié)構(gòu)化信息源這筆無形知識資產(chǎn)中尋找企業(yè)發(fā)展的內(nèi)在動力。3)跨平臺、跨網(wǎng)絡(luò)的分布異構(gòu)海量信息的集成處理與利用的需求。大部分企業(yè)都希望能構(gòu)建一體化采集平臺，集成企業(yè)內(nèi)外部信息，并從中提取有價值的情報。(2)企業(yè)競爭情報采集方法的特點(diǎn)為了滿足上述多方面的情報需求，大多數(shù)企業(yè)利用相關(guān)的競爭情報采集工具展開了系統(tǒng)化的情報采集工作。其中，所采用的采集技術(shù)與方法可以歸納為如下幾類。1)基于關(guān)鍵詞的在線信息檢索。這種方式屬于一種被動式的自動收集方式，需要花費(fèi)大量的時間利用通用搜索引擎或采用企業(yè)自行開發(fā)的軟件系統(tǒng)從網(wǎng)絡(luò)上檢索信息。這種方式被所有企業(yè)所采用，并與其他方式綜合使用。2)基于主題的信息定制檢索。這種采集方式屬于主動式信息檢索，但與“基于關(guān)鍵詞的在線信息檢索”方式有所區(qū)別的是，它可以借助相關(guān)軟件系統(tǒng)進(jìn)行特定主題的自動搜索或主動式的個性化檢索。不少企業(yè)使用這種方式開展競爭情報采集工作。3)自動采集、自動標(biāo)引、自動分類、自動摘要、智能檢索等智能化處理方式。調(diào)查中發(fā)現(xiàn)，大多數(shù)企業(yè)都開始采用不同程度的智能化手段輔助情報采集，基本上都實(shí)現(xiàn)了信息的自動采集，大部分還實(shí)現(xiàn)了自動去重，少數(shù)企業(yè)還實(shí)現(xiàn)了基于自動標(biāo)引和自動摘要的情報采集。智能檢索和自動分類是目前企業(yè)情報采集中最受關(guān)注的一類智能化采集方式。4)采用一定的研究模型進(jìn)行情報析取。少數(shù)企業(yè)采用定性和定量相結(jié)合的途徑，設(shè)計了若干競爭情報分析模型，用于從數(shù)據(jù)庫中析取情報。5)數(shù)據(jù)庫挖掘。少數(shù)企業(yè)目前已開始或計劃采用數(shù)據(jù)庫挖掘技術(shù)，從企業(yè)內(nèi)部結(jié)構(gòu)化數(shù)據(jù)源中通過聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘技術(shù)進(jìn)行深層情報的提取。6)文本挖掘。文本挖掘方法可以幫助企業(yè)從海量的內(nèi)外部文本信息源中提取有用的情報。目前這種方式在所調(diào)查的國外企業(yè)中已被廣泛采用，而國內(nèi)企業(yè)基本上還未將其作為一種正式的競爭情報采集手段。從總體上看，這六類采集方法沿著從易到難的線路在發(fā)展，其所發(fā)揮的作用也是逐層上升。目前，大部分企業(yè)都是采用自動搜集、自動分類的處理方式采集情報，少數(shù)企業(yè)開始將數(shù)據(jù)挖掘技術(shù)引入到情報采集中。3.3企業(yè)競爭情報采集中存在的主要問題信息資源的開發(fā)與利用給企業(yè)提供了豐富的信息來源，但信息的指數(shù)級增長同時也造成了“信息過載而情報稀缺”的困擾，給企業(yè)競爭情報采集能力的提高帶來了挑戰(zhàn)，歸納起來，目前企業(yè)競爭情報采集中主要存在如下問題與不足之處。(1)信息源的選擇范圍不全面。企業(yè)內(nèi)外存在各種豐富的信息資源。由于受技術(shù)和其他條件的影響，大多數(shù)企業(yè)在實(shí)際的情報采集中總出現(xiàn)顧此失彼的現(xiàn)象，不能科學(xué)地、全面地選擇情報來源。(2)信息源的集成度不高。全球信息化環(huán)境中，信息源的類型多樣、結(jié)構(gòu)復(fù)雜、分布廣泛，如何最大限度地整合各種信息源對情報分析至關(guān)重要。一次采集行為所得到的數(shù)據(jù)，往往是關(guān)于某一個事物或主題的碎片，是局部的、片面的，如果不對其進(jìn)行高度集成，易形成一個個信息孤島，使得信息零散，缺乏系統(tǒng)性，不利于對信息進(jìn)行全面準(zhǔn)確的綜合整理利用。雖然不少企業(yè)在采集過程中采用了自動排序和去重等技術(shù)對信息進(jìn)行了整合處理，但是缺乏對文本、圖片、多媒體、數(shù)據(jù)庫等不同形式信息之間以及企業(yè)內(nèi)外部不同來源信息之間的橫向與縱向的深度集成。(3)采集過程缺乏連續(xù)性和協(xié)作性。競爭情報工作是一個連續(xù)性很強(qiáng)的工作，因此信息的采集也應(yīng)該具有連續(xù)性。目前，很多企業(yè)只有在企業(yè)有需求時，才通過有關(guān)的情報機(jī)構(gòu)進(jìn)行情報收集、處理、分析工作。這樣就無法對企業(yè)所處的競爭環(huán)境以及競爭對手予以連續(xù)監(jiān)視，企業(yè)就不能及時洞察政治、經(jīng)濟(jì)、社會、市場的變化以及預(yù)測這些變化對企業(yè)可能構(gòu)成的威脅和機(jī)遇，無法使企業(yè)保持持續(xù)的競爭優(yōu)勢。情報采集過程缺乏協(xié)作性，突出表現(xiàn)為信息收集與信息分析工作的分離。目前在信息收集工作中，借助搜索引擎等檢索工具自動化收集的結(jié)果數(shù)量大且質(zhì)量差，給信息的處理和分析帶來了極大的困難，信息的收集和分析由此而斷裂。(4)采集處理缺乏智能性。雖然大部分企業(yè)已采用自動搜集、自動去重等自動化機(jī)制實(shí)現(xiàn)了競爭情報的自動采集，但是缺乏對所采集信息的智能化分析處理。有的企業(yè)完全由競爭情報工作人員承擔(dān)分析處理工作，這種人工定性分析方式一方面加重了工作人員的認(rèn)知負(fù)擔(dān)，并且經(jīng)驗(yàn)判斷方式存在較多的不確定因素，直接影響分析結(jié)果；另一方面，面對海量的信息，人工分析處理無法及時對企業(yè)提供全面的情報支持，進(jìn)而影響企業(yè)對競爭環(huán)境的敏感度和反應(yīng)速度。(5)采集結(jié)果質(zhì)量差。信息采集結(jié)果質(zhì)量差主要表現(xiàn)在信息的非相關(guān)性和表層化上?；陉P(guān)鍵詞的搜索引擎，只能實(shí)現(xiàn)信息源詞語層的信息收集，搜索結(jié)果數(shù)量巨大、相關(guān)度低、零散冗雜、甚至是無用的或虛假的信息，給情報利用帶來極大的困難。信息源深層所蘊(yùn)藏的高價值知識有待于進(jìn)一步挖掘開發(fā)。3.4企業(yè)競爭情報采集的發(fā)展趨勢隨著信息量的日益增加，現(xiàn)在的競爭情報采集所面臨的難題不再是信息的數(shù)量問題，而是如何從海量信息中智能化地獲取有價值的信息并從中挖掘有用的知識，挑選出對企業(yè)有益的關(guān)鍵性情報，提高情報采集的質(zhì)量和效率。調(diào)查中發(fā)現(xiàn)，企業(yè)競爭情報采集存在深層次情報獲取的潛在需求，少數(shù)企業(yè)已將數(shù)據(jù)挖掘技術(shù)應(yīng)用于競爭情報采集工作中。基于數(shù)據(jù)挖掘技術(shù)開展競爭情報智能采集是國內(nèi)外的普遍發(fā)展趨勢。吳曉偉等從事競爭情報研究工作的學(xué)者曾指出：為了實(shí)現(xiàn)競爭情報系統(tǒng)的高層次發(fā)展，融合數(shù)據(jù)挖掘、神經(jīng)網(wǎng)絡(luò)等技術(shù)，是提高競爭情報系統(tǒng)質(zhì)量的關(guān)鍵因素之一[18]。包昌火教授也認(rèn)為基于智能分析和知識提煉過程的競爭情報采集在一定程度上能夠解決競爭情報發(fā)展走向中預(yù)分析需求增長的問題[19]。同時，國內(nèi)外少數(shù)專門為企業(yè)提供競爭情報服務(wù)的頂級機(jī)構(gòu)也開始將目光投向了數(shù)據(jù)挖掘領(lǐng)域，通過引入數(shù)據(jù)挖掘技術(shù)開發(fā)高端的競爭情報系統(tǒng)，如ClearForest公司開發(fā)的ClearResearchSuite產(chǎn)品通過采用數(shù)據(jù)挖掘等方法可以從大量的非結(jié)構(gòu)化的文本中動態(tài)地提取并分析不同的人物、公司、事件間所存在的關(guān)系，使競爭情報分析人員發(fā)現(xiàn)他們原本可能忽略的情報[20]。數(shù)據(jù)挖掘技術(shù)之所以成為企業(yè)實(shí)現(xiàn)競爭情報采集的有效途徑，是因?yàn)樗峁┝艘环N將分析與獲取相結(jié)合的自動化、智能化的采集方法，在情報采集中具有如下優(yōu)勢：(1)智能化。通過采用數(shù)據(jù)挖掘技術(shù)，可以從大型數(shù)據(jù)庫、數(shù)據(jù)倉庫和互聯(lián)網(wǎng)等信息源中自動提取有用情報。(2)標(biāo)準(zhǔn)化。通過清理、轉(zhuǎn)換、過濾和去重等預(yù)處理方法，可消除數(shù)據(jù)的模糊性和冗余性，將零散、無序的信息標(biāo)準(zhǔn)化、規(guī)范化。(3)集成化。基于數(shù)據(jù)挖掘的企業(yè)競爭情報智能采集可以將企業(yè)內(nèi)部和外部的各種信息源進(jìn)行有效集成，為企業(yè)的競爭情報活動提供統(tǒng)一的全局視圖，實(shí)現(xiàn)競爭情報的有效共享，極大地提高企業(yè)的競爭水平。(4)全方位。數(shù)據(jù)挖掘技術(shù)可為企業(yè)的競爭情報采集工作提供全方位、全過程的支持。企業(yè)的競爭情報工作蘊(yùn)含于企業(yè)的整個生產(chǎn)運(yùn)作過程。從產(chǎn)品研發(fā)到生產(chǎn)過程的改進(jìn)、從市場營銷到客戶關(guān)系的管理，數(shù)據(jù)挖掘技術(shù)可以用于產(chǎn)品生命周期的整個循環(huán)體系中，輔助企業(yè)從內(nèi)、外部各種形態(tài)的數(shù)據(jù)源中獲取有益情報和知識。(5)科學(xué)性?；跀?shù)據(jù)挖掘的智能采集融合了人工智能、數(shù)理統(tǒng)計、信息科學(xué)等多學(xué)科的理論與方法，可以增強(qiáng)企業(yè)情報采集的科學(xué)性。(6)知識性。通過概念描述、關(guān)聯(lián)分析、時序模式、聚類、分類、偏差檢測、預(yù)測等智能方法，可以對海量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)源進(jìn)行微觀、中觀乃至宏觀的統(tǒng)計、分析、綜合和推理，揭示出公司、產(chǎn)品、人物、事件等多實(shí)體之間的內(nèi)在關(guān)聯(lián)，獲取隱性的、深層次的情報和知識。(7)增值性?；跀?shù)據(jù)挖掘的情報采集通過