數(shù)據(jù)挖掘于各領域之應用(輔仁大學 謝邦昌)

數(shù)據(jù)挖掘于各領域之應用謝邦昌教授輔仁大學統(tǒng)計信息系教授中華數(shù)據(jù)挖掘協(xié)會秘書長STAT1001@MAILS.FJU.EDU.TWWWW.CDMS.ORG.TW醫(yī)藥方面PainControlProblem：DetectingpainSubjective&nodirectmeasurementClinical：VisualAnalogueScale（VAS）Wherewillcausethepain？EndoscopeOperatingroom：ESWL；ProstatePostOp.：PCAICUCancerpainPφASystemDrugDemandVASPCAPDAPφADATAMININGFuzzyLogicPainPatternPatientSatisfactionmessengeruserAcutePainServiceResearch&DevelopmentPCAdatamining&management化學方面近年來，隨著化學資料的大量積累和資料庫的普遍使用，逐步認識到大量資料的利用是十分困難且不充分的，更具價值的規(guī)律性的信息和知識反而被隱蔽起來。因此，化學數(shù)據(jù)挖掘作為一種新的信息技術開始出現(xiàn)于電腦化學中。這一技術的關鍵是用軟件來從大量的化學資料中自動地發(fā)現(xiàn)新的不明顯和有潛在應用價值的信息和知識，因此它也常常與資料分析和知識發(fā)現(xiàn)(Knowledgediscovery)相緊密結合?；瘜W數(shù)據(jù)挖掘主要內容DatacleaningDatareductionFeaturedetectionFeaturereductionClassifierandcategorydetectionFrauddetectionRecognizingunusualpatternsNoveltydetectionConstructionofsampledatabasesKnowledgediscoveryandruledetectionfromlargedatabases生物醫(yī)學方面背景隨著人類基因序列的解碼，基因與各種疾病間之關聯(lián)性的研究正逐漸受到重視，而相關之研究文獻亦隨之增多。通過搜尋引擎等渠道，醫(yī)學研究人員可以快速取得所需之信息，但也同時面臨了資料過多的問題。氣象業(yè)務方面背景隨著通信技術和電腦技術的發(fā)展，每天在氣象通信網(wǎng)上傳輸越來越龐大的氣象資料，對這些資料的存儲、集成和應用的問題也就越來越突出。資料倉庫是電腦應用發(fā)展的必然產(chǎn)物。經(jīng)過長期積累所形成的大量業(yè)務資料，是過去的真實活動記錄。如何利用這些資料并在此后的決策中發(fā)揮效益，為決策分析和評估提供幫助，很長時期內都困擾著資料庫的發(fā)展。數(shù)據(jù)挖掘(DataMining)的功能對資料進行厚縮，給出它的緊湊描述。數(shù)據(jù)挖掘主要關心從資料泛化的角度來討論資料總結。建立一個分類函數(shù)或分類模型，該模型能把資料庫的資料項目映射到給定類別中的某一個。把一組個體按照相似性歸成若干類別。使屬于同一類別的個體之間的距離盡可能地小，而不同類別的個體間的距離盡可能地大。按某一規(guī)則探討這一規(guī)則下的資料關聯(lián)性。農(nóng)產(chǎn)品交易方面資料來源：.tw/price新系統(tǒng)著重于農(nóng)產(chǎn)品交易行情信息的加值應用，利用農(nóng)產(chǎn)品價量資料庫充實的資料，加值處理后提供使用者作為參考，朝向建立「農(nóng)產(chǎn)品交易行情資料倉儲(DataWarehouse)」之目標發(fā)展，讓使用者可以通過資料倉儲的資料處理進行聯(lián)機分析處理(OnLineAnalyticProcessing，OLAP)決策支援系統(tǒng)(DecisionSupportSystem，DSS)數(shù)據(jù)挖掘(DataMining)古代史料方面研究背景人類已經(jīng)進入信息時代，我們不僅面臨著用新技術來整理舊史料的問題，而且隨著考古的新發(fā)現(xiàn)和科技的發(fā)展，史料的容量和形式急劇膨脹。以何種方法處理、存貯史料，并且能夠讓學者從中方便迅速地檢索和得到所需的信息，是當前史料學的一個大問題。

數(shù)位化是史料處理的必經(jīng)之路把各種史料統(tǒng)一為電腦資料，方便存貯和檢索；使史料的物理體積大大縮小，方便攜帶；可以低成本無差錯拷貝，方便傳播和普及。目前，不論是印刷文檔、手寫稿，還是電子檔、音像檔、甚至于遺址與文物，越來越多的史料逐漸被數(shù)位化，出現(xiàn)了資料倉庫（Datawarehousing）、資料集市(Datamart)、資料掘?。―atamining）等新概念和信息數(shù)位化處理方法，逐步形成了大資料量存貯和管理方式。銀行蹤面BusinessIntelligent（BI）BIForBank是MDCL公司基于EOSS套件在銀行領域推出的一套完整的商業(yè)智慧解決方案。它以先進的資料倉庫（DataWarehousing）、聯(lián)機分析處理（OLAP）、數(shù)據(jù)挖掘（DataMining）技術為基礎，結合顧客關系管理和電子商務的經(jīng)驗，能夠幫助企業(yè)全面提高科學管理水平和經(jīng)營決策能力，促進企業(yè)業(yè)務和利潤的增長，提高市場競爭力，迎接以客戶為中心的經(jīng)營方式的轉變。本系統(tǒng)包含以下主題：商業(yè)銀行資本分析按時間、機構緯度研究資本的構成、資本需要量和充足度。資產(chǎn)與負債從時間、機構緯度研究資產(chǎn)的構成、資產(chǎn)的總量和風險、負債的構成和趨勢、負債同業(yè)情況分析等。表科目查詢本模組以財務報表和會計科目為基礎，按照科目、時間、機構、產(chǎn)品和客戶的緯度，進行報表和科目的即時查詢、挖掘和分析。資金管理分析從時間、機構緯度研究資金流入、流出及管理現(xiàn)狀。資金來源成本估計從時間、機構緯度研究資金來源成本估計、資金結構、資金余缺、資金利用度、頭寸匡算、資金運用及收益分析?？蛻粜刨J分析從時間、機構、科目、借款人性質、貸款形式、貸款期限、貸款方式研究貸款結構、貸款流動，貸款發(fā)放與回收情況。經(jīng)營成本營利分析從時間、機構緯度研究經(jīng)營成本升降、經(jīng)營成本專案、經(jīng)營成本的結構水平、銀行收入和利潤綜合分析。

利率風險與營利分析從時間、機構緯度研究利率調換交易分析、遠期利率合同分析、金融貸款分析、期權交易分析。匯率風險與防范分析從時間、機構緯度研究即期、遠期外匯買賣分析，套匯分析，外匯投機分析，期貨、期權交易分析。投資決策分析主要回答：怎樣投資？向何處投資？投資多少？如何籌措資金？包括：投資效益分析、投資可行性分析綜合經(jīng)營指標分析與預警考核指標分析銀行健康綜合評估指標預警從時間、機構緯度監(jiān)測信用風險、流動風險、經(jīng)營風險、資金風險、國際收支，如果有異常情況自動給予警告。DataWarehouse之步驟匯集資料數(shù)據(jù)擷取、合并、刪除、歸類..等，成為一定格式，再放入資料倉儲內存貯并管理data將所有的資料再集中存入一個大的資料庫里，可依照不同的需求建立小的資料庫，方便讀取分析讀取所需信息銀行各部門可依據(jù)不同的主題存取工具，進行查詢并結合圖形，OLAP等工具范例商業(yè)銀行首要關注于顧客關系的應用主題，即建立顧客信息分析管理信息，從中收集顧客的基本資料、資產(chǎn)、負債…等信息用以搭建一個良好的信息連接庫。美國第一銀行運用“ICARE＂建立客戶關系管理：I(Inquire)向顧客詢問并了解其需求C(Communicate)向顧客保證降很快滿足其需求A(Affirm)使顧客確信有完成服務的工作與愿望R(Recommend)向顧客提出一系列的服務選擇E(Express)使顧客銀行接受單個客戶的委托顧客將可通過email電話網(wǎng)站信息等得到:金融服務、旅游娛樂服務以及其他的綜合信息服務，之后將會寄出邀請函請顧客填寫，銀行將可了解顧客的需求，幫助其完成愿望結論

對于過去，銀行并未從企業(yè)的整體角度實施顧客一體化管理，因此前后流程為實踐整合的狀態(tài)，無法達到連接，將造成信息重復、矛盾，甚至是過時，無法隨時滿足應有的信息或服務，利用datamining的技術，將可以解決如此的問題，更有效率朝向以顧客為中心企業(yè)體系。天文學方面資料來源：張燕霞、趙永恒、崔辰川中國科學院國家天文臺摘要綜述數(shù)據(jù)挖掘和知識發(fā)現(xiàn)在天文學中興起的必然性及其近幾年的發(fā)展狀況、實現(xiàn)過程和具體任務。分析當前天文資料的復雜性，介紹天文學中數(shù)據(jù)挖掘的科學要求。系統(tǒng)地概括近年來天文學中數(shù)據(jù)挖掘和知識發(fā)現(xiàn)領域研究的進展及其熱點，并闡述其所面臨的挑戰(zhàn)。天文學中數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的興起將對天文學的發(fā)展起到巨大的推動作用，同時也在知識和技術等方面對天文學家提出新的要求。數(shù)據(jù)挖掘技術能否在虛擬天文臺中成功應用，是虛擬天文臺充分配揮作用的關鍵所在。電子商務方面資料來源：硅谷動力數(shù)據(jù)挖掘對電子商務的重要性專家預測在今后十年中，“數(shù)據(jù)挖掘＂將是具有革命性進展的舉措之一，是提供“個性化網(wǎng)絡＂的關鍵，即通過采集信息、識別有用結構并進行即時分析，從而滿足用戶個性化選擇。無論這種技術復雜與否，近年來各公司都在進行各種各樣的數(shù)據(jù)挖掘研究，以期讓那些近年來急速堆積增長的原始資料，變得有意義。電子商務現(xiàn)在是最新和最炙手可熱的一個行業(yè)，無論在哪都有歷史資料，用這些資料可以得到用眼睛無法看到的方式結論。數(shù)據(jù)挖掘能為電子商務做什么？通過數(shù)據(jù)挖掘，市場商人可以瞄準目標客戶，采用個人股票行市、最新信息、特殊的市場推廣活動或其他一些特殊的信息手段，從而極大地減少廣告預算和增加收入。百貨商場、超市和一些老字型大小的零售店也在進行數(shù)據(jù)挖掘，以便猜測這些年來顧客的消費習慣。數(shù)據(jù)挖掘的挑戰(zhàn)數(shù)據(jù)挖掘軟件繁多軟件商正在為非統(tǒng)計學專業(yè)人士們開發(fā)一些更加自動化的數(shù)據(jù)挖掘應用軟件，讓科學技術更加實用化。迎合市場需求