(石油工業(yè)論文)大數(shù)據(jù)技術(shù)在石油企業(yè)經(jīng)營管理的應(yīng)用

【石油工業(yè)論文】大數(shù)據(jù)技術(shù)在石油企業(yè)經(jīng)營管理的應(yīng)用隨著石油石化企業(yè)自動化與信息化建設(shè)的不斷發(fā)展，以SCADA〔SupervisoryControlAndDataAcquisition，數(shù)據(jù)采集與監(jiān)控系統(tǒng)〕系統(tǒng)為代表的自控系統(tǒng)和以ERP〔EnterpriseResourcePlanning，企業(yè)資源計劃〕系統(tǒng)為代表的信息系統(tǒng)得到廣泛應(yīng)用。這些系統(tǒng)的建立和應(yīng)用將企業(yè)從上游勘探、開發(fā)到下游煉化、銷售所產(chǎn)生的大量生產(chǎn)數(shù)據(jù)和管理數(shù)據(jù)積累起來，但是，這些海量數(shù)據(jù)獨立存在于各信息系統(tǒng)和數(shù)據(jù)庫之中，并沒有得到很好的共享和銜接，數(shù)據(jù)分析和利用也存在不足，而且一些具有潛在價值的外部信息尚未被充分采集和綜合利用，越來越不適應(yīng)石油石化企業(yè)上下游統(tǒng)籌協(xié)調(diào)發(fā)展、快速有效應(yīng)對市場變化的業(yè)務(wù)需要。大數(shù)據(jù)技術(shù)是讓花費(fèi)巨大人力、物力和財力獲得的數(shù)據(jù)充分燃燒，讓數(shù)據(jù)發(fā)音，讓數(shù)據(jù)說話［1］。將大數(shù)據(jù)技術(shù)應(yīng)用到石油石化企業(yè)的生產(chǎn)經(jīng)營環(huán)節(jié)，充分利用自控系統(tǒng)和信息系統(tǒng)獲取到的數(shù)據(jù)，對現(xiàn)有未開發(fā)或未利用的數(shù)據(jù)資產(chǎn)重新認(rèn)識，從大數(shù)據(jù)資源中不斷挖掘更多的規(guī)律和趨勢，協(xié)助企業(yè)進(jìn)行生產(chǎn)經(jīng)營決策分析，指導(dǎo)生產(chǎn)經(jīng)營策略適時調(diào)整，對提高企業(yè)的核心競爭力和提升效益具有重要作用。1典型項目效果分析1.1生產(chǎn)經(jīng)營數(shù)據(jù)類別綜合數(shù)據(jù)類型和數(shù)據(jù)來源，石油石化企業(yè)的生產(chǎn)經(jīng)營數(shù)據(jù)主要分為宏觀經(jīng)濟(jì)數(shù)據(jù)、市場數(shù)據(jù)、價格數(shù)據(jù)、財務(wù)數(shù)據(jù)、生產(chǎn)數(shù)據(jù)和成果數(shù)據(jù)6大類。1.2生產(chǎn)經(jīng)營數(shù)據(jù)特點生產(chǎn)經(jīng)營數(shù)據(jù)具有數(shù)據(jù)量大、數(shù)據(jù)來源多、數(shù)據(jù)結(jié)構(gòu)復(fù)雜的特點，與大數(shù)據(jù)概念相符。1〕數(shù)據(jù)量大石油石化企業(yè)長期從事勘探開發(fā)、煉油化工、油氣儲運(yùn)和銷售等業(yè)務(wù)，屬于數(shù)據(jù)密集型行業(yè)，歷史上已經(jīng)累積了海量的生產(chǎn)數(shù)據(jù)，并隨著時間的推移繼續(xù)呈指數(shù)級增長。同時，隨著實時監(jiān)測系統(tǒng)的大量應(yīng)用，數(shù)據(jù)生成的顆粒度和維度不斷精細(xì)化；而隨著一些計劃信息系統(tǒng)和優(yōu)化系統(tǒng)的應(yīng)用，又將不斷產(chǎn)生著大量的管理類數(shù)據(jù)，加之移動互聯(lián)網(wǎng)絡(luò)、智能終端的廣泛普及，生產(chǎn)經(jīng)營數(shù)據(jù)的體量在不斷擴(kuò)展。2〕數(shù)據(jù)來源多石油石化企業(yè)規(guī)模體量大、業(yè)務(wù)鏈條長，這決定了其生產(chǎn)經(jīng)營數(shù)據(jù)來源較多：既有來源于企業(yè)內(nèi)部諸多信息系統(tǒng)的海量經(jīng)營和財務(wù)等數(shù)據(jù)，又有來源于外部網(wǎng)站或系統(tǒng)的行業(yè)相關(guān)數(shù)據(jù)，還有企業(yè)諸多管理部門在日常業(yè)務(wù)過程中形成的各類數(shù)據(jù)。如何打破這些數(shù)據(jù)源在行政和管理上的壁壘，實現(xiàn)高效集成，是大數(shù)據(jù)技術(shù)在石油石化企業(yè)生產(chǎn)經(jīng)營管理中有效應(yīng)用的關(guān)鍵。3〕數(shù)據(jù)結(jié)構(gòu)復(fù)雜生產(chǎn)經(jīng)營數(shù)據(jù)牽涉的數(shù)據(jù)結(jié)構(gòu)復(fù)雜：既有來源于企業(yè)已建信息系統(tǒng)的標(biāo)準(zhǔn)結(jié)構(gòu)化數(shù)據(jù)，又有來源于日常業(yè)務(wù)過程的電子表格、報告、成果文檔等半結(jié)構(gòu)化數(shù)據(jù)，以及來源于企業(yè)內(nèi)外部和互聯(lián)網(wǎng)的一些非結(jié)構(gòu)化數(shù)據(jù)。1.3數(shù)據(jù)管理現(xiàn)在狀況1〕對生產(chǎn)經(jīng)營數(shù)據(jù)的管理手段有待提升隨著時間推移，生產(chǎn)經(jīng)營數(shù)據(jù)呈現(xiàn)數(shù)據(jù)量龐大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜、數(shù)據(jù)來源多的特點，石油石化企業(yè)傳統(tǒng)的數(shù)據(jù)庫存儲能力和計算能力已難以應(yīng)對體量龐大、結(jié)構(gòu)復(fù)雜、來源諸多的生產(chǎn)經(jīng)營數(shù)據(jù)，尤其是難以適應(yīng)當(dāng)下大數(shù)據(jù)帶來的變化。2〕生產(chǎn)經(jīng)營各類數(shù)據(jù)之間共享和銜接不足當(dāng)前，生產(chǎn)經(jīng)營數(shù)據(jù)來源渠道較多，生產(chǎn)數(shù)據(jù)、內(nèi)部價格數(shù)據(jù)、財務(wù)數(shù)據(jù)等分散于企業(yè)內(nèi)部各獨立信息系統(tǒng)之中，各層次的數(shù)據(jù)共享程度有限；宏觀經(jīng)濟(jì)數(shù)據(jù)、市場數(shù)據(jù)、外部價格數(shù)據(jù)等來源于互聯(lián)網(wǎng)的有價值數(shù)據(jù)，大部分石油石化企業(yè)尚未實現(xiàn)自動化與常態(tài)化的數(shù)據(jù)獲取，生產(chǎn)經(jīng)營分析和決策需要的各類數(shù)據(jù)之間共享和銜接不足。3〕對生產(chǎn)經(jīng)營數(shù)據(jù)深切進(jìn)入挖掘和利用不充分固然石油石化企業(yè)傳統(tǒng)的信息系統(tǒng)已經(jīng)能夠?qū)崿F(xiàn)對系統(tǒng)內(nèi)生產(chǎn)數(shù)據(jù)，經(jīng)營數(shù)據(jù)的分類、匯總、統(tǒng)計和綜合分析利用，但是利用大數(shù)據(jù)技術(shù)挖掘數(shù)據(jù)規(guī)律和趨勢的比較少見，尚未對半結(jié)構(gòu)化和非結(jié)構(gòu)化等復(fù)雜類型的數(shù)據(jù)進(jìn)行采集和深度分析，尚未提供一個方便快捷的數(shù)據(jù)分析平臺對企業(yè)生產(chǎn)經(jīng)營全鏈條數(shù)據(jù)進(jìn)行快速有效的分析與應(yīng)用。同時，企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)向信息、知識轉(zhuǎn)化方面仍存在較大不足。2大數(shù)據(jù)技術(shù)在石油石化企業(yè)生產(chǎn)經(jīng)營管理中的應(yīng)用2.1大數(shù)據(jù)技術(shù)應(yīng)用必要性2.1.1業(yè)務(wù)發(fā)展需求“十三五〞及未來一段時間，石油石化企業(yè)發(fā)展面臨的外部環(huán)境具有較大不確定性，隨著國際油價的持續(xù)低迷，如何利用大數(shù)據(jù)技術(shù)，準(zhǔn)確捕捉市場信息，及時根據(jù)市場變化調(diào)整企業(yè)生產(chǎn)經(jīng)營方案，是企業(yè)掌握生產(chǎn)經(jīng)營主動權(quán)、提升市場競爭力的關(guān)鍵性問題。同時在“互聯(lián)網(wǎng)+能源行業(yè)〞發(fā)展模式的持續(xù)發(fā)酵下，數(shù)據(jù)已被視為石油石化企業(yè)的核心資產(chǎn)，數(shù)據(jù)管理與分析已成為企業(yè)創(chuàng)新發(fā)展的重要手段，數(shù)據(jù)分析能力正在成為石油行業(yè)的核心競爭力。利用大數(shù)據(jù)技術(shù)來提升企業(yè)市場快速響應(yīng)能力、提高生產(chǎn)經(jīng)營管理和運(yùn)作水平的必要性和緊迫性日益凸顯。2.1.2應(yīng)用大數(shù)據(jù)技術(shù)的意義1〕發(fā)現(xiàn)和解決企業(yè)生產(chǎn)經(jīng)營實際問題企業(yè)應(yīng)用大數(shù)據(jù)技術(shù)，有利于揭示隱藏在數(shù)據(jù)中的經(jīng)營規(guī)律與特點，有利于生產(chǎn)經(jīng)營管理人員和決策支持研究人員及時發(fā)現(xiàn)生產(chǎn)經(jīng)營中存在的問題、瓶頸和矛盾，通過分析問題、解決問題，適時調(diào)整生產(chǎn)經(jīng)營方案，提出相應(yīng)的策略建議，從而實現(xiàn)企業(yè)上下游協(xié)調(diào)發(fā)展和整體效益的最大化。2〕為企業(yè)生產(chǎn)經(jīng)營決策提供依據(jù)企業(yè)內(nèi)部生產(chǎn)經(jīng)營數(shù)據(jù)、外部宏觀經(jīng)濟(jì)數(shù)據(jù)、市場數(shù)據(jù)、價格數(shù)據(jù)，均是企業(yè)進(jìn)行生產(chǎn)經(jīng)營分析和生產(chǎn)經(jīng)營策略制定的重要基礎(chǔ)。利用大數(shù)據(jù)技術(shù)，實現(xiàn)對結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)等復(fù)雜類型數(shù)據(jù)的收集和分析利用，提升各類數(shù)據(jù)的資產(chǎn)化價值，從而為生產(chǎn)經(jīng)營決策提供更加全面和準(zhǔn)確的依據(jù)。3〕提升企業(yè)數(shù)據(jù)管理能力和信息化水平利用大數(shù)據(jù)技術(shù)，可以知足石油石化企業(yè)對于計算能力和數(shù)據(jù)處理能力的高需求，實現(xiàn)計算能力的靈活可伸縮性，實現(xiàn)對計算能力和資源更好的管理，從而提升企業(yè)數(shù)據(jù)管理和利用的效能，提高企業(yè)信息化建設(shè)水平。2.2大數(shù)據(jù)技術(shù)應(yīng)用場景就生產(chǎn)經(jīng)營管理來說，大數(shù)據(jù)技術(shù)在石油石化企業(yè)的應(yīng)用場景可以分為兩個層次：一是總部層面業(yè)務(wù)鏈整體優(yōu)化的應(yīng)用，二是在企業(yè)上中下游各項業(yè)務(wù)領(lǐng)域的專業(yè)應(yīng)用。2.2.1總部層面的應(yīng)用對于國有大型石油石化企業(yè)而言，大數(shù)據(jù)技術(shù)在總部層面的應(yīng)用更能具體表現(xiàn)出大數(shù)據(jù)技術(shù)本身的優(yōu)越性和必要性。主要應(yīng)用場景包括：業(yè)務(wù)鏈上中下游一體化優(yōu)化、國內(nèi)國外市場統(tǒng)籌優(yōu)化、不同油價情景的資源配置優(yōu)化、不同工況情景的生產(chǎn)方案優(yōu)化等。2.2.2主要業(yè)務(wù)領(lǐng)域的應(yīng)用1〕在勘探開發(fā)領(lǐng)域大數(shù)據(jù)技術(shù)在勘探開發(fā)領(lǐng)域可用于產(chǎn)量預(yù)測分析、勘探開發(fā)分析、地震數(shù)據(jù)分析、鉆井分析、提高采收率分析、油氣完整性分析等［2］。2〕在煉油化工領(lǐng)域大數(shù)據(jù)技術(shù)在煉油化工領(lǐng)域可用于生產(chǎn)運(yùn)行分析與優(yōu)化、能效預(yù)測分析與優(yōu)化、煉化裝置運(yùn)行分析等。3〕在銷售領(lǐng)域大數(shù)據(jù)技術(shù)在銷售領(lǐng)域可用于市場需求預(yù)測、油價預(yù)測、物流優(yōu)化、銷售分析、營銷活動分析、客戶分析、關(guān)聯(lián)商品分析等。2.3大數(shù)據(jù)技術(shù)應(yīng)用路徑大數(shù)據(jù)技術(shù)在石油石化企業(yè)生產(chǎn)經(jīng)營管理中的應(yīng)用路徑，主要包括以下三方面：大數(shù)據(jù)存儲技術(shù)、大數(shù)據(jù)并行處理技術(shù)、面向業(yè)務(wù)的數(shù)據(jù)分析技術(shù)。1〕大數(shù)據(jù)存儲技術(shù)隨著企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)量的日益龐大，常常存在對數(shù)據(jù)庫高并發(fā)讀寫的需求、海量數(shù)據(jù)高效率存儲和訪問的需求、數(shù)據(jù)庫高可擴(kuò)展性和高可用性的需求、海量異源異構(gòu)數(shù)據(jù)的存儲需求，而石油石化企業(yè)現(xiàn)有的數(shù)據(jù)存儲方式已無法知足以上需要。將海量的數(shù)據(jù)低成本、低能耗、高可靠性的進(jìn)行存儲是大數(shù)據(jù)面臨的嚴(yán)峻挑戰(zhàn)?；诠I(yè)大數(shù)據(jù)云平臺的分布式數(shù)據(jù)集群存儲技術(shù)，能夠靈活擴(kuò)展數(shù)據(jù)節(jié)點，便捷地設(shè)置數(shù)據(jù)副本配置策略，為集群環(huán)境提供高擴(kuò)展和高可用的容量存儲能力，大幅降低海量數(shù)據(jù)應(yīng)用的軟硬件成本。該技術(shù)支持海量結(jié)構(gòu)化數(shù)據(jù)的快速檢索和非結(jié)構(gòu)化數(shù)據(jù)的存儲應(yīng)用，能夠保障查詢應(yīng)用的快速響應(yīng)，提升各類數(shù)據(jù)的訪問和處理速度，保障業(yè)務(wù)數(shù)據(jù)和優(yōu)化成果的快速訪問。HDFS〔HadoopDistributedFileSystem，分布式文件系統(tǒng)〕是適合在大規(guī)模集群中存儲海量數(shù)據(jù)文件的Hadoop分布式文件系統(tǒng)，通過HDFS能夠有效知足大數(shù)據(jù)存儲要求，實現(xiàn)海量數(shù)據(jù)的存儲。2〕大數(shù)據(jù)并行處理技術(shù)企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)規(guī)模大且分布在多個信息系統(tǒng)的多臺服務(wù)器上，傳統(tǒng)的數(shù)據(jù)處理方法效率低，需要合適的算法和高性能計算能力才能為大數(shù)據(jù)分析帶來有意義的結(jié)果，所以需要一種能在多臺服務(wù)器上并行計算的框架。MapReduce〔映射規(guī)約〕是一個高效的對海量數(shù)據(jù)進(jìn)行分布式計算的模型框架，它可以并行處理超大規(guī)模數(shù)據(jù)量，很容易將計算擴(kuò)展到多臺機(jī)器上并行進(jìn)行，提高計算效率。利用MapReduce計算框架，可以實現(xiàn)海量數(shù)據(jù)的并行處理和復(fù)雜計算。3〕面向業(yè)務(wù)的數(shù)據(jù)分析通過集成統(tǒng)計分析工具和數(shù)據(jù)挖掘工具，可實現(xiàn)對生產(chǎn)經(jīng)營領(lǐng)域的海量數(shù)據(jù)的深切進(jìn)入挖掘和分析。常用的統(tǒng)計分析工具有Hive，常用的數(shù)據(jù)挖掘工具有Mahout。2.4企業(yè)大數(shù)據(jù)應(yīng)用架構(gòu)設(shè)計石油石化企業(yè)構(gòu)建大數(shù)據(jù)應(yīng)用架構(gòu)可以包括三個層次：大數(shù)據(jù)集成與管理、大數(shù)據(jù)分析、大數(shù)據(jù)應(yīng)用與展示。2.4.1建立統(tǒng)一的生產(chǎn)經(jīng)營數(shù)據(jù)管理平臺充分利用企業(yè)已建的各類信息系統(tǒng)數(shù)據(jù)集成成果，進(jìn)一步擴(kuò)展集成宏觀經(jīng)濟(jì)、市場、價格及產(chǎn)業(yè)政策等外部數(shù)據(jù)，搭建覆蓋全面、高效可靠、集成共享的生產(chǎn)經(jīng)營數(shù)據(jù)管理平臺，為生產(chǎn)經(jīng)營決策提供常態(tài)化、穩(wěn)定的數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)管理平臺一般包括數(shù)據(jù)集成模塊和數(shù)據(jù)存儲管理模塊。1〕數(shù)據(jù)集成模塊數(shù)據(jù)集成模塊應(yīng)當(dāng)包括8大功能：數(shù)據(jù)源接口管理、數(shù)據(jù)映射管理、數(shù)據(jù)監(jiān)控管理、數(shù)據(jù)編碼轉(zhuǎn)換管理、任務(wù)調(diào)度管理、數(shù)據(jù)調(diào)整管理、數(shù)據(jù)供給管理和平臺管理。數(shù)據(jù)集成模塊能夠提供內(nèi)外部多類數(shù)據(jù)實時抽取、采集調(diào)度、清洗管理等功能，為數(shù)據(jù)實時采集和入庫提供保障。根據(jù)數(shù)據(jù)來源和數(shù)據(jù)形式的不同，可采取多種采集方式，主要包括集成接口方式、網(wǎng)絡(luò)抓取方式和手工填報錄入三種。2〕數(shù)據(jù)存儲管理模塊采用工業(yè)大數(shù)據(jù)云平臺的分布式數(shù)據(jù)集群存儲技術(shù)，集成各類結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，提供海量存儲環(huán)境和實時應(yīng)用能力。同時建立6大類數(shù)據(jù)庫，即宏觀經(jīng)濟(jì)數(shù)據(jù)庫、市場數(shù)據(jù)庫、價格數(shù)據(jù)庫、生產(chǎn)數(shù)據(jù)庫、財務(wù)數(shù)據(jù)庫和成果數(shù)據(jù)庫，實現(xiàn)對海量數(shù)據(jù)的分類管理。2.4.2建立統(tǒng)一的數(shù)據(jù)分析平臺采用工業(yè)大數(shù)據(jù)云化技術(shù)，構(gòu)建知足企業(yè)生產(chǎn)經(jīng)營海量數(shù)據(jù)大規(guī)模并行計算的軟件系統(tǒng)，利用MapReduce計算框架實現(xiàn)對各類數(shù)據(jù)的并行處理；對生產(chǎn)經(jīng)營相關(guān)應(yīng)用軟件和分析工具進(jìn)行整合，利用Hive、Mahout等工具實現(xiàn)對各類數(shù)據(jù)的多維相關(guān)性分析；生產(chǎn)經(jīng)營人員可依據(jù)需求選取相對應(yīng)的專業(yè)應(yīng)用軟件和工具進(jìn)行數(shù)據(jù)分析，從而搭建大數(shù)據(jù)分析環(huán)境，便捷地實現(xiàn)數(shù)據(jù)加載、軟件及工具應(yīng)用、數(shù)據(jù)的深切進(jìn)入挖掘。2.4.3建立統(tǒng)一的應(yīng)用展示平臺數(shù)據(jù)只有通過動態(tài)展示，才能更好地發(fā)揮他的價值。應(yīng)用多媒體交互技術(shù)，通過大屏幕、桌面、移動設(shè)備等媒介，實現(xiàn)各類生產(chǎn)經(jīng)營數(shù)據(jù)，分析成果的在線查詢、可視化呈現(xiàn)與，輔助生產(chǎn)經(jīng)營管理人員快速決策，為生產(chǎn)經(jīng)營管理人員提供統(tǒng)一的生產(chǎn)經(jīng)營應(yīng)用展示平臺。3結(jié)束語運(yùn)用大數(shù)據(jù)技術(shù)，實現(xiàn)對石油石化企業(yè)海量結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化生產(chǎn)經(jīng)營數(shù)據(jù)的統(tǒng)一采集、處理、存儲、分析、應(yīng)用和共享，并建立統(tǒng)一的生產(chǎn)經(jīng)營數(shù)據(jù)管理平臺、大數(shù)據(jù)分析平臺和