制造業(yè)MES產(chǎn)線IoT平臺架構(gòu)

1、制造業(yè)MES產(chǎn)線IoT平臺架構(gòu)Oracle全數(shù)據(jù)和云存儲方案對于大多數(shù)的制造企業(yè)來說，在快速發(fā)展的同時對大量數(shù)據(jù)進行訪問、分析及管理越來越關(guān) 鍵。許多制造企業(yè)都在壇強制造質(zhì)量的同時尋找提升缺陷跟蹤及對完善供應鏈的優(yōu)化能力,從而改 善其整體的運營效率。全數(shù)據(jù)解決方案可以幫助提高制造及運營效率，同時提供對公司運作的全方位觀察，從而引導 更好更及時的決策。以全數(shù)據(jù)為基礎的架構(gòu)可以讓企業(yè)有能力分析各類數(shù)據(jù)源以獲得更好的洞察。 這會開拓企業(yè)的分析及預測選項,并會取得更好的成果。Oracle是企業(yè)級解決方案的領(lǐng)導者，在企業(yè)紛紛思考大數(shù)據(jù)如何轉(zhuǎn)換為價值的過程中，Oracle 也在結(jié)合自己的經(jīng)驗和能力思考，并

2、且總結(jié)出了全數(shù)據(jù)管理解決方案。即對于結(jié)構(gòu)化數(shù)據(jù)，Oracle 建議采用關(guān)系型數(shù)據(jù)庫來處理，其技術(shù)非常成熟，生態(tài)壞境也比較完善。而對于非結(jié)構(gòu)化數(shù)據(jù)，考 慮到未來技術(shù)的發(fā)展和成本等因素，可以考慮基于Hadoop/NoSQL來處理，同時將關(guān)系型數(shù)據(jù)庫 成熟的經(jīng)驗和技術(shù)擴展到新技術(shù)平臺。全數(shù)據(jù)管理平臺構(gòu)建模式應該是關(guān)系型數(shù)據(jù)庫和 Hadoop/NoSQL相結(jié)合,在企業(yè)級產(chǎn)品方面Oracle推岀了 Exadata + BDA的一整套全數(shù)據(jù)解決 方案。Oracle Exadata數(shù)據(jù)庫云平臺采用集成設計,旨在為Oracle數(shù)據(jù)庫提供卓越的性能、極好的 成本效益和極高的可用性。Exadata可以運行所有類型

3、的數(shù)據(jù)庫負載,包括聯(lián)機事務處理（OLTP）、 數(shù)據(jù)倉庫（DW）、內(nèi)存中分析以及各種混合負載。Oracle BDA大數(shù)據(jù)機是f 靈活、高性能安全的平臺，用于在Hadoop. Kafka和NoSQL系 統(tǒng)上運行不同的負載。憑借Oracle Big Data SQL, BDA將Oracle行業(yè)領(lǐng)先的SQL實現(xiàn)擴展至 Hadoop/ NoSQL和Kafka系統(tǒng)。BDA將Hadoop生態(tài)系統(tǒng)的最新技術(shù)和強大的Oracle SQL功 能整合到一個預先配置的平臺上,因而支持快速開發(fā)新的大數(shù)據(jù)應用程序,支持與現(xiàn)有關(guān)系型婁 緊密集成,這在業(yè)界堪稱獨一無二。Oracle存儲云服務為您提供了一個通過互聯(lián)網(wǎng)存儲、管理

4、和使用大量非結(jié)構(gòu)化數(shù)據(jù)的易用的解 決方氯您的應用程序可以使用OpenStack Swift兼容的REST API或Java API以編程方式訪問 Oracle存儲云服務。您可以使用基于web的圖形控制臺監(jiān)視關(guān)鍵存儲量度并管理用戶和角色。下面以一個真實的案例向您介紹如何通過ORACLE全數(shù)據(jù)平臺+ Cloud存儲混合云架構(gòu)設 計，構(gòu)建一個制造業(yè)MES產(chǎn)線IoT平臺。1. 典型案例某制造業(yè)MES產(chǎn)品檢測系統(tǒng)大數(shù)據(jù)需求分析1.1.數(shù)據(jù)源分析MES產(chǎn)品檢測系統(tǒng)測試數(shù)據(jù)分為兩類：SUMMARY概要數(shù)據(jù)DETAIL詳細數(shù)據(jù)O LOGFILE日志文件o IMAGE 圖片文件 數(shù)據(jù)按RETENTION分類 超

5、躺據(jù):當前生產(chǎn)數(shù)據(jù):1天以內(nèi)熱數(shù)據(jù)：1天至1月溫數(shù)據(jù)：1月至6月冷數(shù)據(jù)：6月以上至2年具體數(shù)據(jù)分析如下：SUMMARYLOG定義測試數(shù)據(jù)的概要信息測試日志文件 （測試數(shù)據(jù)的 審田信息）測試圖片文件（測試數(shù) 據(jù)的詳細信息）格式結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)大?。?條）10KB50KB5MB產(chǎn)生數(shù)量/分鐘1000 條10萬條1000 條數(shù)據(jù)S/分鐘 數(shù)據(jù)天 數(shù)據(jù)量/月 數(shù)據(jù)*/半年 數(shù)據(jù)*/年10 MB14.4 GB432 GB2.592 TB5.184 TB5GB7.2 TB216 TB1.296 PB2.592 PB5GB7.2 TB216 TB1.296 PB2.592 PB數(shù)據(jù)訪問

6、性能 要求=5秒（超熱數(shù)據(jù)：1天內(nèi)） 二10分鐘（熱數(shù)據(jù)：1天至1月） -4小時（溫數(shù)據(jù)：1月至半年） 構(gòu)建企業(yè)級IoT平臺2.1.超熱數(shù)據(jù)處理階段由 EXADATA + ORACLE不超過一天的超熱數(shù)據(jù)（SUMMARY與LOGFILE中間表麥12c實現(xiàn)快速處理,尤其是大量的JOIN操作。 Exadata所特有的SMART SCAN、大容量智能緩存等功能，以及Oracle 12C的INMEMORY列式內(nèi)存計算、分區(qū)等功能可以實現(xiàn)非常高效地處理超馳據(jù)。趨熱數(shù)據(jù) （1天以內(nèi)）22熱/溫數(shù)據(jù)處理階段 Oracle中的SUMMARY/LOGFILE中間表數(shù)據(jù)實時同步至BDA大數(shù)據(jù)一體機平臺 文件導入至

7、BDA中的HDFS,表METADATA存儲至HIVE-導入工具為OGGBDA存儲半年以內(nèi)的熱/溫數(shù)據(jù)超出半年以外的LOGFILE數(shù)據(jù)則歸檔至公有云存儲23冷數(shù)據(jù)處理階段 BDA大數(shù)據(jù)一體機中超出半年以外的LOGFILE數(shù)據(jù)歸檔至公有云 IMAGE數(shù)據(jù)歸檔至公有云熱/溫數(shù)據(jù)（半年以內(nèi)）冷數(shù)據(jù)（半年至兩年）24 BDA方案整體架構(gòu)圖基于客戶需求理解，ORACLE建議如下： 超熱數(shù)據(jù)的處理由Exadata來處理；Summary和Log文件都可以存放于BDA中，由于Summary文件較小，且包含Log文件的訪問信息，Summary文件一直存放在BDA中；Log文 件冷數(shù)據(jù)歸檔窗口保持為6個月。整體方案

8、架構(gòu)圖如下:超熱數(shù)據(jù)（1天以內(nèi)）熱/溫數(shù)據(jù)（半年以內(nèi)）（半年至兩年）說明：1實時同步通過OracleGolden Gate進行實時同步。OGG可以按照配置將更新的記錄同步到 HDFS中的文件，并且可以指定文件分割的大小。2用戶可以直接通過ClouderaHadoop平臺進行數(shù)據(jù)訪問，例如Impala、Hive等。同時考慮到現(xiàn) 有人員技能復用,也可以通過任4可一個Oracle 12c實例，通過Oracle Big Data SQL即可沿用 Oracle數(shù)據(jù)庫平臺上的DBA管理和訪問方法。3 Summary 一直保存在BDA中，根據(jù)Summary中文件的URI可以定位到公有云中的文件，需要 的時候

9、可以將文件從公有云中恢復和下載到本地的BDA中進行查詢。IMAGE文件一直歸檔至公有4 Oracle云中數(shù)據(jù)湖解決方案可以提供靈活的Hadoop集群云服務，通過Openstack Swift協(xié)議映射成Hive表通過SQL或者基于內(nèi)存的大數(shù)據(jù)文件協(xié)議(BDFS )直接將Oracle存儲云上的麥進行查詢訪問和分析，未來冷數(shù)據(jù)的批量查詢分析可以通過該方式實現(xiàn)，分析結(jié)果再返回本地使 用，提升云中海量數(shù)據(jù)綜合分析能力，減少海量數(shù)據(jù)在本地?口云中頻繁移動。3. 總結(jié)通過采用全數(shù)據(jù)平臺(Exadata +BDA )與歸檔云存儲的混合架構(gòu),再加上GoldenGate實時 的集成技術(shù)以及Big Data SQL、Big Data Connect. R等一系列大數(shù)據(jù)技術(shù)，可分別快速有效地處 理大數(shù)據(jù)處理的不同階段、不同類型數(shù)據(jù)。該架構(gòu)具體優(yōu)勢體現(xiàn)如下：全數(shù)據(jù)平臺,支持 SQL、NOSQL、Exadata與BDA構(gòu)成的全數(shù)據(jù)平臺可支持各種結(jié)構(gòu)化及非結(jié)構(gòu)麥HIVE、HDFS等各類數(shù)據(jù)平臺。性能最優(yōu)Exadata與BDA均為軟硬高度優(yōu)化的TM七設