智慧工地項目解決方案說明書

智慧工地解決方案說明書XX科技股份有限公司編制目錄一、項目存在問題及需解決問題 31.存在問題 32.需解決問題 3二、解決方案 61.解決方案架構(gòu) 62.關(guān)鍵技術(shù) 7（1）Hadoop 7（2）SpringMVC 8（3）MyBatis 8（4）Echarts 8（5）MySQL 8（6）Hive 9（7）HBASE 9（8）Zookeeper 9（9）Flume 10三、開發(fā)范圍 101.數(shù)據(jù)生產(chǎn) 102.數(shù)據(jù)采集/消費 103.數(shù)據(jù)分析 114.數(shù)據(jù)展示 12項目存在問題及需解決問題存在問題智慧工地集成平臺建設(shè)中集成的子系統(tǒng)在內(nèi)容和數(shù)量上存在差異，沒有統(tǒng)一的建設(shè)標(biāo)準(zhǔn)，并且平臺接口需要能夠兼容不同物聯(lián)網(wǎng)系統(tǒng)、信息化系統(tǒng)，集成的數(shù)據(jù)源多樣化，包含物聯(lián)網(wǎng)數(shù)據(jù)、BIM數(shù)據(jù)、信息化數(shù)據(jù)、GIS數(shù)據(jù)等，各數(shù)據(jù)之間融合協(xié)同的標(biāo)準(zhǔn)不統(tǒng)一，并且數(shù)據(jù)的呈現(xiàn)方式及價值的挖掘不夠充分，對數(shù)據(jù)的集成應(yīng)用深度有待提高。工程建設(shè)過程中需要監(jiān)管層、集團(tuán)層、公司層、項目層等多個層面的協(xié)同工作，各層面對建設(shè)過程中的關(guān)注點及需求不同，智慧工地集成平臺面向滿足各層面的使用需求，面向不同用戶的使用目的。工地建設(shè)環(huán)境復(fù)雜，網(wǎng)絡(luò)環(huán)境惡劣，物聯(lián)網(wǎng)設(shè)備對數(shù)據(jù)的傳輸具有一定的局限性，從客觀條件角度說極大地影響了平臺使用的穩(wěn)定性。平臺集成商的水平良莠不齊，智慧工地市場主要在建筑領(lǐng)域要有針對性地開發(fā)，滿足工程各種要求，如何發(fā)揮智慧工地的最大價值，要有設(shè)計、規(guī)劃、施工、監(jiān)理、驗收一整套的流程。需解決問題1、現(xiàn)階段智慧工地建設(shè)還缺少統(tǒng)一明確的建設(shè)標(biāo)準(zhǔn)。目前在宏觀方面主要是國家主管部門、行業(yè)協(xié)會等行業(yè)部門牽頭做的總體規(guī)劃和建設(shè)標(biāo)準(zhǔn)，對于企業(yè)搭建智慧工地所需求的具體實施方案和統(tǒng)一標(biāo)準(zhǔn)并沒有明確說明，更多的建設(shè)方案則體現(xiàn)在各大軟件公司所搭建的各自平臺。對于企業(yè)而言，面臨的一方面是對軟件公司的選擇存在盲目和隨波逐流的現(xiàn)象；另一方面是所選擇的軟件公司的系統(tǒng)是否滿足今后主管部門對智慧工地的具體要求?，F(xiàn)價段智慧工地平臺建設(shè)主要是各軟件公司依照自己對行業(yè)的了解去開發(fā)，所以存在著各家各樣的現(xiàn)象，缺少行業(yè)的統(tǒng)一標(biāo)準(zhǔn)。由于沒有形成統(tǒng)一的信息化標(biāo)準(zhǔn)規(guī)范體系，各方建設(shè)各自的系統(tǒng)，系統(tǒng)之間不能互聯(lián)互通，數(shù)據(jù)不能共享，數(shù)據(jù)多方錄入，來源不一，各系統(tǒng)間的數(shù)據(jù)往往不一致，這就造成了對數(shù)據(jù)不能進(jìn)行有效的統(tǒng)計分析，對公司決策不能提供有效的數(shù)據(jù)支撐。建議軟件公司做好相關(guān)工作的調(diào)研工作，將各類平臺模式化，集成化，平臺化，促進(jìn)生產(chǎn)方式、管理方式、產(chǎn)業(yè)形態(tài)的創(chuàng)新。2、目前建立智慧工地存在“重碎片、輕平臺”的現(xiàn)象。施工企業(yè)現(xiàn)場項目管理普遍存在“缺什么、上什么”的現(xiàn)象，各系統(tǒng)之間存在不兼容和無法關(guān)聯(lián)的情況，導(dǎo)致在企業(yè)端、項目端、平臺端和軟件之間無法互相共享信息，建議建立實現(xiàn)企業(yè)內(nèi)部組織、企業(yè)內(nèi)部崗位、企業(yè)與項目以及上下游產(chǎn)業(yè)鏈的互聯(lián)互通，這個連接基礎(chǔ)就是基于云技術(shù)的集成平臺，平臺的建立為企業(yè)管理提供了統(tǒng)一的協(xié)同中心、數(shù)據(jù)中心和業(yè)務(wù)中心，通過平臺的搭建連接公司和項目部各個層級、各個崗位，實現(xiàn)不同專業(yè)應(yīng)用數(shù)據(jù)、管理數(shù)據(jù)的收集、分析處理與及時分發(fā)。平臺化有助于業(yè)務(wù)工作突破地域、時間界限，降低溝通成本，提升協(xié)同效率，實現(xiàn)企業(yè)資源優(yōu)化和配置。3、智慧工地建設(shè)的針對性和應(yīng)用性，與當(dāng)前施工現(xiàn)場實際還存在一定差距?，F(xiàn)階段施工現(xiàn)場安全管理、勞務(wù)管理、物資管理等系統(tǒng)還存在著管理盲點，與我們所要求的目標(biāo)還存在一定差距；其次，人才缺乏也是當(dāng)前智慧工地建設(shè)的主要問題所在，其中包括缺乏專業(yè)的技術(shù)人，沒有系統(tǒng)的技術(shù)培訓(xùn)，員工知識與能力結(jié)構(gòu)欠缺，員工不愿意接受新技術(shù)等問題影響了系統(tǒng)使用的應(yīng)用性。建議通過打通建筑業(yè)上下游產(chǎn)業(yè)鏈，重建產(chǎn)業(yè)的新生態(tài)，實現(xiàn)產(chǎn)業(yè)融合，推動建筑業(yè)的轉(zhuǎn)型升級，通過信息化技術(shù)手段在建筑工業(yè)化中的應(yīng)用，提高建筑工業(yè)化的生產(chǎn)和管理效率。4、智慧工地現(xiàn)場的硬件建設(shè)相對滯后。建筑工地所處環(huán)境復(fù)雜、地域偏僻。建筑企業(yè)日常辦公所需的網(wǎng)絡(luò)環(huán)境較難達(dá)到有效覆蓋，大大降低了系統(tǒng)的使用效果和數(shù)據(jù)的傳輸效率，建議網(wǎng)絡(luò)運營商為施工企業(yè)提供信息化基礎(chǔ)網(wǎng)絡(luò)保障，提高施工現(xiàn)場的用網(wǎng)環(huán)境，完善4G、5G網(wǎng)絡(luò)在施工現(xiàn)場的搭建，提升智慧工地系統(tǒng)使用的穩(wěn)定性和耐用度，做好系統(tǒng)的維護(hù)和更換工作。5、信息化數(shù)據(jù)分析水平，人工智能有待進(jìn)一步提高和完善。建筑業(yè)是最大的數(shù)據(jù)行業(yè)之一，又是數(shù)據(jù)化程度較低的行業(yè)之一，現(xiàn)狀往往是“真正想要的數(shù)據(jù)沒有收集上來，已經(jīng)收集上來的數(shù)據(jù)沒有價值”，施工企業(yè)對數(shù)據(jù)價值的挖掘還不夠，相關(guān)數(shù)據(jù)分析軟件還不夠多，現(xiàn)有的分析軟件對待海量數(shù)據(jù)挖掘、分析、處理所達(dá)到的效果還不高，所以需要軟件開發(fā)公司和建筑企業(yè)要進(jìn)一步協(xié)作，不斷完善相關(guān)軟件的智能化水平，開創(chuàng)“用數(shù)據(jù)說話、用數(shù)據(jù)決策、用數(shù)據(jù)管理、用數(shù)據(jù)創(chuàng)新”的新態(tài)勢。6、施工企業(yè)與相互協(xié)作方對智慧工地的重視和實踐需要加強(qiáng)。大多數(shù)建筑施工現(xiàn)場還處于粗放型管理，施工現(xiàn)場管理難度不斷加大，這就需要我們與第三方不斷達(dá)成共識、協(xié)作，共同提高智慧工地的推廣和應(yīng)有，不斷提升我們施工一線的管理水平，主管部門、行業(yè)協(xié)會、施工企業(yè)和現(xiàn)場第三方要不斷地做好宣貫工作，統(tǒng)一認(rèn)識，制定相應(yīng)的規(guī)劃措施，循序漸進(jìn)的實施，強(qiáng)化各系統(tǒng)的應(yīng)用，使智慧工地的開展落到實處。解決方案解決方案架構(gòu)圖1解決方案架構(gòu)圖系統(tǒng)開發(fā)平臺使用Hadoop大數(shù)據(jù)開發(fā)平臺。Hadoop是一個高度可擴(kuò)展的存儲平臺，可以存儲和分發(fā)橫跨數(shù)百個并行操作的廉價的服務(wù)器數(shù)據(jù)集群。能擴(kuò)展到處理大量的數(shù)據(jù)，能提供成百上千TB的數(shù)據(jù)節(jié)點上運行的應(yīng)用程序。Hadoop能夠有效的在幾分鐘內(nèi)處理TB級的數(shù)據(jù)。相比關(guān)系型數(shù)據(jù)庫管理系統(tǒng)更具有優(yōu)勢。它適用于任何規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)持續(xù)增長的企業(yè)，將幫助用戶持續(xù)提高用戶體驗。系統(tǒng)采用面向?qū)ο蟮能浖O(shè)計方法，把整個系統(tǒng)看作是多個離散對象的組合。系統(tǒng)設(shè)計時，首先把業(yè)務(wù)流程分解成功能模塊及其業(yè)務(wù)實體對象，然后根據(jù)業(yè)務(wù)流程分析對于這些業(yè)務(wù)實體對象的操作方法，形成業(yè)務(wù)處理對象，最后把各個功能模塊關(guān)聯(lián)起來，形成系統(tǒng)。軟件設(shè)計是一個將需求轉(zhuǎn)變?yōu)檐浖倪^程，系統(tǒng)通過逐步求精使得設(shè)計陳述逐漸接近于源代碼。系統(tǒng)程序采用MVC的設(shè)計思想，將展現(xiàn)邏輯、控制邏輯、業(yè)務(wù)處理邏輯分離。系統(tǒng)采用參數(shù)化的設(shè)計思想，定義和管理系統(tǒng)的實體及配置，調(diào)整實體以適應(yīng)外部變化。系統(tǒng)采用J2EE技術(shù)保證程序邏輯實現(xiàn)的平臺無關(guān)性，并便于安裝部署。系統(tǒng)采用AJAX技術(shù)，提高客戶操作的交互性，保證實際使用的易用性。系統(tǒng)采用echarts可視化框架實現(xiàn)數(shù)據(jù)展示。關(guān)鍵技術(shù)HadoopHadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運算和存儲。SpringMVCSpringMVC：屬于SpringFrameWork的后續(xù)產(chǎn)品，已經(jīng)融合在SpringWebFlow里面。Spring框架提供了構(gòu)建Web應(yīng)用程序的全功能MVC模塊。MyBatisMYBatis：是支持普通SQL查詢，存儲過程和高級映射的優(yōu)秀持久層框架。MyBatis消除了幾乎所有的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索。MyBatis使用簡單的XML或注解用于配置和原始映射，將接口和Java的POJOs（PlainOldJavaObjects，普通的Java對象）映射成數(shù)據(jù)庫中的記錄。EchartsECharts是一款基于Javascript的數(shù)據(jù)可視化圖表庫，提供直觀，生動，可交互，可個性化定制的數(shù)據(jù)可視化圖表。MySQLMySQL是一個關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典MySQLAB公司開發(fā)，屬于Oracle旗下產(chǎn)品。MySQL是最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應(yīng)用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫管理系統(tǒng))應(yīng)用軟件之一。MySQL是一種關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，關(guān)系數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個大倉庫內(nèi)，這樣就增加了速度并提高了靈活性。MySQL所使用的SQL語言是用于訪問數(shù)據(jù)庫的最常用標(biāo)準(zhǔn)化語言。MySQL軟件采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網(wǎng)站的開發(fā)都選擇MySQL作為網(wǎng)站數(shù)據(jù)庫。Hivehive是基于Hadoop構(gòu)建的一套數(shù)據(jù)倉庫分析系統(tǒng)，它提供了豐富的SQL查詢方式來分析存儲在Hadoop分布式文件系統(tǒng)中的數(shù)據(jù)：可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能；可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)運行，通過自己的SQL查詢分析需要的內(nèi)容，這套SQL簡稱HiveSQL，使不熟悉mapreduce的用戶可以很方便地利用SQL語言查詢、匯總和分析數(shù)據(jù)。而mapreduce開發(fā)人員可以把自己寫的mapper和reducer作為插件來支持hive做更復(fù)雜的數(shù)據(jù)分析。它與關(guān)系型數(shù)據(jù)庫的SQL略有不同，但支持了絕大多數(shù)的語句如DDL、DML以及常見的聚合函數(shù)、連接查詢、條件查詢。它還提供了一系列的：具進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載，用來存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以實現(xiàn)對map和reduce函數(shù)的定制，為數(shù)據(jù)操作提供了良好的伸縮性和可擴(kuò)展性。HBASEHBase–HadoopDatabase，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。ZookeeperZooKeeper是一個分布式的，開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Google的Chubby一個開源的實現(xiàn)，是Hadoop和Hbase的重要組件。它是一個為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組服務(wù)等。FlumeFlume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。開發(fā)范圍數(shù)據(jù)生產(chǎn)對于該模塊的業(yè)務(wù)，即數(shù)據(jù)生產(chǎn)過程，一般并不會讓你來進(jìn)行操作，數(shù)據(jù)生產(chǎn)是一套完整且嚴(yán)密的體系，這樣可以保證數(shù)據(jù)的安全性。但是如果涉及到項目的一體化方案的設(shè)計（數(shù)據(jù)的產(chǎn)生、存儲、分析、展示），則必須清楚每一個環(huán)節(jié)是如何處理的，包括其中每個環(huán)境可能隱藏的問題；數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)內(nèi)容可能出現(xiàn)的問題。數(shù)據(jù)采集/消費數(shù)據(jù)采集模塊（消費），在企業(yè)中你要清楚流式數(shù)據(jù)采集框架flume和kafka的定位是什么。我們在此需要將實時數(shù)據(jù)通過flume采集到kafka然后供給給hbase消費。flume：cloudera公司研發(fā)適合下游數(shù)據(jù)消費者不多的情況；適合數(shù)據(jù)安全性要求不高的操作；適合與Hadoop生態(tài)圈對接的操作。kafka：linkedin公司研發(fā)適合數(shù)據(jù)下游消費眾多的情況；適合數(shù)據(jù)安全性要求較高的操作（支持replication）；因此我們常用的一種模型是：線上數(shù)據(jù)-->flume-->kafka-->flume(根據(jù)情景增刪該流程)-->HDFS線上數(shù)