大數(shù)據(jù)管理與應(yīng)用概論 課件 2.5 大數(shù)據(jù)項(xiàng)目管理

2.5大數(shù)據(jù)項(xiàng)目管理大數(shù)據(jù)項(xiàng)目管理大數(shù)據(jù)要在組織管理與決策中發(fā)揮作用，核心問題是需要采取哪些步驟來確保數(shù)據(jù)項(xiàng)目能夠從規(guī)劃階段成功走到執(zhí)行階段。要實(shí)現(xiàn)數(shù)據(jù)落地應(yīng)用的目的，獲取數(shù)據(jù)分布式處理技術(shù)能力以及系統(tǒng)架構(gòu)專業(yè)知識(shí)固然重要，大數(shù)據(jù)項(xiàng)目相關(guān)的因素也同樣重要，而這些因素往往在探索新技術(shù)的過程中被忽視。因素一：結(jié)合企業(yè)戰(zhàn)略，理解問題因素二：選擇適合的軟件解決方案因素三：分析并應(yīng)對(duì)項(xiàng)目風(fēng)險(xiǎn)因素四：組建大數(shù)據(jù)項(xiàng)目團(tuán)隊(duì)因素五：實(shí)現(xiàn)健壯、可維護(hù)的架構(gòu)和解決方案大數(shù)據(jù)項(xiàng)目管理的類型了解組織要構(gòu)建什么，以及在設(shè)計(jì)可靠的解決方案時(shí)需要考慮哪些主要因素，是任何數(shù)據(jù)項(xiàng)目取得成功的基本條件。大數(shù)據(jù)項(xiàng)目主要包括如下三種類型。數(shù)據(jù)項(xiàng)目類型數(shù)據(jù)項(xiàng)目任務(wù)數(shù)據(jù)管道和數(shù)據(jù)暫存類項(xiàng)目大數(shù)據(jù)的提取-轉(zhuǎn)換-加載型項(xiàng)目。涉及對(duì)數(shù)據(jù)的收集、暫存、存儲(chǔ)等，其目的是為后續(xù)數(shù)據(jù)處理和分析提供基礎(chǔ)。數(shù)據(jù)的處理和分析類項(xiàng)目目的是為企業(yè)提供有價(jià)值的決策支持，如生成報(bào)告、開發(fā)機(jī)器學(xué)習(xí)模型和算法等。應(yīng)用程序開發(fā)類項(xiàng)目提供能夠?qū)崟r(shí)支持業(yè)務(wù)需求的數(shù)據(jù)框架，例如Web應(yīng)用程序或移動(dòng)應(yīng)用程序的數(shù)據(jù)后端等。大數(shù)據(jù)項(xiàng)目成功的關(guān)鍵特征實(shí)施大數(shù)據(jù)項(xiàng)目的初衷通常是利用大數(shù)據(jù)更好地支撐管理決策。因此，成功的大數(shù)據(jù)項(xiàng)目通常具有如下特征：項(xiàng)目目標(biāo)清晰。與企業(yè)戰(zhàn)略目標(biāo)和運(yùn)營模式相一致、內(nèi)部認(rèn)識(shí)統(tǒng)一。項(xiàng)目規(guī)劃完善。項(xiàng)目實(shí)施之前對(duì)項(xiàng)目功能規(guī)劃清晰，對(duì)項(xiàng)目實(shí)施進(jìn)程嚴(yán)格把控。技術(shù)選擇合適。技術(shù)并非越先進(jìn)越好，適合企業(yè)的技術(shù)才是最好的技術(shù)。員工技能合格。員工專業(yè)知識(shí)和能力符合大數(shù)據(jù)項(xiàng)目的要求。示范效果良好。大數(shù)據(jù)項(xiàng)目發(fā)揮作用是一個(gè)逐步推進(jìn)的過程。在特定應(yīng)用中取得顯著效果，有助于后續(xù)項(xiàng)目推進(jìn)。大數(shù)據(jù)項(xiàng)目失敗的原因大數(shù)據(jù)項(xiàng)目與企業(yè)戰(zhàn)略脫節(jié)。企業(yè)大數(shù)據(jù)項(xiàng)目沒有明確的目標(biāo)，沒有把大數(shù)據(jù)項(xiàng)目與企業(yè)戰(zhàn)略和運(yùn)營模式有機(jī)融合。大數(shù)據(jù)商業(yè)用例不明確。大數(shù)據(jù)項(xiàng)目要實(shí)現(xiàn)的功能不明確，需要為企業(yè)提供哪些決策支持、需要哪些數(shù)據(jù)、需要構(gòu)建怎樣的模型等問題不清晰。無法發(fā)掘出大數(shù)據(jù)的特殊價(jià)值。在數(shù)據(jù)分析過程中無法充分發(fā)揮量大、多模態(tài)、多維關(guān)聯(lián)等大數(shù)據(jù)特征帶來的優(yōu)勢(shì)，無法從大數(shù)據(jù)中獲取大價(jià)值。企業(yè)內(nèi)部對(duì)大數(shù)據(jù)項(xiàng)目無共識(shí)。企業(yè)不同層級(jí)對(duì)大數(shù)據(jù)作用的認(rèn)識(shí)不一致，前期可能為員工帶來更多的工作負(fù)荷，導(dǎo)致大數(shù)據(jù)項(xiàng)目拖延推進(jìn)或無人應(yīng)用等問題。缺乏項(xiàng)目所需的核心技術(shù)。大數(shù)據(jù)項(xiàng)目對(duì)企業(yè)員工的數(shù)據(jù)意識(shí)和技術(shù)能力提出了更高的要求。如果企業(yè)員工無法達(dá)到相應(yīng)要求，在后續(xù)使用過程中往往無法達(dá)到預(yù)期目標(biāo)。大數(shù)據(jù)項(xiàng)目實(shí)施案例正泰集團(tuán)：傳統(tǒng)制造企業(yè)的數(shù)字化轉(zhuǎn)型之旅1.正泰集團(tuán)是怎樣的一家企業(yè)？2.正泰集團(tuán)為什么要進(jìn)行數(shù)字化轉(zhuǎn)型?內(nèi)外部驅(qū)動(dòng)因素是什么？3.正泰集團(tuán)在數(shù)字化轉(zhuǎn)型過程中遇到了哪些阻力與障礙？4.正泰集團(tuán)做了哪些戰(zhàn)略性回應(yīng)以克服阻力與障礙?5.如何理解正泰集團(tuán)大數(shù)據(jù)平臺(tái)運(yùn)營邏輯?大數(shù)據(jù)項(xiàng)目實(shí)施案例1．正泰集團(tuán)是怎樣的一家企業(yè)？圍繞能源“供給-存儲(chǔ)-輸變-配售-消費(fèi)”體系，以新能源、能源配售、大數(shù)據(jù)、能源增值服務(wù)為核心業(yè)務(wù)，以光伏設(shè)備、儲(chǔ)能、輸配電、低壓電器、智能終端、軟件開發(fā)、控制自動(dòng)化為支柱業(yè)務(wù)，打造平臺(tái)型企業(yè)，構(gòu)筑區(qū)域智慧能源綜合運(yùn)營管理生態(tài)圈，為公共機(jī)構(gòu)、工商業(yè)及終端用戶提供一攬子能源解決方案。大數(shù)據(jù)項(xiàng)目實(shí)施案例2.正泰集團(tuán)為什么要進(jìn)行數(shù)字化轉(zhuǎn)型?內(nèi)外部驅(qū)動(dòng)因素是什么？外部驅(qū)動(dòng)因素：PTST分析政治（Political）：德國工業(yè)4.0、中國制造2025。經(jīng)濟(jì)（Economic）：數(shù)字經(jīng)濟(jì)已經(jīng)成為國民經(jīng)濟(jì)的新業(yè)態(tài)。在“互聯(lián)網(wǎng)下半場(chǎng)”，制造業(yè)擁抱數(shù)字技術(shù)成為必然趨勢(shì)。社會(huì)（Social）：人們對(duì)美好生活的向往。技術(shù)（Technological）：數(shù)字技術(shù)具有天生的顛覆性，繼續(xù)守成已經(jīng)無法應(yīng)挑戰(zhàn)，只有順數(shù)字化趨勢(shì)，及時(shí)調(diào)整戰(zhàn)略，打造數(shù)字化能力，才在新的環(huán)境下生存。內(nèi)部驅(qū)動(dòng)因素：集團(tuán)創(chuàng)始人的前瞻性戰(zhàn)略眼光以及企業(yè)自身成長的要求。大數(shù)據(jù)項(xiàng)目實(shí)施案例3.正泰集團(tuán)在數(shù)字化轉(zhuǎn)型過程中遇到了哪些阻力與障礙？個(gè)人阻力：個(gè)人利益與舒適區(qū)的障礙不確定性和不安全感、知覺的選擇性、對(duì)熟悉事物的偏好在數(shù)字化轉(zhuǎn)型啟動(dòng)之初，集團(tuán)內(nèi)部除最高領(lǐng)導(dǎo)人之外的幾乎所有員工都沒有表現(xiàn)出對(duì)轉(zhuǎn)型的認(rèn)同，他們或認(rèn)為會(huì)威脅已有權(quán)力與地位，或認(rèn)為會(huì)改變穩(wěn)定的現(xiàn)狀怕自己無法適應(yīng)而淘汰，再加上對(duì)數(shù)字化轉(zhuǎn)型未來的不明晰而更愿意維持現(xiàn)狀。組織阻力：科層級(jí)組織的障礙正泰長久以來建立的科層制組織架構(gòu)下的部門墻、與客戶打交道的界面等慣有組織路徑成為數(shù)字化流程改造中的障礙。大數(shù)據(jù)項(xiàng)目實(shí)施案例4.正泰集團(tuán)做了哪些戰(zhàn)略性回應(yīng)以克服阻力與障礙?設(shè)置首席數(shù)據(jù)官（CDO）。邀請(qǐng)從組織外部邀請(qǐng)了信息化專家負(fù)責(zé)集團(tuán)數(shù)字化轉(zhuǎn)型。選擇輕資產(chǎn)轉(zhuǎn)型模式。以整合管理型數(shù)據(jù)為起點(diǎn)，以讓集團(tuán)上下看到數(shù)字化能夠帶來的實(shí)際價(jià)值。在“生產(chǎn)智能化”階段，選擇兩個(gè)明星產(chǎn)品生產(chǎn)線為試點(diǎn)進(jìn)行智能化改造。通過教育溝通轉(zhuǎn)變員工認(rèn)識(shí)。董事長親自出馬+外部咨詢專家數(shù)字化培訓(xùn)組織結(jié)構(gòu)平臺(tái)化變革。自上而下的變革，建立委員會(huì)模式和共享中心。大數(shù)據(jù)項(xiàng)目實(shí)施案例5.如何理解正泰集團(tuán)大數(shù)據(jù)平臺(tái)運(yùn)營邏輯?原有的管理系統(tǒng)和生產(chǎn)系統(tǒng)是否能夠獲得所需數(shù)據(jù)？如何進(jìn)行數(shù)據(jù)集成？數(shù)據(jù)集成的關(guān)鍵是什么？如何面向不同業(yè)務(wù)需求開發(fā)數(shù)據(jù)模型？組織結(jié)構(gòu)如何匹配大數(shù)據(jù)戰(zhàn)略？正泰集團(tuán)大數(shù)據(jù)平臺(tái)運(yùn)營邏輯圖正泰集團(tuán)組織平臺(tái)化數(shù)據(jù)管道和暫存類項(xiàng)目任務(wù)數(shù)據(jù)管道和數(shù)據(jù)暫存類項(xiàng)目是3個(gè)數(shù)據(jù)項(xiàng)目類型中范圍最廣的，因?yàn)樗婕皬耐獠繑?shù)據(jù)源到目標(biāo)數(shù)據(jù)源的整個(gè)路徑，并為構(gòu)建數(shù)據(jù)解決方案的其余部分奠定基礎(chǔ)。需要關(guān)注的任務(wù)包括七個(gè)方面。源數(shù)據(jù)收集方法的選擇針對(duì)數(shù)據(jù)收集與存儲(chǔ)的風(fēng)險(xiǎn)管理數(shù)據(jù)傳遞保證數(shù)據(jù)的管理和治理延遲和傳遞確認(rèn)針對(duì)數(shù)據(jù)傳遞的風(fēng)險(xiǎn)管理目標(biāo)數(shù)據(jù)的訪問模式數(shù)據(jù)處理和分析類項(xiàng)目數(shù)據(jù)的處理和分析是指對(duì)數(shù)據(jù)管道和數(shù)據(jù)暫存項(xiàng)目中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換和分析，以提取有用的價(jià)值。根據(jù)CRISP-DM流程，數(shù)據(jù)處理和分析類項(xiàng)目的任務(wù)包括六個(gè)方面。業(yè)務(wù)理解：項(xiàng)目的起點(diǎn)是企業(yè)戰(zhàn)略和業(yè)務(wù)需求。數(shù)據(jù)理解：用何數(shù)據(jù)、數(shù)據(jù)在哪里、有何特征數(shù)據(jù)預(yù)處理：噪音、缺失值、約簡模型構(gòu)建：構(gòu)建面向業(yè)務(wù)需求的決策支持模型模型評(píng)估：評(píng)估模型的效果，選擇效果最好的模型應(yīng)用部署：應(yīng)用模型支持決策，應(yīng)用效果反饋應(yīng)用程序開發(fā)類項(xiàng)目前兩類項(xiàng)目關(guān)注數(shù)據(jù)收集和數(shù)據(jù)學(xué)習(xí)，而應(yīng)用程序開發(fā)與部署使用數(shù)據(jù)向內(nèi)部或外部提供服務(wù)的應(yīng)用程序有關(guān)。這類項(xiàng)目應(yīng)關(guān)注的事項(xiàng)有：廷遲和吞吐量：執(zhí)行一個(gè)操作需要多長時(shí)間，系統(tǒng)每秒可處理多少個(gè)操作?局部狀態(tài)和一致性：如果系統(tǒng)在多個(gè)地區(qū)可用，那么它是如何進(jìn)行復(fù)制的?它是孤島式的、最終一致性的還是強(qiáng)一致性的？系統(tǒng)可用性：系統(tǒng)在發(fā)生故障和故障恢復(fù)方面有哪些特點(diǎn)?大數(shù)據(jù)項(xiàng)目的技術(shù)選型在實(shí)施大數(shù)據(jù)項(xiàng)目的過程中，企業(yè)的技術(shù)選型需要的因素包括：企業(yè)自身情況。自身業(yè)務(wù)需求、內(nèi)部團(tuán)隊(duì)需求、風(fēng)險(xiǎn)承受能力、員工技能水平等。內(nèi)外部專家建議。企業(yè)內(nèi)部技術(shù)專家，企業(yè)外部顧問。專業(yè)分析機(jī)構(gòu)見解。參考Ga