軟件服務全景調研與發(fā)展戰(zhàn)略研究

軟件服務全景調研與發(fā)展戰(zhàn)略研究大數據行業(yè)近年發(fā)展情況（一）大數據行業(yè)概述大數據是數據的集合，以容量大、類型多、速度快、精度準、價值高為主要特征。大數據行業(yè)主要解決大數據的存儲、處理、分析和價值發(fā)現(xiàn)等問題，從而實現(xiàn)大數據的業(yè)務價值。從產品和服務結構來看，大數據市場產品和服務包括支持大數據軟件部署的服務器和其他硬件等大數據硬件，支持大數據分析和應用的軟件，對大數據軟硬件產品的部署、管理以及基于產品的數據開發(fā)、應用開發(fā)等服務。（二）大數據行業(yè)近年發(fā)展情況1、大數據行業(yè)全球主要國家大數據戰(zhàn)略布局持續(xù)深化當前，數據正在成為重組全球要素資源、重塑全球經濟結構、改變全球競爭格局的關鍵力量。美國自2019年12月提出《聯(lián)邦數據戰(zhàn)略與2020年行動計劃》，明確提出將數據作為戰(zhàn)略資源，并以2020年為起點，勾勒出美國聯(lián)邦政府后續(xù)十年的數據愿景；歐盟委員會于2020年2月推出《歐盟數據戰(zhàn)略》，注重加強成員國之間的數據共享，平衡數據的流通與使用，以打造歐洲共同數據空間、構建單一數據市場；英國政府為促進數據在政府、社會和企業(yè)間的流動，于2020年9月發(fā)布《國家數據戰(zhàn)略》，明確指出了政府需要優(yōu)先執(zhí)行的釋放數據價值，加強對可信數據體系的保護、改善政府的數據應用現(xiàn)狀并提高公共服務效率、確保數據所依賴的基礎架構的安全性和韌性、推動數據的國際流動等五項任務。我國自2014年大數據首次寫入《政府工作報告》起，不斷出臺相關政策?！蛾P于構建更加完善的要素市場化配置體制機制的意見》，將數據與土地、勞動力、資本、技術并稱為五種要素，提出加快培育數據要素市場?！蛾P于新時代加快完善社會主義市場經濟體制的意見》中提出進一步加快培育發(fā)展數據要素市場。這意味著數據要素市場化配置上升為國家戰(zhàn)略。2、大數據行業(yè)數據量飛速增長激發(fā)數據處理需求近年來隨著互聯(lián)網、移動互聯(lián)網、物聯(lián)網、5G等信息通信技術及產業(yè)的不斷發(fā)展，全球數據量呈爆發(fā)式增長態(tài)勢。根據IDC統(tǒng)計，自2010年至2019年，全球數據量的年復合增長率為55．01%，至2019年數據量達41ZB。其中，我國數據量亦處于快速增長的過程中。IDC研究報告指出，我國2020年數據量約為12．6ZB，較2015年增長7倍，年復合增長率約為124%。數據量的爆發(fā)式增長，對大數據產業(yè)鏈各個環(huán)節(jié)的數據處理能力提出了更高要求。3、大數據行業(yè)市場規(guī)模高速增長受益于數據量及數據應用的快速增加，全球大數據市場規(guī)模增長較快。根據沙利文研究的資料，全球大數據市場規(guī)模由2015年的231億美元增長至2019年的496億美元，年復合增長率約為21．1%。其中，我國大數據市場規(guī)模過去五年間增速快于全球平均水平，自2015年的207億元增長至2019年的627億元，復合增長率達31．9%。大數據行業(yè)面臨的機遇與挑戰(zhàn)（一）大數據行業(yè)面臨的機遇1、大數據行業(yè)市場空間廣闊大數據產業(yè)作為以數據生成、采集、存儲、加工、分析、服務為主的戰(zhàn)略性新興產業(yè)，當前大數據產業(yè)從培育期進入高質量發(fā)展期?！妒奈宕髷祿a業(yè)發(fā)展規(guī)劃》提出，要在十三五產業(yè)規(guī)模1萬億元目標基礎上實現(xiàn)2025年底，大數據產業(yè)測算規(guī)模突破3萬億元的增長目標。當前，我國政府、金融、交通、能源、等國民經濟重要部門或行業(yè)均對大數據處理存在較強應用需求，隨著數字化轉型的進一步推進，其他領域的數據處理需求也將逐漸釋放，因此，大數據行業(yè)未來發(fā)展空間廣闊。2、大數據行業(yè)政策支持力度較大我國自2014年大數據首次寫入《政府工作報告》起，不斷出臺大數據相關政策。2020年4月9日，《關于構建更加完善的要素市場化配置體制機制的意見》將數據與土地、勞動力、資本、技術并稱為五種要素，提出加快培育數據要素市場?！蛾P于新時代加快完善社會主義市場經濟體制的意見》中提出進一步加快培育發(fā)展數據要素市場，數據要素市場化配置上升為國家戰(zhàn)略?！吨腥A人民共和國國民經濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠景目標綱要》作為闡明國家戰(zhàn)略意圖，引導規(guī)范市場主體行為的行動綱領，專門以第五篇加快數字化發(fā)展建設數字中國規(guī)劃數字經濟、數字社會、數字政府和數字生態(tài)的發(fā)展，明確大數據是數字經濟的重點產業(yè)?；凇吨腥A人民共和國國民經濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠景目標綱要》，國家近期發(fā)布了《十四五軟件和信息技術服務業(yè)發(fā)展規(guī)劃》《十四五大數據產業(yè)發(fā)展規(guī)劃》《十四五國家信息化規(guī)劃》《十四五數字經濟發(fā)展規(guī)劃》等政策文件，支持發(fā)展大數據軟件產業(yè)。加快數字經濟、數字社會、數字政府建設，以數字化驅動生產方式、生活方式和治理方式變革成為我國當下及未來一段時間發(fā)展的重點。3、技術演進為大數據行業(yè)發(fā)展提供動力隨著5G、云計算、人工智能、物聯(lián)網等技術的快速發(fā)展，數據量呈爆炸性增長態(tài)勢，數據復雜度進一步提高。技術演進對軟件的數據處理能力提出更高要求的同時，也為市場提供了新的發(fā)展方向和增長點，為行業(yè)發(fā)展提供了新的契機。（二）大數據行業(yè)面臨的挑戰(zhàn)1、大數據行業(yè)競爭激烈大數據行業(yè)發(fā)展速度快，發(fā)展前景好，同時參與市場競爭的企業(yè)較多。其中，美國大數據行業(yè)起步早，已形成一些技術領先、規(guī)模較大的軟件廠商。國內互聯(lián)網龍頭企業(yè)具有較好的數據資源，并利用其技術、人才、規(guī)模等方面優(yōu)勢，拓展大數據軟件市場；大型軟件企業(yè)通過其軟件開發(fā)、行業(yè)應用等方面的優(yōu)勢，滲透進入大數據領域；專業(yè)從事大數據業(yè)務的新興創(chuàng)業(yè)企業(yè)不斷涌現(xiàn)。以上各類企業(yè)主動進入大數據處理軟件領域，使該領域競爭較為激烈。2、大數據行業(yè)人才爭奪激烈隨著我國產業(yè)數字化轉型的發(fā)展，大數據方面的從業(yè)人員逐步增多，但尚不能滿足大數據行業(yè)對于專業(yè)人才，特別是高端人才的迫切需求。人才不足一定程度上影響到大數據產業(yè)的發(fā)展。同時，業(yè)內企業(yè)為爭取優(yōu)秀人才爭奪激烈，造成行業(yè)內人才薪酬水平相對較高、人員流動性較強等情況，對新興創(chuàng)業(yè)企業(yè)帶來較大挑戰(zhàn)。大數據行業(yè)未來發(fā)展趨勢（一）大數據與物聯(lián)網、人工智能技術的深度融合智能物聯(lián)網（AIoT）指人工智能技術與物聯(lián)網技術結合，通過各種信息傳感器實時采集各類信息（一般是在監(jiān)控、互動、連接情境下）的海量數據，在終端設備、邊緣域或云中心通過機器學習對數據進行智能化分析，包括定位、比對、預測、調度等。在技術層面，人工智能使物聯(lián)網獲取感知與識別能力，物聯(lián)網為人工智能提供訓練算法的數據；在商業(yè)層面，二者共同作用于實體經濟的轉型、發(fā)展與升級。聯(lián)網設備的增多必然帶來數據量的激增，根據IDC統(tǒng)計及預測，2019年AIoT數據量已達13．6ZB，且預計到2025年將持續(xù)增加至79．4ZB。在此背景下，對數據存儲及數據處理，特別是物聯(lián)設備產生的相關數據的處理能力，將有更高需求。（二）大數據行業(yè)人工智能技術助力數據要素配置進一步市場化2020年以來，《關于構建更加完善的要素市場化配置體制機制的意見》《關于新時代加快完善社會主義市場經濟體制的意見》等政策相繼推出，大力推動數據要素實現(xiàn)市場化配置。圍繞金融數據、工業(yè)、汽車數據，相關部門分別出臺了《中國銀保監(jiān)會監(jiān)管數據安全管理辦法（試行）》《工業(yè)數據分級分類指南（試行）》《汽車數據安全管理若干規(guī)定（征求意見稿）》，為細分行業(yè)數據安全與治理提供政策指導和保障；另外《中華人民共和國數據安全法》《深圳經濟特區(qū)數據條例》《天津市數據交易管理暫行辦法（征求意見稿）》等國家和地方法律法規(guī)已處于制定和完善過程中，從數據確權、共享、流通、安全保障等方面提供了法律依據及行為規(guī)范。在數據要素市場化的過程中，通過人工智能技術的融合應用，能夠為數據質量評估、數據安全合規(guī)、數據保護等方面提供有效保障。如在數據質量評估方面，基于深度學習、知識圖譜等人工智能技術精準評估數據質量，為政企提供高質量、有價值的數據；在數據安全合規(guī)方面，利用隱私計算技術實現(xiàn)數據使用過程中可用不可見，為進一步擴大數據開放共享的程度提供支撐；在數據保護方面，基于分類、聚類、機器學習等AI技術實現(xiàn)對數據的高效、準確分類分級保護，進一步加強對敏感數據的安全防護，為個人信息安全和政企安全提供保障；另外，人工智能在數據管理、交易、確權等方面的其他應用正加快探索。大數據軟件行業(yè)近年發(fā)展情況隨著數字化轉型的推進，各行業(yè)在完成數據基礎設施建設后，為業(yè)務賦能成為數據開發(fā)工作的重點。傳統(tǒng)數據開發(fā)工作大多通過直接調用種類繁多的大數據開源技術組件來進行，通常需要具備專業(yè)技術人員完成，業(yè)務人員很難快速參與，然而伴隨業(yè)務對于數據開發(fā)的要求不斷提高，不同部門間的高效協(xié)同成為完善數據開發(fā)工作、提高業(yè)務效率的關鍵。因此，隨著數據開發(fā)工作逐漸從技術部門向各業(yè)務部門延伸，數據開發(fā)的門檻亟需降低，以使數據與各業(yè)務加速融合。鑒于此，行業(yè)內廠商利用低代碼（或零代碼）思想，通過抽象大數據開發(fā)過程中常用的技術和流程，屏蔽數據開發(fā)任務的技術細節(jié)，并提供統(tǒng)一的集成界面，從而構建數據開發(fā)平臺，以降低數據開發(fā)門檻，解決業(yè)務賦能痛點。與此同時，開發(fā)平臺可以增強各組件在項目間的可復用性。根據中國信息通信研究院統(tǒng)計，數據開發(fā)平臺能夠將金融、零售、工業(yè)、醫(yī)療等不同場景下的開發(fā)組件復用率增至85%，從而降低數據的開發(fā)成本。隨著各行業(yè)數字化水平提高，業(yè)務不斷數字化、線上化，數據資源不斷積累，應用場景創(chuàng)新逐漸成為可能。前述應用方面的變化，帶動大數據技術經歷了多次更新升級，從專注存儲的數據庫，到面向統(tǒng)計分析的數據倉庫，再到面向大數據分析應用場景的Hadoop/Spark為核心的大數據平臺、數據湖等。隨著用戶使用的數據種類和來源逐漸多樣化，包括關系型數據、日志、音頻、視頻、文本、圖片、地理位置信息等類型的結構化、半結構化和非結構化數據等，數據及其分析的復雜度進一步提高。同時，隨著大數據應用單位內不同架構的數據管理分析系統(tǒng)的建設，加重了信息孤島（即各信息系統(tǒng)之間不能協(xié)調工作）問題，并增加了數據管理及分析工作的復雜性和難度。微服務將軟件開發(fā)為小型服務（模塊）的集合；各服務以獨立流程運行并實現(xiàn)其業(yè)務功能，各服務間以API或消息傳遞進行通信容器通過操作系統(tǒng)級虛擬化，資源被動態(tài)地劃分到一個或多個獨立的容器中，每個容器都有一個唯一的可寫文件系統(tǒng)和資源配額，用于部署相應的微服務開發(fā)運維一體化（DevOps）加強軟件開發(fā)人員與IT運維人員協(xié)作，以提供可解決用戶問題的高質量軟件持續(xù)交付利用敏捷開發(fā)模式實現(xiàn)更高效交付運用。云原生思想開發(fā)的大數據軟件產品從三個方面實現(xiàn)了效率提升，一是產品整體架構為實現(xiàn)彈性伸縮而進一步解耦和改造，各模塊可與容器等底層資源單元適配，分別實現(xiàn)彈性擴縮容，從而提升硬件資源利用率；二是應用接口函數化，讓更多能力（如統(tǒng)計、機器學習、流程處理等）封裝成函數接口，用戶可根據實際業(yè)務需要，達到更細粒度的按需使用和按需付費；三是支持多云部署，從而降低客戶被單一公有云綁定風險。隨著物聯(lián)網、5G、云計算的發(fā)展，數據生命周期涉及的節(jié)點數量變多、數據形式變新，信息泄露事件頻發(fā)。同時，對外的數據融合應用與對內的數據安全保護需要兼顧。零信任、隱私計算等數據安全、數據流通方面的技術得到進一步發(fā)展與應用。行業(yè)應對策略大數據產業(yè)作為具有國家戰(zhàn)略意義的新興產業(yè)，在發(fā)展初期不僅要充分發(fā)揮企業(yè)的主體作用和有效市場的主導作用，而且要更好發(fā)揮政府的引導作用。一是，要加強核心技術攻關與產業(yè)化推動。自主研發(fā)創(chuàng)新是提高大數據產業(yè)競爭力的主引擎。要徹底改變目前我國大數據產業(yè)創(chuàng)新能力不強、關鍵核心技術對外依賴度偏高的這一局面，必須抓住重點領域、關鍵環(huán)節(jié)和核心問題，找準著力點和突破口，加大政府財政資金的引導支持力度。為此，建議在國家層面上設立大數據重點領域的關鍵技術研發(fā)創(chuàng)新的國家財政專項資金，支持突破一批關鍵核心技術研發(fā)創(chuàng)新與應用，構建具有核心技術自主權的大數據產業(yè)鏈，形成自主可控的大數據技術架構，提高關鍵核心技術的自主研發(fā)創(chuàng)新能力，有效破解制約產業(yè)發(fā)展的瓶頸。二是，完善大數據安全政策。需要開展數據確權、資產管理、市場監(jiān)管、跨境流動等數據治理的重大問題研究，協(xié)調有關部門共同推進數據治理的法制化進程，加強對敏感數據、企業(yè)商業(yè)秘密和個人數據的保護。同時，推動完善適用于大數據環(huán)境下的信息安全等級保護制度，建立兼顧安全與發(fā)展的數據管理和保障體系，加強數據安全評測、安全防范、應急處置等相關機制建設。此外，還要強化網絡空間的安全信息共享與動態(tài)感知能力，提高重大風險識別分析水平。三是，鼓勵地方因地制宜發(fā)展大數據產業(yè)。大數據產業(yè)發(fā)展應注重差異化發(fā)展，形成差異化的產業(yè)布局。地方需要差異化發(fā)展，應該把大數據的發(fā)展重心放在因地制宜地促進應用創(chuàng)新上，放在打造完善的發(fā)展環(huán)境上，讓市場在大數據發(fā)展要素配置上起決定作用。各地要結合產業(yè)基礎和優(yōu)勢特色，著重發(fā)展大數據特色場景應用，推動大數據與當地重要實體經濟行業(yè)加快融合。四是，推動行業(yè)加快大數據標準建設。當前大數據產業(yè)應用層出不窮，政府應通過標準化的途徑規(guī)范行業(yè)、整合資源，促進各方達成共識，為大數據產業(yè)的健康發(fā)展提供基石。尤其是通過加強快速迭代、市場認可度高的行業(yè)/團體標準研制工作，為用戶企業(yè)提供大數據產品選型指導，為數據安全提供保障，促進大數據交易等新興服務模式規(guī)范發(fā)展，對推動我國大數據產業(yè)進程具有重要意義。大數據行業(yè)展望未來三年，是我國大數據發(fā)展轉型的重要機遇期。大數據的發(fā)展本身也呈現(xiàn)著一些趨勢。在我看來，未來三年大數據行業(yè)有可能會呈現(xiàn)特點：一是，大數據新技術繼續(xù)快速發(fā)展。未來大數據技術將會沿著工具平臺云化部署、多業(yè)務場景統(tǒng)一處理、專有高性能硬件適配幾個方面進行突破。目前大數據技術工具的主要應用模式為應用企業(yè)在自建機房內獨立部署，其存在資源浪費、彈性能力不足、管理復雜等缺點，這些缺陷可以通過基于云計算技術的云化部署方案解決，助力大數據技術工具的快速落地和應用；同時大數據技術工具主要瞄準的是分析型業(yè)務場景，但隨著電子商務以及智能終端的爆發(fā)性發(fā)展，轉賬、計費等事務型業(yè)務場景也需要大數據處理能力，所以未來的多業(yè)務場景統(tǒng)一處理技術將會得到充分發(fā)展；最后由于GPU/TPU等專用硬件的