蔬菜價(jià)格大數(shù)據(jù)初步建設(shè)方案v1.03

編制單位：編制日期：2023年12編制單位：編制日期：2023年12月蔬菜大數(shù)據(jù)平臺(tái)建設(shè)方案密級(jí)：項(xiàng)目編號(hào)：項(xiàng)目建設(shè)背景建設(shè)背景蔬菜作為日常生活中重要的食材，是人們健康飲食的基礎(chǔ)。然而，自然災(zāi)害如洪澇、千旱、病蟲害等不可抗力的因素時(shí)有發(fā)生，可能導(dǎo)致蔬菜產(chǎn)量的大幅波動(dòng)甚至無法收獲。蔬菜理賠方案的重要性在于為農(nóng)戶提供一定的保障，減輕因生產(chǎn)風(fēng)險(xiǎn)而造成的損失，在一定程度上確保社會(huì)穩(wěn)定和人民的健康需求。蔬菜理賠方案的實(shí)施不僅直接保護(hù)了農(nóng)戶的利益，還對(duì)農(nóng)業(yè)發(fā)展產(chǎn)生了積極影響。首先，蔬菜理賠方案鼓勵(lì)農(nóng)戶采用科學(xué)種植技術(shù)和優(yōu)質(zhì)品種，提高種植效益和抗災(zāi)能力，推動(dòng)農(nóng)業(yè)現(xiàn)代化進(jìn)程。其次，理賠方案的存在降低了農(nóng)戶的經(jīng)營風(fēng)險(xiǎn)，增強(qiáng)了其對(duì)農(nóng)業(yè)生產(chǎn)的信心，進(jìn)而促進(jìn)了農(nóng)業(yè)產(chǎn)業(yè)鏈的健康發(fā)展。此外，蔬菜理賠方案還能吸引更多資金和技術(shù)進(jìn)入農(nóng)業(yè)領(lǐng)域，促進(jìn)農(nóng)業(yè)產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化升級(jí)，進(jìn)一步提升農(nóng)業(yè)的經(jīng)濟(jì)效益和可持續(xù)發(fā)展能力。運(yùn)作方式蔬菜理賠方案的運(yùn)作方式一般由政府、保險(xiǎn)公司和農(nóng)戶共同參與。政府在制定農(nóng)業(yè)保險(xiǎn)政策時(shí)，應(yīng)合理統(tǒng)籌各方利益，明確責(zé)任主體和保險(xiǎn)范圍，并提供一定的財(cái)政支持。保險(xiǎn)公司作為中介機(jī)構(gòu)，負(fù)責(zé)產(chǎn)品設(shè)計(jì)、理賠審核和風(fēng)險(xiǎn)管理等工作。農(nóng)戶作為保險(xiǎn)的購買方和實(shí)施方，需要按照相關(guān)規(guī)定及時(shí)繳納保費(fèi)，履行種植管理責(zé)任，同時(shí)在受損時(shí)及時(shí)申請(qǐng)理賠。需求分析業(yè)務(wù)需求分析采集海南以及全國部分市場(chǎng)的蔬菜價(jià)格作為參考，作為保險(xiǎn)理賠的基準(zhǔn)價(jià)格。關(guān)鍵價(jià)格預(yù)測(cè)算法蔬菜價(jià)格預(yù)測(cè)是本項(xiàng)目最關(guān)鍵的一環(huán)，遵循蔬菜產(chǎn)業(yè)鏈的結(jié)構(gòu)，蔬菜形成了地頭價(jià)、產(chǎn)區(qū)批發(fā)市場(chǎng)價(jià)、銷區(qū)批發(fā)市場(chǎng)價(jià)以及終端零售價(jià)等價(jià)格體系。本項(xiàng)目主要是針對(duì)市場(chǎng)的零售價(jià)格是對(duì)菜農(nóng)的賣出價(jià)格，主要是地頭價(jià)和批發(fā)價(jià)進(jìn)行預(yù)測(cè)。是對(duì)菜農(nóng)的賣出價(jià)格，主要是地頭價(jià)和批發(fā)價(jià)蔬菜市場(chǎng)價(jià)格變化快速，影響因素復(fù)雜多變，因此，蔬菜價(jià)格的預(yù)測(cè)是一項(xiàng)困難而復(fù)雜的工作。蔬菜價(jià)格存在年度之內(nèi)呈現(xiàn)季節(jié)性波動(dòng)，不同品種之間價(jià)格的差異波動(dòng)等特點(diǎn)。但蔬菜價(jià)格始終是圍繞商品價(jià)值進(jìn)行回歸，并且結(jié)合季節(jié)性，上市量等因素具備一定的波動(dòng)規(guī)律，這為蔬菜價(jià)格的預(yù)測(cè)帶來了可操作性。目前常用的蔬菜價(jià)格預(yù)測(cè)算法如下：專家經(jīng)驗(yàn)法

專家根據(jù)相關(guān)產(chǎn)區(qū)市場(chǎng)的近5年市場(chǎng)歷史價(jià)格數(shù)據(jù)以及近2周的市場(chǎng)近期價(jià)格數(shù)據(jù)，進(jìn)行歷史同期相似性分析及近期價(jià)格趨勢(shì)分析相結(jié)合，通過專家經(jīng)驗(yàn)分析預(yù)測(cè)出未來一周相關(guān)市場(chǎng)的價(jià)格區(qū)間，再結(jié)合近期各品種的種植面積及種植趨勢(shì)以及主要銷區(qū)及外部產(chǎn)區(qū)近期的天氣情況等影響因素，對(duì)預(yù)測(cè)價(jià)格區(qū)間進(jìn)行修正。最終獲得未來一周相關(guān)市場(chǎng)的蔬菜價(jià)格預(yù)測(cè)區(qū)間及走勢(shì)分析。平均差值法平均差值法概述

平均差值方法實(shí)施細(xì)則如下：（1）收集歷史市場(chǎng)價(jià)格數(shù)據(jù)： 收集蔬菜的歷史市場(chǎng)價(jià)格數(shù)據(jù)，最好能夠按照不同蔬菜種類和不同季節(jié)進(jìn)行分類。（2）計(jì)算平均價(jià)格： 對(duì)每個(gè)蔬菜種類和季節(jié)，地域，計(jì)算歷史市場(chǎng)價(jià)格的平均值，這將成為基準(zhǔn)價(jià)格的一部分。考慮價(jià)格波動(dòng)因素： 計(jì)算歷史價(jià)格的標(biāo)準(zhǔn)差或其他波動(dòng)性指標(biāo)，以考慮價(jià)格的波動(dòng)性。這有助于確定基準(zhǔn)價(jià)格的變動(dòng)范圍。（3）設(shè)定基準(zhǔn)價(jià)格： 基于平均價(jià)格和波動(dòng)性指標(biāo)，設(shè)定一個(gè)基準(zhǔn)價(jià)格，可以是平均價(jià)格加上一個(gè)合理的波動(dòng)范圍。例如，基準(zhǔn)價(jià)格=平均價(jià)格+k*標(biāo)準(zhǔn)差，其中k是一個(gè)調(diào)整系數(shù)?？紤]其他因素：考慮一些特殊因素，如季節(jié)性變化、天氣條件、市場(chǎng)趨勢(shì)等。這些因素可能對(duì)蔬菜價(jià)格產(chǎn)生影響。（4）建立計(jì)算公式： 最終的基準(zhǔn)價(jià)格可以用以下簡化公式表示： 基準(zhǔn)價(jià)格=平均價(jià)格+k×標(biāo)準(zhǔn)差平均差值法計(jì)算步驟標(biāo)準(zhǔn)差(StandardDeviation)是一種用于度量數(shù)據(jù)集合散布程度的統(tǒng)計(jì)指標(biāo)。標(biāo)準(zhǔn)差越大，表示數(shù)據(jù)點(diǎn)相對(duì)平均值的偏離程度越大。例如：在標(biāo)準(zhǔn)差的計(jì)算中，基準(zhǔn)價(jià)格=平均價(jià)格+標(biāo)準(zhǔn)差基準(zhǔn)價(jià)格=平均價(jià)格+k×標(biāo)準(zhǔn)差中，k是一個(gè)調(diào)整系數(shù)，用于確定基準(zhǔn)價(jià)格的變動(dòng)范圍。選擇合適的k值取決于你對(duì)價(jià)格波動(dòng)的容忍程度以及對(duì)農(nóng)產(chǎn)品市場(chǎng)的了解。一般來說，常見的k值有1、1.5或2，這些值分別對(duì)應(yīng)著標(biāo)準(zhǔn)差的一個(gè)倍數(shù)。不同的k值對(duì)應(yīng)不同的置信水平。較小的k值會(huì)使基準(zhǔn)價(jià)格范圍較為狹窄，較大的k值則會(huì)使基準(zhǔn)價(jià)格范圍較為寬泛。k=1：通常對(duì)應(yīng)著68%的置信水平，基準(zhǔn)價(jià)格將覆蓋數(shù)據(jù)中大約68%的觀測(cè)值。k=1.5：對(duì)應(yīng)著較高的置信水平，通常約為86%。k=2：通常對(duì)應(yīng)著95%的置信水平，基準(zhǔn)價(jià)格將覆蓋數(shù)據(jù)中大約95%的觀測(cè)值。選擇k值時(shí)需要考慮以下幾點(diǎn)：1.風(fēng)險(xiǎn)承受能力：如果你對(duì)價(jià)格波動(dòng)的容忍程度較低，可能會(huì)選擇較小的k值，使得基準(zhǔn)價(jià)格的范圍較為穩(wěn)定。2.市場(chǎng)波動(dòng)性：不同的農(nóng)產(chǎn)品市場(chǎng)有不同的波動(dòng)性。對(duì)于波動(dòng)性較大的市場(chǎng)，可能需要較大的k值來反映實(shí)際情況。3.歷史數(shù)據(jù)分析：分析過去的價(jià)格數(shù)據(jù)，觀察價(jià)格的波動(dòng)情況，可以幫助確定一個(gè)合適的k值。4.保險(xiǎn)政策需求：具體的保險(xiǎn)政策可能對(duì)k值有要求或建議，需要根據(jù)具體保險(xiǎn)合同來確定。在實(shí)踐中，通常需要進(jìn)行多次試驗(yàn)和模型驗(yàn)證，以選擇最適合特定場(chǎng)景的k值。選擇一個(gè)合適的k值可以平衡基準(zhǔn)價(jià)格的穩(wěn)定性和對(duì)實(shí)際市場(chǎng)波動(dòng)的敏感性。建設(shè)思路大數(shù)據(jù)平臺(tái)應(yīng)實(shí)現(xiàn)以下功能：本次項(xiàng)目需要開發(fā)一個(gè)WEB管理后臺(tái)和種植戶小程序。建設(shè)內(nèi)容如下：采集全省種植農(nóng)基本信息；開發(fā)一個(gè)微信小程序，給種植戶自主上報(bào)信息。采集全國各地區(qū)蔬菜價(jià)格數(shù)據(jù)；通過自動(dòng)化服務(wù)定時(shí)從互聯(lián)網(wǎng)獲取。對(duì)接保險(xiǎn)公司系統(tǒng)，獲取保險(xiǎn)相關(guān)數(shù)據(jù)。對(duì)采集的數(shù)據(jù)進(jìn)行梳理，清洗入庫。建立價(jià)格預(yù)測(cè)模型，包括專家預(yù)測(cè)、平均差值等模型，對(duì)蔬菜細(xì)化品種，將蔬菜各品種市場(chǎng)價(jià)格中線性因素和非線性因素進(jìn)行分離，不同因素的品種使用不同的模型進(jìn)行預(yù)測(cè)分析，在運(yùn)行的過程中，結(jié)合專家經(jīng)驗(yàn)對(duì)復(fù)雜影響因素進(jìn)行分析糾正，逐步完善優(yōu)化模型。WEB后臺(tái)功能需求功能清單Web后臺(tái)使用者為平臺(tái)運(yùn)營管理人員。平臺(tái)模塊功能說明WEB后臺(tái)數(shù)據(jù)采集數(shù)據(jù)采集入庫對(duì)數(shù)據(jù)進(jìn)行清洗入庫數(shù)據(jù)采集算法實(shí)現(xiàn)不同數(shù)據(jù)源數(shù)據(jù)采集算法采集任務(wù)參數(shù)設(shè)置設(shè)置采集任務(wù)的參數(shù)，包括狀態(tài)、頻度，時(shí)間等理賠價(jià)格預(yù)測(cè)模型專家預(yù)測(cè)模型專家預(yù)測(cè)價(jià)格，由人工錄入理賠價(jià)格平均差值模型通過采集的數(shù)據(jù)，建立定時(shí)任務(wù)，根據(jù)模型算法計(jì)算自動(dòng)理賠價(jià)格種植戶查詢分析種植戶查詢分析對(duì)種植戶的信息匯總分析，從戶籍、種植地、種植面積等緯度，詳見原型種植戶列表注冊(cè)種植戶信息列表種植戶詳情查看某個(gè)種植戶的詳細(xì)信息，包括種植自主上報(bào)的，基礎(chǔ)信息、地塊信息、種植記錄、農(nóng)事記錄、采收記錄。種植地分布圖在地圖上以多邊形直觀顯示所有種植地的位置，面積。這部分地圖功能暫時(shí)不需要這部分地圖功能暫時(shí)不需要市場(chǎng)價(jià)格查詢分析今日蔬菜價(jià)格查詢今日實(shí)時(shí)價(jià)格、查詢，從產(chǎn)品、省市地區(qū)緯度查詢歷史價(jià)格查詢從時(shí)間和省市、蔬菜品種等維度進(jìn)行查詢價(jià)格變化趨勢(shì)查詢理賠價(jià)格查詢分析今日理賠價(jià)格查詢歷史理賠價(jià)格查詢理賠價(jià)格變化趨勢(shì)受災(zāi)登記受災(zāi)登記記錄查詢展示種植戶自主上報(bào)的受災(zāi)信息這個(gè)功能目前也不要這個(gè)功能目前也不要保險(xiǎn)賠付狀態(tài)標(biāo)記手工標(biāo)記或從保險(xiǎn)系統(tǒng)同屬保險(xiǎn)的賠付狀態(tài)數(shù)據(jù)大屏展示總體指標(biāo)和價(jià)格數(shù)據(jù)總體指標(biāo)展示：包括種植戶數(shù)量、地塊數(shù)量、面積總數(shù)、種植品種數(shù)量、種植面積數(shù)量、未處理受災(zāi)登記數(shù)量實(shí)時(shí)蔬菜價(jià)格列表展示（3）價(jià)格變化趨勢(shì)曲線圖內(nèi)容管理保險(xiǎn)動(dòng)態(tài)在首頁給種植戶展示最新的保險(xiǎn)政策行業(yè)動(dòng)態(tài)在首頁給種植戶展示最新的行業(yè)信息種植經(jīng)驗(yàn)在首頁給種植戶展示行業(yè)種植經(jīng)驗(yàn)和心得系統(tǒng)管理包括機(jī)構(gòu)管理、站點(diǎn)管理、用戶管理、角色管理、權(quán)限管理等功能系統(tǒng)對(duì)接對(duì)接保險(xiǎn)系統(tǒng)，獲取保險(xiǎn)相關(guān)數(shù)據(jù).主要界面原型種植戶查詢分析種植戶列表種植戶詳情種植地分布市場(chǎng)價(jià)格查詢?cè)摴δ苣K包括：實(shí)時(shí)、歷史理賠價(jià)格查詢市場(chǎng)價(jià)格變化趨勢(shì)理賠價(jià)格管理查詢?cè)摴δ苣K包括：理賠價(jià)格自動(dòng)計(jì)算專家預(yù)測(cè)價(jià)格錄入實(shí)時(shí)、歷史理賠價(jià)格查詢理賠價(jià)格變化趨勢(shì)受災(zāi)查詢這部分內(nèi)容不要這部分內(nèi)容不要數(shù)據(jù)大屏菜農(nóng)小程序功能需求功能列表菜農(nóng)小程序的使用者為蔬菜種植戶，自主上報(bào)種植數(shù)據(jù)，包括土塊管理、播種管理、農(nóng)事記錄登記、采收管理、受災(zāi)登記等全流程管理，實(shí)現(xiàn)數(shù)據(jù)朔源。功能清單見下表：平臺(tái)模塊功能說明微信小程序用戶注冊(cè)用戶注冊(cè)獲取微信當(dāng)前用戶信息默認(rèn)注冊(cè)用戶登錄注冊(cè)后，綁定微信OPENID自動(dòng)登錄用戶實(shí)驗(yàn)證用戶通過人臉識(shí)別等方案實(shí)名驗(yàn)證個(gè)人信息設(shè)置設(shè)置個(gè)人信息，包括名稱、基地名稱、聯(lián)系電話等政策扶持保險(xiǎn)動(dòng)態(tài)在首頁給種植戶展示最新的保險(xiǎn)政策行業(yè)動(dòng)態(tài)在首頁給種植戶展示最新的行業(yè)信息種植經(jīng)驗(yàn)在首頁給種植戶展示行業(yè)種植經(jīng)驗(yàn)和心得理賠價(jià)格公示實(shí)時(shí)理賠價(jià)格、歷史理賠價(jià)格查詢地塊管理地塊新建、修改、刪除種植戶自主上報(bào)地塊信息，包括位置、面積大小等地圖上標(biāo)識(shí)地塊在地圖上通過點(diǎn)擊標(biāo)識(shí)出地塊的地理范圍地理功能目前不需要地理功能目前不需要種植管理包括新建播種、結(jié)束播種種植戶自主上報(bào)種植產(chǎn)品的情況，包括產(chǎn)品名稱，種植畝數(shù)等信息農(nóng)事記錄包括農(nóng)事記錄新建、刪除種植戶自主上報(bào)農(nóng)事記錄，包括播種、施肥、澆水等這部分不需要這部分不需要采收管理蔬菜采收登記種植戶自主上報(bào)每次采收的產(chǎn)品記錄受災(zāi)登記新建受災(zāi)登記種植戶自主上報(bào)受災(zāi)情況不需要不需要保險(xiǎn)賠付狀態(tài)查詢主要原型地塊管理原型地圖功能不需要地圖功能不需要種植管理原型農(nóng)事登記原型采收登記受災(zāi)受災(zāi)這部分不需要登記上報(bào)受災(zāi)這部分不需要初步設(shè)計(jì)關(guān)鍵技術(shù)利用應(yīng)用可執(zhí)行環(huán)境（TEE）利用應(yīng)用可信執(zhí)行環(huán)境（TEE）、分布式協(xié)同認(rèn)證技術(shù)，基于TSM安全管理系統(tǒng)，通過智能POS在線密鑰管理，在風(fēng)險(xiǎn)可控的環(huán)境下，完成POS終端的密鑰空發(fā)、密鑰更新、設(shè)備鎖定等功能，提升特約商戶的服務(wù)體驗(yàn)和收單業(yè)務(wù)風(fēng)險(xiǎn)防控能力。利用大數(shù)據(jù)技術(shù)利用大數(shù)據(jù)技術(shù)，建立橡膠生產(chǎn)交易大數(shù)據(jù)中心（領(lǐng)導(dǎo)駕駛艙），實(shí)現(xiàn)橡膠交易數(shù)據(jù)自動(dòng)統(tǒng)計(jì)，完善問題反饋預(yù)警機(jī)制，為各級(jí)領(lǐng)導(dǎo)精準(zhǔn)決策提供依據(jù)。利用物聯(lián)網(wǎng)、人工只能技術(shù)利用物聯(lián)網(wǎng)、人工智能技術(shù)，建設(shè)基于“工業(yè)機(jī)器人”式全自動(dòng)化的天然橡膠智能管理平臺(tái)，包括智能管理終端、云平臺(tái)、后臺(tái)管理系統(tǒng)、大數(shù)據(jù)中心、微信公眾號(hào)平臺(tái)等，將為廣大膠商、膠農(nóng)提供實(shí)施橡膠銷售線上交易、交易數(shù)據(jù)查詢、保險(xiǎn)理賠查詢等便捷的橡膠生產(chǎn)銷售服務(wù)環(huán)境。使用區(qū)塊鏈技術(shù)利用基于企業(yè)級(jí)聯(lián)盟鏈HyperledgerFabric框架的共識(shí)算法、智能合約算法和鏈上鏈下數(shù)據(jù)共享技術(shù)，實(shí)現(xiàn)智能合約與傳統(tǒng)交易支付和保險(xiǎn)賠付程序無縫遷入，解決經(jīng)典PBFT算法共識(shí)時(shí)延長、拓展性差等問題，并同時(shí)解決政府、銀行、保險(xiǎn)公司、膠農(nóng)膠商等用戶的數(shù)據(jù)確保數(shù)據(jù)的關(guān)聯(lián)一致性，進(jìn)一步提升系統(tǒng)的運(yùn)算速度、數(shù)據(jù)安全傳輸穩(wěn)定性和用戶體驗(yàn)等。技術(shù)架構(gòu)整體架構(gòu)分為前端架構(gòu)、后臺(tái)架構(gòu)、存儲(chǔ)架構(gòu)前端架構(gòu)前端主要技術(shù)為JS、antdesign、g6、npm、CSS、VUE等。后端架構(gòu)后臺(tái)架構(gòu)使用的是Springboot開發(fā)組件等。存儲(chǔ)架構(gòu)存儲(chǔ)架構(gòu)主要有Redis緩存存儲(chǔ)、MySQL數(shù)據(jù)存儲(chǔ)、MPP分布式數(shù)據(jù)存儲(chǔ)、HDFS文件存儲(chǔ)等。微服務(wù)架構(gòu)微服務(wù)架構(gòu)微服務(wù)之間采用RESTful等輕量級(jí)Http協(xié)議相互調(diào)用，對(duì)單體應(yīng)用進(jìn)一步拆分成更小的服務(wù)，每個(gè)服務(wù)都是一個(gè)可以獨(dú)立運(yùn)行的項(xiàng)目。服務(wù)原子化拆分，獨(dú)立打包，部署升級(jí)，保證每個(gè)微服務(wù)清晰的任務(wù)劃分，利于擴(kuò)展。接口定義接口設(shè)計(jì)系統(tǒng)整體結(jié)構(gòu)如圖，系統(tǒng)采用微服務(wù)設(shè)計(jì)，一切皆是接口，主要分為內(nèi)部使用接口（免安全認(rèn)證）、外部使用接口（需要認(rèn)證合法性），接口上層有網(wǎng)關(guān)，避免非法系統(tǒng)接入，內(nèi)部網(wǎng)關(guān)采用白名單接入，外部網(wǎng)關(guān)采用認(rèn)證方式接入。接口規(guī)范定義系統(tǒng)接口均采用RESTful規(guī)范定義，內(nèi)部接口采用HTTP傳輸；外部接口采用HTTPS傳輸。為了便于與瀏覽器兼容，接口采用Form表單格式傳輸參數(shù)，返回?cái)?shù)據(jù)采用Json格式，例如：Client-ServerPOST${path}/urlRecognizeHTTP/1.1Accept:application/jsonContent-Type:application/x-www-form-urlencodedContent-Length:xxxxHost:xxxxPort:xxxxurl=/abc.jpgServer-ClientHTTP/1.1200OKContent-Type:application/json;charset=utf-8Content-Length:xxxx{“state”:0,”desc”:”成功”,”value”:”京B54321”}接口分類接口分為三類：內(nèi)部接口、外部接口、第三方調(diào)用接口。內(nèi)部接口這類接口主要是系統(tǒng)內(nèi)部各模塊間調(diào)用，基本不用考慮安全問題，通過白名單解決調(diào)用端的合法性問題。外部接口這類接口主要是與公共服務(wù)系統(tǒng)對(duì)接而定義的。這部分接口主要通過兩個(gè)辦法來解決安全性問題。1無狀態(tài)接入。這部分主要是針對(duì)通訊場(chǎng)景比較簡單（接口較少），不需要維護(hù)會(huì)話狀態(tài)的場(chǎng)景。這部分接口采用簽名認(rèn)證的接口上傳數(shù)據(jù)，完成業(yè)務(wù)邏輯。目前主要采用RSA、RAS2，SHA1，SHA256等簽名方式接入。適合這類的有：設(shè)備接入，數(shù)據(jù)上傳等。2有狀態(tài)接入。這部分主要針對(duì)某個(gè)具體的端，一般比較復(fù)雜，需要在有限時(shí)間內(nèi)維護(hù)會(huì)話狀態(tài)。大部分場(chǎng)景適合本接入方式，目前采用認(rèn)證返回token的辦法，雙方維持token作為合法性依據(jù)。第三方調(diào)用接口這類接口主要是為第三方系統(tǒng)對(duì)接使用，可以對(duì)接第三方平臺(tái)、也可以對(duì)接第三方設(shè)備、第三方組件等。數(shù)據(jù)庫設(shè)計(jì)分區(qū)設(shè)計(jì)隨著系統(tǒng)不斷使用，數(shù)據(jù)表將會(huì)越變?cè)酱?，性能越來越差，一般來說解決的辦法有幾個(gè)：1采用分布式MPP數(shù)據(jù)庫存貯，僅簡單查詢，不需要事務(wù)操作。2對(duì)超大數(shù)據(jù)量通過分區(qū)、分桶的方式進(jìn)行存儲(chǔ)，使數(shù)據(jù)均勻分布各個(gè)節(jié)點(diǎn)，提升數(shù)據(jù)讀寫、計(jì)算性能。3、控制數(shù)據(jù)的存儲(chǔ)時(shí)長，默認(rèn)只保存一年內(nèi)數(shù)據(jù)，超期的數(shù)據(jù)進(jìn)行遷移。分層設(shè)計(jì)逐層解耦，減少重復(fù)計(jì)算，降低煙囪式開發(fā)，對(duì)數(shù)據(jù)進(jìn)行分層管理，越到底層，越接近業(yè)務(wù)發(fā)生的記錄，越到頂層，越接近業(yè)務(wù)目標(biāo)。1、ODS

(opreationaldatastore)存放未經(jīng)過處理的原始數(shù)據(jù)至數(shù)據(jù)倉庫系統(tǒng)，結(jié)構(gòu)上與源系統(tǒng)保持一致，是數(shù)據(jù)倉庫的數(shù)據(jù)準(zhǔn)備區(qū)2、DWD(datawarehousedetail)

DWD層是以業(yè)務(wù)過程為驅(qū)動(dòng)，基于每個(gè)具體的業(yè)務(wù)過程特點(diǎn)，構(gòu)建最細(xì)粒度的明細(xì)層事實(shí)表。3、DIM（dimension）基于維度建模理念思想，建立整個(gè)企業(yè)的一致性維度。降低數(shù)據(jù)計(jì)算口徑和算法不統(tǒng)一風(fēng)險(xiǎn)。4、DWS(datawarehouseservice)

DWS層會(huì)在DWD層的數(shù)據(jù)基礎(chǔ)上，對(duì)數(shù)據(jù)做橫向的連接，縱向輕度的聚合操作，生成一系列的中間表，提升公共指標(biāo)的復(fù)用性，減少重復(fù)加工。

數(shù)據(jù)冗余設(shè)計(jì)1、字段冗余設(shè)計(jì)：針對(duì)系統(tǒng)訪問頻繁的大表，由于數(shù)據(jù)量比較大，對(duì)于大表間的關(guān)聯(lián)查詢，為提高系統(tǒng)性能，盡量避免關(guān)聯(lián)查詢，因此對(duì)這些表做冗余字段處理。例如：公交站點(diǎn)信息里存儲(chǔ)行政區(qū)劃id，同時(shí)存儲(chǔ)行