版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
ICS
CCS
T/OTOP
團(tuán)體標(biāo)準(zhǔn)
T/OTOP-XXXXXX
鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合方法與流程標(biāo)
準(zhǔn)規(guī)范
Specificationforfundamentalcultureandtourismsupervisioninformation
(征求意見稿)
2023-XX-XX發(fā)布2023-XX-XX實(shí)施
中國民族貿(mào)易促進(jìn)會發(fā)布
T/OTOP-XXXXXX
鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合方法與流程標(biāo)準(zhǔn)規(guī)范
1范圍
本標(biāo)準(zhǔn)規(guī)定了鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合的融合方法、流程規(guī)范、系統(tǒng)架構(gòu)、功能要求及融合數(shù)據(jù)
的統(tǒng)一表達(dá)。
本標(biāo)準(zhǔn)適用于鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合與規(guī)范,提供面向經(jīng)營者、游客和管理者以統(tǒng)一標(biāo)準(zhǔn)的數(shù)
據(jù)融合實(shí)踐。
本標(biāo)準(zhǔn)用于指導(dǎo)“鄉(xiāng)村文化旅游云服務(wù)技術(shù)集成與應(yīng)用示范平臺”參加建設(shè)單位完成相關(guān)數(shù)據(jù)的采
集、融合與組織。
2規(guī)范性引用文件
下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件,僅所注日期的版本適用于本文
件。凡是不注日期的引用文件,其最新版本(包括所有的修改單)適用于本文件。
GB/T36625.1智慧城市數(shù)據(jù)融合第1部分:概念模型
GB/T36625.3智慧城市數(shù)據(jù)融合第3部分:數(shù)據(jù)采集規(guī)范
GB/T20273信息安全技術(shù)數(shù)據(jù)庫管理系統(tǒng)安全技術(shù)要求
GB/T12991.1信息技術(shù)數(shù)據(jù)庫語言SQL第1部分:框架3術(shù)語和定義及縮略語
3術(shù)語和定義
下列術(shù)語和定義適用于本文件。
3.1
數(shù)據(jù)采集dataacquisition
從數(shù)據(jù)源中得到原始數(shù)據(jù),通過標(biāo)準(zhǔn)化處理并轉(zhuǎn)化為滿足數(shù)據(jù)共享與利用需求的過程。
3.2
數(shù)據(jù)清洗datacleaning
通過數(shù)據(jù)清洗,完成查重糾錯(cuò),剔除數(shù)據(jù)文件中可識別的重復(fù)和錯(cuò)誤。錯(cuò)誤包括但不限于:檢查數(shù)
據(jù)一致性、處理無效值和缺失值等。
3.3
數(shù)據(jù)轉(zhuǎn)換datatransformation
通過數(shù)據(jù)轉(zhuǎn)換,實(shí)現(xiàn)對標(biāo)準(zhǔn)代碼、格式、類型等信息的標(biāo)準(zhǔn)化轉(zhuǎn)換處理。
3.4
數(shù)據(jù)融合datafusion
2
T/OTOP-XXXXXX
在一定的準(zhǔn)則下,集成不同種類采集系統(tǒng)的數(shù)據(jù)和信息,通過關(guān)聯(lián)、校驗(yàn)、綜合和填補(bǔ)等多級多方
面處理,獲得比任何單一的數(shù)據(jù)源更為準(zhǔn)確、完整、及時(shí)的信息,并統(tǒng)一表達(dá)的過程。
3.5
數(shù)據(jù)倉庫datawarehouse
數(shù)據(jù)倉庫是所有業(yè)務(wù)數(shù)據(jù)存儲載體,是企業(yè)級的數(shù)據(jù)集合。
3.6
ETLExtract-Transform-Load
ETL是指數(shù)據(jù)的抽取(Extract),轉(zhuǎn)換(Transform)和加載(Loading),它是一個(gè)數(shù)據(jù)轉(zhuǎn)移、重
組的過程,是數(shù)據(jù)倉庫系統(tǒng)實(shí)施的一個(gè)非常重要的環(huán)節(jié)。
3.7
ODS操作數(shù)據(jù)存儲operationaldatastore
操作數(shù)據(jù)存儲是數(shù)據(jù)倉庫體系結(jié)構(gòu)中的一個(gè)部分,ODS層用于接收并處理需要存儲至數(shù)據(jù)倉庫系
統(tǒng)的原始數(shù)據(jù),其數(shù)據(jù)表的結(jié)構(gòu)與原始數(shù)據(jù)所在的數(shù)據(jù)系統(tǒng)中的表結(jié)構(gòu)一致,是數(shù)據(jù)倉庫的數(shù)據(jù)準(zhǔn)
備區(qū)。
3.8
DWD數(shù)據(jù)明細(xì)層DataWarehouseDetail
DWD層通過企業(yè)的業(yè)務(wù)活動事件構(gòu)建數(shù)據(jù)模型。基于具體業(yè)務(wù)事件的特點(diǎn),構(gòu)建最細(xì)粒度的明細(xì)數(shù)
據(jù)表。
3.9
DWS數(shù)據(jù)服務(wù)層DataWareHouseServic
DWS層通過分析的主題對象構(gòu)建數(shù)據(jù)模型?;谏蠈拥膽?yīng)用和產(chǎn)品的指標(biāo)需求,構(gòu)建公共粒度的匯
總指標(biāo)事實(shí)表。
3.10
ADS應(yīng)用服務(wù)層Applicantdataservice
ADS層進(jìn)行個(gè)性化維度匯總,用于存放數(shù)據(jù)倉庫中非通用統(tǒng)計(jì)維度的數(shù)據(jù),計(jì)算只有當(dāng)前業(yè)務(wù)關(guān)注
的維度和指標(biāo),與其他業(yè)務(wù)線無交集。
3.11
DIM維表層Dimension
DIM層使用維度構(gòu)建數(shù)據(jù)模型?;趯?shí)際業(yè)務(wù),通過定義維度,確定維度主鍵,添加維度屬性,關(guān)
聯(lián)不同維度等操作,構(gòu)建整個(gè)業(yè)務(wù)數(shù)據(jù)的一致性數(shù)據(jù)分析維表,降低數(shù)據(jù)計(jì)算口徑和算法不統(tǒng)一的風(fēng)險(xiǎn)。
4一般規(guī)定
3
T/OTOP-XXXXXX
4.1基本要求
平臺應(yīng)符合如下基本要求:
——應(yīng)能夠真實(shí)的反映鄉(xiāng)村文旅運(yùn)行狀況,具備歷史、實(shí)時(shí)查詢功能;
——應(yīng)遵循本標(biāo)準(zhǔn)第8章節(jié)的要求構(gòu)建統(tǒng)一的鄉(xiāng)村文旅數(shù)字化表達(dá),通過數(shù)據(jù)融合規(guī)則,生成統(tǒng)一
的鄉(xiāng)村文旅運(yùn)行狀況。
4.2效能要求
與單一數(shù)據(jù)源相比,鄉(xiāng)村文旅數(shù)據(jù)融合,應(yīng)實(shí)現(xiàn)以下效能:
——擴(kuò)展數(shù)據(jù)的空間覆蓋范圍;
——擴(kuò)展數(shù)據(jù)的時(shí)間覆蓋范圍;
——提高準(zhǔn)確度;
——提高連續(xù)性。
4.3可靠性要求
應(yīng)滿足以下可靠性要求:
——可追溯性:融合數(shù)據(jù)及相關(guān)數(shù)據(jù)源數(shù)據(jù)應(yīng)至少保留3年;
——容錯(cuò)性:保證當(dāng)部分?jǐn)?shù)據(jù)存在異常、錯(cuò)誤的情況下,仍能夠得到比較準(zhǔn)確的融合結(jié)論;
——冗余性:對系統(tǒng)中關(guān)鍵信息進(jìn)行備份或采取冗余措施,具備系統(tǒng)容錯(cuò)能力。
5數(shù)據(jù)融合流程規(guī)范
5.1總體架構(gòu)
鄉(xiāng)村文旅數(shù)據(jù)采集與融合從業(yè)務(wù)流程上可分為數(shù)據(jù)采集層、數(shù)據(jù)處理層、數(shù)據(jù)集成層、數(shù)據(jù)應(yīng)用層,
如圖1所示。其中數(shù)據(jù)采集層是經(jīng)由各旅游OTA平臺、綜合文旅平臺、社交媒體平臺等各種數(shù)據(jù)采集平
臺,采用信息爬取手段來采集鄉(xiāng)村文旅相關(guān)數(shù)據(jù);初步采集的數(shù)據(jù)進(jìn)入到數(shù)據(jù)集成層,在這里完成基本
的數(shù)據(jù)處理操作,并進(jìn)行ETL(抽取、轉(zhuǎn)換、加載)操作,并對數(shù)據(jù)流建模分層,數(shù)據(jù)模型整體上分為五
層(ODS、DWD、DWS、ADS、DIM);數(shù)據(jù)融合層指對分層建模后的數(shù)據(jù)進(jìn)行集成并存儲,通常是存
儲于數(shù)據(jù)倉庫或數(shù)據(jù)集市;進(jìn)一步地,構(gòu)建分布式實(shí)時(shí)檢索引擎,向數(shù)據(jù)應(yīng)用層提供數(shù)據(jù)存儲、特征分
析、數(shù)據(jù)模型、流量監(jiān)測等數(shù)據(jù)能力開放服務(wù)。
4
T/OTOP-XXXXXX
圖1總體架構(gòu)圖
5.2功能架構(gòu)
鄉(xiāng)村文旅數(shù)據(jù)融合流程具體地可包含數(shù)據(jù)采集、數(shù)據(jù)處理和數(shù)據(jù)集成流程模塊。應(yīng)遵循本標(biāo)準(zhǔn)第8
章節(jié)的要求構(gòu)建統(tǒng)一的鄉(xiāng)村文旅數(shù)字化表達(dá),在此基礎(chǔ)上,加載景區(qū)信息、產(chǎn)品信息、游客信息;數(shù)據(jù)
處理中,對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)描述產(chǎn)生結(jié)構(gòu)化數(shù)據(jù);通過數(shù)據(jù)抽取、清洗和轉(zhuǎn)換對數(shù)據(jù)進(jìn)行分類整
理存儲于數(shù)據(jù)集市,并產(chǎn)生統(tǒng)一的鄉(xiāng)村文旅監(jiān)測技術(shù)指標(biāo)信息。搭建智慧景區(qū)門戶平臺,提供圍繞經(jīng)營
者、游客、管理者三個(gè)參與主體的商業(yè)智能核心需求,整合實(shí)現(xiàn)面向不同群體的智能分析工具與服務(wù)。
6功能要求
6.1基本功能
6.1.1數(shù)據(jù)采集
應(yīng)能采用信息爬取手段對經(jīng)由旅游OTA平臺、綜合文旅平臺、社交媒體平臺等數(shù)據(jù)采集平臺的鄉(xiāng)村
文旅數(shù)據(jù)進(jìn)行采集。
6.1.2數(shù)據(jù)處理:ETL
5
T/OTOP-XXXXXX
應(yīng)能對各類數(shù)據(jù)進(jìn)行清理、標(biāo)準(zhǔn)化和匯總,為基于數(shù)據(jù)倉庫的決策分析應(yīng)用提供符合要求、高質(zhì)量
的數(shù)據(jù)。
2
6.1.3數(shù)據(jù)融合
應(yīng)具備對ETL數(shù)據(jù)抽取、加載、轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行接收、集成和存儲的能力,融合后的數(shù)據(jù)通常存
儲于數(shù)據(jù)倉庫或數(shù)據(jù)集市中。
6.1.4數(shù)據(jù)倉庫
應(yīng)具備反映全方位信息能力,將各種業(yè)務(wù)系統(tǒng)中積累的歷史數(shù)據(jù)進(jìn)行集成、轉(zhuǎn)換和管理,以便于進(jìn)
行數(shù)據(jù)分析。
6.1.5數(shù)據(jù)集市
應(yīng)能對數(shù)據(jù)按照多維的方式進(jìn)行存儲,生成面向決策分析的數(shù)據(jù)立方體,滿足“鄉(xiāng)村文化旅游大數(shù)
據(jù)商業(yè)智能分析與服務(wù)”系統(tǒng)中經(jīng)營者、游客、管理者三方用戶的功能需求
6.2基本性能指標(biāo)
6.2.1數(shù)據(jù)量支持
系統(tǒng)對結(jié)構(gòu)化數(shù)據(jù)的存儲量支持能力不小于1PB;對圖片等非結(jié)構(gòu)化數(shù)據(jù)的支持能力不小于100PB;。
6.2.2數(shù)據(jù)存儲時(shí)間
6
T/OTOP-XXXXXX
系統(tǒng)數(shù)據(jù)存儲年限應(yīng)不低于5年。
6.2.3查詢響應(yīng)
數(shù)據(jù)查詢響應(yīng)時(shí)間應(yīng)不超過2秒。
6.2.4制表速度
一般固定表格制表不超過10秒,復(fù)雜統(tǒng)計(jì)匯集表格不超過5分鐘。
6.2.5調(diào)度任務(wù)
數(shù)據(jù)倉庫調(diào)度任務(wù)運(yùn)行時(shí)長應(yīng)該小于30分鐘。
6.3數(shù)據(jù)接入
6.3.1數(shù)據(jù)源
應(yīng)具備接入來自業(yè)務(wù)系統(tǒng)、日志系統(tǒng)、景區(qū)信息系統(tǒng)等數(shù)據(jù)源的實(shí)時(shí)、離線數(shù)據(jù)的能力。
6.3.2數(shù)據(jù)類型
應(yīng)具備接入景區(qū)數(shù)據(jù)(地理信息、運(yùn)營信息、天氣信息等)、產(chǎn)品數(shù)據(jù)(商品信息、商鋪信息等)、
游客數(shù)據(jù)(游客基本信息、搜索行為信息、瀏覽行為信息等)以及一些來自業(yè)務(wù)系統(tǒng)和日志系統(tǒng)的多源
異構(gòu)信息數(shù)據(jù)的能力。
6.3.3數(shù)據(jù)接口
應(yīng)采用總體架構(gòu)中要求的數(shù)據(jù)接口進(jìn)行數(shù)據(jù)接入。
6.3.4數(shù)據(jù)映射
接入的數(shù)據(jù)應(yīng)與第7章相關(guān)的信息單元相互對應(yīng)。
6.3.5數(shù)據(jù)檢查
應(yīng)具備根據(jù)已配置的接入信息掃描數(shù)據(jù)庫后臺,檢查數(shù)據(jù)接入狀態(tài)的能力。
7鄉(xiāng)村文旅數(shù)據(jù)融合開發(fā)規(guī)范
構(gòu)建數(shù)據(jù)倉庫是實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)融合、滿足多維度數(shù)據(jù)分析和智能化服務(wù)的有效途徑。鄉(xiāng)村文旅
數(shù)據(jù)倉庫的開發(fā)過程中為了保證數(shù)據(jù)結(jié)構(gòu)的清晰,數(shù)據(jù)血緣的可追蹤,應(yīng)對數(shù)據(jù)進(jìn)行分層建模,統(tǒng)一數(shù)
據(jù)口徑,將復(fù)雜業(yè)務(wù)拆解為多個(gè)步驟逐一實(shí)現(xiàn),提高中間層的利用效率。故鄉(xiāng)村文旅數(shù)據(jù)倉庫的建設(shè)應(yīng)
包含五層(ODS、DWD,DWS,ADSD,DIM)體系結(jié)構(gòu)。
7
T/OTOP-XXXXXX
7.1數(shù)據(jù)倉庫體系結(jié)構(gòu)
7.1.1ODS層
ODS屬于數(shù)據(jù)操作層,該層用于接收并處理需要存儲至數(shù)據(jù)倉庫系統(tǒng)的原始數(shù)據(jù),其數(shù)據(jù)表的結(jié)構(gòu)
應(yīng)與原始數(shù)據(jù)所在的數(shù)據(jù)系統(tǒng)中的表結(jié)構(gòu)一致,包含所有的業(yè)務(wù)變更過程。ODS層對原始數(shù)據(jù)的操作應(yīng)
包括但不限于如下流程:
a)將原始的結(jié)構(gòu)化數(shù)據(jù)增量或全量同步至數(shù)據(jù)倉庫中。
b)對原始的非結(jié)構(gòu)化數(shù)據(jù)(如,日志信息)進(jìn)行結(jié)構(gòu)化處理,并存儲至MaxCompute。
c)根據(jù)實(shí)際業(yè)務(wù)需求,記錄原始數(shù)據(jù)的歷史變化或?qū)υ紨?shù)據(jù)進(jìn)行簡單的清洗。
d)按照指定的生命周期保存。
7.1.2DWD層
DWD層應(yīng)基于具體業(yè)務(wù)的特點(diǎn),以業(yè)務(wù)過程驅(qū)動建模,基于每個(gè)具體的業(yè)務(wù)過程特點(diǎn),構(gòu)建最細(xì)粒度
的明細(xì)層事實(shí)表。應(yīng)結(jié)合鄉(xiāng)村文旅的數(shù)據(jù)使用特點(diǎn),將明細(xì)數(shù)據(jù)表的某些重要維度屬性字段適當(dāng)冗余,
即寬表化處理。同時(shí),也應(yīng)當(dāng)適當(dāng)減少明細(xì)數(shù)據(jù)表及維度表的關(guān)聯(lián),提高明細(xì)表的易用性。
7.1.3DWS層
DWS層通過分析的主題對象構(gòu)建數(shù)據(jù)模型。基于上層的應(yīng)用和產(chǎn)品的指標(biāo)需求,構(gòu)建公共粒度的匯
總指標(biāo)事實(shí)表。在鄉(xiāng)村文旅數(shù)據(jù)倉庫的DWS層的設(shè)計(jì)中應(yīng)滿足如下原則:
a)數(shù)據(jù)公用性:需考慮匯總的聚集是否可以提供給第三方使用。若基于某個(gè)維度的聚集是否經(jīng)常
用于數(shù)據(jù)分析中。則應(yīng)把明細(xì)數(shù)據(jù)經(jīng)過匯總沉淀到聚集表中。
b)不跨數(shù)據(jù)域:數(shù)據(jù)域是在較高層次上對數(shù)據(jù)進(jìn)行分類聚集的抽象。鄉(xiāng)村文旅數(shù)據(jù)庫設(shè)計(jì)過程中
數(shù)據(jù)域通常以業(yè)務(wù)過程進(jìn)行分類,如交易統(tǒng)一劃到交易域下,商品的新增、修改放到商品域下。
7.1.4ADS層
ADS層是鄉(xiāng)村文旅數(shù)據(jù)倉庫的個(gè)性化維度匯總層,應(yīng)用于存放數(shù)據(jù)產(chǎn)品個(gè)性化的統(tǒng)計(jì)指標(biāo)數(shù)據(jù),輸
出各種報(bào)表。在這里計(jì)算的應(yīng)為僅有自身業(yè)務(wù)關(guān)注的維度和指標(biāo),與其他業(yè)務(wù)線一般不應(yīng)存在交集。
7.1.5DIM層
DIM層主要由維度表(維表)構(gòu)成。這一層相對實(shí)時(shí)應(yīng)用來說應(yīng)為靜態(tài)。鄉(xiāng)村文旅數(shù)據(jù)倉庫的DIM層在
建設(shè)過程中應(yīng)遵循但不限于以下原則:
a)數(shù)據(jù)的準(zhǔn)確性:維度表中的數(shù)據(jù)應(yīng)該準(zhǔn)確、完整、一致。通??梢酝ㄟ^數(shù)據(jù)清洗、校驗(yàn)等方式來
確保數(shù)據(jù)的質(zhì)量。
b)數(shù)據(jù)的可擴(kuò)展性:維度表應(yīng)該具有可擴(kuò)展性,能夠支持快速地添加新的維度和層次
c)數(shù)據(jù)的性能:維度表應(yīng)該具有良好的查詢性能,通??梢圆捎昧惺酱鎯?、分區(qū)、索引等方式來優(yōu)
化查詢性能。
d)數(shù)據(jù)的易用性:維度表中的字段應(yīng)該易于使用和理解,通常可以通過命名規(guī)范(見7.3節(jié))、字
段注釋等方式來提高數(shù)據(jù)的易用性。
8
T/OTOP-XXXXXX
7.2主題域劃分
鄉(xiāng)村文旅數(shù)據(jù)倉庫的主題域應(yīng)為聯(lián)系較為緊密的數(shù)據(jù)主題的集合,須根據(jù)業(yè)務(wù)需求分析的視角進(jìn)行
劃分抽象歸類。在劃分的過程中應(yīng)結(jié)合具體實(shí)際按照業(yè)務(wù)過程,業(yè)務(wù)部門或業(yè)務(wù)系統(tǒng)進(jìn)行劃分。
鄉(xiāng)村文旅數(shù)據(jù)倉庫在規(guī)劃主題域時(shí)應(yīng)作出充分考慮,主題域劃分和主題劃分要盡可能地涵蓋所有業(yè)
務(wù),并要求可以無影響的保證新業(yè)務(wù)進(jìn)入時(shí)主題和主題域的拓展,避免頻繁變動。
鄉(xiāng)村文旅數(shù)據(jù)倉庫主題域的劃分應(yīng)包含但不限于以下內(nèi)容:
表1鄉(xiāng)村文旅數(shù)據(jù)倉庫主題域
數(shù)據(jù)域數(shù)據(jù)域縮
數(shù)據(jù)域描述包含業(yè)務(wù)過程
名稱寫
加購、下單、下單取消、支付、支付取消、
交易域TRDE各類業(yè)務(wù)產(chǎn)生訂單交易過程產(chǎn)生的相關(guān)數(shù)據(jù)
完單
流量域FLOW業(yè)務(wù)開展過程中產(chǎn)生的各類日志數(shù)據(jù)登錄、曝光、點(diǎn)擊、分享
產(chǎn)品:發(fā)布產(chǎn)品、審核、上架、下架
產(chǎn)品域PROD提供的sku、商品以及對應(yīng)的類目等信息商品:報(bào)名活動、售賣、退回活動、活動
結(jié)束
會員(MBR):注冊、激活、簽到、注銷、
開展各類業(yè)務(wù)的買家、賣家、店鋪等各種個(gè)人或團(tuán)體,升級、降級
用戶域USER
分為會員和商家兩個(gè)子域商家(SLR):申請、審核、繳納保證金、
入駐、退回、清退
券:領(lǐng)取、使用、分享、券過期
營銷域MKT各類營銷以及促銷活動,主要是特賣、優(yōu)惠券等
促銷活動:創(chuàng)建活動、活動完結(jié)
通用的時(shí)間、地理區(qū)域、天氣、手機(jī)號歸屬等公共信
公共域PUB/
息
金融域FIN相關(guān)金融產(chǎn)品現(xiàn)金貸、消費(fèi)貸、訂單貸
售后:申請、審核、回寄、舉證、賠付、
服務(wù)域SERV買家關(guān)于產(chǎn)品與商家產(chǎn)生的售后相關(guān)信息
客服
7.3命名規(guī)范
7.3.1表命名規(guī)范
鄉(xiāng)村文旅數(shù)據(jù)倉庫創(chuàng)建的表類型應(yīng)為內(nèi)部表,原則上不允許創(chuàng)建外部表。除部分DIM靜態(tài)維表,其
余的表都須為分區(qū)表且分區(qū)字段須要包含時(shí)間分區(qū)字段,格式為yyyy-mm-dd。各數(shù)倉分層的表名嚴(yán)格遵
循以下各層級的表命規(guī)范。
鄉(xiāng)村文旅數(shù)據(jù)倉庫在建設(shè)倉庫過程中,數(shù)據(jù)倉庫五層體系結(jié)構(gòu)上的所有表命名必須遵循如下通用公
式,并在不同數(shù)據(jù)倉庫分層層次上具體區(qū)分,各分層在命名的過程將必要屬性以下劃線的方式連接。
Name()=F(模型層次,業(yè)務(wù)歸屬/需求方,數(shù)據(jù)域,維度,粒度,場景,統(tǒng)計(jì)周期/更新周+增全量)
ODS層表命名規(guī)范
ODS層存儲與源系統(tǒng)結(jié)構(gòu)相同的數(shù)據(jù),某些少量數(shù)據(jù)可能發(fā)生物理存儲結(jié)構(gòu)上變化。鄉(xiāng)村文旅數(shù)據(jù)
倉庫在該分層中的命名遵循以下規(guī)范:
9
T/OTOP-XXXXXX
Name(ods)=F(模型層次,庫名編碼,系統(tǒng)源表名,更新周期+增|全量)
DIM層表命名規(guī)范
DIM層中所需實(shí)體的命名僅允許使用小寫字母,單詞之間以下劃線分隔,且須滿足總名稱長度不能
超過30個(gè)英文字符。鄉(xiāng)村文旅數(shù)據(jù)倉庫在該分層中的的命名遵循以下規(guī)范:
Name(dim)=F(模型層次,業(yè)務(wù)歸屬,數(shù)據(jù)域,維度或?qū)嶓w,更新周期+增|全量)
DWD層表命名規(guī)范
DWD層中所需實(shí)體的命名僅允許使用小寫字母,單詞之間以下劃線分隔,且須滿足總名稱長度不能
超過50個(gè)英文字符。鄉(xiāng)村文旅數(shù)據(jù)倉庫在該分層中的的命名遵循以下規(guī)范:
Name(dwd)=F(模型層次,業(yè)務(wù)歸屬,數(shù)據(jù)域,維度|粒度|實(shí)體|場景,更新周期+增|全量)
DWS層表命名規(guī)范
DWS層的表命名應(yīng)使用英文小寫字母,單詞之間以下劃線分開,長度不超過50個(gè)字符。鄉(xiāng)村文旅
數(shù)據(jù)倉庫在該分層中的的命名遵循以下規(guī)范:
Name(dws)=F(模型層次,業(yè)務(wù)歸屬,主題域|數(shù)據(jù)域,維度|粒度|實(shí)體|場景,統(tǒng)計(jì)周期)
ADS層表命名規(guī)范
ADS層的表命名應(yīng)使用英文小寫字母,單詞之間以下劃線連接,長度不要超過50個(gè)字符。鄉(xiāng)村文旅
數(shù)據(jù)倉庫在該分層中的的命名遵循以下規(guī)范:
Name(ads)=F(模型層次,業(yè)務(wù)需求描述,需求歸屬,更新周期+增|全量)
非核心cdm表命名規(guī)范
Name()=F(模型層次,需求歸屬,維度|粒度|實(shí)體|場景,更新周期,增|全量)
臨時(shí)表命名規(guī)范
臨時(shí)表存儲數(shù)據(jù)加工中產(chǎn)生的臨時(shí)數(shù)據(jù)、鄉(xiāng)村文旅數(shù)據(jù)倉庫開發(fā)過程中基于優(yōu)化需要?jiǎng)?chuàng)建的中間結(jié)
果表及臨時(shí)數(shù)據(jù)須存儲于臨時(shí)表,且臨時(shí)表不允許跨ETL任務(wù)使用。
Name()=tmp_<主表名>_${bizdate}_<序號>
主表為加工的目標(biāo)表名,序號為從00開始依次遞增的兩位數(shù)字
數(shù)據(jù)校驗(yàn)表命名規(guī)范
鄉(xiāng)村文旅數(shù)據(jù)倉庫開發(fā)過程中的數(shù)據(jù)校驗(yàn)表表名應(yīng)以check開頭。
7.3.2字段命名規(guī)范
鄉(xiāng)村文旅數(shù)據(jù)倉庫各字段的命名過程中,各屬性(列)的名稱須按公共字段詞庫約定的縮寫命名,
對于非公共字段詞庫中不含屬性(列)的名字可自行確定,英文名應(yīng)為該字段的小寫全稱,單詞間以下
劃線連接,若字段名超過40個(gè)字符,則采用縮寫命名。
公共字段命名與數(shù)據(jù)類型規(guī)范
鄉(xiāng)村文旅數(shù)據(jù)倉庫各字段的命名應(yīng)優(yōu)先采取以下常見公共字段庫中的命名方式:
10
T/OTOP-XXXXXX
表2公共字段命名方式
字段類型英文簡稱數(shù)據(jù)類型
Xx名稱xx_nameString
Xx描述xx_descString
XX數(shù)(不可累加)xx_numBigint
XX數(shù)(可累加)xx_cntBigint
Xx日期xx_dateString
Xx時(shí)長xx_durBigint
Xx時(shí)間xx_timeString
Xx標(biāo)識xx_flagBigint
XX比率xx_ratedecimal(38,4)
Xx類型xx_typeString、Bigint
Xx緯度xx_latString
Xx經(jīng)度xx_lngString
xx編號xx_idBigint
Xx距離xx_disdecimal(38,6)
Xx金額xx_amtdecimal(38,2)
時(shí)間周期字段編碼規(guī)范
對于鄉(xiāng)村文旅中涉及到時(shí)間周期的各字段,均應(yīng)采取如下的編碼方式:
表3時(shí)間周期字段編碼方式
中文名英文縮寫中文名英文縮寫
小時(shí)h自然周cw
天d自然月cm
周w自然季度cq
月m自然年cy
年y零點(diǎn)截止到當(dāng)前tt
最近1小時(shí)1h零點(diǎn)截止到當(dāng)前小時(shí)th
最近1天1d歷史截止到當(dāng)日td
最近3天3d周初截止到當(dāng)日wd
最近1周1w月初截止到當(dāng)日md
最近2周2w年初截止到當(dāng)日yd
最近一個(gè)月1m半年以前bhy
最近三個(gè)月3m未來1天f1d
最近六個(gè)月6m未來1周f1w
最近1年1y未來一個(gè)月f1m
財(cái)年fy未來一年f1y
周同比wow周環(huán)比wow
月同比mom月環(huán)比mom
11
T/OTOP-XXXXXX
特殊字段命名規(guī)范
一些特殊的字段命名規(guī)范應(yīng)滿足如下要求:
a)編號作為標(biāo)識符的屬性(列),應(yīng)統(tǒng)一命名為"××id"。
b)代碼表的列屬性中文名與實(shí)體的中文名保持一致,代碼表列屬性英文名為實(shí)體名去掉前綴,單
詞字母小寫,相應(yīng)的描述字段屬性后綴是desc。
c)沒有單獨(dú)的代碼表,取值只有"是/非"的屬性(列),中文名必須以"標(biāo)志"結(jié)尾,英文名后綴應(yīng)是
flag,并且標(biāo)志位的取值必須滿足"是(1)/非(0)"。
d)日期類型的屬性(列)后綴應(yīng)是date,時(shí)間類型的屬性(列)后綴應(yīng)是time。
7.4代碼規(guī)范
7.4.1SQL編碼規(guī)范
鄉(xiāng)村文旅數(shù)據(jù)庫SQL代碼的編寫應(yīng)滿足如下要求:
a)所使用的代碼須功能完善。應(yīng)具有清晰、整齊的格式,縮進(jìn)按照代碼層次對齊。并添加詳細(xì)的
注釋。
b)編寫過程中充分考慮執(zhí)行速度最優(yōu)的原則。禁止使用select*操作,所有操作必須明確指定列
名。
c)SQL代碼中應(yīng)用到的所有SQL關(guān)鍵字、保留字都需使用全大寫,不應(yīng)出現(xiàn)大小寫混合的方式。
7.4.2一致性保障
為了保證鄉(xiāng)村文旅數(shù)據(jù)倉庫的數(shù)據(jù)一致性,所使用的代碼應(yīng)滿足如下要求:
a)代碼應(yīng)支持可重復(fù)執(zhí)行,且保證每次執(zhí)行結(jié)果一致。
b)不應(yīng)使用DDL語句,不應(yīng)使用INSERTINTO的寫法。
c)與row_number/rank/dense_rank相關(guān)排序,應(yīng)確保每次排序結(jié)果一致。
d)若進(jìn)行兩表關(guān)聯(lián),關(guān)聯(lián)條件兩邊的數(shù)據(jù)類型應(yīng)保證一致。關(guān)聯(lián)條件應(yīng)做防傾斜處理,不應(yīng)使用
rand()。
7.5模型依賴規(guī)范
在鄉(xiāng)村文旅數(shù)據(jù)倉庫的開發(fā)過程中,除DWS層外,不應(yīng)直接依賴ODS層。
7.6數(shù)據(jù)質(zhì)量規(guī)范
鄉(xiāng)村文旅數(shù)據(jù)倉庫需要面向表進(jìn)行數(shù)據(jù)質(zhì)量校驗(yàn),對表規(guī)則進(jìn)行不同等級的校驗(yàn),從而對應(yīng)不同的
報(bào)警策略及任務(wù)處理策略。對于數(shù)據(jù)質(zhì)量的監(jiān)測指標(biāo)及其校驗(yàn)規(guī)則應(yīng)包含但不限于下表類目。
表4數(shù)據(jù)質(zhì)量監(jiān)測指標(biāo)
數(shù)據(jù)質(zhì)量監(jiān)測指標(biāo)數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則
12
T/OTOP-XXXXXX
字段平均值,相比1天、1周和1個(gè)月前的取該字段的平均值,同1天、7天和1個(gè)月的周期進(jìn)行比較,計(jì)算波動率。再與
波動率。閾值進(jìn)行比較,只要有一個(gè)不符合規(guī)則即可觸發(fā)報(bào)警。
字段匯總值,相比1天、1周和1個(gè)月前的取該字段的sum值,同1天、7天和1個(gè)月的周期進(jìn)行比較,計(jì)算波動率。再與閾
波動率。值進(jìn)行比較,只要有一個(gè)不符合規(guī)則即可觸發(fā)報(bào)警。
字段最小值,相比1天、1周和1個(gè)月前的取該字段的最小值,同1天、7天和1個(gè)月的周期進(jìn)行比較,計(jì)算波動率。再與
波動率。閾值進(jìn)行比較,只要有一個(gè)不符合規(guī)則即可觸發(fā)報(bào)警。
字段最大值,相比1天、1周和1個(gè)月前的取該字段的最大值,同1天、7天和1個(gè)月的周期進(jìn)行比較,計(jì)算波動率。再與
波動率。閾值進(jìn)行比較,只要有一個(gè)不符合規(guī)則即可觸發(fā)報(bào)警。
字段唯一值的個(gè)數(shù)。去重后的count數(shù)與一個(gè)期望數(shù)字進(jìn)行比較,即固定值校檢。
字段唯一值的個(gè)數(shù),相比1天、1周和1個(gè)
去重后的count數(shù)與1天、1周和1個(gè)月前進(jìn)行比較,即固定值校檢。
月前的波動率。
表行數(shù),相比1天、1周和1個(gè)月前的波動
同1天、1周和1個(gè)月前采集的表行數(shù)進(jìn)行比較,對比波動率。
率。
取該字段的空值數(shù)與固定值進(jìn)行比較。是否為空值,是通過轉(zhuǎn)換為SQL的isnull
字段空值個(gè)數(shù)。
進(jìn)行判斷。
字段空值個(gè)數(shù)/總行數(shù)??罩档膫€(gè)數(shù)與行總數(shù)的比率與一個(gè)固定值進(jìn)行比較。該固定值是一個(gè)小數(shù)。
字段重復(fù)值個(gè)數(shù)/總行數(shù)。重復(fù)值個(gè)數(shù)與總行數(shù)的比率與一個(gè)固定值進(jìn)行比較。
字段重復(fù)值個(gè)數(shù)??傂袛?shù)減去重后的個(gè)數(shù),即字段重復(fù)值的個(gè)數(shù)。重復(fù)值個(gè)數(shù)與固定值進(jìn)行比較。
字段唯一值個(gè)數(shù)/總行數(shù)。唯一值個(gè)數(shù)與總行數(shù)的比率與一個(gè)固定值進(jìn)行比較。
字段平均值,相比1天前的波動率。取該字段的平均值,與前1天進(jìn)行比較,計(jì)算出波動率后,再與閾值進(jìn)行比較。
字段匯總值,相比1天前的波動率。取該字段的sum值,與前1天進(jìn)行比較,計(jì)算出波動率后,再與閾值進(jìn)行比較。
字段最小值,相比1天前的波動率。取該字段的最小值,與前1天進(jìn)行比較,計(jì)算出波動率后,再與閾值進(jìn)行比較。
字段最大值,相比1天前的波動率。取該字段的最大值,與前1天進(jìn)行比較,計(jì)算出波動率后,再與閾值進(jìn)行比較。
取該字段的sum值,與上一周期進(jìn)行比較,計(jì)算出波動率后,再與閾值進(jìn)行比
字段匯總值,相比上一周期的波動率。
較,只要有一個(gè)不符合規(guī)則即可觸發(fā)報(bào)警。
取該字段的最小值,與上一周期進(jìn)行比較,計(jì)算出波動率后,再與閾值進(jìn)行比
字段最小值,相比上一周期的波動率。
較,只要有一個(gè)不符合規(guī)則即可觸發(fā)報(bào)警。
13
T/OTOP-XXXXXX
取該字段的最大值,與上一周期進(jìn)行比較,計(jì)算出波動率后,再與閾值進(jìn)行比
字段最大值,相比上一周期的波動率。
較,只要有一個(gè)不符合規(guī)則即可觸發(fā)報(bào)警。
字段分組,各離散點(diǎn)count值。字段分組,各離散點(diǎn)count值。
字段分組,各離散點(diǎn)count值,相比1天、
字段分組,各離散點(diǎn)count值,相比1天、1周和1個(gè)月前的波動率。
1周和1個(gè)月前的波動率。
字段分組,離散點(diǎn)總數(shù)。字段分組,離散點(diǎn)總數(shù)。
字段分組,離散點(diǎn)總數(shù),相比1天前的波
字段分組,離散點(diǎn)總數(shù),相比1天前的波動率。
動率。
相比上一周期,表大小不變(字節(jié))。相比上一周期,表大小不變(字節(jié))。
相比上一周期,表大小變化(字節(jié))。相比上一周期,表大小變化(字節(jié))。
相比上一周期,表行數(shù)變化。相比上一周期,表行數(shù)變化。
相比上一周期,表行數(shù)不變。相比上一周期,表行數(shù)不變。
表大小,相比上一周期的差值(字節(jié))。表大小,相比上一周期的差值(字節(jié))。
表行數(shù),相比上一周期的差值?;鶞?zhǔn)值為上一周期產(chǎn)生的分區(qū)的表行數(shù),比較當(dāng)天采集的表行數(shù),對比差值。
表行數(shù),相比1天前的差值。基準(zhǔn)值為昨天產(chǎn)生的分區(qū)的表行數(shù),比較當(dāng)天采集的表行數(shù),對比差值。
表的空間大小,相比1天前的差值(字節(jié))。表的空間大小,相比1天前的差值(字節(jié))。
監(jiān)控表大小的波動情況,基準(zhǔn)值為最近一天的額度樣本。大于閾值則進(jìn)行數(shù)據(jù)
表的空間大小,相比1天前的波動率。
質(zhì)量警告
監(jiān)控表大小的波動情況,基準(zhǔn)值為最近一周的額度樣本。大于閾值則進(jìn)行數(shù)據(jù)
表的空間大小,相比1周前的波動率。
質(zhì)量警告
監(jiān)控表大小的波動情況,基準(zhǔn)值為最近一月的額度樣本。大于閾值則進(jìn)行數(shù)據(jù)
表的空間大小,相比1個(gè)月前的波動率。
質(zhì)量警告
表行數(shù),相比最近7天平均值的波動率?;鶞?zhǔn)值是最近7天的表行數(shù)的平均值。
表行數(shù),相比最近30天平均值的波動率。基準(zhǔn)值是最近30天的表行數(shù)的平均值。
表行數(shù),相比1天前的波動率。基準(zhǔn)值為昨天產(chǎn)生的分區(qū)的表行數(shù),比較當(dāng)天采集的表行數(shù),對比波動率。
表行數(shù),相比1周前的波動率?;鶞?zhǔn)值為1周前產(chǎn)生的分區(qū)的表行數(shù),比較當(dāng)天采集的表行數(shù),對比波動率。
表行數(shù),相比1個(gè)月前的波動率。基準(zhǔn)值為1個(gè)月前產(chǎn)生的分區(qū)的表行數(shù),比較當(dāng)天采集的表行數(shù),對比波動率。
表行數(shù),相比1天、1周、1個(gè)月前和本月
與1天、1周、1個(gè)月前和本月1號采集的表行數(shù)進(jìn)行比較,對比波動率。
1號的波動率。
表行數(shù),相比上一周期的波動率?;鶞?zhǔn)值為上一周期產(chǎn)生的分區(qū)的表行數(shù),比較當(dāng)天采集的表行數(shù),對比波動率。
8統(tǒng)一表達(dá)
8.1一般規(guī)定
14
T/OTOP-XXXXXX
針對鄉(xiāng)村文旅數(shù)據(jù)關(guān)聯(lián)融合及商業(yè)智能分析問題,在突破文旅全業(yè)務(wù)流程多源異構(gòu)大數(shù)據(jù)關(guān)聯(lián)融合
技術(shù)的基礎(chǔ)上,圍繞景區(qū)、游客、產(chǎn)品三個(gè)參與主體的商業(yè)智能核心需求,分別開展智能營銷與服務(wù)、
精準(zhǔn)推薦、智能監(jiān)測與管理輔助等關(guān)鍵共性技術(shù)研發(fā),實(shí)現(xiàn)文旅全業(yè)務(wù)流程的商業(yè)智能分析,并整合實(shí)
現(xiàn)面向景區(qū)、游客、產(chǎn)品的智能分析工具與服務(wù)。故鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合統(tǒng)一表達(dá)應(yīng)符合如下要
求:
a.鄉(xiāng)村文旅異構(gòu)數(shù)據(jù)網(wǎng)絡(luò)拓?fù)湫畔?yīng)根據(jù)數(shù)據(jù)采集信息單元,進(jìn)行統(tǒng)一的結(jié)構(gòu)化表達(dá)、存儲、交互
以及使用;
b.數(shù)據(jù)采集信息單元應(yīng)包括景區(qū)平臺基礎(chǔ)信息單元、業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元、爬蟲數(shù)據(jù)信息單元。
c.各信息單元的屬性可根據(jù)需要進(jìn)一步擴(kuò)展;
d.應(yīng)能夠?qū)⑾嚓P(guān)數(shù)據(jù)采集信息單元得到的原始數(shù)據(jù),納入依據(jù)融合準(zhǔn)則,進(jìn)行自動化關(guān)聯(lián)、相關(guān)、
估計(jì)、組合,從而實(shí)現(xiàn)面向經(jīng)營者、游客和管理者的智能分析;
8.2數(shù)據(jù)采集信息單元
數(shù)據(jù)采集信息單元應(yīng)滿足如下要求:
a.數(shù)據(jù)采集信息單元包含景區(qū)平臺基礎(chǔ)信息單元、業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元、爬蟲數(shù)據(jù)信息單元;
b.數(shù)據(jù)采集信息單元所收集的數(shù)據(jù)來源應(yīng)滿足表5,數(shù)據(jù)類型應(yīng)滿足表6。
c.數(shù)據(jù)采集信息單元應(yīng)盡可能面向景區(qū)、產(chǎn)品、游客分別從多個(gè)數(shù)據(jù)來源采集多種不同類型的數(shù)
據(jù)。
表5多源異構(gòu)數(shù)據(jù)采集來源表
面向?qū)ο髷?shù)據(jù)所屬單元具體來源
基本數(shù)據(jù)景區(qū)平臺基礎(chǔ)信息單元景區(qū)在平臺上的注冊數(shù)據(jù)
運(yùn)營數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元景區(qū)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)
旅游目的地(景
景區(qū)提供或從中國天氣網(wǎng)等渠
區(qū))天氣數(shù)據(jù)爬蟲數(shù)據(jù)信息單元
道爬取
投訴數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元景區(qū)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)
商品數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元景區(qū)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)
產(chǎn)品
商鋪數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元景區(qū)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)
基本數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元游客在平臺上的注冊數(shù)據(jù)
搜索行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺日志數(shù)據(jù)
瀏覽行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺日志數(shù)據(jù)
游客
購票行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺業(yè)務(wù)數(shù)據(jù)
消費(fèi)行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元景區(qū)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)
評論行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺業(yè)務(wù)數(shù)據(jù)
15
T/OTOP-XXXXXX
評論內(nèi)容數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺業(yè)務(wù)數(shù)據(jù)
收藏行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺業(yè)務(wù)數(shù)據(jù)
點(diǎn)贊行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺業(yè)務(wù)數(shù)據(jù)
分享行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺業(yè)務(wù)數(shù)據(jù)
8.2.1景點(diǎn)基礎(chǔ)信息單元
景區(qū)平臺基礎(chǔ)信息單元應(yīng)滿足以下要求:
a)景區(qū)平臺基礎(chǔ)信息單元應(yīng)包含景區(qū)基本信息、景區(qū)客流量。
b)景區(qū)平臺基礎(chǔ)信息單元的詳細(xì)定義、數(shù)據(jù)要求應(yīng)符合表6、表7。
表6景區(qū)單元結(jié)構(gòu)表
字段名稱字段英文名類型描述選取原則
景區(qū)idspot_idbigint景區(qū)的唯一編號必選
景區(qū)名spot_namevarchar唯一編號景區(qū)的對應(yīng)名稱必選
開放時(shí)間open_timevarchar格式:HH:mm—HH:mm必選
簡介introtext景區(qū)介紹必選
唯一編號景區(qū)的對應(yīng)OTA平臺的網(wǎng)站
OTA鏈接OTA_linkvarchar必選
鏈接
表7景區(qū)客流量表
字段名字段英文名類型備注選取原則
景區(qū)idspot_idbigint關(guān)聯(lián)spots表必選
日期datedate以天為統(tǒng)計(jì)單元,格式:yyyy:MM:dd必選
游客數(shù)volumebigint該景區(qū)在日期下的游客數(shù)統(tǒng)計(jì)必選
8.2.2關(guān)注指數(shù)數(shù)據(jù)信息單元
網(wǎng)絡(luò)關(guān)注數(shù)據(jù)主要基于搜索引擎上網(wǎng)民對旅游目的地的關(guān)注指數(shù),應(yīng)符合以下要求:
a)景區(qū)指數(shù)數(shù)據(jù)應(yīng)符合表8要求;
b)搜索指數(shù)、媒體指數(shù)、資訊指數(shù)數(shù)據(jù)與實(shí)際景區(qū)相對應(yīng)關(guān)聯(lián)。
16
T/OTOP-XXXXXX
表8指數(shù)值單元字段屬性
字段名稱字段英文名類型描述選取原則
用戶相關(guān)檢索詞的記錄,一般為“景區(qū)
關(guān)鍵詞keywordvarchar必選
名(+延申關(guān)鍵詞)”
收集到的搜索指數(shù)所屬端口平臺,包括
系統(tǒng)platformvarchar可選
全系統(tǒng)、電腦端和移動端
日期datedate格式:yyyy:MM:dd必選
省份idprovince_idint全國及34個(gè)省份的記錄數(shù)據(jù)可選
關(guān)注指數(shù)值index_numbigint關(guān)鍵詞在日期當(dāng)天的搜索數(shù)據(jù)值必選
媒體指數(shù)值關(guān)鍵詞在日期當(dāng)天的媒體數(shù)據(jù)值必選
news_numbigint
資訊指數(shù)值關(guān)鍵詞在日期當(dāng)天的資訊指數(shù)值必選
feed_numbigint
8.2.3評論數(shù)據(jù)信息單元
社交數(shù)據(jù)信息單元主要基于第三方平臺的景區(qū)評論數(shù)據(jù),應(yīng)符合以下要求:
a)景區(qū)評論數(shù)據(jù)應(yīng)符合表9要求;
b)景區(qū)評論數(shù)據(jù)單元應(yīng)與發(fā)表評論的評論景區(qū)單元數(shù)據(jù)信息相關(guān)聯(lián),應(yīng)符合表10要求。
表9景區(qū)評論單元結(jié)構(gòu)表
字段名稱字段英文名類型描述選取原則
評論idreview_idbigint評論的唯一編號必選
景區(qū)idspot_idbigint景區(qū)的唯一編號必選
格式:yyyy:MM:dd
評論發(fā)布時(shí)間review_timedatetime必選
HH:mm:ss
點(diǎn)贊數(shù)like_numint評論下的點(diǎn)贊數(shù)記錄可選
17
T/OTOP-XXXXXX
評論中圖片數(shù)images_numint評論下的評論數(shù)記錄可選
總評分scorevarchar評論下的評分記錄可選
景色評分sight_scorevarchar評論下的景色評分記錄可選
趣味評分fun_scorevarchar評論下的趣味評分記錄可選
性價(jià)比評分cost_scorevarchar評論下的性價(jià)比評分記錄可選
評論內(nèi)容contenttext該條評論的具體內(nèi)容必選
表10景點(diǎn)與評論單元映射關(guān)系
字段名稱字段英文名類型備注選取原則
評論idreview_idbigint評論的唯一編號必選
景區(qū)idspot_idbigint景區(qū)的唯一編號必選
包括攜程、去哪兒、大眾
第三方系統(tǒng)platformvarchar(10)可選
點(diǎn)評、美團(tuán)等
評論數(shù)量comment_numint某平臺下的評論數(shù)量統(tǒng)計(jì)必選
8.2.4業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元
業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元分為鄉(xiāng)村文旅電商實(shí)時(shí)運(yùn)營基礎(chǔ)數(shù)據(jù)與游客相關(guān)實(shí)時(shí)電商分析數(shù)據(jù)。鄉(xiāng)村文
旅電商實(shí)時(shí)運(yùn)營基礎(chǔ)數(shù)據(jù)應(yīng)滿足以下要求:
a)鄉(xiāng)村文旅電商實(shí)時(shí)運(yùn)營基礎(chǔ)數(shù)據(jù)應(yīng)包含景區(qū)運(yùn)營數(shù)據(jù)、景區(qū)運(yùn)營數(shù)據(jù)、景區(qū)投訴數(shù)據(jù)、產(chǎn)品商
品數(shù)據(jù)、產(chǎn)品商鋪數(shù)據(jù);
b)鄉(xiāng)村文旅電商實(shí)時(shí)運(yùn)營基礎(chǔ)數(shù)據(jù)的具體模塊、計(jì)算指標(biāo)和詳細(xì)定義應(yīng)符合表11要求。
表11電商實(shí)時(shí)基礎(chǔ)運(yùn)營數(shù)據(jù)表
區(qū)域模塊指標(biāo)定義
運(yùn)營視實(shí)時(shí)數(shù)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年山東建筑安全員C證考試題庫
- 2025年云南省安全員-B證(項(xiàng)目經(jīng)理)考試題庫
- 【課件】搜索引擎營銷的部分問題探討
- DB14T-紅地球葡萄主要病蟲害綜合防控技術(shù)規(guī)程編制說明
- 單位人力資源管理制度集合大全十篇
- 單位管理制度展示大全人員管理十篇
- 2024年土地登記代理人題庫附參考答案(鞏固)
- 2025年社會服務(wù)行業(yè)尋找彈性與韌性中的結(jié)構(gòu)機(jī)會
- 單位管理制度展示大合集人員管理十篇
- 比高矮比長短課件
- 箱變遷移工程施工方案
- 北師大版九年級數(shù)學(xué)下冊《圓的對稱性》評課稿
- 《遙感原理與應(yīng)用》期末考試試卷附答案
- 物流無人機(jī)垂直起降場選址與建設(shè)規(guī)范(征求意見稿)
- 工程分包管理制度
- 2023年湖南成人學(xué)位英語考試真題
- GB/T 9452-2023熱處理爐有效加熱區(qū)測定方法
- 肺炎支原體肺炎診治專家共識
- 藥物化學(xué)(第七版)(全套課件1364P)
- 能源中國(上海電力大學(xué))超星爾雅學(xué)習(xí)通網(wǎng)課章節(jié)測試答案
- 采購計(jì)劃流程圖
評論
0/150
提交評論