《鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合方法與流程標(biāo)準(zhǔn)規(guī)范》_第1頁
《鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合方法與流程標(biāo)準(zhǔn)規(guī)范》_第2頁
《鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合方法與流程標(biāo)準(zhǔn)規(guī)范》_第3頁
《鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合方法與流程標(biāo)準(zhǔn)規(guī)范》_第4頁
《鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合方法與流程標(biāo)準(zhǔn)規(guī)范》_第5頁
已閱讀5頁,還剩22頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

ICS

CCS

T/OTOP

團(tuán)體標(biāo)準(zhǔn)

T/OTOP-XXXXXX

鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合方法與流程標(biāo)

準(zhǔn)規(guī)范

Specificationforfundamentalcultureandtourismsupervisioninformation

(征求意見稿)

2023-XX-XX發(fā)布2023-XX-XX實(shí)施

中國民族貿(mào)易促進(jìn)會發(fā)布

T/OTOP-XXXXXX

鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合方法與流程標(biāo)準(zhǔn)規(guī)范

1范圍

本標(biāo)準(zhǔn)規(guī)定了鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合的融合方法、流程規(guī)范、系統(tǒng)架構(gòu)、功能要求及融合數(shù)據(jù)

的統(tǒng)一表達(dá)。

本標(biāo)準(zhǔn)適用于鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合與規(guī)范,提供面向經(jīng)營者、游客和管理者以統(tǒng)一標(biāo)準(zhǔn)的數(shù)

據(jù)融合實(shí)踐。

本標(biāo)準(zhǔn)用于指導(dǎo)“鄉(xiāng)村文化旅游云服務(wù)技術(shù)集成與應(yīng)用示范平臺”參加建設(shè)單位完成相關(guān)數(shù)據(jù)的采

集、融合與組織。

2規(guī)范性引用文件

下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件,僅所注日期的版本適用于本文

件。凡是不注日期的引用文件,其最新版本(包括所有的修改單)適用于本文件。

GB/T36625.1智慧城市數(shù)據(jù)融合第1部分:概念模型

GB/T36625.3智慧城市數(shù)據(jù)融合第3部分:數(shù)據(jù)采集規(guī)范

GB/T20273信息安全技術(shù)數(shù)據(jù)庫管理系統(tǒng)安全技術(shù)要求

GB/T12991.1信息技術(shù)數(shù)據(jù)庫語言SQL第1部分:框架3術(shù)語和定義及縮略語

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1

數(shù)據(jù)采集dataacquisition

從數(shù)據(jù)源中得到原始數(shù)據(jù),通過標(biāo)準(zhǔn)化處理并轉(zhuǎn)化為滿足數(shù)據(jù)共享與利用需求的過程。

3.2

數(shù)據(jù)清洗datacleaning

通過數(shù)據(jù)清洗,完成查重糾錯(cuò),剔除數(shù)據(jù)文件中可識別的重復(fù)和錯(cuò)誤。錯(cuò)誤包括但不限于:檢查數(shù)

據(jù)一致性、處理無效值和缺失值等。

3.3

數(shù)據(jù)轉(zhuǎn)換datatransformation

通過數(shù)據(jù)轉(zhuǎn)換,實(shí)現(xiàn)對標(biāo)準(zhǔn)代碼、格式、類型等信息的標(biāo)準(zhǔn)化轉(zhuǎn)換處理。

3.4

數(shù)據(jù)融合datafusion

2

T/OTOP-XXXXXX

在一定的準(zhǔn)則下,集成不同種類采集系統(tǒng)的數(shù)據(jù)和信息,通過關(guān)聯(lián)、校驗(yàn)、綜合和填補(bǔ)等多級多方

面處理,獲得比任何單一的數(shù)據(jù)源更為準(zhǔn)確、完整、及時(shí)的信息,并統(tǒng)一表達(dá)的過程。

3.5

數(shù)據(jù)倉庫datawarehouse

數(shù)據(jù)倉庫是所有業(yè)務(wù)數(shù)據(jù)存儲載體,是企業(yè)級的數(shù)據(jù)集合。

3.6

ETLExtract-Transform-Load

ETL是指數(shù)據(jù)的抽取(Extract),轉(zhuǎn)換(Transform)和加載(Loading),它是一個(gè)數(shù)據(jù)轉(zhuǎn)移、重

組的過程,是數(shù)據(jù)倉庫系統(tǒng)實(shí)施的一個(gè)非常重要的環(huán)節(jié)。

3.7

ODS操作數(shù)據(jù)存儲operationaldatastore

操作數(shù)據(jù)存儲是數(shù)據(jù)倉庫體系結(jié)構(gòu)中的一個(gè)部分,ODS層用于接收并處理需要存儲至數(shù)據(jù)倉庫系

統(tǒng)的原始數(shù)據(jù),其數(shù)據(jù)表的結(jié)構(gòu)與原始數(shù)據(jù)所在的數(shù)據(jù)系統(tǒng)中的表結(jié)構(gòu)一致,是數(shù)據(jù)倉庫的數(shù)據(jù)準(zhǔn)

備區(qū)。

3.8

DWD數(shù)據(jù)明細(xì)層DataWarehouseDetail

DWD層通過企業(yè)的業(yè)務(wù)活動事件構(gòu)建數(shù)據(jù)模型。基于具體業(yè)務(wù)事件的特點(diǎn),構(gòu)建最細(xì)粒度的明細(xì)數(shù)

據(jù)表。

3.9

DWS數(shù)據(jù)服務(wù)層DataWareHouseServic

DWS層通過分析的主題對象構(gòu)建數(shù)據(jù)模型?;谏蠈拥膽?yīng)用和產(chǎn)品的指標(biāo)需求,構(gòu)建公共粒度的匯

總指標(biāo)事實(shí)表。

3.10

ADS應(yīng)用服務(wù)層Applicantdataservice

ADS層進(jìn)行個(gè)性化維度匯總,用于存放數(shù)據(jù)倉庫中非通用統(tǒng)計(jì)維度的數(shù)據(jù),計(jì)算只有當(dāng)前業(yè)務(wù)關(guān)注

的維度和指標(biāo),與其他業(yè)務(wù)線無交集。

3.11

DIM維表層Dimension

DIM層使用維度構(gòu)建數(shù)據(jù)模型?;趯?shí)際業(yè)務(wù),通過定義維度,確定維度主鍵,添加維度屬性,關(guān)

聯(lián)不同維度等操作,構(gòu)建整個(gè)業(yè)務(wù)數(shù)據(jù)的一致性數(shù)據(jù)分析維表,降低數(shù)據(jù)計(jì)算口徑和算法不統(tǒng)一的風(fēng)險(xiǎn)。

4一般規(guī)定

3

T/OTOP-XXXXXX

4.1基本要求

平臺應(yīng)符合如下基本要求:

——應(yīng)能夠真實(shí)的反映鄉(xiāng)村文旅運(yùn)行狀況,具備歷史、實(shí)時(shí)查詢功能;

——應(yīng)遵循本標(biāo)準(zhǔn)第8章節(jié)的要求構(gòu)建統(tǒng)一的鄉(xiāng)村文旅數(shù)字化表達(dá),通過數(shù)據(jù)融合規(guī)則,生成統(tǒng)一

的鄉(xiāng)村文旅運(yùn)行狀況。

4.2效能要求

與單一數(shù)據(jù)源相比,鄉(xiāng)村文旅數(shù)據(jù)融合,應(yīng)實(shí)現(xiàn)以下效能:

——擴(kuò)展數(shù)據(jù)的空間覆蓋范圍;

——擴(kuò)展數(shù)據(jù)的時(shí)間覆蓋范圍;

——提高準(zhǔn)確度;

——提高連續(xù)性。

4.3可靠性要求

應(yīng)滿足以下可靠性要求:

——可追溯性:融合數(shù)據(jù)及相關(guān)數(shù)據(jù)源數(shù)據(jù)應(yīng)至少保留3年;

——容錯(cuò)性:保證當(dāng)部分?jǐn)?shù)據(jù)存在異常、錯(cuò)誤的情況下,仍能夠得到比較準(zhǔn)確的融合結(jié)論;

——冗余性:對系統(tǒng)中關(guān)鍵信息進(jìn)行備份或采取冗余措施,具備系統(tǒng)容錯(cuò)能力。

5數(shù)據(jù)融合流程規(guī)范

5.1總體架構(gòu)

鄉(xiāng)村文旅數(shù)據(jù)采集與融合從業(yè)務(wù)流程上可分為數(shù)據(jù)采集層、數(shù)據(jù)處理層、數(shù)據(jù)集成層、數(shù)據(jù)應(yīng)用層,

如圖1所示。其中數(shù)據(jù)采集層是經(jīng)由各旅游OTA平臺、綜合文旅平臺、社交媒體平臺等各種數(shù)據(jù)采集平

臺,采用信息爬取手段來采集鄉(xiāng)村文旅相關(guān)數(shù)據(jù);初步采集的數(shù)據(jù)進(jìn)入到數(shù)據(jù)集成層,在這里完成基本

的數(shù)據(jù)處理操作,并進(jìn)行ETL(抽取、轉(zhuǎn)換、加載)操作,并對數(shù)據(jù)流建模分層,數(shù)據(jù)模型整體上分為五

層(ODS、DWD、DWS、ADS、DIM);數(shù)據(jù)融合層指對分層建模后的數(shù)據(jù)進(jìn)行集成并存儲,通常是存

儲于數(shù)據(jù)倉庫或數(shù)據(jù)集市;進(jìn)一步地,構(gòu)建分布式實(shí)時(shí)檢索引擎,向數(shù)據(jù)應(yīng)用層提供數(shù)據(jù)存儲、特征分

析、數(shù)據(jù)模型、流量監(jiān)測等數(shù)據(jù)能力開放服務(wù)。

4

T/OTOP-XXXXXX

圖1總體架構(gòu)圖

5.2功能架構(gòu)

鄉(xiāng)村文旅數(shù)據(jù)融合流程具體地可包含數(shù)據(jù)采集、數(shù)據(jù)處理和數(shù)據(jù)集成流程模塊。應(yīng)遵循本標(biāo)準(zhǔn)第8

章節(jié)的要求構(gòu)建統(tǒng)一的鄉(xiāng)村文旅數(shù)字化表達(dá),在此基礎(chǔ)上,加載景區(qū)信息、產(chǎn)品信息、游客信息;數(shù)據(jù)

處理中,對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)描述產(chǎn)生結(jié)構(gòu)化數(shù)據(jù);通過數(shù)據(jù)抽取、清洗和轉(zhuǎn)換對數(shù)據(jù)進(jìn)行分類整

理存儲于數(shù)據(jù)集市,并產(chǎn)生統(tǒng)一的鄉(xiāng)村文旅監(jiān)測技術(shù)指標(biāo)信息。搭建智慧景區(qū)門戶平臺,提供圍繞經(jīng)營

者、游客、管理者三個(gè)參與主體的商業(yè)智能核心需求,整合實(shí)現(xiàn)面向不同群體的智能分析工具與服務(wù)。

6功能要求

6.1基本功能

6.1.1數(shù)據(jù)采集

應(yīng)能采用信息爬取手段對經(jīng)由旅游OTA平臺、綜合文旅平臺、社交媒體平臺等數(shù)據(jù)采集平臺的鄉(xiāng)村

文旅數(shù)據(jù)進(jìn)行采集。

6.1.2數(shù)據(jù)處理:ETL

5

T/OTOP-XXXXXX

應(yīng)能對各類數(shù)據(jù)進(jìn)行清理、標(biāo)準(zhǔn)化和匯總,為基于數(shù)據(jù)倉庫的決策分析應(yīng)用提供符合要求、高質(zhì)量

的數(shù)據(jù)。

2

6.1.3數(shù)據(jù)融合

應(yīng)具備對ETL數(shù)據(jù)抽取、加載、轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行接收、集成和存儲的能力,融合后的數(shù)據(jù)通常存

儲于數(shù)據(jù)倉庫或數(shù)據(jù)集市中。

6.1.4數(shù)據(jù)倉庫

應(yīng)具備反映全方位信息能力,將各種業(yè)務(wù)系統(tǒng)中積累的歷史數(shù)據(jù)進(jìn)行集成、轉(zhuǎn)換和管理,以便于進(jìn)

行數(shù)據(jù)分析。

6.1.5數(shù)據(jù)集市

應(yīng)能對數(shù)據(jù)按照多維的方式進(jìn)行存儲,生成面向決策分析的數(shù)據(jù)立方體,滿足“鄉(xiāng)村文化旅游大數(shù)

據(jù)商業(yè)智能分析與服務(wù)”系統(tǒng)中經(jīng)營者、游客、管理者三方用戶的功能需求

6.2基本性能指標(biāo)

6.2.1數(shù)據(jù)量支持

系統(tǒng)對結(jié)構(gòu)化數(shù)據(jù)的存儲量支持能力不小于1PB;對圖片等非結(jié)構(gòu)化數(shù)據(jù)的支持能力不小于100PB;。

6.2.2數(shù)據(jù)存儲時(shí)間

6

T/OTOP-XXXXXX

系統(tǒng)數(shù)據(jù)存儲年限應(yīng)不低于5年。

6.2.3查詢響應(yīng)

數(shù)據(jù)查詢響應(yīng)時(shí)間應(yīng)不超過2秒。

6.2.4制表速度

一般固定表格制表不超過10秒,復(fù)雜統(tǒng)計(jì)匯集表格不超過5分鐘。

6.2.5調(diào)度任務(wù)

數(shù)據(jù)倉庫調(diào)度任務(wù)運(yùn)行時(shí)長應(yīng)該小于30分鐘。

6.3數(shù)據(jù)接入

6.3.1數(shù)據(jù)源

應(yīng)具備接入來自業(yè)務(wù)系統(tǒng)、日志系統(tǒng)、景區(qū)信息系統(tǒng)等數(shù)據(jù)源的實(shí)時(shí)、離線數(shù)據(jù)的能力。

6.3.2數(shù)據(jù)類型

應(yīng)具備接入景區(qū)數(shù)據(jù)(地理信息、運(yùn)營信息、天氣信息等)、產(chǎn)品數(shù)據(jù)(商品信息、商鋪信息等)、

游客數(shù)據(jù)(游客基本信息、搜索行為信息、瀏覽行為信息等)以及一些來自業(yè)務(wù)系統(tǒng)和日志系統(tǒng)的多源

異構(gòu)信息數(shù)據(jù)的能力。

6.3.3數(shù)據(jù)接口

應(yīng)采用總體架構(gòu)中要求的數(shù)據(jù)接口進(jìn)行數(shù)據(jù)接入。

6.3.4數(shù)據(jù)映射

接入的數(shù)據(jù)應(yīng)與第7章相關(guān)的信息單元相互對應(yīng)。

6.3.5數(shù)據(jù)檢查

應(yīng)具備根據(jù)已配置的接入信息掃描數(shù)據(jù)庫后臺,檢查數(shù)據(jù)接入狀態(tài)的能力。

7鄉(xiāng)村文旅數(shù)據(jù)融合開發(fā)規(guī)范

構(gòu)建數(shù)據(jù)倉庫是實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)融合、滿足多維度數(shù)據(jù)分析和智能化服務(wù)的有效途徑。鄉(xiāng)村文旅

數(shù)據(jù)倉庫的開發(fā)過程中為了保證數(shù)據(jù)結(jié)構(gòu)的清晰,數(shù)據(jù)血緣的可追蹤,應(yīng)對數(shù)據(jù)進(jìn)行分層建模,統(tǒng)一數(shù)

據(jù)口徑,將復(fù)雜業(yè)務(wù)拆解為多個(gè)步驟逐一實(shí)現(xiàn),提高中間層的利用效率。故鄉(xiāng)村文旅數(shù)據(jù)倉庫的建設(shè)應(yīng)

包含五層(ODS、DWD,DWS,ADSD,DIM)體系結(jié)構(gòu)。

7

T/OTOP-XXXXXX

7.1數(shù)據(jù)倉庫體系結(jié)構(gòu)

7.1.1ODS層

ODS屬于數(shù)據(jù)操作層,該層用于接收并處理需要存儲至數(shù)據(jù)倉庫系統(tǒng)的原始數(shù)據(jù),其數(shù)據(jù)表的結(jié)構(gòu)

應(yīng)與原始數(shù)據(jù)所在的數(shù)據(jù)系統(tǒng)中的表結(jié)構(gòu)一致,包含所有的業(yè)務(wù)變更過程。ODS層對原始數(shù)據(jù)的操作應(yīng)

包括但不限于如下流程:

a)將原始的結(jié)構(gòu)化數(shù)據(jù)增量或全量同步至數(shù)據(jù)倉庫中。

b)對原始的非結(jié)構(gòu)化數(shù)據(jù)(如,日志信息)進(jìn)行結(jié)構(gòu)化處理,并存儲至MaxCompute。

c)根據(jù)實(shí)際業(yè)務(wù)需求,記錄原始數(shù)據(jù)的歷史變化或?qū)υ紨?shù)據(jù)進(jìn)行簡單的清洗。

d)按照指定的生命周期保存。

7.1.2DWD層

DWD層應(yīng)基于具體業(yè)務(wù)的特點(diǎn),以業(yè)務(wù)過程驅(qū)動建模,基于每個(gè)具體的業(yè)務(wù)過程特點(diǎn),構(gòu)建最細(xì)粒度

的明細(xì)層事實(shí)表。應(yīng)結(jié)合鄉(xiāng)村文旅的數(shù)據(jù)使用特點(diǎn),將明細(xì)數(shù)據(jù)表的某些重要維度屬性字段適當(dāng)冗余,

即寬表化處理。同時(shí),也應(yīng)當(dāng)適當(dāng)減少明細(xì)數(shù)據(jù)表及維度表的關(guān)聯(lián),提高明細(xì)表的易用性。

7.1.3DWS層

DWS層通過分析的主題對象構(gòu)建數(shù)據(jù)模型。基于上層的應(yīng)用和產(chǎn)品的指標(biāo)需求,構(gòu)建公共粒度的匯

總指標(biāo)事實(shí)表。在鄉(xiāng)村文旅數(shù)據(jù)倉庫的DWS層的設(shè)計(jì)中應(yīng)滿足如下原則:

a)數(shù)據(jù)公用性:需考慮匯總的聚集是否可以提供給第三方使用。若基于某個(gè)維度的聚集是否經(jīng)常

用于數(shù)據(jù)分析中。則應(yīng)把明細(xì)數(shù)據(jù)經(jīng)過匯總沉淀到聚集表中。

b)不跨數(shù)據(jù)域:數(shù)據(jù)域是在較高層次上對數(shù)據(jù)進(jìn)行分類聚集的抽象。鄉(xiāng)村文旅數(shù)據(jù)庫設(shè)計(jì)過程中

數(shù)據(jù)域通常以業(yè)務(wù)過程進(jìn)行分類,如交易統(tǒng)一劃到交易域下,商品的新增、修改放到商品域下。

7.1.4ADS層

ADS層是鄉(xiāng)村文旅數(shù)據(jù)倉庫的個(gè)性化維度匯總層,應(yīng)用于存放數(shù)據(jù)產(chǎn)品個(gè)性化的統(tǒng)計(jì)指標(biāo)數(shù)據(jù),輸

出各種報(bào)表。在這里計(jì)算的應(yīng)為僅有自身業(yè)務(wù)關(guān)注的維度和指標(biāo),與其他業(yè)務(wù)線一般不應(yīng)存在交集。

7.1.5DIM層

DIM層主要由維度表(維表)構(gòu)成。這一層相對實(shí)時(shí)應(yīng)用來說應(yīng)為靜態(tài)。鄉(xiāng)村文旅數(shù)據(jù)倉庫的DIM層在

建設(shè)過程中應(yīng)遵循但不限于以下原則:

a)數(shù)據(jù)的準(zhǔn)確性:維度表中的數(shù)據(jù)應(yīng)該準(zhǔn)確、完整、一致。通??梢酝ㄟ^數(shù)據(jù)清洗、校驗(yàn)等方式來

確保數(shù)據(jù)的質(zhì)量。

b)數(shù)據(jù)的可擴(kuò)展性:維度表應(yīng)該具有可擴(kuò)展性,能夠支持快速地添加新的維度和層次

c)數(shù)據(jù)的性能:維度表應(yīng)該具有良好的查詢性能,通??梢圆捎昧惺酱鎯?、分區(qū)、索引等方式來優(yōu)

化查詢性能。

d)數(shù)據(jù)的易用性:維度表中的字段應(yīng)該易于使用和理解,通常可以通過命名規(guī)范(見7.3節(jié))、字

段注釋等方式來提高數(shù)據(jù)的易用性。

8

T/OTOP-XXXXXX

7.2主題域劃分

鄉(xiāng)村文旅數(shù)據(jù)倉庫的主題域應(yīng)為聯(lián)系較為緊密的數(shù)據(jù)主題的集合,須根據(jù)業(yè)務(wù)需求分析的視角進(jìn)行

劃分抽象歸類。在劃分的過程中應(yīng)結(jié)合具體實(shí)際按照業(yè)務(wù)過程,業(yè)務(wù)部門或業(yè)務(wù)系統(tǒng)進(jìn)行劃分。

鄉(xiāng)村文旅數(shù)據(jù)倉庫在規(guī)劃主題域時(shí)應(yīng)作出充分考慮,主題域劃分和主題劃分要盡可能地涵蓋所有業(yè)

務(wù),并要求可以無影響的保證新業(yè)務(wù)進(jìn)入時(shí)主題和主題域的拓展,避免頻繁變動。

鄉(xiāng)村文旅數(shù)據(jù)倉庫主題域的劃分應(yīng)包含但不限于以下內(nèi)容:

表1鄉(xiāng)村文旅數(shù)據(jù)倉庫主題域

數(shù)據(jù)域數(shù)據(jù)域縮

數(shù)據(jù)域描述包含業(yè)務(wù)過程

名稱寫

加購、下單、下單取消、支付、支付取消、

交易域TRDE各類業(yè)務(wù)產(chǎn)生訂單交易過程產(chǎn)生的相關(guān)數(shù)據(jù)

完單

流量域FLOW業(yè)務(wù)開展過程中產(chǎn)生的各類日志數(shù)據(jù)登錄、曝光、點(diǎn)擊、分享

產(chǎn)品:發(fā)布產(chǎn)品、審核、上架、下架

產(chǎn)品域PROD提供的sku、商品以及對應(yīng)的類目等信息商品:報(bào)名活動、售賣、退回活動、活動

結(jié)束

會員(MBR):注冊、激活、簽到、注銷、

開展各類業(yè)務(wù)的買家、賣家、店鋪等各種個(gè)人或團(tuán)體,升級、降級

用戶域USER

分為會員和商家兩個(gè)子域商家(SLR):申請、審核、繳納保證金、

入駐、退回、清退

券:領(lǐng)取、使用、分享、券過期

營銷域MKT各類營銷以及促銷活動,主要是特賣、優(yōu)惠券等

促銷活動:創(chuàng)建活動、活動完結(jié)

通用的時(shí)間、地理區(qū)域、天氣、手機(jī)號歸屬等公共信

公共域PUB/

金融域FIN相關(guān)金融產(chǎn)品現(xiàn)金貸、消費(fèi)貸、訂單貸

售后:申請、審核、回寄、舉證、賠付、

服務(wù)域SERV買家關(guān)于產(chǎn)品與商家產(chǎn)生的售后相關(guān)信息

客服

7.3命名規(guī)范

7.3.1表命名規(guī)范

鄉(xiāng)村文旅數(shù)據(jù)倉庫創(chuàng)建的表類型應(yīng)為內(nèi)部表,原則上不允許創(chuàng)建外部表。除部分DIM靜態(tài)維表,其

余的表都須為分區(qū)表且分區(qū)字段須要包含時(shí)間分區(qū)字段,格式為yyyy-mm-dd。各數(shù)倉分層的表名嚴(yán)格遵

循以下各層級的表命規(guī)范。

鄉(xiāng)村文旅數(shù)據(jù)倉庫在建設(shè)倉庫過程中,數(shù)據(jù)倉庫五層體系結(jié)構(gòu)上的所有表命名必須遵循如下通用公

式,并在不同數(shù)據(jù)倉庫分層層次上具體區(qū)分,各分層在命名的過程將必要屬性以下劃線的方式連接。

Name()=F(模型層次,業(yè)務(wù)歸屬/需求方,數(shù)據(jù)域,維度,粒度,場景,統(tǒng)計(jì)周期/更新周+增全量)

ODS層表命名規(guī)范

ODS層存儲與源系統(tǒng)結(jié)構(gòu)相同的數(shù)據(jù),某些少量數(shù)據(jù)可能發(fā)生物理存儲結(jié)構(gòu)上變化。鄉(xiāng)村文旅數(shù)據(jù)

倉庫在該分層中的命名遵循以下規(guī)范:

9

T/OTOP-XXXXXX

Name(ods)=F(模型層次,庫名編碼,系統(tǒng)源表名,更新周期+增|全量)

DIM層表命名規(guī)范

DIM層中所需實(shí)體的命名僅允許使用小寫字母,單詞之間以下劃線分隔,且須滿足總名稱長度不能

超過30個(gè)英文字符。鄉(xiāng)村文旅數(shù)據(jù)倉庫在該分層中的的命名遵循以下規(guī)范:

Name(dim)=F(模型層次,業(yè)務(wù)歸屬,數(shù)據(jù)域,維度或?qū)嶓w,更新周期+增|全量)

DWD層表命名規(guī)范

DWD層中所需實(shí)體的命名僅允許使用小寫字母,單詞之間以下劃線分隔,且須滿足總名稱長度不能

超過50個(gè)英文字符。鄉(xiāng)村文旅數(shù)據(jù)倉庫在該分層中的的命名遵循以下規(guī)范:

Name(dwd)=F(模型層次,業(yè)務(wù)歸屬,數(shù)據(jù)域,維度|粒度|實(shí)體|場景,更新周期+增|全量)

DWS層表命名規(guī)范

DWS層的表命名應(yīng)使用英文小寫字母,單詞之間以下劃線分開,長度不超過50個(gè)字符。鄉(xiāng)村文旅

數(shù)據(jù)倉庫在該分層中的的命名遵循以下規(guī)范:

Name(dws)=F(模型層次,業(yè)務(wù)歸屬,主題域|數(shù)據(jù)域,維度|粒度|實(shí)體|場景,統(tǒng)計(jì)周期)

ADS層表命名規(guī)范

ADS層的表命名應(yīng)使用英文小寫字母,單詞之間以下劃線連接,長度不要超過50個(gè)字符。鄉(xiāng)村文旅

數(shù)據(jù)倉庫在該分層中的的命名遵循以下規(guī)范:

Name(ads)=F(模型層次,業(yè)務(wù)需求描述,需求歸屬,更新周期+增|全量)

非核心cdm表命名規(guī)范

Name()=F(模型層次,需求歸屬,維度|粒度|實(shí)體|場景,更新周期,增|全量)

臨時(shí)表命名規(guī)范

臨時(shí)表存儲數(shù)據(jù)加工中產(chǎn)生的臨時(shí)數(shù)據(jù)、鄉(xiāng)村文旅數(shù)據(jù)倉庫開發(fā)過程中基于優(yōu)化需要?jiǎng)?chuàng)建的中間結(jié)

果表及臨時(shí)數(shù)據(jù)須存儲于臨時(shí)表,且臨時(shí)表不允許跨ETL任務(wù)使用。

Name()=tmp_<主表名>_${bizdate}_<序號>

主表為加工的目標(biāo)表名,序號為從00開始依次遞增的兩位數(shù)字

數(shù)據(jù)校驗(yàn)表命名規(guī)范

鄉(xiāng)村文旅數(shù)據(jù)倉庫開發(fā)過程中的數(shù)據(jù)校驗(yàn)表表名應(yīng)以check開頭。

7.3.2字段命名規(guī)范

鄉(xiāng)村文旅數(shù)據(jù)倉庫各字段的命名過程中,各屬性(列)的名稱須按公共字段詞庫約定的縮寫命名,

對于非公共字段詞庫中不含屬性(列)的名字可自行確定,英文名應(yīng)為該字段的小寫全稱,單詞間以下

劃線連接,若字段名超過40個(gè)字符,則采用縮寫命名。

公共字段命名與數(shù)據(jù)類型規(guī)范

鄉(xiāng)村文旅數(shù)據(jù)倉庫各字段的命名應(yīng)優(yōu)先采取以下常見公共字段庫中的命名方式:

10

T/OTOP-XXXXXX

表2公共字段命名方式

字段類型英文簡稱數(shù)據(jù)類型

Xx名稱xx_nameString

Xx描述xx_descString

XX數(shù)(不可累加)xx_numBigint

XX數(shù)(可累加)xx_cntBigint

Xx日期xx_dateString

Xx時(shí)長xx_durBigint

Xx時(shí)間xx_timeString

Xx標(biāo)識xx_flagBigint

XX比率xx_ratedecimal(38,4)

Xx類型xx_typeString、Bigint

Xx緯度xx_latString

Xx經(jīng)度xx_lngString

xx編號xx_idBigint

Xx距離xx_disdecimal(38,6)

Xx金額xx_amtdecimal(38,2)

時(shí)間周期字段編碼規(guī)范

對于鄉(xiāng)村文旅中涉及到時(shí)間周期的各字段,均應(yīng)采取如下的編碼方式:

表3時(shí)間周期字段編碼方式

中文名英文縮寫中文名英文縮寫

小時(shí)h自然周cw

天d自然月cm

周w自然季度cq

月m自然年cy

年y零點(diǎn)截止到當(dāng)前tt

最近1小時(shí)1h零點(diǎn)截止到當(dāng)前小時(shí)th

最近1天1d歷史截止到當(dāng)日td

最近3天3d周初截止到當(dāng)日wd

最近1周1w月初截止到當(dāng)日md

最近2周2w年初截止到當(dāng)日yd

最近一個(gè)月1m半年以前bhy

最近三個(gè)月3m未來1天f1d

最近六個(gè)月6m未來1周f1w

最近1年1y未來一個(gè)月f1m

財(cái)年fy未來一年f1y

周同比wow周環(huán)比wow

月同比mom月環(huán)比mom

11

T/OTOP-XXXXXX

特殊字段命名規(guī)范

一些特殊的字段命名規(guī)范應(yīng)滿足如下要求:

a)編號作為標(biāo)識符的屬性(列),應(yīng)統(tǒng)一命名為"××id"。

b)代碼表的列屬性中文名與實(shí)體的中文名保持一致,代碼表列屬性英文名為實(shí)體名去掉前綴,單

詞字母小寫,相應(yīng)的描述字段屬性后綴是desc。

c)沒有單獨(dú)的代碼表,取值只有"是/非"的屬性(列),中文名必須以"標(biāo)志"結(jié)尾,英文名后綴應(yīng)是

flag,并且標(biāo)志位的取值必須滿足"是(1)/非(0)"。

d)日期類型的屬性(列)后綴應(yīng)是date,時(shí)間類型的屬性(列)后綴應(yīng)是time。

7.4代碼規(guī)范

7.4.1SQL編碼規(guī)范

鄉(xiāng)村文旅數(shù)據(jù)庫SQL代碼的編寫應(yīng)滿足如下要求:

a)所使用的代碼須功能完善。應(yīng)具有清晰、整齊的格式,縮進(jìn)按照代碼層次對齊。并添加詳細(xì)的

注釋。

b)編寫過程中充分考慮執(zhí)行速度最優(yōu)的原則。禁止使用select*操作,所有操作必須明確指定列

名。

c)SQL代碼中應(yīng)用到的所有SQL關(guān)鍵字、保留字都需使用全大寫,不應(yīng)出現(xiàn)大小寫混合的方式。

7.4.2一致性保障

為了保證鄉(xiāng)村文旅數(shù)據(jù)倉庫的數(shù)據(jù)一致性,所使用的代碼應(yīng)滿足如下要求:

a)代碼應(yīng)支持可重復(fù)執(zhí)行,且保證每次執(zhí)行結(jié)果一致。

b)不應(yīng)使用DDL語句,不應(yīng)使用INSERTINTO的寫法。

c)與row_number/rank/dense_rank相關(guān)排序,應(yīng)確保每次排序結(jié)果一致。

d)若進(jìn)行兩表關(guān)聯(lián),關(guān)聯(lián)條件兩邊的數(shù)據(jù)類型應(yīng)保證一致。關(guān)聯(lián)條件應(yīng)做防傾斜處理,不應(yīng)使用

rand()。

7.5模型依賴規(guī)范

在鄉(xiāng)村文旅數(shù)據(jù)倉庫的開發(fā)過程中,除DWS層外,不應(yīng)直接依賴ODS層。

7.6數(shù)據(jù)質(zhì)量規(guī)范

鄉(xiāng)村文旅數(shù)據(jù)倉庫需要面向表進(jìn)行數(shù)據(jù)質(zhì)量校驗(yàn),對表規(guī)則進(jìn)行不同等級的校驗(yàn),從而對應(yīng)不同的

報(bào)警策略及任務(wù)處理策略。對于數(shù)據(jù)質(zhì)量的監(jiān)測指標(biāo)及其校驗(yàn)規(guī)則應(yīng)包含但不限于下表類目。

表4數(shù)據(jù)質(zhì)量監(jiān)測指標(biāo)

數(shù)據(jù)質(zhì)量監(jiān)測指標(biāo)數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則

12

T/OTOP-XXXXXX

字段平均值,相比1天、1周和1個(gè)月前的取該字段的平均值,同1天、7天和1個(gè)月的周期進(jìn)行比較,計(jì)算波動率。再與

波動率。閾值進(jìn)行比較,只要有一個(gè)不符合規(guī)則即可觸發(fā)報(bào)警。

字段匯總值,相比1天、1周和1個(gè)月前的取該字段的sum值,同1天、7天和1個(gè)月的周期進(jìn)行比較,計(jì)算波動率。再與閾

波動率。值進(jìn)行比較,只要有一個(gè)不符合規(guī)則即可觸發(fā)報(bào)警。

字段最小值,相比1天、1周和1個(gè)月前的取該字段的最小值,同1天、7天和1個(gè)月的周期進(jìn)行比較,計(jì)算波動率。再與

波動率。閾值進(jìn)行比較,只要有一個(gè)不符合規(guī)則即可觸發(fā)報(bào)警。

字段最大值,相比1天、1周和1個(gè)月前的取該字段的最大值,同1天、7天和1個(gè)月的周期進(jìn)行比較,計(jì)算波動率。再與

波動率。閾值進(jìn)行比較,只要有一個(gè)不符合規(guī)則即可觸發(fā)報(bào)警。

字段唯一值的個(gè)數(shù)。去重后的count數(shù)與一個(gè)期望數(shù)字進(jìn)行比較,即固定值校檢。

字段唯一值的個(gè)數(shù),相比1天、1周和1個(gè)

去重后的count數(shù)與1天、1周和1個(gè)月前進(jìn)行比較,即固定值校檢。

月前的波動率。

表行數(shù),相比1天、1周和1個(gè)月前的波動

同1天、1周和1個(gè)月前采集的表行數(shù)進(jìn)行比較,對比波動率。

率。

取該字段的空值數(shù)與固定值進(jìn)行比較。是否為空值,是通過轉(zhuǎn)換為SQL的isnull

字段空值個(gè)數(shù)。

進(jìn)行判斷。

字段空值個(gè)數(shù)/總行數(shù)??罩档膫€(gè)數(shù)與行總數(shù)的比率與一個(gè)固定值進(jìn)行比較。該固定值是一個(gè)小數(shù)。

字段重復(fù)值個(gè)數(shù)/總行數(shù)。重復(fù)值個(gè)數(shù)與總行數(shù)的比率與一個(gè)固定值進(jìn)行比較。

字段重復(fù)值個(gè)數(shù)??傂袛?shù)減去重后的個(gè)數(shù),即字段重復(fù)值的個(gè)數(shù)。重復(fù)值個(gè)數(shù)與固定值進(jìn)行比較。

字段唯一值個(gè)數(shù)/總行數(shù)。唯一值個(gè)數(shù)與總行數(shù)的比率與一個(gè)固定值進(jìn)行比較。

字段平均值,相比1天前的波動率。取該字段的平均值,與前1天進(jìn)行比較,計(jì)算出波動率后,再與閾值進(jìn)行比較。

字段匯總值,相比1天前的波動率。取該字段的sum值,與前1天進(jìn)行比較,計(jì)算出波動率后,再與閾值進(jìn)行比較。

字段最小值,相比1天前的波動率。取該字段的最小值,與前1天進(jìn)行比較,計(jì)算出波動率后,再與閾值進(jìn)行比較。

字段最大值,相比1天前的波動率。取該字段的最大值,與前1天進(jìn)行比較,計(jì)算出波動率后,再與閾值進(jìn)行比較。

取該字段的sum值,與上一周期進(jìn)行比較,計(jì)算出波動率后,再與閾值進(jìn)行比

字段匯總值,相比上一周期的波動率。

較,只要有一個(gè)不符合規(guī)則即可觸發(fā)報(bào)警。

取該字段的最小值,與上一周期進(jìn)行比較,計(jì)算出波動率后,再與閾值進(jìn)行比

字段最小值,相比上一周期的波動率。

較,只要有一個(gè)不符合規(guī)則即可觸發(fā)報(bào)警。

13

T/OTOP-XXXXXX

取該字段的最大值,與上一周期進(jìn)行比較,計(jì)算出波動率后,再與閾值進(jìn)行比

字段最大值,相比上一周期的波動率。

較,只要有一個(gè)不符合規(guī)則即可觸發(fā)報(bào)警。

字段分組,各離散點(diǎn)count值。字段分組,各離散點(diǎn)count值。

字段分組,各離散點(diǎn)count值,相比1天、

字段分組,各離散點(diǎn)count值,相比1天、1周和1個(gè)月前的波動率。

1周和1個(gè)月前的波動率。

字段分組,離散點(diǎn)總數(shù)。字段分組,離散點(diǎn)總數(shù)。

字段分組,離散點(diǎn)總數(shù),相比1天前的波

字段分組,離散點(diǎn)總數(shù),相比1天前的波動率。

動率。

相比上一周期,表大小不變(字節(jié))。相比上一周期,表大小不變(字節(jié))。

相比上一周期,表大小變化(字節(jié))。相比上一周期,表大小變化(字節(jié))。

相比上一周期,表行數(shù)變化。相比上一周期,表行數(shù)變化。

相比上一周期,表行數(shù)不變。相比上一周期,表行數(shù)不變。

表大小,相比上一周期的差值(字節(jié))。表大小,相比上一周期的差值(字節(jié))。

表行數(shù),相比上一周期的差值?;鶞?zhǔn)值為上一周期產(chǎn)生的分區(qū)的表行數(shù),比較當(dāng)天采集的表行數(shù),對比差值。

表行數(shù),相比1天前的差值。基準(zhǔn)值為昨天產(chǎn)生的分區(qū)的表行數(shù),比較當(dāng)天采集的表行數(shù),對比差值。

表的空間大小,相比1天前的差值(字節(jié))。表的空間大小,相比1天前的差值(字節(jié))。

監(jiān)控表大小的波動情況,基準(zhǔn)值為最近一天的額度樣本。大于閾值則進(jìn)行數(shù)據(jù)

表的空間大小,相比1天前的波動率。

質(zhì)量警告

監(jiān)控表大小的波動情況,基準(zhǔn)值為最近一周的額度樣本。大于閾值則進(jìn)行數(shù)據(jù)

表的空間大小,相比1周前的波動率。

質(zhì)量警告

監(jiān)控表大小的波動情況,基準(zhǔn)值為最近一月的額度樣本。大于閾值則進(jìn)行數(shù)據(jù)

表的空間大小,相比1個(gè)月前的波動率。

質(zhì)量警告

表行數(shù),相比最近7天平均值的波動率?;鶞?zhǔn)值是最近7天的表行數(shù)的平均值。

表行數(shù),相比最近30天平均值的波動率。基準(zhǔn)值是最近30天的表行數(shù)的平均值。

表行數(shù),相比1天前的波動率。基準(zhǔn)值為昨天產(chǎn)生的分區(qū)的表行數(shù),比較當(dāng)天采集的表行數(shù),對比波動率。

表行數(shù),相比1周前的波動率?;鶞?zhǔn)值為1周前產(chǎn)生的分區(qū)的表行數(shù),比較當(dāng)天采集的表行數(shù),對比波動率。

表行數(shù),相比1個(gè)月前的波動率。基準(zhǔn)值為1個(gè)月前產(chǎn)生的分區(qū)的表行數(shù),比較當(dāng)天采集的表行數(shù),對比波動率。

表行數(shù),相比1天、1周、1個(gè)月前和本月

與1天、1周、1個(gè)月前和本月1號采集的表行數(shù)進(jìn)行比較,對比波動率。

1號的波動率。

表行數(shù),相比上一周期的波動率?;鶞?zhǔn)值為上一周期產(chǎn)生的分區(qū)的表行數(shù),比較當(dāng)天采集的表行數(shù),對比波動率。

8統(tǒng)一表達(dá)

8.1一般規(guī)定

14

T/OTOP-XXXXXX

針對鄉(xiāng)村文旅數(shù)據(jù)關(guān)聯(lián)融合及商業(yè)智能分析問題,在突破文旅全業(yè)務(wù)流程多源異構(gòu)大數(shù)據(jù)關(guān)聯(lián)融合

技術(shù)的基礎(chǔ)上,圍繞景區(qū)、游客、產(chǎn)品三個(gè)參與主體的商業(yè)智能核心需求,分別開展智能營銷與服務(wù)、

精準(zhǔn)推薦、智能監(jiān)測與管理輔助等關(guān)鍵共性技術(shù)研發(fā),實(shí)現(xiàn)文旅全業(yè)務(wù)流程的商業(yè)智能分析,并整合實(shí)

現(xiàn)面向景區(qū)、游客、產(chǎn)品的智能分析工具與服務(wù)。故鄉(xiāng)村文旅多源異構(gòu)數(shù)據(jù)融合統(tǒng)一表達(dá)應(yīng)符合如下要

求:

a.鄉(xiāng)村文旅異構(gòu)數(shù)據(jù)網(wǎng)絡(luò)拓?fù)湫畔?yīng)根據(jù)數(shù)據(jù)采集信息單元,進(jìn)行統(tǒng)一的結(jié)構(gòu)化表達(dá)、存儲、交互

以及使用;

b.數(shù)據(jù)采集信息單元應(yīng)包括景區(qū)平臺基礎(chǔ)信息單元、業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元、爬蟲數(shù)據(jù)信息單元。

c.各信息單元的屬性可根據(jù)需要進(jìn)一步擴(kuò)展;

d.應(yīng)能夠?qū)⑾嚓P(guān)數(shù)據(jù)采集信息單元得到的原始數(shù)據(jù),納入依據(jù)融合準(zhǔn)則,進(jìn)行自動化關(guān)聯(lián)、相關(guān)、

估計(jì)、組合,從而實(shí)現(xiàn)面向經(jīng)營者、游客和管理者的智能分析;

8.2數(shù)據(jù)采集信息單元

數(shù)據(jù)采集信息單元應(yīng)滿足如下要求:

a.數(shù)據(jù)采集信息單元包含景區(qū)平臺基礎(chǔ)信息單元、業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元、爬蟲數(shù)據(jù)信息單元;

b.數(shù)據(jù)采集信息單元所收集的數(shù)據(jù)來源應(yīng)滿足表5,數(shù)據(jù)類型應(yīng)滿足表6。

c.數(shù)據(jù)采集信息單元應(yīng)盡可能面向景區(qū)、產(chǎn)品、游客分別從多個(gè)數(shù)據(jù)來源采集多種不同類型的數(shù)

據(jù)。

表5多源異構(gòu)數(shù)據(jù)采集來源表

面向?qū)ο髷?shù)據(jù)所屬單元具體來源

基本數(shù)據(jù)景區(qū)平臺基礎(chǔ)信息單元景區(qū)在平臺上的注冊數(shù)據(jù)

運(yùn)營數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元景區(qū)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)

旅游目的地(景

景區(qū)提供或從中國天氣網(wǎng)等渠

區(qū))天氣數(shù)據(jù)爬蟲數(shù)據(jù)信息單元

道爬取

投訴數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元景區(qū)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)

商品數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元景區(qū)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)

產(chǎn)品

商鋪數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元景區(qū)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)

基本數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元游客在平臺上的注冊數(shù)據(jù)

搜索行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺日志數(shù)據(jù)

瀏覽行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺日志數(shù)據(jù)

游客

購票行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺業(yè)務(wù)數(shù)據(jù)

消費(fèi)行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元景區(qū)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)

評論行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺業(yè)務(wù)數(shù)據(jù)

15

T/OTOP-XXXXXX

評論內(nèi)容數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺業(yè)務(wù)數(shù)據(jù)

收藏行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺業(yè)務(wù)數(shù)據(jù)

點(diǎn)贊行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺業(yè)務(wù)數(shù)據(jù)

分享行為數(shù)據(jù)業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元平臺業(yè)務(wù)數(shù)據(jù)

8.2.1景點(diǎn)基礎(chǔ)信息單元

景區(qū)平臺基礎(chǔ)信息單元應(yīng)滿足以下要求:

a)景區(qū)平臺基礎(chǔ)信息單元應(yīng)包含景區(qū)基本信息、景區(qū)客流量。

b)景區(qū)平臺基礎(chǔ)信息單元的詳細(xì)定義、數(shù)據(jù)要求應(yīng)符合表6、表7。

表6景區(qū)單元結(jié)構(gòu)表

字段名稱字段英文名類型描述選取原則

景區(qū)idspot_idbigint景區(qū)的唯一編號必選

景區(qū)名spot_namevarchar唯一編號景區(qū)的對應(yīng)名稱必選

開放時(shí)間open_timevarchar格式:HH:mm—HH:mm必選

簡介introtext景區(qū)介紹必選

唯一編號景區(qū)的對應(yīng)OTA平臺的網(wǎng)站

OTA鏈接OTA_linkvarchar必選

鏈接

表7景區(qū)客流量表

字段名字段英文名類型備注選取原則

景區(qū)idspot_idbigint關(guān)聯(lián)spots表必選

日期datedate以天為統(tǒng)計(jì)單元,格式:yyyy:MM:dd必選

游客數(shù)volumebigint該景區(qū)在日期下的游客數(shù)統(tǒng)計(jì)必選

8.2.2關(guān)注指數(shù)數(shù)據(jù)信息單元

網(wǎng)絡(luò)關(guān)注數(shù)據(jù)主要基于搜索引擎上網(wǎng)民對旅游目的地的關(guān)注指數(shù),應(yīng)符合以下要求:

a)景區(qū)指數(shù)數(shù)據(jù)應(yīng)符合表8要求;

b)搜索指數(shù)、媒體指數(shù)、資訊指數(shù)數(shù)據(jù)與實(shí)際景區(qū)相對應(yīng)關(guān)聯(lián)。

16

T/OTOP-XXXXXX

表8指數(shù)值單元字段屬性

字段名稱字段英文名類型描述選取原則

用戶相關(guān)檢索詞的記錄,一般為“景區(qū)

關(guān)鍵詞keywordvarchar必選

名(+延申關(guān)鍵詞)”

收集到的搜索指數(shù)所屬端口平臺,包括

系統(tǒng)platformvarchar可選

全系統(tǒng)、電腦端和移動端

日期datedate格式:yyyy:MM:dd必選

省份idprovince_idint全國及34個(gè)省份的記錄數(shù)據(jù)可選

關(guān)注指數(shù)值index_numbigint關(guān)鍵詞在日期當(dāng)天的搜索數(shù)據(jù)值必選

媒體指數(shù)值關(guān)鍵詞在日期當(dāng)天的媒體數(shù)據(jù)值必選

news_numbigint

資訊指數(shù)值關(guān)鍵詞在日期當(dāng)天的資訊指數(shù)值必選

feed_numbigint

8.2.3評論數(shù)據(jù)信息單元

社交數(shù)據(jù)信息單元主要基于第三方平臺的景區(qū)評論數(shù)據(jù),應(yīng)符合以下要求:

a)景區(qū)評論數(shù)據(jù)應(yīng)符合表9要求;

b)景區(qū)評論數(shù)據(jù)單元應(yīng)與發(fā)表評論的評論景區(qū)單元數(shù)據(jù)信息相關(guān)聯(lián),應(yīng)符合表10要求。

表9景區(qū)評論單元結(jié)構(gòu)表

字段名稱字段英文名類型描述選取原則

評論idreview_idbigint評論的唯一編號必選

景區(qū)idspot_idbigint景區(qū)的唯一編號必選

格式:yyyy:MM:dd

評論發(fā)布時(shí)間review_timedatetime必選

HH:mm:ss

點(diǎn)贊數(shù)like_numint評論下的點(diǎn)贊數(shù)記錄可選

17

T/OTOP-XXXXXX

評論中圖片數(shù)images_numint評論下的評論數(shù)記錄可選

總評分scorevarchar評論下的評分記錄可選

景色評分sight_scorevarchar評論下的景色評分記錄可選

趣味評分fun_scorevarchar評論下的趣味評分記錄可選

性價(jià)比評分cost_scorevarchar評論下的性價(jià)比評分記錄可選

評論內(nèi)容contenttext該條評論的具體內(nèi)容必選

表10景點(diǎn)與評論單元映射關(guān)系

字段名稱字段英文名類型備注選取原則

評論idreview_idbigint評論的唯一編號必選

景區(qū)idspot_idbigint景區(qū)的唯一編號必選

包括攜程、去哪兒、大眾

第三方系統(tǒng)platformvarchar(10)可選

點(diǎn)評、美團(tuán)等

評論數(shù)量comment_numint某平臺下的評論數(shù)量統(tǒng)計(jì)必選

8.2.4業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元

業(yè)務(wù)運(yùn)營數(shù)據(jù)信息單元分為鄉(xiāng)村文旅電商實(shí)時(shí)運(yùn)營基礎(chǔ)數(shù)據(jù)與游客相關(guān)實(shí)時(shí)電商分析數(shù)據(jù)。鄉(xiāng)村文

旅電商實(shí)時(shí)運(yùn)營基礎(chǔ)數(shù)據(jù)應(yīng)滿足以下要求:

a)鄉(xiāng)村文旅電商實(shí)時(shí)運(yùn)營基礎(chǔ)數(shù)據(jù)應(yīng)包含景區(qū)運(yùn)營數(shù)據(jù)、景區(qū)運(yùn)營數(shù)據(jù)、景區(qū)投訴數(shù)據(jù)、產(chǎn)品商

品數(shù)據(jù)、產(chǎn)品商鋪數(shù)據(jù);

b)鄉(xiāng)村文旅電商實(shí)時(shí)運(yùn)營基礎(chǔ)數(shù)據(jù)的具體模塊、計(jì)算指標(biāo)和詳細(xì)定義應(yīng)符合表11要求。

表11電商實(shí)時(shí)基礎(chǔ)運(yùn)營數(shù)據(jù)表

區(qū)域模塊指標(biāo)定義

運(yùn)營視實(shí)時(shí)數(shù)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論