交通運(yùn)輸系統(tǒng)工程 課件 第十一章 交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)

芒尸］第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)11.1

交通大數(shù)據(jù)概述盧盧l1ll3II交通大數(shù)據(jù)形態(tài)盲平賈，職需可飛暹盒需鄂罰！圈第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I11

.1 交

通大數(shù)據(jù)概述1- - 11 .1 .1 交

通大數(shù)據(jù)形態(tài)交通大數(shù)據(jù)

，是由

許多

不同

來源、類型和格式的數(shù)據(jù)組成的數(shù)據(jù)集。除了直接與交通運(yùn)行和管理相關(guān)的數(shù)據(jù)外，交通大數(shù)據(jù)還包括了許多其他行業(yè)和領(lǐng)域的數(shù)據(jù)。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I11

.1 交

通大數(shù)據(jù)概述1- - 11 .1.1 交

通大數(shù)據(jù)形態(tài)城市交通大數(shù)據(jù)可按照與交通管理和交通信息服務(wù)的關(guān)聯(lián)程度、數(shù)據(jù)類型、數(shù)據(jù)形式、數(shù)據(jù)產(chǎn)生和變化的頻率等不同角度進(jìn)行分類。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.1交通大數(shù)據(jù)概述1

-- 11 兒2

交通運(yùn)輸系統(tǒng)數(shù)據(jù)需求交通管理系統(tǒng)數(shù)據(jù)需求

：( 1 ) 交

通系統(tǒng)運(yùn)行狀態(tài)診斷

：道路交通可以分為斷面、路段、區(qū)段和路網(wǎng)四個(gè)層次，斷面、路段是構(gòu)成區(qū)段和路網(wǎng)的基礎(chǔ)，也是交

通狀態(tài)分析的基本單元。

第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.1交通大數(shù)據(jù)概述1

-- 11 兒2

交通運(yùn)輸系統(tǒng)數(shù)據(jù)需求交通管理系統(tǒng)數(shù)據(jù)需求

：(

2

)

交通需求管理與信息分析

：交通需求管理是在滿足資源和環(huán)境容量限制的條件下，通過各種管理手段，使交通需求和交通供給達(dá)到基本平衡，從而促進(jìn)城市的可持續(xù)發(fā)展。-n固們們一：：門，第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.1交通大數(shù)據(jù)概述1

-- 11 兒2

交通運(yùn)輸系統(tǒng)數(shù)據(jù)需求交通服務(wù)數(shù)據(jù)需求

：( 1 ) 個(gè)

性化交通信息服務(wù)

：

針

對城 市交

通、區(qū)域交通兩方面。(

2

)

交通誘導(dǎo)：

主要包括交通流數(shù)據(jù)、道路網(wǎng)絡(luò)數(shù)據(jù)、交通事件

數(shù)據(jù)、歷史數(shù)據(jù)、用戶數(shù)據(jù)五個(gè)方面的數(shù)據(jù)需求。

第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.1交通大數(shù)據(jù)概述1

-- 11 兒 3 交通領(lǐng)域數(shù)據(jù)資源道路交通

：

城市

交

通體系由道路交通是一個(gè)重要組成部分，根據(jù)道路的性質(zhì)

，可將其分為地面道路、快速路和高速公路三大類。在城市交通信息化發(fā)展的進(jìn)程中，由千建設(shè)、管理、運(yùn)維、技術(shù)等不同因素，這三類道路交通數(shù)據(jù)的類型、采集、存儲(chǔ)、處理、應(yīng)用等也體現(xiàn)出不同的特點(diǎn)。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.1交通大數(shù)據(jù)概述1

-- 11 兒 3 交通領(lǐng)域數(shù)據(jù)資源軌道交通：(

1

)

城市軌

道交通

：

城市軌 道交 通數(shù)據(jù)主 要分

為由車輛運(yùn)行產(chǎn)生的運(yùn)行控制數(shù)據(jù)和由運(yùn)營管理產(chǎn)生的業(yè)務(wù)數(shù)據(jù)兩方面。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.1交通大數(shù)據(jù)概述1

-- 11 兒 3 交通領(lǐng)域數(shù)據(jù)資源軌道交通：(

2

)

鐵路

：

與

城市交通密切相關(guān)的數(shù)據(jù)主要包括客運(yùn)與貨運(yùn)調(diào)度信息、列車時(shí)刻表信息、實(shí)際發(fā)車和到站時(shí)間、車次延誤信息、客流量和貨運(yùn)量信息等。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.1交通大數(shù)據(jù)概述1

-- 11 兒 3 交通領(lǐng)域數(shù)據(jù)資源航空交通：(

1

)

航空民

航

：

民

航是目 前

最高 效的國 際

城際 交

通運(yùn)輸方式。民航系統(tǒng)采集的數(shù)據(jù)種類繁多，已經(jīng)具備了大數(shù)據(jù)挖掘的基礎(chǔ)。民航信息化已經(jīng)成為民航行業(yè)發(fā)展的重要趨勢，其對千提高運(yùn)營效率、優(yōu)化服務(wù)體驗(yàn)、促進(jìn)行業(yè)創(chuàng)新等方面都具有重要作用。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.1交通大數(shù)據(jù)概述1

-- 11 兒 3 交通領(lǐng)域數(shù)據(jù)資源水運(yùn)交通

：

航

運(yùn)作

為水上運(yùn)輸?shù)娜轿活I(lǐng)域

，包括內(nèi)

河航

運(yùn)、沿海航運(yùn)和遠(yuǎn)洋航運(yùn)等主要業(yè)務(wù)，它涉及到客流和物流運(yùn)輸?shù)确矫妗Ｎ覈?jīng)過30多年航運(yùn)業(yè)的信息化建設(shè)和發(fā)展

，航運(yùn)智能化管理與服務(wù)取得了長足的進(jìn)步，“智慧航運(yùn)”的概念也逐漸嶄露頭角。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.1交通大數(shù)據(jù)概述

1

-- 11 兒 3 交通領(lǐng)域數(shù)據(jù)資源綜合交通樞紐

：

在城市 交

通系統(tǒng)中起著至關(guān)重要的作用

，其作為城市對外交通運(yùn)輸?shù)闹袠谐休d著重要的交通功能。綜合交通樞紐數(shù)據(jù)采集和信息匯聚模式可分為由綜合交通樞紐統(tǒng)一進(jìn)行數(shù)據(jù)采集和信息化工程建設(shè)、由綜合交通樞紐匯聚多個(gè)交通部門采集的數(shù)據(jù)和信息兩類。長沙黃花機(jī)場青島膠東機(jī)場第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)11.2

交通大數(shù)據(jù)組織與描述盧盧酗

.,,伽咄伊土星凹 劇肩恤

l第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.2

交

通大數(shù)據(jù)概述1

-- 11 .2.1交通大數(shù)據(jù)要素關(guān)系一般來說，一個(gè)要素可以

由

概念、

實(shí)例、

關(guān)系、

函數(shù)和公

理等五

種元素組

成

，即O

={C

I I

,

R

,

F

,

A}

,

其中O表示要素

，C

表

示

概

念(Concept) ,

I表示實(shí)例(

Instance) ,

R

表示關(guān)系(Relationship) ,

F表示函數(shù)

(

Function

) ,

A表示公理(Axiom)

。概念

(

Concept)實(shí)例

{Instance)要素關(guān)系

(Relati

onship)函數(shù)(

Function)公理

(Axiom)第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I- 11 .2.1交通大數(shù)據(jù)要素關(guān)系111.2

交

通大數(shù)據(jù)概述1

-(

1

)

概念

(

Concept

)

:交通要素的概念是廣義上的概念，可以是具體的概念，也可以是任務(wù)、功能、行為、策略、推理過程等。交通要素中的這些概念通常構(gòu)成一個(gè)分類層次。要素概念

{Concept

)實(shí)例

(Instance)關(guān)系

(Relationship)函數(shù)

(Function)公理

(Axio

m)第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I- 11 .2.1交通大數(shù)據(jù)要素關(guān)系111.2

交

通大數(shù)據(jù)概述1

-(

2

)

實(shí)例

(

Instance)

:實(shí)例是指屬千概念類的基本元素，即

某概

念

類所指的具體實(shí)體，特定領(lǐng)域的所有實(shí)例構(gòu)成的領(lǐng)域概念類在該領(lǐng)域中的指稱域。概念

(

Concept

)實(shí)例

(

Inst

an

ce)要素關(guān)系

(

Relationship

)函數(shù)

(

Function)公理

(

Axiom

)第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.2

交

通大數(shù)據(jù)概述1

-- 11 .2.1交通大數(shù)據(jù)要素關(guān)系(

3

)

關(guān)系

(Relationship

) :交通要素中的關(guān)系表示概念之間的一類關(guān)聯(lián)，典型的二元關(guān)聯(lián)如子類關(guān)系形成概念類的層次結(jié)構(gòu)

，一般情況下

用

R

:

C1?C2?

…

en表

示概念類Cl

?

C2?

…

Cn之間存在n元關(guān)系R。概念

(Conc

ept)實(shí)例

(

Instanc

e)要素關(guān)系

(

Relat

ionship

)函數(shù)

(

Function)公理

(

Axiom)第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.2

交

通大數(shù)據(jù)概述1

-(4

)

函數(shù)

(

Fu

n

ction

)- 11 .2.1交通大數(shù)據(jù)要素關(guān)系:函數(shù)是一種特殊的關(guān)系

，其中

，第n

個(gè)元素相 對千前

n

-1

個(gè)元素是唯一的。

可以理解為

e

n可以由C1?

C2 ?…

cn1-確定。 其中 ，函數(shù)

用F :C1?C2?…

c

n1- e

n表示。概念

(

Concept

)實(shí)例

(

Instance)要素關(guān)系

(

Relationship

)函數(shù)

(

Funct

io

n)公理

(

Axiom

)第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I- 11 .2.1交通大數(shù)據(jù)要素關(guān)系111.2

交

通大數(shù)據(jù)概述1

-(

5

)

公理

(

Axiom

)

:公理用千表示一些永真式，即無須證明或推理既可知其斷言為真，用來表示交通要素間最基本的相互語義邏輯的集合。概念

(

Concep

t)實(shí)例

(Instance)要素關(guān)系

(

Relationship

)函數(shù)

(

Function)公理

(

Ax

io

m

)、..·.-·、·--:--、---..-..-.?.

、..,--、-、0---

·...

-...

·-

、...、.

-.心·'、一,、.........、...勺..

,.,,,..

-..、介...、～...、乍s沒．，心

心女>

..

石“飛，......，......，第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I- 11 .2.1交通大數(shù)據(jù)要素關(guān)系111.2

交

通大數(shù)據(jù)概述1

-(

5

)

公理

(

Axiom

)

:在許多領(lǐng)域中，函數(shù)

之間

或關(guān)聯(lián)之間

也

存在著關(guān)聯(lián)或約束

，這些

約束

(

Res

triction

)

有時(shí)候也被視為公理的一部分。約束公理分為值約束

(

Value

Constraint

)

和基數(shù)約束

(

Cardinality

Constraint)兩種。要素概念

(

Co

ncept)實(shí)例

(

Instance)關(guān)系

(

Relationship

)約束公理值約束

(ValueConstraint)基數(shù)約束

(Cardinality

Constraint)函數(shù)

(

Fun

ctio

n)公理

(

Axio

m

)第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.2

交

通大數(shù)據(jù)概述1

-- 11 .2.1交通大數(shù)據(jù)要素關(guān)系交通要素中概念間的四種基本關(guān)系：i

n

s

tance-of表達(dá)概念的實(shí)例和

概念

之間的

關(guān)系

；part-of表達(dá)概念之間部分與整體的關(guān)系

；k

i

n

d

-o

f表達(dá)概念之間的繼承關(guān)系；attribute-of表達(dá)某個(gè)概念是另外一個(gè)概念的屬性?；娟P(guān)系part

-of

關(guān)系kind

-of

關(guān)系inst

ance-of關(guān)系att

rib

ute-o

f關(guān)系第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.2

交

通大數(shù)據(jù)概述1

-- 11 .2.1交通大數(shù)據(jù)要素關(guān)系(1) part-of關(guān)系

：，描述的是概念之間部分I,

B

)

表示

概念

A

是概念

Bp

a

rt-o

f關(guān)系也

可以

稱之為

member-of關(guān)系成員與整體的關(guān)系。通常使用part-of

(A的部分或

者概念

A

是概念B的

成員。基本關(guān)系p

art

-of關(guān)系kind

-of關(guān)系Binstance-of

關(guān)系att

ribut

e-of關(guān)系第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.2

交

通大數(shù)據(jù)概述1

-- 11 .2.1交通大數(shù)據(jù)要素關(guān)系(2) kind-of關(guān)系

：k

i

n

d

-o

f關(guān)系

又被稱為subClassOf關(guān)系

或is

-a

關(guān)系

，描述了概念之間典型的二元關(guān)系和上下位關(guān)系，用千指出事物之間在抽象概念上的類屬關(guān)系，是概念

之間的

邏輯層次分類結(jié)構(gòu)形成的基礎(chǔ)。kind-of(

A

,

B

)

表示概念A(yù)是概念B的子類。蕁Kind-of公交車出租車第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I- 11 .2.1交通大數(shù)據(jù)要素關(guān)系111.2

交

通大數(shù)據(jù)概述1

-(3) instance-of關(guān)系

：i

n

s

ta

n

ce-of

關(guān)系描述的是典型的概念與個(gè)體之間的二元關(guān)系，而個(gè)體則是來自實(shí)例集合的一個(gè)元素。instance-of

(a ,

A

)

表示個(gè)體a是概念A(yù)的一個(gè)實(shí)例。下圖表示個(gè)體

"100路公交車”

是概念 “公 交

車”的一個(gè)實(shí)例。三第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.2

交

通大數(shù)據(jù)概述1

-- 11 .2.1交通大數(shù)據(jù)要素關(guān)系(4) attribute-of關(guān)系

：a

t

tri b

u

te-o f關(guān)系

表明

的

是

屬

性概

念與其

對應(yīng)概

念的

關(guān)系，這種關(guān)系是

不可傳

遞的。

例如

A

是

B

的

腰

性概念

，B

是

C

的

腰

性概念

，A

未必

是C的屬性概念

，只有當(dāng)

A與B是attribute-of

的關(guān)系而

Al

是A的子概念（

子屬性）時(shí)

，Al

與B也具有attri

b

u

te-of

的

關(guān)系。p

a

rt-o

f關(guān)系attribute-of基本關(guān)系kind

-of

關(guān)系insta

nce

-o

f關(guān)系att

rib

ute

-of關(guān)系第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)I111.2

交

通大數(shù)據(jù)概述1

-- 11 .2.1交通大數(shù)據(jù)要素關(guān)系>在實(shí)際應(yīng)用中，不一定要嚴(yán)格地按照概念、實(shí)例、關(guān)系、函數(shù)、公理這五類元素來構(gòu)造交通要素。>同時(shí)概念之間的關(guān)系也不限于上面列出的四種基本關(guān)系，可以根據(jù)特定領(lǐng)域的具體情況定義相應(yīng)的關(guān)系，以滿足應(yīng)用的需要。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)- 11.2.2交通大數(shù)據(jù)元數(shù)據(jù)和數(shù)據(jù)資源描述方法城市交通大數(shù)據(jù)資源核心元數(shù)據(jù)的元數(shù)據(jù)實(shí)體及元數(shù)據(jù)元素需要用到的腰性描述包括

：

中

文名稱、 定義、 英文名 稱、 數(shù)

據(jù)

類型、值域、短名、注解。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)- 11.2.2交通大數(shù)據(jù)元數(shù)據(jù)和數(shù)據(jù)資源描述方法城市交通大數(shù)據(jù)資源核心元數(shù)據(jù)由10個(gè)元數(shù)據(jù)元素和9個(gè)元數(shù)據(jù)實(shí)體構(gòu)成

，其中

6

個(gè)為必選

，用字母M標(biāo)明；

1

3個(gè)

為可選

，用字母

O

標(biāo)明。19個(gè)城市交通大數(shù)據(jù)資源核心元數(shù)據(jù)基本名稱見下表。約束MMM。。序號I23456789名稱信息資源名稱信息資源發(fā)布日期信息資源摘要信息資源語種數(shù)據(jù)志說明信息資源提供方傭租釗f

氣息、關(guān)鍵字說明信息資源分類類型元數(shù)據(jù)元素 。元數(shù)據(jù)元素元數(shù)據(jù)元素 。元數(shù)據(jù)元素元數(shù)據(jù)元素元數(shù)據(jù)實(shí)體元數(shù)據(jù)實(shí)體 。元數(shù)據(jù)實(shí)體元數(shù)據(jù)實(shí)體 M。10在線資源鏈接地址元數(shù)據(jù)元素。M。。。M。ll信息資慨標(biāo)識(shí)符元數(shù)據(jù)元素12時(shí)間范圍信息元數(shù)據(jù)實(shí)體13空間表示信息元數(shù)據(jù)實(shí)體14坐標(biāo)系信息元數(shù)據(jù)實(shí)體15服務(wù)信息元數(shù)據(jù)實(shí)體16信息資源維護(hù)信息元數(shù)據(jù)實(shí)體17元數(shù)據(jù)標(biāo)識(shí)符元數(shù)據(jù)元素18元數(shù)據(jù)維護(hù)方元數(shù)據(jù)元素19元數(shù)據(jù)更新日期元數(shù)據(jù)元素第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)- 11.2.2交通大數(shù)據(jù)元數(shù)據(jù)和數(shù)據(jù)資源描述方法在進(jìn)行元數(shù)據(jù)擴(kuò)展時(shí)，可以

對核心 元

數(shù)

據(jù)進(jìn)行

擴(kuò)展

，包括

：>增加新的元數(shù)據(jù)元素和實(shí)體；>建立新的代碼表來代替值域?yàn)椤白杂晌谋尽钡默F(xiàn)有元數(shù)據(jù)元素的值域；>創(chuàng)建新的代碼表元素以擴(kuò)充值域?yàn)榇a表的元數(shù)據(jù)；戶對現(xiàn)有元數(shù)據(jù)進(jìn)行更嚴(yán)格的可選性限制和最大出現(xiàn)次數(shù)限制；>縮小現(xiàn)有元數(shù)據(jù)的值域。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)11.3

交通運(yùn)輸系統(tǒng)的大數(shù)據(jù)技術(shù)盧嚴(yán)盧-

砰心還摒詔L

歸．-『曰守怎l貫員只詔.盒守丙熾萬霄吼團(tuán)墨第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)1--

-

11.3.1交

通大數(shù)據(jù)技術(shù)問題數(shù)據(jù)質(zhì)量：>

數(shù)據(jù)的真實(shí)

性、完備性、自

洽

性是數(shù)據(jù)本身應(yīng)具有的

屬性

，這是保

證數(shù)據(jù)質(zhì)

量的基礎(chǔ)。>

高質(zhì)量的交通數(shù)據(jù)是進(jìn)行道路規(guī)劃與設(shè)計(jì)、交通信號優(yōu)化、交通信息發(fā)布等的基礎(chǔ)，同樣也是大數(shù)據(jù)分析的前提。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)1- -

-

11.3.1交

通大數(shù)據(jù)技術(shù)問題數(shù)據(jù)儲(chǔ)存：>傳統(tǒng)交通領(lǐng)域中許多存儲(chǔ)問題起源千以前缺乏統(tǒng)一的規(guī)劃和管理；>

以磁盤或磁帶為主的存儲(chǔ)方式無法滿足數(shù)據(jù)量過大的情況；> 要實(shí) 現(xiàn)統(tǒng) 一的 大數(shù) 據(jù)

平臺(tái) ，需要解決存儲(chǔ)上的兩個(gè)基本問題

：

數(shù)據(jù)來源的統(tǒng)一管理和數(shù)據(jù)容量的自由擴(kuò)展。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)1- -

-

11.3.1交

通大數(shù)據(jù)技術(shù)問題數(shù)據(jù)計(jì)算：>隨著城市仍在不斷發(fā)展，采集的交通類數(shù)據(jù)越來越多，已有的交通解決方案已逐漸無法滿足海量數(shù)據(jù)計(jì)算的需求；>交通領(lǐng)域的傳統(tǒng)技術(shù)方案難以實(shí)現(xiàn)跨區(qū)域、跨部門的交通管理系統(tǒng)集成和組合

，問題關(guān)

鍵是因

技術(shù)瓶頸

所致。匾第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)1--

-

11.3.1交

通大數(shù)據(jù)技術(shù)問題數(shù)據(jù)傳輸：>

大帶寬

和高擴(kuò)展能

力成為大數(shù)據(jù)時(shí)代用戶最主要的需求

；>交通領(lǐng)域現(xiàn)在正處千云計(jì)算和大數(shù)據(jù)建設(shè)的前期，根據(jù)以往經(jīng)驗(yàn)，做好城市交通大數(shù)據(jù)中心網(wǎng)絡(luò)的規(guī)劃，有利

千

應(yīng)對

將要

面對的網(wǎng)絡(luò)問題。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)1--

-

11.3.1交

通大數(shù)據(jù)技術(shù)問題數(shù)據(jù)格式：>

數(shù)據(jù)格式指的是以

一定編排方式將數(shù)據(jù)保存在文件或記錄中；>隨著交通信息獲取手段的不斷發(fā)展，存儲(chǔ)的交通數(shù)據(jù)格式也變得更加復(fù)雜；>

城市交通大數(shù)據(jù)的格式問題是數(shù)據(jù)分析需要面臨的永恒問題。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)1--

-

11.3.2交通大數(shù)據(jù)處理技術(shù)分布式儲(chǔ)存：文件系統(tǒng)>

目前，H

a

d

oo

p

分布式 (HadoopDistributed

FileSystem

,

HDFS

)

是一種較為流行的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)

，如

下圖

所示；Hadoop分布式文件系統(tǒng)是開源云計(jì)算軟件平臺(tái)Hadoop框架的底層實(shí)現(xiàn)部分

，具有

高

傳輸率和高 容錯(cuò)

性等特點(diǎn)。元數(shù)據(jù)（文fl

名、副本數(shù)...):/homelfoo

'date.

3....D[a1TeNodesI機(jī)

槳l第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)1- -

-

11.3.2交通大數(shù)據(jù)處理技術(shù)分布式計(jì)算：>為了實(shí)現(xiàn)交通數(shù)據(jù)的建模、時(shí)空索引、歷史數(shù)據(jù)的挖掘、交通數(shù)據(jù)的分布式處理和融合以及交通流動(dòng)態(tài)預(yù)測，大數(shù)據(jù)平臺(tái)需要擁有分布式計(jì)算能力

，即高

性能井行計(jì)算

模型MapReduce。(I

)

fw,/., 三三、飛'.)"",,,,((\

三,,,r:...｀

｀iP,

\Worker

'\

—.JT7L

、《廣It<(''(6)

\\TileInput

fileslntenned

iatefiles(onlocal

disks)Redu

ce

p加SC第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)-

-

11.3.2交通大數(shù)據(jù)處理技術(shù)1-分布式計(jì)算：A該模型簡化了復(fù)雜的數(shù)據(jù)處理計(jì)算過程，將數(shù)據(jù)處理過程分為Map階段和Reduce階段。.,,...-1

UserProgram,,,，，，(I)fork

"，，"，，I，，(6)\\TIICInput

filesMap

phasrIntermediatefiles(on

local

dis區(qū)）Reduce

pliase第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)1--

-

11.3.2交通大數(shù)據(jù)處理技術(shù)本地計(jì)算：>

本地計(jì)算是一個(gè)傳統(tǒng)的

以數(shù)據(jù)庫為中心的計(jì)算模式；>本地計(jì)算把所需要計(jì)算的資源全部傳輸?shù)接?jì)算中心的計(jì)算機(jī)上進(jìn)行處理

，是集中式多任務(wù)管理；> 本

地計(jì)算更適用千處理小規(guī)模數(shù)據(jù)和低井發(fā)計(jì)算。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)-

-

11.3.3交

通大數(shù)據(jù)可視化技術(shù)1-數(shù)據(jù)檢索：所示 ，通過逐 層查找O

racle檢索是使用B樹的形式進(jìn)行的，如下圖最終找到所需的記錄；H

D

FS的數(shù)據(jù)檢索模式主要依賴千名稱節(jié)點(diǎn)的元數(shù)據(jù)

，元數(shù)

據(jù)包第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)1- -

-

11.3.3交

通大數(shù)據(jù)可視化技術(shù)分類分析：目

的

就是 將大

量的連續(xù)型、復(fù)合型數(shù)據(jù)根據(jù)內(nèi)在數(shù)據(jù)特征劃分成若干個(gè)類別或組別；聚類分析：

將數(shù) 據(jù)分 成不同 的

組

，井使組與組 之間的 差距

盡可能 大，組內(nèi)數(shù)據(jù)的差距盡可能小的過程。------—---第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)1--

-

11.3.3交

通大數(shù)據(jù)可視化技術(shù)關(guān)聯(lián)分析：在交通領(lǐng)域中，灰色

關(guān)聯(lián)分析(

G

rey RelationalAnalysis,

GRA)技術(shù)可以被用千分析多種交通數(shù)據(jù)等?；疑P(guān)聯(lián)分析的基本思想是根據(jù)序列曲線幾何形狀的相似程度來判斷其聯(lián)系是否緊密，曲線越接近，相應(yīng)序列之間關(guān)聯(lián)度就越大，反之就越小。12令abC｀10.80.60.40.20'-1

2-10-

8-6-4-20第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)1- -

-

11.3.3交

通大數(shù)據(jù)可視化技術(shù)特異群組分析：特異群組分析是一種新的數(shù)據(jù)挖掘任務(wù)

，通過利用特異群組挖掘(Abnormal

Group

Mining

,

AGM

)

算法對數(shù)據(jù)進(jìn)行分析處理

，找出數(shù)據(jù)中有別千大多數(shù)數(shù)據(jù)的一群數(shù)據(jù)。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)11.4

交通運(yùn)輸系統(tǒng)數(shù)據(jù)服務(wù)盧飛應(yīng) 從隨濁囡

l

置言而，；;壓

·芯

吁餅

I

置第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)1--

-

11.4.1交

通規(guī)

劃建設(shè)數(shù)據(jù)服務(wù)公共交通數(shù)據(jù)服務(wù)：>

公共交通的空間分布結(jié)構(gòu)主要包括公交線路的布局和站點(diǎn)的設(shè)置。>公交線路的布局應(yīng)該根據(jù)城市中心城區(qū)和周邊城區(qū)的交通需求進(jìn)行合理的規(guī)劃；公交站點(diǎn)的設(shè)置也需要根據(jù)市民的需求和出行習(xí)慣進(jìn)行科學(xué)合理的規(guī)劃。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)1- -

-

11.4.1交

通規(guī)

劃建設(shè)數(shù)據(jù)服務(wù)綜合交通數(shù)據(jù)服務(wù)：>綜合交通數(shù)據(jù)服務(wù)是指基千交通運(yùn)輸系統(tǒng)中多種數(shù)據(jù)來源，通過綜合分析和處理，提供全面、準(zhǔn)確、實(shí)時(shí)的交通信息和服務(wù)。>這種服務(wù)不僅提供了交通流數(shù)據(jù)，還包括道路網(wǎng)絡(luò)數(shù)據(jù)、交通事件數(shù)據(jù)、歷史數(shù)據(jù)和用戶數(shù)據(jù)等方面的信息。第十一章交通運(yùn)輸系統(tǒng)大數(shù)據(jù)技術(shù)1- -

-

11.4.2交通管理數(shù)據(jù)服務(wù)在交通管理方面，城市交通大數(shù)據(jù)服務(wù)主要體現(xiàn)在：交通出行需求管理交通系統(tǒng)運(yùn)行管理,扯,飛·、｀疇．.．-爭

｀;,,;-·．.、.．:．，

-．l．'.,",．-．?知心

:.之、，書.·:

．平:,-·?·.-·,?.,臚_,.?.,.·..

.?..,--J??

..,?.

.---.---

-，合”

、飛

嚴(yán)｀．...\;:.

':'I夭:-

?.

..、...、

=·'一心..,.·'--...._:,

..．?:身,t·，'"已.·..

,..

、.-

-

?-

?-...;

·\

.,.._-\令 .,

乒－

－=--.、、C

,r志,-'-氣之-

-._..

??.、.

·-.:、-?`、-.--?.

.-

---....

.?.?

?·?

.會(huì)一.?己·

偏._s·??.甸．--..嘈.................."

-、...,,

,.-,

'..、、

.---｀

．．．，..

..．

·.

..畸---

-.、、

.....

?'-...

-．

．．、，．．-、、 一.-.

.?、一..

．，...乙｀

｀一?...-