數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT

數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第1頁(yè)。數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第2頁(yè)。4.1數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格

的基本特征數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第3頁(yè)。數(shù)據(jù)流風(fēng)格的直觀理解Adataflowsystemisoneinwhich–theavailabilityofdatacontrolstheomputation(數(shù)據(jù)的可用性決定著處理<計(jì)算單元>是否執(zhí)行)–thestructureofthedesignisdominatedbyorderlymotionofdatafromprocesstoprocess(系統(tǒng)結(jié)構(gòu)：數(shù)據(jù)在各處理之間的有序移動(dòng))–inapuredataflowsystem,thereisnootherinteractionbetweenprocesses(在純數(shù)據(jù)流系統(tǒng)中，處理之間除了數(shù)據(jù)交換，沒有任何其他的交互)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第4頁(yè)。數(shù)據(jù)流風(fēng)格的基本構(gòu)件(COMPONENT)Components:dataprocessingcomponents(基本構(gòu)件：數(shù)據(jù)處理)–Interfacesareinputportsandoutputports(構(gòu)件接口：輸入端口和輸出端口)–Inputportsreaddata;outputportswritedata(從輸入端口讀取數(shù)據(jù)，向輸出端口寫入數(shù)據(jù))–Computationalmodel:readdatafrominputports,compute,writedatatooutputports(計(jì)算模型：從輸入端口讀數(shù)，經(jīng)過計(jì)算/處理，然后寫到輸出端口)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第5頁(yè)。數(shù)據(jù)流風(fēng)格的連接件(CONNECTOR)Connectors:dataflow(datastream)(連接件：數(shù)據(jù)流)–Uni-directional,usuallyasynchronous,buffered(單向、通常是異步、有緩沖)–Interfacesarereaderandwriterroles(接口角色：reader和writer)–Computationalmodel(計(jì)算模型:把數(shù)據(jù)從一個(gè)處理的輸出端口傳送到另一個(gè)處理的輸入端口)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第6頁(yè)。數(shù)據(jù)流風(fēng)格的拓?fù)浣Y(jié)構(gòu)(TOPOLOGY)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第7頁(yè)。數(shù)據(jù)流VS.控制流在vonNeumann的計(jì)算機(jī)體系結(jié)構(gòu)中，有控制流與數(shù)據(jù)流之分；–

控制流(Controlflow)–

數(shù)據(jù)流(Dataflow)討論：二者有什么區(qū)別和聯(lián)系？能否分別舉出幾個(gè)例子？數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第8頁(yè)。thesubsequentpipelineelement–把系統(tǒng)分解為幾個(gè)序貫的處理步驟，這些步驟之間通過數(shù)據(jù)流連接，一個(gè)步驟的輸出是另一個(gè)步驟的輸入；(可使用數(shù)據(jù)緩沖區(qū)臨時(shí)保存數(shù)據(jù)流)數(shù)據(jù)流的分類：推式與拉式–Inputportsreaddata;outputportswritedata(從輸入端口讀取數(shù)據(jù)，向輸出端口寫入數(shù)據(jù))–絕大部分處理時(shí)間消耗在格式轉(zhuǎn)換上–Inputportsreaddata;outputportswritedata(從輸入端口讀取數(shù)據(jù)，向輸出端口寫入數(shù)據(jù))4批處理與管道-過濾器的比較–rawbytestream–當(dāng)需要增量地顯示改變時(shí)，這個(gè)問題尤為嚴(yán)重；采用拉式策略的被動(dòng)過濾器–Pull:datasinkpullsdatafromupstreamdirection(拉式：隨后的過濾器從管道中拉出所需數(shù)據(jù))pushesinputdataintothefilter.–Uni-directional,usuallyasynchronous,buffered(單向、通常是異步、有緩沖)Eachsteprunstocompletionbeforenextstepstarts(每一步必須在前一步結(jié)束后才能開始)–transformdatabychangingitsrepresentation(通過改變數(shù)據(jù)表現(xiàn)方式來轉(zhuǎn)化數(shù)據(jù))–compatibilityandreusability"everythingisastream"因?yàn)樵跀?shù)據(jù)傳輸上沒有通用的標(biāo)準(zhǔn)，每個(gè)過濾器都增加了解析和合成數(shù)據(jù)的工作，這樣就導(dǎo)致了系統(tǒng)性能下降，并增加了編寫過濾器的復(fù)雜性。兩種典型的數(shù)據(jù)流風(fēng)格Pipe-and-Filter(管道-過濾器)BatchSequential(批處理)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第9頁(yè)。4.2管道與過濾器風(fēng)格

PIPE-AND-FILTER數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第10頁(yè)。從“自來水管道系統(tǒng)”看Pipe-And-Filter數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第11頁(yè)?；径x語(yǔ)境：數(shù)據(jù)源源不斷的產(chǎn)生，系統(tǒng)需要對(duì)這些數(shù)據(jù)進(jìn)行若干處理(分析、計(jì)算、轉(zhuǎn)換等)。解決方案：–

把系統(tǒng)分解為幾個(gè)序貫的處理步驟，這些步驟之間通過數(shù)據(jù)流連接，一個(gè)步驟的輸出是另一個(gè)步驟的輸入；–

每個(gè)處理步驟由一個(gè)過濾器構(gòu)件(Filter)實(shí)現(xiàn)；–

處理步驟之間的數(shù)據(jù)傳輸由管道(Pipe)負(fù)責(zé)。每個(gè)處理步驟(過濾器)都有一組輸入和輸出，過濾器從管道中讀取輸入的數(shù)據(jù)流，經(jīng)過內(nèi)部處理，然后產(chǎn)生輸出數(shù)據(jù)流并寫入管道中。數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第12頁(yè)。Pipe-And-Filter風(fēng)格的基本構(gòu)成Components:Filters—processdatastreams(構(gòu)件：過濾器，處理數(shù)據(jù)流)–Afilterencapsulatesaprocessingstep(algorithmorcomputation)(一個(gè)過濾器封裝了一個(gè)處理步驟)–Datasourceanddatasinkareparticularfilters(數(shù)據(jù)源點(diǎn)和數(shù)據(jù)終止點(diǎn)可以看作是特殊的過濾器)Connectors:Apipeconnectsasourceandasinkfilter(連接件：管道，連接一個(gè)源和一個(gè)目的過濾器)–Pipesmovedatafromafilteroutputtoafilterinput(轉(zhuǎn)發(fā)數(shù)據(jù)流)–Dataisastreamof“objects”(數(shù)據(jù)是特定類型的“對(duì)象”流)Topology:Connectorsdefinedataflowgraph(連接器定義了數(shù)據(jù)流圖，形成拓?fù)浣Y(jié)構(gòu))數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第13頁(yè)。1過濾器(Filter)Incrementallytransformsomeofthesourcedataintosinkdata(目標(biāo)：將源數(shù)據(jù)變換成目標(biāo)數(shù)據(jù))Streamtostreamtransformation(從“數(shù)據(jù)流”“數(shù)據(jù)流”的變換)–enrichdatabycomputationandaddinginformation(通過計(jì)算和增加信息來豐富數(shù)據(jù))–refinebydistillingdataorremovingirrelevantdata(通過濃縮和刪減來精煉數(shù)據(jù))–transformdatabychangingitsrepresentation(通過改變數(shù)據(jù)表現(xiàn)方式來轉(zhuǎn)化數(shù)據(jù))–decomposedatatomultiplestreams(將一個(gè)數(shù)據(jù)流分解為多個(gè)數(shù)據(jù)流)–mergemultiplestreamsintoonestream(將多個(gè)數(shù)據(jù)流合并為一個(gè)數(shù)據(jù)流)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第14頁(yè)。過濾器對(duì)數(shù)據(jù)流的五種變換類型數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第15頁(yè)。過濾器讀取與處理數(shù)據(jù)流的方式Incrementallytransformdatafromthesourcetothesink(遞增的讀取和消費(fèi)數(shù)據(jù)流)–

在輸入被完全消費(fèi)之前，輸出便產(chǎn)生了。數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第16頁(yè)。過濾器的一些基本特征Filtersareindependententities,i.e.,–nocontextinprocessingstreams(無上下文信息)–nostatepreservationbetweeninstantiations(不保留狀態(tài))–noknowledgeofupstream/downstreamfilters(對(duì)其他過濾器無任何了解)–collectionscanbeusedtobufferthedatapassedthroughpipes:files,arrays,dictionaries,trees,etc.(可使用數(shù)據(jù)緩沖區(qū)臨時(shí)保存數(shù)據(jù)流)?蓄水池?cái)?shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第17頁(yè)。2管道(Pipe)Movedatafromafilter’soutputtoafilter’sinput(ortoadeviceorfile)(作用：在過濾器之間傳送數(shù)據(jù))–Onewayflowfromonedatasourcetoonedatasink(單向流)–Apipemayimplementabuffer(可能具有緩沖區(qū))–Pipesformdatatransmissiongraph(管道形成傳輸圖)不同的管道中流動(dòng)的數(shù)據(jù)流，具有不同的數(shù)據(jù)格式(Dataformat)。原因：數(shù)據(jù)在流過每一個(gè)過濾器時(shí)，被過濾器進(jìn)行了豐富、精練、轉(zhuǎn)換、融合、分解等操作，因而發(fā)生了變化。數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第18頁(yè)。管道中流動(dòng)的數(shù)據(jù)類型Pipebetweentwothreadsofasingleprocess(e.g.,JavaStreams)–StreammaycontainreferencestosharedlanguageobjectsPipebetweentwoprocessesonasinglehostcomputer(e.g.,UNIXNamedPipes)–streammaycontainreferencestosharedOSobjects(e.g.,files)Pipebetweentwoprocessesinadistributedsystem(e.g.,InternetSockets)–Streamcontentslimitedto"rawbytes"–Protocolsimplementhigh-levelabstractions(e.g.,passpipesasreference,passCOBAobjectreferences)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第19頁(yè)。管道中流動(dòng)的數(shù)據(jù)類型Tradeoff–compatibilityandreusability"everythingisastream"–vs.typesafety"streamofPersons,streamofTexts"Popularstreamdataformats–rawbytestream–streamofASCIItextlineswithlineseparator–recordstream(recordattributesarestrings,separatedbytabulatororcomma)–nestedrecordstream(recordattributeisinturnasequence)–streamrepresentingatreetraversal(innernodes/leafnodesenumeratedinpreorder,postorder,inorder)–typedstreamwithaheadercontainingitstypeinformation(e.g.,columnheadings)–eventstreams(eventnameandeventarguments)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第20頁(yè)。Pipebetweentwoprocessesonasinglehostcomputer(e.因?yàn)樵跀?shù)據(jù)傳輸上沒有通用的標(biāo)準(zhǔn)，每個(gè)過濾器都增加了解析和合成數(shù)據(jù)的工作，這樣就導(dǎo)致了系統(tǒng)性能下降，并增加了編寫過濾器的復(fù)雜性。Components(processingsteps)areindependentprograms(基本構(gòu)件：獨(dú)立的應(yīng)用程序)在vonNeumann的計(jì)算機(jī)體系結(jié)構(gòu)中，有控制流與數(shù)據(jù)流之分；–Push/pull:afilterisactivelypullingfromupstream,computing,andpushingdownstream(推拉式：過濾器以循環(huán)的方式，從管道中拉出其輸入數(shù)據(jù)，并將其處理產(chǎn)生的數(shù)據(jù)壓入后續(xù)管道)Filtersareindependententities,i.等待狀態(tài)：表示過濾器的輸入數(shù)據(jù)隊(duì)列為空，此時(shí)過濾器等待，當(dāng)有新的數(shù)據(jù)輸入時(shí)，過濾器處于處理狀態(tài)。typesafety"streamofPersons,streamofTexts"–typedstreamwithaheadercontainingitstypeinformation(e.2管道與過濾器風(fēng)格

PIPE-AND-FILTER–nocontextinprocessingstreams(無上下文信息)–Push:datasourcepushesdataindownstreamdirection(推式：前面的過濾器把新產(chǎn)生的數(shù)據(jù)推入管道)–Protocolsimplementhigh-levelabstractions(e.pushesinputdataintothefilter.批處理與管道-過濾器的比較管道-過濾器風(fēng)格的一些變化形式數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第21頁(yè)。數(shù)據(jù)流的分類：推式與拉式Question:whatistheforcethatmakedataflow?(是什么力量推動(dòng)數(shù)據(jù)在管道中流動(dòng)？)Threechoice,allwithforceemanatingfromfilters:–Push:datasourcepushesdataindownstreamdirection(推式：前面的過濾器把新產(chǎn)生的數(shù)據(jù)推入管道)–Pull:datasinkpullsdatafromupstreamdirection(拉式：隨后的過濾器從管道中拉出所需數(shù)據(jù))–Push/pull:afilterisactivelypullingfromupstream,computing,andpushingdownstream(推拉式：過濾器以循環(huán)的方式，從管道中拉出其輸入數(shù)據(jù)，并將其處理產(chǎn)生的數(shù)據(jù)壓入后續(xù)管道)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第22頁(yè)。過濾器的分類：主動(dòng)與被動(dòng)Activefilter:driversthedataflowonthepipes.(主動(dòng)過濾器：驅(qū)動(dòng)數(shù)據(jù)流動(dòng),pull+push)Passivefilter:isdrivenbythedataflowonthe(input/output)pipes.(被動(dòng)過濾器：被管道中的輸入或輸出數(shù)據(jù)流所驅(qū)動(dòng))Attention:系統(tǒng)中至少有一個(gè)主動(dòng)過濾器(可以來自外部環(huán)境，如用戶輸入)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第23頁(yè)。被動(dòng)過濾器所采用的兩種策略PullStrategy:Thefilterisapassiveobjectthatisdrivenbythesubsequentpipelineelementthatpullsoutputdatafromthefilter;(采用拉式策略的被動(dòng)過濾器：該過濾器不會(huì)主動(dòng)執(zhí)行，而是在后續(xù)過濾器的“拉”動(dòng)作的驅(qū)動(dòng)下才執(zhí)行)PushStrategy:Thefilterisapassiveobjectthatisdrivenbythepreviouspipelineelementthatpushesinputdataintothefilter.(采用推式策略的被動(dòng)過濾器：該過濾器不會(huì)主動(dòng)執(zhí)行，而是在前續(xù)過濾器的“推”動(dòng)作的驅(qū)動(dòng)下才執(zhí)行)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第24頁(yè)。采用推式策略的被動(dòng)過濾器數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第25頁(yè)。采用拉式策略的被動(dòng)過濾器數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第26頁(yè)。一個(gè)混合型的管道-過濾器系統(tǒng)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第27頁(yè)。一個(gè)混合型的管道-過濾器系統(tǒng)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第28頁(yè)。帶有緩沖區(qū)的混合型管道-過濾器系統(tǒng)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第29頁(yè)。帶有緩沖區(qū)的混合型管道-過濾器系統(tǒng)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第30頁(yè)。過濾器的狀態(tài)停止?fàn)顟B(tài):表示過濾器處于待啟動(dòng)狀態(tài)，當(dāng)外部啟動(dòng)過濾器后，過濾器處于處理狀態(tài)。處理狀態(tài)：表示過濾器正處理輸入數(shù)據(jù)隊(duì)列中的數(shù)據(jù)。等待狀態(tài)：表示過濾器的輸入數(shù)據(jù)隊(duì)列為空，此時(shí)過濾器等待，當(dāng)有新的數(shù)據(jù)輸入時(shí)，過濾器處于處理狀態(tài)。數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第31頁(yè)。Pipe-And-Filter風(fēng)格的典型應(yīng)用數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第32頁(yè)。Pipe-And-Filter風(fēng)格的典型應(yīng)用Complier(scan,parse,generatecode,..)(編譯器)Unixpipes(Unix管道)Imageprocessing(圖像處理)Signalprocessing(信號(hào)處理)Voiceandvideostreaming(聲音與圖像處理)…數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第33頁(yè)。管道-過濾器風(fēng)格的例子數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第34頁(yè)。管道-過濾器風(fēng)格的例子：UnixShell數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第35頁(yè)。管道-過濾器風(fēng)格的例子：UnixShell數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第36頁(yè)。管道-過濾器風(fēng)格的例子：編譯器(1)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第37頁(yè)。管道-過濾器風(fēng)格的例子：編譯器(2)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第38頁(yè)。管道-過濾器風(fēng)格的優(yōu)點(diǎn)使得系統(tǒng)中的構(gòu)件具有良好的隱蔽性和高內(nèi)聚、低耦合的特點(diǎn)；允許設(shè)計(jì)者將整個(gè)系統(tǒng)的輸入/輸出行為看成是多個(gè)過濾器的行為的簡(jiǎn)單合成；支持軟件復(fù)用：–

只要提供適合在兩個(gè)過濾器之間傳送的數(shù)據(jù)，任何兩個(gè)過濾器都可被連接起來；系統(tǒng)維護(hù)和增強(qiáng)系統(tǒng)性能簡(jiǎn)單：–

新的過濾器可以添加到現(xiàn)有系統(tǒng)中來，舊的可以被改進(jìn)的過濾器替換掉；允許對(duì)一些如吞吐量、死鎖等屬性的分析；支持并行執(zhí)行：–

每個(gè)過濾器是作為一個(gè)單獨(dú)的任務(wù)完成，因此可與其它任務(wù)并行執(zhí)行。數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第39頁(yè)。管道-過濾器風(fēng)格的缺點(diǎn)通常導(dǎo)致進(jìn)程成為批處理的結(jié)構(gòu)–

這是因?yàn)殡m然過濾器可增量式地處理數(shù)據(jù)，但它們是獨(dú)立的，所以設(shè)計(jì)者必須將每個(gè)過濾器看成一個(gè)完整的從輸入到輸出的轉(zhuǎn)換；不適合處理交互的應(yīng)用–

當(dāng)需要增量地顯示改變時(shí)，這個(gè)問題尤為嚴(yán)重；因?yàn)樵跀?shù)據(jù)傳輸上沒有通用的標(biāo)準(zhǔn)，每個(gè)過濾器都增加了解析和合成數(shù)據(jù)的工作，這樣就導(dǎo)致了系統(tǒng)性能下降，并增加了編寫過濾器的復(fù)雜性。–

絕大部分處理時(shí)間消耗在格式轉(zhuǎn)換上數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第40頁(yè)。4.3順序批處理風(fēng)格

BatchSequentialStyle數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第41頁(yè)。批處理風(fēng)格的直觀結(jié)構(gòu)將用戶輸入的紙帶上的數(shù)據(jù)寫入磁帶將磁帶作為計(jì)算設(shè)備的輸入，進(jìn)行計(jì)算，得到輸出結(jié)果打印計(jì)算結(jié)果數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第42頁(yè)。批處理風(fēng)格的直觀結(jié)構(gòu)數(shù)據(jù)流體系結(jié)構(gòu)風(fēng)格完整版PPT全文共49頁(yè)，當(dāng)前為第43頁(yè)?；径xProcessings