MapReduce下基于Deadline作業(yè)調(diào)度的研究的開題報告

MapReduce下基于Deadline作業(yè)調(diào)度的研究的開題報告一、選題背景和意義：云計(jì)算平臺作為計(jì)算機(jī)科學(xué)領(lǐng)域中的一個熱門課題，已在各種應(yīng)用中廣泛運(yùn)用。MapReduce作為云計(jì)算領(lǐng)域的一種典型編程和計(jì)算模式，在高容錯性，高容錯性和較低的計(jì)算資源成本等方面擁有較大的優(yōu)勢。然而，MapReduce系統(tǒng)資源調(diào)度問題始終是制約其應(yīng)用效果的一個重要因素。在現(xiàn)實(shí)應(yīng)用中，許多應(yīng)用的計(jì)算任務(wù)必須在一定的時間內(nèi)完成，如實(shí)時計(jì)算、在線高性能服務(wù)等。在這種情況下，不同的任務(wù)優(yōu)先級和任務(wù)完成截止時間的預(yù)設(shè)成為了調(diào)度器必須解決的問題。因此，如何在保證系統(tǒng)資源高效利用的基礎(chǔ)上，滿足不同任務(wù)的截止時間和優(yōu)先級需求，就成為了一個重要而復(fù)雜的研究問題。綜上所述，本文將結(jié)合實(shí)時計(jì)算任務(wù)調(diào)度的特點(diǎn)，研究基于Deadline的作業(yè)調(diào)度機(jī)制，以期提高M(jìn)apReduce系統(tǒng)的應(yīng)用效率。二、國內(nèi)外研究現(xiàn)狀：目前，國內(nèi)外學(xué)者已在Deadline的任務(wù)調(diào)度機(jī)制上做了一些有價值的研究：2009年，F(xiàn)elipeAraujo等人針對數(shù)據(jù)平臺作業(yè)系統(tǒng)中Deadline的特點(diǎn)，提出了基于組的設(shè)計(jì)思路，將同一個業(yè)務(wù)的任務(wù)歸為一個組，并指定一個截止時間，以完成整個業(yè)務(wù)需求為目標(biāo)。此外，他們還提出了一種新的調(diào)度方法，其中包括分配任務(wù)給組以及在完成業(yè)務(wù)需求時平衡task-leveldeadines和group-leveldeadlines的調(diào)度機(jī)制；2014年，學(xué)者Jiangwei等人和Iijima等人分別研究了基于Deadline的數(shù)據(jù)集群調(diào)度問題，提出了基于一個假設(shè)和數(shù)值分析的解決方案，以實(shí)現(xiàn)Job的加速和系統(tǒng)吞吐量的提高；2016年，學(xué)者H.Chen和P.Liu在他們的論文中提出了一種Deadline，以實(shí)現(xiàn)高處理延遲環(huán)境中的工作負(fù)載。其中他們考慮了員工時間、任務(wù)開銷、和部分任務(wù)突然的到達(dá)等因素。以上研究表明，在Deadline任務(wù)調(diào)度機(jī)制中最主要的難點(diǎn)是如何通過資源分配來滿足任務(wù)要求的Deadline。因此，一個合理的資源分配算法會是關(guān)鍵和體現(xiàn)系統(tǒng)綜合性能的表現(xiàn)。三、研究內(nèi)容與意義：3.1研究內(nèi)容：本文將挖掘MapReduce系統(tǒng)在Deadline任務(wù)調(diào)度機(jī)制下的性能瓶頸，通過設(shè)計(jì)有效的資源分配機(jī)制，以滿足系統(tǒng)任務(wù)的Deadline需求。為此，本文將圍繞以下幾個方向進(jìn)行深入研究：1.分析少量任務(wù)調(diào)度和多任務(wù)并發(fā)調(diào)度兩種場景下的MapReduce性能表現(xiàn)；2.對MapReduce架構(gòu)進(jìn)行分析和改進(jìn)，以降低調(diào)度開銷；3.設(shè)計(jì)并實(shí)現(xiàn)一種基于Deadline作業(yè)調(diào)度機(jī)制的新算法，以滿足MapReduce應(yīng)用的不同要求；4.在云計(jì)算平臺上進(jìn)行綜合實(shí)驗(yàn)，以驗(yàn)證所提出算法的有效性。3.2研究意義：本文所研究的基于Deadline的MapReduce任務(wù)調(diào)度機(jī)制，在實(shí)時計(jì)算任務(wù)處理方面具有重要應(yīng)用場景，如在線媒體處理、金融計(jì)算、物流預(yù)測等。目前，在各種應(yīng)用中都離不開MapReduce處理模式，以實(shí)現(xiàn)數(shù)據(jù)處理和分析的快速執(zhí)行。如何合理地利用MapReduce系統(tǒng)資源，完成重要任務(wù)在規(guī)定時間內(nèi)完成，將對實(shí)時計(jì)算和大數(shù)據(jù)分析的質(zhì)量和效率產(chǎn)生重要影響。本文的研究結(jié)果，將具有非常重要的學(xué)術(shù)價值和實(shí)際應(yīng)用意義，預(yù)期能推動MapReduce任務(wù)調(diào)度機(jī)制研究和應(yīng)用的發(fā)展。四、研究方法：本論文將采用如下研究方法：1.收集和分析現(xiàn)有MapReduce系統(tǒng)資源調(diào)度瓶頸和劣化原因；2.對MapReduce架構(gòu)進(jìn)行深入分析，并開發(fā)出優(yōu)化和改進(jìn)的方法；3.設(shè)計(jì)基于Deadline的MapReduce任務(wù)調(diào)度優(yōu)化算法；4.在實(shí)際系統(tǒng)環(huán)境中進(jìn)行大規(guī)模實(shí)驗(yàn)驗(yàn)證。五、研究計(jì)劃及進(jìn)度安排：1.前期準(zhǔn)備階段：對MapReduce架構(gòu)進(jìn)行分析和調(diào)研，找出現(xiàn)有調(diào)度算法的優(yōu)勢和不足并制定研究計(jì)劃（一個月）；2.算法設(shè)計(jì)和實(shí)現(xiàn)階段：提出和實(shí)現(xiàn)基于Deadline的MapReduce調(diào)度算法，并比較不同場景下的性能表現(xiàn)（三個月）；3.實(shí)驗(yàn)驗(yàn)證及性能測試階段：將實(shí)現(xiàn)的MapReduce任務(wù)調(diào)度優(yōu)化算法到實(shí)際系統(tǒng)上進(jìn)行大規(guī)模實(shí)驗(yàn)，以評價其性能表現(xiàn)（三個月）；4.論文撰寫和修改