《分布式計(jì)算應(yīng)用》PPT課件.ppt

1、我們身邊的分布式計(jì)算,2012年2月27日,分布式計(jì)算專家韋伯教授曾說(shuō)： 信息的惡性增長(zhǎng)使各個(gè)領(lǐng)域都布滿了吞噬巨大計(jì)算力的黑洞，但這并不可怕，真正可怕的是我們總是想用為數(shù)不多的幾塊巨石而不是取之不盡的泥土去填平它,巨人搬不動(dòng)的石頭，動(dòng)用成千上萬(wàn)只螞蟻也許就能搬動(dòng)它,人人都可參與分布式計(jì)算項(xiàng)目,科學(xué)研究的前沿領(lǐng)域和持久感趣的方面： 地外文明 生命起源,人人都可參與分布式計(jì)算項(xiàng)目,目前分布式計(jì)算項(xiàng)目已經(jīng)有很多： 天文學(xué) 生命科學(xué) 數(shù)學(xué)、密碼學(xué) 計(jì)算機(jī)科學(xué),多數(shù)項(xiàng)目，只要你有興趣，就可以參與進(jìn)去,人人都可參與分布式計(jì)算項(xiàng)目,幾個(gè)經(jīng)典的項(xiàng)目,尋找外星人：SETIhome,尋找梅森素?cái)?shù),Google：M

2、ajestic-12,幾款應(yīng)用軟件,Napster,BitTorrent (BT,SETIhome是Search for Extraterrestrial Intelligence at Home的縮寫，為“在家里搜索地外文明”之意。 這個(gè)項(xiàng)目由美國(guó)加州大學(xué)伯克利分?！八褜さ厍蛲庵悄堋?SETI)研究小組發(fā)起，旨在利用因特網(wǎng)中不計(jì)其數(shù)的計(jì)算機(jī)的閑置時(shí)間進(jìn)行SETI計(jì)算，以期從海量的信號(hào)中搜尋到地外文明的蛛絲馬跡,首先由位于波多黎哥群山之中的巨型射電望遠(yuǎn)鏡Arecibo收集地外信號(hào)，然后將每天約35 GB的數(shù)據(jù)傳送到SETIhome項(xiàng)目管理中心。SETIhome管理中心將數(shù)據(jù)進(jìn)行分解處理，劃分成

3、合適的大小，然后通過(guò)因特網(wǎng)將它們分發(fā)到全球成千上萬(wàn)志愿者的電腦中。 SETIhome程序在志愿者的個(gè)人計(jì)算機(jī)上，通常在屏幕保護(hù)模式下或以后臺(tái)模式運(yùn)行。它利用的是多余的處理器資源，不影響用戶正常使用計(jì)算機(jī)。當(dāng)一個(gè)信號(hào)單元分析完畢，客戶端程序?qū)⒂袃r(jià)值的信號(hào)送回SETIhome項(xiàng)目管理中心并自動(dòng)下載新的數(shù)據(jù)。 如果志愿者送回的處理結(jié)果經(jīng)確認(rèn)屬重大發(fā)現(xiàn)，那么志愿者將同SETI home項(xiàng)目組共同分享“發(fā)現(xiàn)者”的榮譽(yù),SETIhome簡(jiǎn)介,工作原理,SETI home運(yùn)行時(shí)的樣子,成果,SETIhome項(xiàng)目自1999年5月17日開始正式運(yùn)行。 至2004年5月，該項(xiàng)目在世界各地?fù)碛薪?00萬(wàn)參與者，積累

4、了近200萬(wàn)年的CPU運(yùn)行時(shí)間，進(jìn)行了近 51021次浮點(diǎn)運(yùn)算，處理了超過(guò)13億個(gè)數(shù)據(jù)單元，無(wú)疑是非常成功的分布式計(jì)算試驗(yàn)項(xiàng)目。 截至 2005 年關(guān)閉之前，它已經(jīng)吸引了 543 萬(wàn)用戶，這些用戶的電腦累積工作 243 萬(wàn)年，分析了大量積壓數(shù)據(jù)，但是項(xiàng)目沒(méi)有發(fā)現(xiàn)外星文明的直接證據(jù),尋找梅森素?cái)?shù)，贏十萬(wàn)美元大獎(jiǎng),GIMPS（Great Internet Mersenne Prime Search）因特網(wǎng)梅森素?cái)?shù)大搜索，是一個(gè)數(shù)學(xué)領(lǐng)域的分布式計(jì)算項(xiàng)目。由于“電子邊界基金”(Electronic Frontier Foundation)宣布將向第一個(gè)找到超過(guò)1000萬(wàn)位梅森素?cái)?shù)的個(gè)人或機(jī)構(gòu)頒發(fā)十萬(wàn)美

5、元的獎(jiǎng)金，使它成為為數(shù)不多的有獎(jiǎng)金的項(xiàng)目，令志愿者趨之若鶩,簡(jiǎn)介,高階的梅森素?cái)?shù)具有可怕的長(zhǎng)度，要驗(yàn)證一個(gè)這樣的大數(shù)是否是素?cái)?shù)，計(jì)算量大得驚人，同著名的大數(shù)質(zhì)因子分解的難度有一比，而后者恰是現(xiàn)代公開密鑰技術(shù)RSA的數(shù)學(xué)基礎(chǔ)。經(jīng)過(guò)幾百年來(lái)的努力，人們才發(fā)現(xiàn)41個(gè)梅森素?cái)?shù)，而其中就有7個(gè)是GIMPS項(xiàng)目的成果。目前最大梅林素?cái)?shù)也是通過(guò)GIMPS項(xiàng)目找到的,梅森素?cái)?shù)計(jì)算界面,GIMPS的工作原理與SETIhome類似，也是將龐大的數(shù)據(jù)量分成小塊，再通過(guò)為數(shù)眾多的客戶端進(jìn)行計(jì)算。 GIMPS客戶端程序可在網(wǎng)上下載。在首次運(yùn)行時(shí)，需要輸入用戶ID、電腦ID，并對(duì)CPU占用率、內(nèi)存占用率以及開放的計(jì)算時(shí)間

6、等選項(xiàng)進(jìn)行設(shè)置，一般選默認(rèn)值即可。 之后程序開始對(duì)電腦進(jìn)行測(cè)試，以確定該電腦是否適合參加GIMPS項(xiàng)目。這個(gè)測(cè)試費(fèi)時(shí)頗多，需要參加者有些耐心。 測(cè)試完成后，便開始從服務(wù)下載數(shù)據(jù)片斷進(jìn)行計(jì)算。一個(gè)片斷計(jì)算完后，GIMPS客戶端程序會(huì)自動(dòng)到服務(wù)器上下載新片斷。 如果你的運(yùn)氣實(shí)在好，新的梅森素?cái)?shù)恰在你計(jì)算的片斷內(nèi)，那么你不僅能得一大筆錢，而且還能青史留名。當(dāng)然，中獎(jiǎng)概率肯定比摸中500萬(wàn)體彩大獎(jiǎng)還要低得多，所以也不必特別在意是否可以贏取獎(jiǎng)金，權(quán)當(dāng)了回國(guó)際義工,工作原理,搜索成就了因特網(wǎng)的老大Google，也吸引了許多公司對(duì)搜索的狂熱追捧。作為未來(lái)因特網(wǎng)世界的重要構(gòu)建者，分布式計(jì)算沒(méi)有理由不染指其中，

7、何況從原理上說(shuō)，分布式搜索引擎比現(xiàn)在的各種搜索引擎更為強(qiáng)大，因?yàn)樗捎袩o(wú)數(shù)個(gè)信息“鉆探機(jī)”。 Majestic-12就是這樣一個(gè)基于分布式計(jì)算原理的因特網(wǎng)搜索引擎研究項(xiàng)目(Distributed Search Engine Project)，它在客戶端使用一種名為“crawls”(爬行者)的技術(shù)來(lái)監(jiān)視指定的網(wǎng)站，以便及時(shí)了解這些站點(diǎn)內(nèi)容的變化情況，以便隨時(shí)更新存放于項(xiàng)目服務(wù)器上的查尋索引文件。目前，該項(xiàng)目已對(duì)10億 多個(gè) URL 地址建立了完善的索引，其搜索容量已直逼一些著名的搜索引擎,打造分布式Google: Majestic-12,Majestic-12客戶端程序,如果你樂(lè)意在搜索上做點(diǎn)事

8、情的話，不妨參加這個(gè)研究性質(zhì)的項(xiàng)目。它不僅可以使你了解被某些廠商宣傳得有些神秘的搜索內(nèi)幕，而且你還可以分享到在許多方面并不亞于Google的搜索結(jié)果，而這些結(jié)果也許恰是你的計(jì)算機(jī)搜羅和整理的。 近日，Majestic-12項(xiàng)目組推出了可利用Majestic-12成果的Firefox 搜索插件，看來(lái)可能會(huì)對(duì)Google形成威脅的新一代搜索引擎就要從地下冒出來(lái)了,這是一款可以在網(wǎng)絡(luò)中下載自己想要的MP3文件的軟件名稱.它同時(shí)能夠讓自己的機(jī)器也成為一臺(tái)服務(wù)器，為其它用戶提供下載。在這個(gè)網(wǎng)絡(luò)中，Napster本身并不提供MP3文件的下載，它實(shí)際上提供的是整個(gè)Napster網(wǎng)絡(luò)的MP3文件“目錄”，而M

9、P3文件分布在網(wǎng)絡(luò)中的每一臺(tái)機(jī)器中，隨時(shí)供你選擇取用，我們下載都是直接連到另外一臺(tái)機(jī)器。傳輸速度也相當(dāng)驚人。 Napster具有強(qiáng)大的搜索功能，可以將在線用戶的MP3音樂(lè)信息進(jìn)行自動(dòng)搜尋并分類整理，以備其他用戶查詢，只要知道你喜歡歌曲的名稱或演唱者的名稱，就可以和全世界樂(lè)迷共享豐盛的音樂(lè)大餐。你可以選擇自己要與其他人在網(wǎng)上共享的音樂(lè)文件的目錄，并且可以與喜歡同樣風(fēng)格音樂(lè)的人聊天、在論壇討論，互相交流,Napster 簡(jiǎn)介,什么是分布式計(jì)算(Distributed Computing)呢,分布式計(jì)算是計(jì)算機(jī)科學(xué)的一個(gè)重要分支，主要研究如何把一個(gè)需要巨大的計(jì)算能力才能解決的問(wèn)題分解成許多小的部分，

10、然后把這些部分分配給許多計(jì)算機(jī)進(jìn)行處理，最后把這些計(jì)算結(jié)果綜合起來(lái)得到最終的結(jié)果。這是一個(gè)比較狹窄的定義。一般認(rèn)為，凡是基于分布式計(jì)算原理的所有應(yīng)用，都應(yīng)歸于分布式計(jì)算的范疇，包括許多完全或部分?jǐn)[脫了客戶/服務(wù)器模式的新型網(wǎng)絡(luò)軟件，尤其是當(dāng)下十分流行的P2P文件交換軟件。 提示:P2P是一種不依賴服務(wù)器的通訊方式，與網(wǎng)絡(luò)分布式計(jì)算如影隨形，然而它并非分布式計(jì)算的要件，也就是說(shuō)，使用了P2P技術(shù)的軟件并非都屬于分布式計(jì)算范疇。只有那些主要計(jì)算工作在客戶端完成而僅使用P2P作為通訊手段的軟件，才可以歸到網(wǎng)絡(luò)分布式計(jì)算程序類中,分布式計(jì)算已在我們身邊,Napster和BT都是典型的網(wǎng)絡(luò)分布式計(jì)算程序

11、。如果從廣義的分布式計(jì)算的定義來(lái)看，我們經(jīng)常使用的QQ、MSN等即時(shí)通訊工具，雖然采用的是傳統(tǒng)的客戶/服務(wù)器架構(gòu)，但它在音頻視頻的播放和文件的傳輸上，使用的卻是P2P技術(shù)，因此僅就此點(diǎn)而論，QQ等也算半個(gè)分布式計(jì)算程序,1993年，DEC系統(tǒng)研究中心的研究員Lenstra和Manasse召集了600名志愿者，利用分布式計(jì)算方法參與由著名的美國(guó)RSA研究所發(fā)起的RSA-129密碼破譯活動(dòng)，并在很短的時(shí)間內(nèi)成功破譯密鑰。這次活動(dòng)使人們見(jiàn)識(shí)到分布式計(jì)算的威力，此后對(duì)它的研究空前活躍起來(lái)。 1995年，分布式計(jì)算再接再厲，一舉攻破了RSA-130。這是一個(gè)130位加密算法，這次活動(dòng)開啟了分布式計(jì)算和因

12、特網(wǎng)結(jié)合的大門，使分布式網(wǎng)絡(luò)計(jì)算成為主流的研究方向，并最終導(dǎo)致網(wǎng)格的誕生。 1996年，著名的GIMPS(互聯(lián)網(wǎng)梅森素?cái)?shù)大搜索)項(xiàng)目開始啟動(dòng)。近十年來(lái)，通過(guò)它已發(fā)現(xiàn)多個(gè)梅森素?cái)?shù)。 1999年，著名的尋找外星智能生命信息的SETIhome項(xiàng)目正式推出，它以無(wú)比的神秘感吸引了因特網(wǎng)上數(shù)百萬(wàn)名志愿者，成為目前參加人數(shù)最多的分布式計(jì)算項(xiàng)目。 2000年，19歲的大學(xué)生Shawn Fanning開發(fā)出Napster，在網(wǎng)上掀起網(wǎng)絡(luò)音樂(lè)交換熱潮，催生了一個(gè)龐大的在線音樂(lè)市場(chǎng)。 2001年，IBM公司宣布自己的網(wǎng)格研究計(jì)劃，并將為此投資40億美元。 2002年，由Bram Cohen開發(fā)的分布式下載工具BitTorrent(BT)橫空出世，以革命性的面目改變了傳統(tǒng)的網(wǎng)絡(luò)交換方式。 2003年，IBM發(fā)起史上最大網(wǎng)格運(yùn)算計(jì)劃，共有1000萬(wàn)臺(tái)電腦連入其中,分布式計(jì)算的發(fā)展史,分布式計(jì)算的未來(lái),如何動(dòng)員和利用社會(huì)中豐富的計(jì)算能力，始終是一個(gè)充滿挑戰(zhàn)性的問(wèn)題。 可以預(yù)見(jiàn)，純粹的分布式計(jì)算項(xiàng)目將會(huì)越來(lái)越多，它將為那些需要強(qiáng)大的計(jì)算能力的領(lǐng)域提供服務(wù)，同時(shí)它也會(huì)在網(wǎng)絡(luò)安全和軍事方面得到更多應(yīng)用，甚至能成為信息戰(zhàn)的超級(jí)武器,網(wǎng)絡(luò)分布式計(jì)算將繼續(xù)成為熱點(diǎn) 從主要應(yīng)用于音樂(lè)和軟件交換擴(kuò)散到視頻共享、 網(wǎng)