104微軟大數(shù)據(jù)發(fā)展史azure

104|微軟的大數(shù)據(jù)發(fā)展史：Azure2018-06-01 進(jìn)入課一、HDInsightHadoopAzure數(shù)據(jù)發(fā)展方式，與其他解決內(nèi)部需求的項(xiàng)目不同，最初主要圍繞Hadoop生態(tài)圈展開。HadoopWindowsHadoop虎、Facebook、LinkedIn等灣區(qū)互聯(lián)網(wǎng)企業(yè)，這些企業(yè)都用免費(fèi)的Linux，不用昂貴的Windows，它們沒必要考慮Hadoop在Windows下運(yùn)行的問題。微軟擔(dān)心大數(shù)據(jù)系統(tǒng)的出現(xiàn)和普及，尤其是Hadoop生態(tài)圈的壯大，會(huì)威脅到Windows的銷售，導(dǎo)致Windows服務(wù)器的業(yè)務(wù)下降。因此微軟云計(jì)算部門選擇了和Hortonworks合作，把Hadoop在Windows上的穩(wěn)定運(yùn)行當(dāng)作頭等大事對(duì)待。HortonworksHDInsight端Hadoop版本的團(tuán)隊(duì)。這個(gè)團(tuán)隊(duì)有兩大任務(wù)：其一是和Hortonworks一起，實(shí)現(xiàn)Hadoop在Windows上的穩(wěn)定運(yùn)行；其二是為微軟提供云端的Hadoop版本，也就是從微軟給這個(gè)團(tuán)隊(duì)定義的任務(wù)出發(fā)，HDInsight團(tuán)隊(duì)很好地完成了這兩個(gè)任務(wù)。但是HDInsightHDInsight在對(duì)接Hadoop文件系統(tǒng)和微軟的云存儲(chǔ)AzureBlobStore時(shí)，對(duì)接得不是很高效，因此HDInsight的運(yùn)HDInsight我在上一篇文章中提到過，必應(yīng)部門做了一個(gè)數(shù)據(jù)分析平臺(tái)Cosmos。這個(gè)平臺(tái)和HDInsightCosmos分析數(shù)據(jù)就好，不需要考慮是不是兼容Hadoop。因此，Cosmos在和HDInsight的對(duì)標(biāo)AzureDataLake很長一段時(shí)間里，HDInsightCosmos大部門采用自己的平臺(tái)，然而HDInsight因?yàn)樾阅軉栴}每戰(zhàn)必輸。CosmosCosmos被重組到云計(jì)算部門后，微軟聘請(qǐng)了著名的數(shù)據(jù)庫領(lǐng)域的專家，前威斯康辛大學(xué)教授、前雅虎副總裁拉·羅摩克里希納恩（RaguRamaisnan）領(lǐng)導(dǎo)這個(gè)團(tuán)隊(duì)。為什么聘請(qǐng)這個(gè)人，因?yàn)樵朴?jì)算部門想做一款新產(chǎn)品，我們姑且簡(jiǎn)單地理解為是做一款面向外部客戶的Cosmos吧。CosmosAzure的數(shù)據(jù)查詢引擎。因?yàn)樗倪@個(gè)想法，就需要對(duì)Cosmos做傷筋動(dòng)骨的改動(dòng)。慢淡出了權(quán)力中心，陸續(xù)離開微軟，我也正是在那個(gè)時(shí)候去了Tableau。2016AzureDataLake選擇了老版本的Cosmos不肯搬遷，在外部也只有沃爾瑪買單。為什么會(huì)是這樣一個(gè)結(jié)果用戶需要重新學(xué)習(xí)一種叫作U-SQL的語言，才能充分發(fā)揮這個(gè)系統(tǒng)的性能。U-SQL其實(shí)是SCOPE的改造版，但改造得不倫不類。為什么這么說？首先是SCOPE語言很靈活，但U-SQL卻很死板。其次是SCOPE在數(shù)據(jù)類型上向C#兼容，而U-SQL卻決定一半的地方兼容SQL，另外一些場(chǎng)景兼容C#，兼容規(guī)則因此搞得非常復(fù)雜。這個(gè)系統(tǒng)和C#緊緊地綁定在一起，而Hadoop生態(tài)圈完全基于Java，于是鮮有用戶愿云計(jì)算部門的另外一個(gè)大數(shù)據(jù)平臺(tái)是DocumentDB，它是市面上很少見的可以和MongoDB競(jìng)爭(zhēng)的產(chǎn)品。有關(guān)DocumenDBDocumentDB在后來的一次升級(jí)中被改名為CosmosDB。這次升級(jí)的主要目的是把數(shù)據(jù)模型從MongoDB一種提升到了若干種，包括MongoDB的半結(jié)構(gòu)化數(shù)據(jù)、圖數(shù)據(jù)庫等，從而使CosmosDB能夠更靈活地支持不同的應(yīng)用。CosmosDB推出時(shí)，市面上還找不到同類競(jìng)品。當(dāng)然，這個(gè)說法其實(shí)不完全準(zhǔn)確，因?yàn)殚_源社區(qū)在2012年曾經(jīng)有一個(gè)叫作FoundationDB的項(xiàng)目，和CosmosDB的做法很像，底層是統(tǒng)一的存儲(chǔ)方式，上面支持不同的數(shù)據(jù)模型。但是FoundationDB被蘋果收購之后就不再開源，一直到2018年5月這才重新開源出來。這種產(chǎn)品的獨(dú)特性給了微軟一個(gè)很CosmosDBMongoDB，CosmosDB表現(xiàn)出了良好的性能和擴(kuò)展性，并解決了MongoDB長期以來為人詬病的安全問題。因此，CosmosDB發(fā)布之后業(yè)務(wù)量一直迅猛增長，最終成了微軟大數(shù)據(jù)服務(wù)里面唯一的亮 因?yàn)檫@是一個(gè)只在Azure上發(fā)售的服務(wù)，一定程度上也給Azure帶來了不少的流量。在2018年5（MicrosoftBuild）上，CosmosDB作為大CosmosDB增加了全球多節(jié)點(diǎn)同時(shí)寫入的功能。這一切都說明，CosmosDB業(yè)已成為微軟HDInsight，還是自己努力研發(fā)的AzureDataLake，又或者是具備獨(dú)特地位的CosmosDB，投入都是巨大的。的性能問題，AzureDa