為IoT和大數(shù)據(jù)項目分配IT資源

1、為 IoT 和大數(shù)據(jù)項目分配 IT 資源大數(shù)據(jù)和物聯(lián)網(wǎng)項目給 IT 基礎(chǔ)架構(gòu)帶來了前所未有的壓力。Internet of Things(IoT) 和大數(shù)據(jù)應(yīng)用已經(jīng)給網(wǎng)絡(luò)和存儲架構(gòu)帶來了壓力，更不用說這還需要 IT 專家使用不 同的技能和工具來管理這些新的部署了。雖然執(zhí)行起來很有挑戰(zhàn)性，但是也有一些為 IT 團(tuán)隊而設(shè)的指導(dǎo)方針來幫助他們托管 IoT 和大數(shù)據(jù)。這得從 審查基礎(chǔ)架構(gòu)中大規(guī)模、數(shù)據(jù)密集型的項目需求開始。更多的處理能力一旦項目進(jìn)入到具體的實施階段，IT組織連同它的硬件、軟件和服務(wù)供應(yīng)商很可能需要去定義合適的系統(tǒng) 架構(gòu)和操作系統(tǒng)，每個系統(tǒng)處理器的數(shù)量以及系統(tǒng)的數(shù)量不管是物理的、虛擬的還是

2、基于云的這 需要一些主動性。大數(shù)據(jù)項目大部分是基于Windows或者Linux操作系統(tǒng)，架構(gòu)在業(yè)界標(biāo)準(zhǔn)的x86平臺服務(wù)器上的。但在一 些情況下，也有一些基于大型機(jī)或者單一廠商系統(tǒng)架構(gòu)和操作系統(tǒng)的實用的工具。大多數(shù)情況下， IT 團(tuán)隊 會將業(yè)界標(biāo)準(zhǔn)的服務(wù)器使用scale-out架構(gòu)做成集群，以支持需要大量計算、內(nèi)存、網(wǎng)絡(luò)和存儲的負(fù)載。IoT 項目也趨向于包含基于單一廠家的后端系統(tǒng)以及大型機(jī)。 要最大化可使用的處理能力，同時減少在硬件上的總體投資，需要很好地對系統(tǒng)、集群和其他組件進(jìn)行配 置。這需要很明白企業(yè)的目標(biāo)以及深入了解所選的大數(shù)據(jù)工具和 NoSQL 數(shù)據(jù)庫。同樣的，對于選擇與繁雜 的不同智能

3、手機(jī)、平板、汽車和從未如此擴(kuò)張的其他智能設(shè)備進(jìn)行通信的工具，也需要有一定的了解。錯誤配置的服務(wù)器集群或者其他基礎(chǔ)架構(gòu)的重大錯失 （甚至選擇了錯誤的工具）都可能成為項目操作的阻礙 并且導(dǎo)致項目失敗。有一些后端數(shù)據(jù)分析和報告工具在一個大集群系統(tǒng)里面運行，有一些則通過其他小的集群來支持：一些小 集群負(fù)責(zé)存儲分析需要用的原始數(shù)據(jù)，有一些小集群負(fù)責(zé)提供將原始數(shù)據(jù)處理成有用信息的工具，另一些 小集群可能被用來支持將有用的信息轉(zhuǎn)換為適合的格式 （表格、圖形或者其他形式），提供給分析師或者數(shù) 據(jù)科學(xué)家。IoT 項目還需要增加響應(yīng)客戶設(shè)備，提供需求的信息、指導(dǎo)或幫助的功能。企業(yè)需要熟悉這些工具的專家， 以及對如

4、何使用這些工具有很全面的了解。為自己信任的顧問和供應(yīng)商投入時間，學(xué)習(xí)對選擇的這些工具和方法進(jìn)行技術(shù)支持需要什么。對于內(nèi)存、存儲和網(wǎng)絡(luò)的關(guān)注僅僅增加更多的系統(tǒng)、內(nèi)存和存儲并不總能提高 IoT 和大數(shù)據(jù)環(huán)境的綜合性能。不同的方法和工具需要不 一樣的系統(tǒng)內(nèi)存和處理能力。每一種方法和所關(guān)聯(lián)的工具都有自己的限制。建設(shè) IoT 和/或大數(shù)據(jù)平臺的 IT 規(guī)劃師需要對每一種考慮在 內(nèi)的工具所需要的資源進(jìn)行調(diào)研，同時需要知道在資源充足的情況下他們會使用哪一種工具。如果企業(yè)安裝了比所選工具所需更多的內(nèi)存，那么這僅僅會增加能源消耗和熱量。非但不會給整體性能帶 來任何幫助，反而會給數(shù)據(jù)中心能源和冷卻系統(tǒng)帶來不需要的

5、壓力。IoT 和大數(shù)據(jù)平臺另一個參數(shù)是存儲的性能和容量。就像處理能力和內(nèi)存容量一樣，存儲設(shè)備的選擇、存 儲的專用能力和存儲的聯(lián)網(wǎng)方式都能對大數(shù)據(jù)產(chǎn)品的優(yōu)化性能有幫助。在 IoT 技術(shù)的例子里，響應(yīng)速度的 快慢將直接影響到客戶是否喜歡這個企業(yè)（產(chǎn)品）。就和內(nèi)存和計算組件一樣，存儲的配置也必須滿足所選工具和方法的需求。不要指望簡單通過添加更多存 儲，選擇更快的設(shè)備或者升級存儲網(wǎng)絡(luò)來得到效果。即使存儲性能增加了，但是也可能被網(wǎng)絡(luò)瓶頸帶來的 影響抵消。有一些大數(shù)據(jù)工具使用額外的內(nèi)存能力作為數(shù)據(jù)存儲的一部分，創(chuàng)造了內(nèi)存里的數(shù)據(jù)庫。這種方法能加速 分析和報告的處理。但這是一種需要權(quán)衡的方法，因為如果系統(tǒng)沒

6、有被可依賴的電力保護(hù)著，一旦失去電 力則數(shù)據(jù)也會丟失。不要被卷入任何一種存儲或者存儲網(wǎng)絡(luò)的炒作中。分析師會指出寄存于內(nèi)存的數(shù)據(jù)庫或者閃存存儲并不會 對所有情況都適合。有一些存儲虛擬化軟件廠家，例如 DataCore Software 注意到了底層操作系統(tǒng)每一次只能處理一個單一的 I/O 請求。它的方式是通過增加軟件來讓操作系統(tǒng)能同一時間同步處理多個請求。顯而易見的是不充分提供(underprovisioned)或者設(shè)計失敗的存儲系統(tǒng)會給大數(shù)據(jù)或者IoT系統(tǒng)帶來效果的 降低。網(wǎng)絡(luò)架構(gòu)對于任何分布式或者集群計算工具來說都是至關(guān)重要的。它的容量、延遲和性能可以促進(jìn)或阻礙 這類技術(shù)。和處理器、內(nèi)存和存儲一樣，網(wǎng)絡(luò)架構(gòu)也需要細(xì)心選擇。當(dāng)大數(shù)據(jù)工具需要一些數(shù)據(jù)的時候，如果網(wǎng)絡(luò)沒有足夠的容量、響應(yīng)慢或者對于不同類型I/O請求有偏向， 那么性能就會變得很差。同樣的事情對處理 IoT 系統(tǒng)里面智能設(shè)備發(fā)出的小型、突發(fā)式的請求處理上卻并 非如此。因此要對兩種類型的請求進(jìn)行平衡是一種挑戰(zhàn)。對于其他的組件，需要對網(wǎng)絡(luò)媒介特性進(jìn)行調(diào)研，例如Gigabit以太網(wǎng)或Fibre Channel，在購買網(wǎng)絡(luò)之前進(jìn) 行成本/效益分析。我曾經(jīng)看到過一個項目，其目標(biāo)是捕獲百萬級別的小型移動設(shè)備信息，并且進(jìn)行分析這是一個早期的 IoT 項目。這個公司發(fā)現(xiàn)