分析大數(shù)據(jù)時(shí)代的五大商業(yè)技術(shù)趨勢(shì)

分析大數(shù)據(jù)時(shí)代的五大商業(yè)技術(shù)趨勢(shì)

在采訪中，首席信息官們總結(jié)出了5大影響他們進(jìn)行分析的IT趨勢(shì)。它們分別為：大數(shù)據(jù)的增長(zhǎng)、快速處理技術(shù)、IT商品的成本下降、移動(dòng)設(shè)備的普及和社交媒體的增長(zhǎng)。1.大數(shù)據(jù)大數(shù)據(jù)指非常龐大的數(shù)據(jù)集，尤其是那些沒有被整齊的組織起來無法適應(yīng)傳統(tǒng)數(shù)據(jù)倉庫的數(shù)據(jù)集。網(wǎng)絡(luò)蜘蛛數(shù)據(jù)、社交媒體反饋和服務(wù)器日志，以及來自供應(yīng)鏈、行業(yè)、周邊環(huán)境與監(jiān)視傳感器的數(shù)據(jù)都使得公司的數(shù)據(jù)變得比以往越來越復(fù)雜。盡管并不是每個(gè)公司都需要處理大型、非結(jié)構(gòu)型數(shù)據(jù)集的技術(shù)。VeriskAnalytics公司首席信息官PerryRotella認(rèn)為所有的首席信息官都應(yīng)當(dāng)關(guān)注大數(shù)據(jù)分析工具。Verisk幫助金融公司評(píng)估風(fēng)險(xiǎn)，與保險(xiǎn)公司共同防范保險(xiǎn)詐騙，其在2010年的營(yíng)收超過了10億美元。Rotella認(rèn)為，技術(shù)領(lǐng)導(dǎo)者對(duì)此應(yīng)當(dāng)采取的態(tài)度是，數(shù)據(jù)越多越好，歡迎數(shù)據(jù)的大幅增長(zhǎng)。Rotella的工作是預(yù)先尋找事物間的聯(lián)系與模型。HMS公司首席信息官CynthiaNustad認(rèn)為，大數(shù)據(jù)呈現(xiàn)為一種“爆炸性”增長(zhǎng)趨勢(shì)。HMS公司的業(yè)務(wù)包括幫助控制聯(lián)邦醫(yī)療保險(xiǎn)(Medicare)和醫(yī)療補(bǔ)助(Medicaid)項(xiàng)目成本和私有云服務(wù)。其客戶包括40多個(gè)州的健康與人類服務(wù)項(xiàng)目和130多個(gè)醫(yī)療補(bǔ)助管理計(jì)劃。HMS通過阻止錯(cuò)誤支付在2010年幫助其客戶挽回了18億美元的損失，節(jié)約了數(shù)十億美元。Nustad稱：“我們正在收集并追蹤大量素材，包括結(jié)構(gòu)性與非結(jié)構(gòu)性數(shù)據(jù)，因?yàn)槟悴⒉皇强偸侵滥銓⒃谄渲袑ふ沂裁礀|西?！贝髷?shù)據(jù)技術(shù)中談?wù)撟疃嗟囊豁?xiàng)技術(shù)是Hadoop。該技術(shù)為開源分布式數(shù)據(jù)處理平臺(tái)，最初是為編輯網(wǎng)絡(luò)搜索索引等任務(wù)開發(fā)的。Hadoop為多個(gè)“非關(guān)系型(NoSQL)”技術(shù)(其包括CouchDB和MongoDB)中的一種，其通過特殊的方式組織網(wǎng)絡(luò)級(jí)數(shù)據(jù)。Hadoop可將數(shù)據(jù)的子集合分配給成百上千臺(tái)服務(wù)器的處理，每臺(tái)服務(wù)器匯報(bào)的結(jié)果都將被一個(gè)主作業(yè)調(diào)度程序整理，因此其具有處理拍字節(jié)級(jí)數(shù)據(jù)的能力。Hadoop既能夠用于分析前的數(shù)據(jù)準(zhǔn)備，也能夠作為一種分析工具。沒有數(shù)千臺(tái)空閑服務(wù)器的公司可以從亞馬遜等云廠商那里購買Hadoop實(shí)例的按需訪問。Nustad稱，盡管并不是為了其大型的聯(lián)邦醫(yī)療保險(xiǎn)和醫(yī)療補(bǔ)助索賠數(shù)據(jù)庫，但是HMS正在探索NoSQL技術(shù)的使用。其包括了結(jié)構(gòu)性數(shù)據(jù)，并且能夠被傳統(tǒng)的數(shù)據(jù)倉庫技術(shù)所處理。她稱，在回答什么樣的關(guān)系型技術(shù)是經(jīng)實(shí)踐證明最好用的解決方案時(shí)，從傳統(tǒng)關(guān)系型數(shù)據(jù)庫管理出發(fā)是并不明智。不過，Nustad認(rèn)為Hadoop正在防止欺詐與浪費(fèi)分析上發(fā)揮著重要作用，并且具備分析以各種格式上報(bào)的病人看病記錄的潛力。在采訪中，那些體驗(yàn)過Hadoop的受訪首席信息官們，包括Rotella和Shopzilla公司首席信息官JodyMulkey在內(nèi)都在將數(shù)據(jù)服務(wù)作為公司一項(xiàng)業(yè)務(wù)的公司中任職。Mulkey稱：“我們正在使用Hadoop做那些以往使用數(shù)據(jù)倉庫做的事情。更重要的是，我們獲得了以前從未用過的切實(shí)有用的分析技術(shù)?！崩纾鳛橐患冶容^購買網(wǎng)站，Shopzilla每天會(huì)積累數(shù)太字節(jié)的數(shù)據(jù)。他稱：“以前，我們必須要對(duì)數(shù)據(jù)進(jìn)行采樣并對(duì)數(shù)據(jù)進(jìn)行歸類。在處理海量數(shù)據(jù)時(shí)，這一工作量非常繁重?！弊詮牟捎昧薍adoop，Shopzilla能夠分析原始數(shù)據(jù)，跳過許多中間環(huán)節(jié)。GoodSamaritan醫(yī)院是一家位于印第安納州西南的社區(qū)醫(yī)院，其處于另一種類型。該醫(yī)院的首席信息官ChuckChristian稱：“我們并沒有我認(rèn)為是大數(shù)據(jù)的東西?！北M管如此，管理規(guī)定要求促使其存儲(chǔ)整如龐大的電子醫(yī)療記錄等全新的數(shù)據(jù)類型。他稱，這無疑要求他們要能夠從數(shù)據(jù)中收集醫(yī)療保健品質(zhì)信息。不過，這可能將在地區(qū)或國家醫(yī)療保健協(xié)會(huì)中實(shí)現(xiàn)，而不是在他們這種單個(gè)醫(yī)院中實(shí)現(xiàn)。因此，Christian未必會(huì)對(duì)這種新技術(shù)進(jìn)行投資。IslandOneResorts公司首席信息官JohnTernent稱，其所面臨的分析挑戰(zhàn)取決于大數(shù)據(jù)中的“大”還是“數(shù)據(jù)”。不過，目前他正在謹(jǐn)慎地考慮在云上使用Hadoop實(shí)例，以作為一種經(jīng)濟(jì)的方式分析復(fù)雜的抵押貸款組合。目前公司正在管理著佛羅里達(dá)州內(nèi)的8處分時(shí)度假村。他稱：“這種解決方案有可能解決我們目前正遇到的實(shí)際問題?！?.商業(yè)分析速度加快肯塔基大學(xué)首席信息官VinceKellen認(rèn)為，大數(shù)據(jù)技術(shù)只是快速分析這一大趨勢(shì)中的一個(gè)元素。他稱：“我們期待的是一種更為先進(jìn)的海量數(shù)據(jù)分析方法?！迸c更為快速地分析數(shù)據(jù)相比，數(shù)據(jù)的大小并不重要，“因?yàn)槟阆胱屵@一過程快速完成”。由于目前的計(jì)算能夠在內(nèi)存中處理更多的數(shù)據(jù)，因此與在硬盤中搜索數(shù)據(jù)相比，其計(jì)算出結(jié)果的速度要更快。即使你僅處理數(shù)G數(shù)據(jù)，但情況依然與此。盡管經(jīng)過數(shù)十年的發(fā)展，通過緩存頻繁訪問的數(shù)據(jù)，數(shù)據(jù)庫性能提升了許多。在加載整個(gè)大型數(shù)據(jù)集至服務(wù)器或服務(wù)器集群的內(nèi)存時(shí)，這一技術(shù)變得更加實(shí)用，此時(shí)硬盤只是作為備份。由于從旋轉(zhuǎn)的磁盤中檢索數(shù)據(jù)是一個(gè)機(jī)械過程，因此與在內(nèi)存中處理數(shù)據(jù)相比，其速度要慢許多。Rotella稱，他現(xiàn)在幾秒中進(jìn)行的分析在五年前需要花上一個(gè)晚上。Rotella的公司主要是對(duì)大型數(shù)據(jù)集進(jìn)行前瞻性分析，這經(jīng)常涉及查詢、尋找模型、下次查詢前的調(diào)整。在分析速度方面，查詢完成時(shí)間非常重要。他稱：“以前，運(yùn)行時(shí)間比建模時(shí)間要長(zhǎng)，但是現(xiàn)在建模時(shí)間要比運(yùn)行時(shí)間長(zhǎng)。”列式數(shù)據(jù)庫服務(wù)器改變了關(guān)系型數(shù)據(jù)庫的傳統(tǒng)行與列結(jié)構(gòu)，解決了另一些性能需求。查詢僅訪問有用的列，而不是讀取整個(gè)記錄和選取可選列，這極大地提高了組織或測(cè)量關(guān)鍵列的應(yīng)用的性能。Ternent警告稱，列式數(shù)據(jù)庫的性能優(yōu)勢(shì)需要配合正確的應(yīng)用和查詢?cè)O(shè)計(jì)。他稱：“為了進(jìn)行區(qū)別，你必須以適當(dāng)?shù)姆绞絾査m當(dāng)?shù)膯栴}?！贝舜送瑫r(shí)，他還指出，列式數(shù)據(jù)庫實(shí)際上僅對(duì)處理超過500G字節(jié)數(shù)據(jù)的應(yīng)用有意義。他稱：“在讓列式數(shù)據(jù)庫發(fā)揮作用之前，你必須收集一規(guī)模的數(shù)據(jù)，因?yàn)樗蕾囈欢ㄋ降闹貜?fù)提升效率?！北ｋU(xiǎn)與金融服務(wù)巨頭JohnHancock公司的首席信息官AllanHackney稱，為了提高分析性能，硬件也需要進(jìn)行提升，如增加GPU芯片，其與游戲系統(tǒng)中用到的圖形處理器相同。他稱：“可視化需用到的計(jì)算方法與統(tǒng)計(jì)分析中用到的計(jì)算方法非常相似。與普通的PC和服務(wù)器處理器相比，圖形處理器的計(jì)算速度要快數(shù)百倍。我們的分析人員非常喜歡這一設(shè)備?！?.技術(shù)成本下降隨著計(jì)算能力的增長(zhǎng)，分析技術(shù)開始從內(nèi)存與存儲(chǔ)價(jià)格的下降中獲益。同時(shí)，隨著開源軟件逐漸成為商業(yè)產(chǎn)品的備選產(chǎn)品，競(jìng)爭(zhēng)壓力也導(dǎo)致商業(yè)產(chǎn)品價(jià)格進(jìn)一步下降。Ternent為開源軟件的支持者。在加入IslandOne公司之前，Ternent為開源商業(yè)智能公司Pentaho的工程副總裁。他稱：“對(duì)于我來說，開源決定著涉足領(lǐng)域。因?yàn)橄馡slandOne這樣的中等規(guī)模公司能夠用開源應(yīng)用R替代SAS進(jìn)行統(tǒng)計(jì)分析?！币郧伴_源工具僅擁有基本的報(bào)告功能，但是現(xiàn)在它們能夠提供最為先進(jìn)的預(yù)測(cè)分析。他稱：“目前開源參與者能夠橫跨整個(gè)連續(xù)統(tǒng)一體，這意味著任何人都能夠使用它們。”HMS公司的Nustad認(rèn)為，計(jì)算成本的變化正在改變著一些基礎(chǔ)性架構(gòu)的選擇。例如，創(chuàng)建數(shù)據(jù)倉庫的一個(gè)傳統(tǒng)因素是讓數(shù)據(jù)一起進(jìn)入擁有強(qiáng)大計(jì)算能力的服務(wù)器中以處理它們。當(dāng)計(jì)算能力不足時(shí)，從操作系統(tǒng)中分離分析工作負(fù)載可以避免日常工作負(fù)載的性能出現(xiàn)下降。Nustad稱，目前這已經(jīng)不再是一個(gè)合適的選擇了。她稱：“隨著硬件與存儲(chǔ)越來越便宜，你能夠讓這些操作系統(tǒng)處理一個(gè)商業(yè)智能層。”通過重定數(shù)據(jù)格式和將數(shù)據(jù)裝載至倉庫中，直接建立在操作應(yīng)用上的分析能夠更為迅速地提供答案。Hackney觀察認(rèn)為，盡管性價(jià)比趨勢(shì)有利于管理成本，但是這些潛在的節(jié)約優(yōu)勢(shì)將被日益增長(zhǎng)的能力需求所抵消。盡管JohnHancock每臺(tái)設(shè)備的存儲(chǔ)成本在今年下降了2至3%，但是消耗卻增長(zhǎng)了20%。4.移動(dòng)設(shè)備的普及與所有的應(yīng)用一樣，商業(yè)智能正日益移動(dòng)化。對(duì)于Nustad來說，移動(dòng)商業(yè)智能具有優(yōu)先權(quán)，因?yàn)槊總€(gè)人都希望Nustad能夠隨時(shí)隨地親自訪問關(guān)于她的公司是否達(dá)到了服務(wù)級(jí)協(xié)議的報(bào)告。她還希望為公司的客戶提供數(shù)據(jù)的移動(dòng)訪問，幫助客戶監(jiān)控和管理醫(yī)療保健開銷。她稱：“這是一個(gè)客戶非常喜歡的功能。在五年前，客戶不需要這一功能，但是現(xiàn)在他們需要這一功能了?！睂?duì)于首席信息官來說，要迎合這一趨勢(shì)更多的是為智能手機(jī)、平板電腦和觸摸屏設(shè)備創(chuàng)建適用的用戶界面，而不是更為復(fù)雜的分析能力。或許是出于這方面的原因，Kellen認(rèn)為這相對(duì)容易。他稱：“對(duì)于我來說，這只是小事情。”Rotella并不認(rèn)為這很簡(jiǎn)單。他稱：“移動(dòng)計(jì)算影響著每一個(gè)人。許多人開始使用iPad工作，同時(shí)其它的移動(dòng)設(shè)備正在呈現(xiàn)爆炸式增長(zhǎng)。這一趨勢(shì)正在加速并改變我們與公司內(nèi)部計(jì)算資源交互的方式?！崩?，Verisk已經(jīng)開發(fā)了能夠讓理賠人在現(xiàn)場(chǎng)快速進(jìn)行分析的產(chǎn)品，因此他們能夠進(jìn)行重置成本評(píng)估。他稱：“這種方式對(duì)我們的分析產(chǎn)生了影響，同時(shí)也讓每一個(gè)需要它的人隨手就能使用?！盧otella稱：“引發(fā)這種挑戰(zhàn)的因素在于技術(shù)的更新速度。兩年前，我們沒有iPad，而現(xiàn)在許多人都在使用iPad。隨著多種操作系統(tǒng)的出現(xiàn)，我們正力爭(zhēng)搞清楚其是如何影響我們的研發(fā)的，這樣一來我們就不必一而再、再而三的編寫這些應(yīng)用。”IslandOne的Ternent指出，另一方面，為每一種移動(dòng)平臺(tái)創(chuàng)建原生應(yīng)用的需求可能正在消退，因?yàn)槟壳笆謾C(jī)和平板電腦上的瀏覽器擁有了更為強(qiáng)大的功能。Ternent稱：“如果我能夠使用一款專門針對(duì)移動(dòng)設(shè)備的基于web的應(yīng)用，那么我并不能肯定我將會(huì)對(duì)定制的移動(dòng)設(shè)備應(yīng)用進(jìn)行投資。”5.社交媒體的加入隨著臉譜、推特等社交媒體的興起，越來越多的公司希望分析這些由網(wǎng)站產(chǎn)生的數(shù)據(jù)。新推出的分析應(yīng)用支持人類語言處理、情感分析和網(wǎng)絡(luò)分析等統(tǒng)計(jì)技術(shù)，這些并不是典型商業(yè)智能工具套件的組成部分。由于它們都是新的，許多社交媒體分析工具可以作用服務(wù)獲得。其中一個(gè)典型范例是Radian6。Radian6為軟件即服務(wù)(SaaS)產(chǎn)品，近期已經(jīng)被S所收購。Radian6是一種社交媒體儀表盤，為TwITter的留言、臉譜上的帖子、博客與討論版上的帖子與評(píng)論中提及的特定術(shù)語以正負(fù)數(shù)顯示，尤其是為商標(biāo)名提供生動(dòng)的直觀推斷。當(dāng)營(yíng)銷與客戶服務(wù)部門購買后，這類工具不再對(duì)IT部門有很嚴(yán)重的依賴性。目前，肯塔基大學(xué)的Kellen仍然相信他需要對(duì)它們高度關(guān)注。他稱：“我的工作是識(shí)別這些技術(shù)，根據(jù)競(jìng)爭(zhēng)力評(píng)估哪些算法適合公司，然后開始培訓(xùn)合適的人員?！迸c其他公司一樣，大學(xué)也對(duì)監(jiān)督他們大學(xué)的聲譽(yù)十分感興趣。與此同時(shí)，Kellen表示，他可能還將尋找機(jī)會(huì)以開發(fā)專門用于解決學(xué)校所關(guān)注問題的應(yīng)用，如監(jiān)督學(xué)生入學(xué)率等問題。例如，監(jiān)控學(xué)生在社交媒體上的帖子能夠有幫于學(xué)校與管理人員盡早了解學(xué)生在大學(xué)里遇到的麻煩。Kellen稱，目前戴爾已經(jīng)做了這些工作，其產(chǎn)品支持公司探測(cè)人們關(guān)于故障筆記本電腦的推文。他稱，IT開發(fā)人員還應(yīng)當(dāng)尋找一些辦法將社交媒體分析得出的報(bào)警信息推送至應(yīng)用中，以便于公司對(duì)相關(guān)事件快速做出反應(yīng)。Hackney稱：“我們沒有訣竅，也沒有工具處理和挖掘海量社交媒體帖子的價(jià)值。不過，一旦你收集了數(shù)據(jù)，你需要有能力獲取公司事件的充足信息，以將它們關(guān)聯(lián)起來?！彪m然Hackn