大數(shù)據(jù)思維培訓(xùn)

1、大數(shù)據(jù)思維Big Data T2015年6月13日大數(shù)據(jù)？ 大數(shù)據(jù)是因信息技術(shù)特別是數(shù)據(jù)獲取技術(shù)的革命性進(jìn)步而形成的信息爆炸現(xiàn)象， 因其規(guī)模巨大、類(lèi)型復(fù)雜、產(chǎn)生速度快、價(jià)值密度低等因素，對(duì)現(xiàn)有信息技術(shù)產(chǎn)生巨大挑戰(zhàn), 需要運(yùn)用新理念新理念、新技術(shù)、新方法對(duì)其進(jìn)行全生命周期的創(chuàng)新管理和應(yīng)用, 從而促進(jìn)國(guó)民經(jīng)濟(jì)的轉(zhuǎn)型升級(jí)、社會(huì)管理的模式更新，乃至國(guó)家綜合競(jìng)爭(zhēng)力的全面提升。數(shù)據(jù)獲取技術(shù)的革命性進(jìn)步 傳感器等自動(dòng)采集的數(shù)據(jù) WEB2.0等用戶(hù)生成數(shù)據(jù)（UGC） 日志等系統(tǒng)自動(dòng)生成數(shù)據(jù)Apache Web Server Log 大數(shù)據(jù)現(xiàn)象Source: Exabytes: Documenting the

2、digital age and huge growth in computing capacity, The Washington Post 新理念？ 大數(shù)據(jù)時(shí)代，我們需要什么樣的“新理念”？ 在思考問(wèn)題和解決問(wèn)題的方法上有什么新的特點(diǎn) 通過(guò)一些案例來(lái)說(shuō)明大數(shù)據(jù)時(shí)代我們應(yīng)有的一些思維模式大數(shù)據(jù)？容量大真實(shí)性變化快類(lèi)型多傳統(tǒng)數(shù)據(jù)庫(kù)的4個(gè)要求 大型: Large Volume 共享: Shared (multi-user) 持久: Durable (durability) 可靠: Reliable (Reliability) ACID (Atomicity, Consistency, Isolat

3、ion, Durability) High performance: TpmC 類(lèi)型多(Variety) 數(shù)據(jù)類(lèi)型多樣: 結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化 數(shù)據(jù)形態(tài)各異：流數(shù)據(jù)、圖數(shù)據(jù)、關(guān)系數(shù)據(jù) 處理要求不同：批處理、聯(lián)機(jī)處理、流式處理 在一個(gè)大數(shù)據(jù)應(yīng)用 中共存。變化快（Velocity） 不是靜態(tài)的大數(shù)據(jù)，而是動(dòng)態(tài)變化的數(shù)據(jù) 不是低頻，而是高頻 不是更新，而是插入真實(shí)性 GIGO是MIS時(shí)代的金科玉律 大數(shù)據(jù)是真實(shí)反映，也可能是虛假反映。 數(shù)據(jù)質(zhì)量問(wèn)題是新的巨大的挑戰(zhàn)用大數(shù)據(jù)解決問(wèn)題的新思路 航線(xiàn)網(wǎng)絡(luò)：頂點(diǎn)3k, 邊50k 聯(lián)程設(shè)計(jì)：根據(jù)聯(lián)程航班搭配規(guī)則生成聯(lián)程航班Model-based appr

4、oachBig data based approach?大數(shù)據(jù)的價(jià)值 大數(shù)據(jù)將逐漸成為現(xiàn)代社會(huì)基礎(chǔ)設(shè)施的一部分，就像公路、鐵路、港口、水電和通信網(wǎng)絡(luò)一樣不可或缺。 大數(shù)據(jù)是信息時(shí)代的“石油”，是推動(dòng)信息經(jīng)濟(jì)發(fā)展的動(dòng)力。大數(shù)據(jù)的價(jià)值在于應(yīng)用 產(chǎn)業(yè)轉(zhuǎn)型與升級(jí) 提升政府治理能力 促進(jìn)社會(huì)創(chuàng)新發(fā)展大數(shù)據(jù)思維 數(shù)據(jù)思維 互聯(lián)網(wǎng)思維 計(jì)算思維 1 “數(shù)據(jù)數(shù)據(jù)”思維思維量化、決策、整合量化、決策、整合1.1量化思維: 一切皆可量化! 數(shù)據(jù)是指存儲(chǔ)在某種介質(zhì)上能夠識(shí)別的物理符號(hào)，是對(duì)客觀事物性質(zhì)和狀態(tài)的描述. 先有數(shù)據(jù)再說(shuō)應(yīng)用 Stephen Beck 每一天，我們的身后都拖著一條由個(gè)人信息組成的長(zhǎng)長(zhǎng)的“尾巴

5、” 點(diǎn)擊網(wǎng)頁(yè) 切換電視頻道 駕車(chē)穿過(guò)自動(dòng)收費(fèi)站 用信用卡購(gòu)物 使用手機(jī) 而雅虎、Google這樣的公司，正在以平均每人、每月2500條信息的速度，捕獲我們的詳細(xì)數(shù)據(jù)?？茖W(xué)=數(shù)據(jù) 科學(xué)發(fā)專(zhuān)刊，“科學(xué)就是數(shù)據(jù)，數(shù)據(jù)就是科學(xué)” “數(shù)據(jù)推動(dòng)著科學(xué)的發(fā)展”科學(xué)2011年2月11日基因測(cè)序數(shù)據(jù) 在人體的基因中，有30億個(gè)堿基對(duì)，每個(gè)人的不同，就是由堿基對(duì)排列差異造成的大數(shù)據(jù)、大科學(xué) 饒毅先生 vs 華大基因的楊煥明院士 之爭(zhēng)跟帖評(píng)論：生命科學(xué)由實(shí)驗(yàn)科學(xué)正向理論科學(xué)轉(zhuǎn)變。大數(shù)據(jù)，大科學(xué)研究思路必然會(huì)導(dǎo)致生命科學(xué)的變革。人類(lèi)基因組計(jì)劃就是一個(gè)典型案例。 腦科學(xué)的一些數(shù)字 大腦由數(shù)十億神經(jīng)元組成,通過(guò)數(shù)千個(gè)突觸

6、相互連接; 僅大腦皮層中的突觸連接數(shù)量就超過(guò)了160萬(wàn)億個(gè)(萬(wàn)億1012) 用電子顯微鏡來(lái)重建1mm3的大腦（大約一根針的針頭）中的所有突觸回路，信息量大約在1015字節(jié)（1PB) 人類(lèi)大腦包含約106個(gè)這樣大小的神經(jīng)組織eScience eScience是信息技術(shù)與科學(xué)家相遇而催生的新的學(xué)科，科學(xué)家利用許多不同的方法收集或產(chǎn)生了數(shù)據(jù)， 如何從這些積累起來(lái)的海量數(shù)據(jù)中分析發(fā)現(xiàn)科學(xué)規(guī)律？正是這門(mén)學(xué)科的目的和任務(wù)。 如何對(duì)海量的數(shù)據(jù)進(jìn)行組織、管理和分析挖掘？第四研究范式的提出 數(shù)據(jù)本身的價(jià)值越來(lái)越被認(rèn)識(shí)， 基于數(shù)據(jù)的科學(xué)發(fā)現(xiàn),被認(rèn)為是第四研究范式。 科學(xué)實(shí)驗(yàn) 理論推導(dǎo) 仿真計(jì)算 基于數(shù)據(jù)的分析Mi

7、crosoft Research, 2009年10月 James （Jim） Gray 數(shù)據(jù)庫(kù)技術(shù)和事務(wù)處理專(zhuān)數(shù)據(jù)庫(kù)技術(shù)和事務(wù)處理專(zhuān)家家 1944年生，加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)系博士。 數(shù)據(jù)庫(kù)和事務(wù)處理研究專(zhuān)家 1998年獲圖靈獎(jiǎng)(時(shí)任微軟研究員) 2007年1月失聯(lián)至今個(gè)大數(shù)據(jù)應(yīng)用 TerraServer: 與美國(guó)地質(zhì)調(diào)查局合作。引領(lǐng)了基于互聯(lián)網(wǎng)的地圖服務(wù) SDSS斯隆數(shù)字巡天項(xiàng)目：與天體物理研究聯(lián)合會(huì)(ARC)合作. 后來(lái)發(fā)展為WWT(world wide telecsope)全球望遠(yuǎn)鏡，全球百性均可觀看第四科學(xué)范式 幾千年前 科學(xué)以實(shí)驗(yàn)為主 描述自然現(xiàn)象 過(guò)去數(shù)百年 科學(xué)出現(xiàn)了理論研

8、究分支 利用模型和歸納 過(guò)去數(shù)十年 科學(xué)出現(xiàn)了計(jì)算分支 對(duì)復(fù)雜現(xiàn)象進(jìn)行仿真第四科學(xué)范式 今天 將理論、實(shí)驗(yàn)和計(jì)算模擬統(tǒng)一起來(lái) 由儀器收集或者計(jì)算模擬產(chǎn)生數(shù)據(jù) 由計(jì)算機(jī)存儲(chǔ)和處理數(shù)據(jù) 科學(xué)家通過(guò)數(shù)據(jù)分析挖掘軟件分析數(shù)據(jù)，發(fā)現(xiàn)規(guī)律人文社會(huì)學(xué)科 馬克思說(shuō): “人的本質(zhì)不是單個(gè)人所固有的抽象物，在其現(xiàn)實(shí)性上，它是一切社會(huì)關(guān)系的總和?！?馬克思恩格斯選集第2版第1卷第60頁(yè)) 人與動(dòng)物的區(qū)別就是人會(huì)勞動(dòng)，而勞動(dòng)就形成了一定的社會(huì)關(guān)系。 人文社會(huì)學(xué)科 機(jī)理不清 模型難以建立 信息系統(tǒng)客觀地記錄了大量的”社會(huì)關(guān)系”,這些大數(shù)據(jù)庫(kù)本身可以看作是一個(gè)”模型”.BAT 大數(shù)據(jù)企業(yè)企業(yè)大數(shù)據(jù)大數(shù)據(jù)應(yīng)用應(yīng)用百度百度網(wǎng)

9、頁(yè)數(shù)據(jù)網(wǎng)頁(yè)數(shù)據(jù)搜索數(shù)據(jù)搜索數(shù)據(jù)公眾行為公眾行為阿里阿里電商數(shù)據(jù)電商數(shù)據(jù)信用計(jì)算信用計(jì)算騰訊騰訊社交數(shù)據(jù)社交數(shù)據(jù)關(guān)系營(yíng)銷(xiāo)關(guān)系營(yíng)銷(xiāo)政府治理 業(yè)務(wù)層次： 管理層次： 決策層次：例：網(wǎng)格化管理 對(duì)社區(qū)進(jìn)行網(wǎng)格化劃分 通過(guò)視頻監(jiān)控、傳感器，以及配置網(wǎng)格管理員，收集信息。 將信息上傳到一個(gè)統(tǒng)一的平臺(tái)上進(jìn)行分享和管理大數(shù)據(jù)治理（Governing） 數(shù)據(jù)質(zhì)量 數(shù)據(jù)隱私 數(shù)據(jù)安全 數(shù)據(jù)標(biāo)準(zhǔn) 數(shù)據(jù)溯源1.2 決策思維:讓數(shù)據(jù)說(shuō)話(huà) 決策模式： 直覺(jué)驅(qū)動(dòng)的決策 拍腦袋的決策，有隨意性 邏輯驅(qū)動(dòng)的決策 基于邏輯分析的推理 經(jīng)驗(yàn)驅(qū)動(dòng)的決策 用數(shù)據(jù)說(shuō)話(huà)、用數(shù)據(jù)來(lái) 管理、用數(shù)據(jù)來(lái)決策、用數(shù)據(jù)來(lái)創(chuàng)新如何看待大數(shù)據(jù)？ 概率論和

10、統(tǒng)計(jì)學(xué)將經(jīng)驗(yàn)變成了“科學(xué)” 數(shù)據(jù)分布（均勻分布，正態(tài)分布，高斯分布，泊松分布，。） 數(shù)據(jù)抽樣 假設(shè)檢驗(yàn) 大數(shù)定理大數(shù)定理 在隨機(jī)事件的大量重復(fù)出現(xiàn)中，往往呈現(xiàn)幾乎必然的規(guī)律。 在獨(dú)立同分布的假設(shè)下，重復(fù)試驗(yàn)多次，隨機(jī)事件的頻率近似于它的概率。偶然中包含著某種必然。 例子：拋硬幣試驗(yàn)，硬幣落下后哪面朝上是偶然的，但是當(dāng)拋硬幣的次數(shù)足夠多之后就會(huì)發(fā)現(xiàn)，硬幣朝上的次數(shù)約占總次數(shù)的二分之一。統(tǒng)計(jì)機(jī)器學(xué)習(xí)訓(xùn)練訓(xùn)練測(cè)試測(cè)試預(yù)測(cè)預(yù)測(cè)模型線(xiàn)性回歸大數(shù)定理的假設(shè) 這個(gè)定理有前提 獨(dú)立同分布 試驗(yàn)的次數(shù)非常大 在很多情況下，這些假設(shè)不一定能滿(mǎn)足 問(wèn)題空間的參數(shù)太大，訓(xùn)練數(shù)據(jù)對(duì)問(wèn)題空間的覆蓋度不大 試驗(yàn)條件在變化，

11、不能滿(mǎn)足獨(dú)立同分布“經(jīng)驗(yàn)”思維 崇尚“經(jīng)驗(yàn)主義”、讓數(shù)據(jù)本身說(shuō)話(huà)要全部數(shù)據(jù)，不要抽樣！ 模型不再那么重要，讓數(shù)據(jù)說(shuō)話(huà) “All models are wrong, but some are useful.” - 統(tǒng)計(jì)學(xué)家George Box “All models are wrong, and increasingly you can succeed without them.” - Peter Norvig案例：語(yǔ)言翻譯 通過(guò)搜索去找到相同或者相似的句子，直接返回結(jié)果百度：如果你不離開(kāi)我，我們會(huì)死在一起四級(jí)：你如果不離開(kāi)我，我就和你同歸于盡。 六級(jí)：你若不離不棄，我必生死相依。 If you

12、 do not leave me, we will die together. 搜索引擎案例：IBM沃森問(wèn)答系統(tǒng) 北京時(shí)間2011年2月17日，電腦沃森狂勝人類(lèi) 三個(gè)比賽日的總成績(jī)，沃森獲得77147美元，肯詹寧斯排名第二獲得24000美元，而布拉德拉特只獲得了21600美元 。1.3 整合思維:跨界的創(chuàng)新 數(shù)據(jù)孤島的形成 技術(shù)的原因 歷史的原因 認(rèn)識(shí)的原因 打破數(shù)據(jù)孤島，是開(kāi)展大數(shù)據(jù)應(yīng)用的前提信息化3.0信息化1.0信息化2.0V1.0-V2.0-V3.0目標(biāo)目標(biāo)技術(shù)技術(shù)典型應(yīng)用典型應(yīng)用特點(diǎn)特點(diǎn)機(jī)器代替人工集中數(shù)據(jù)庫(kù)OA,MIS系統(tǒng)基于數(shù)據(jù)庫(kù)的信息系統(tǒng)部門(mén)級(jí)應(yīng)用，信息孤島政府部門(mén)整體業(yè)務(wù)過(guò)程

13、一體化分布式數(shù)據(jù)庫(kù)國(guó)家“金字”工程縱向整合,數(shù)據(jù)大集中對(duì)大數(shù)據(jù)進(jìn)行整合分析，創(chuàng)造價(jià)值云計(jì)算大數(shù)據(jù)系統(tǒng)輿情分析，打擊犯罪信息開(kāi)放、融合；大數(shù)據(jù)信息化3.0 云計(jì)算解決了計(jì)算資源的共享問(wèn)題 大數(shù)據(jù)技術(shù)試圖解決數(shù)據(jù)的利用問(wèn)題 大數(shù)據(jù)是由于不同來(lái)源的數(shù)據(jù)匯集而帶來(lái)的“跨界”型創(chuàng)新應(yīng)用。案例：淘寶微貸 淘寶：電子商務(wù)平臺(tái) 淘寶網(wǎng)（taobao）：C2C業(yè)務(wù)， 天貓（原名淘寶商城）：平臺(tái)型B2C電子商務(wù)服務(wù)商 淘網(wǎng)（etao）：一站式購(gòu)物搜索引擎 開(kāi)展微貸業(yè)務(wù) 盡管不能經(jīng)營(yíng)儲(chǔ)蓄業(yè)務(wù)，但是支付寶平臺(tái)有上千億的存量 基于交易記錄，可以進(jìn)行自動(dòng)化誠(chéng)信評(píng)價(jià) 違約率僅有百分之零點(diǎn)幾跨界應(yīng)用比比皆是 2014年7月2

14、2號(hào)，上海。阿里巴巴宣布，和中行、招行、建行等7家銀行深度合作，為中小企業(yè)提供基于網(wǎng)商信用的無(wú)抵押貸款，最高授信額度1000萬(wàn)元。 阿里將平臺(tái)擁有的數(shù)萬(wàn)家企業(yè)交易數(shù)據(jù)開(kāi)放給銀行，降低銀行貸款風(fēng)控成本的同時(shí)，亦為苦于無(wú)法自證信用的中小企業(yè)，提供了第三方擔(dān)保。案例：電信運(yùn)營(yíng)賣(mài)管道：經(jīng)營(yíng)流量賣(mài)服務(wù)：經(jīng)營(yíng)業(yè)務(wù)賣(mài)知識(shí)：經(jīng)營(yíng)數(shù)據(jù)小結(jié) 量化思維: 一切皆可量化 決策思維: 讓數(shù)據(jù)說(shuō)話(huà) 整合思維: 數(shù)據(jù)跨界融合 數(shù)據(jù)客觀地記載了我們的世界。只要有可能，我們努力去獲取、保存、處理之。以數(shù)據(jù)為中心的新思維 大數(shù)據(jù)時(shí)代使得數(shù)據(jù)具有獨(dú)立存在的價(jià)值，數(shù)據(jù)作為資產(chǎn)的地位突顯。 以前都是先有應(yīng)用后有數(shù)據(jù)，現(xiàn)在是先有數(shù)據(jù)再說(shuō)

15、應(yīng)用 軟件是為數(shù)據(jù)服務(wù)的，我們需要以數(shù)據(jù)為中心的新思維 “互聯(lián)網(wǎng)互聯(lián)網(wǎng)”思維思維互聯(lián)網(wǎng)的發(fā)展SNS開(kāi)放性開(kāi)放性封閉封閉開(kāi)放開(kāi)放WEB1.0WEB2.0WEB3.0門(mén)戶(hù)博客SNS,語(yǔ)義網(wǎng)199520052015互聯(lián)網(wǎng)大數(shù)據(jù) 互聯(lián)網(wǎng)，特別web2.0之后的UGC，是大數(shù)據(jù)形成的重要原因之一。 SNS是由于互聯(lián)網(wǎng)的發(fā)展而形成人-人間的互聯(lián) 因此，大數(shù)據(jù)的應(yīng)用自然而然會(huì)受到互聯(lián)網(wǎng)的影響，互聯(lián)網(wǎng)思維也會(huì)影響大數(shù)據(jù)應(yīng)用?；ヂ?lián)網(wǎng)思維 以客戶(hù)為中心：人本的思維 萬(wàn)物皆有聯(lián)系：關(guān)聯(lián)的思維 反壟斷去中心化：平等的思維2.1“人本”思維 互聯(lián)網(wǎng)應(yīng)用將客戶(hù)作為了信息系統(tǒng)最重要的組成部分. 傳統(tǒng)的信息系統(tǒng)是將業(yè)務(wù)邏輯作

16、為最重要的內(nèi)容.“人本”思維 互聯(lián)網(wǎng)應(yīng)用的核心在于以用戶(hù)需求為主導(dǎo)，將用戶(hù)思考和用戶(hù)體驗(yàn)做到極致是關(guān)鍵所在。 有數(shù)據(jù)顯示，高達(dá)92%的顧客相信朋友推薦，有75%的顧客決策前參考社會(huì)化評(píng)價(jià)，70%的顧客相信在線(xiàn)評(píng)論。 口碑營(yíng)銷(xiāo)（病毒式營(yíng)銷(xiāo)）：通過(guò)社媒各渠道塑造品牌形象，直接影響消費(fèi)決策?！叭吮尽彼季S 互聯(lián)網(wǎng)應(yīng)用中，最有價(jià)值的是社區(qū)。 為用戶(hù)畫(huà)像，了解用戶(hù)的需求，提供個(gè)性化的服務(wù)。案例: MOOC MOOC= 公開(kāi)課+學(xué)習(xí)社區(qū)碎片化碎片化交互性交互性社交性社交性過(guò)程管理過(guò)程管理精品課程沒(méi)有無(wú)無(wú)無(wú)網(wǎng)絡(luò)公開(kāi)課是無(wú)無(wú)無(wú)MOOC是有有有案例：推薦 當(dāng)你瀏覽網(wǎng)頁(yè)的時(shí)候，系統(tǒng)會(huì)給你推薦2.2 “關(guān)聯(lián)”思維 強(qiáng)

17、調(diào)數(shù)據(jù)之間的關(guān)聯(lián)也很有用，而不去追求數(shù)據(jù)之間的因果關(guān)系。 因果關(guān)系是最深刻的一類(lèi)聯(lián)系，但是我們很多時(shí)候并不能獲得。計(jì)算機(jī)應(yīng)用的發(fā)展科學(xué)計(jì)算企業(yè)計(jì)算個(gè)人計(jì)算硬件技術(shù)關(guān)系理論事務(wù)理論互聯(lián)網(wǎng)搜索引擎195019802000案例：監(jiān)測(cè) 今年7月，華東師范大學(xué)一名女生收到來(lái)自學(xué)校勤助中心的短信：“同學(xué)你好，發(fā)現(xiàn)你上個(gè)月餐飲消費(fèi)較少，不知是否有經(jīng)濟(jì)困難？如有困難，可電話(huà)、短信或郵件我?！卑咐侯A(yù)測(cè) 根據(jù)搜索關(guān)鍵字預(yù)測(cè)失業(yè)率失業(yè)率預(yù)測(cè)演示模型2.3 “平等”思維 去中心化 去壟斷化 長(zhǎng)尾效應(yīng)去中心化 建立和運(yùn)維社區(qū)是大數(shù)據(jù)應(yīng)用的關(guān)鍵。 在社區(qū)中，成員都是平等的壟斷 vs 反壟斷 互聯(lián)網(wǎng)本質(zhì)上是反壟斷的 技術(shù)

18、反壟斷：開(kāi)源社區(qū) 信息反壟斷：信息公開(kāi)是反腐的利器 資源反壟斷：開(kāi)放和標(biāo)準(zhǔn)是有效的辦法案例：媒體的演變 傳統(tǒng)媒體：只能聽(tīng)到中心的一個(gè)聲音 博客：每個(gè)人都可以發(fā)表自己的想法。較之于傳統(tǒng)媒體，這是個(gè)巨大的飛躍。但是你的想法能讓多少人聽(tīng)到，卻依然取決于門(mén)戶(hù)網(wǎng)站的編輯（是否被精選） 微博：所有人可以在一個(gè)統(tǒng)一的公共討論空間討論，更重要的是這個(gè)討論空間，不再依靠一個(gè)中心，而是靠著興趣、關(guān)系的鏈條自動(dòng)生成、壯大，編輯的力量被前所未有的削弱了。小結(jié) 關(guān)聯(lián)的思維 平等的思維 人本的思維“計(jì)算計(jì)算”思維思維計(jì)算思維 “大數(shù)據(jù)”現(xiàn)象是計(jì)算技術(shù)發(fā)展和應(yīng)用中出現(xiàn)的問(wèn)題之一。大數(shù)據(jù)應(yīng)用 也還是計(jì)算機(jī)應(yīng)用。 因此大數(shù)據(jù)應(yīng)

19、用也應(yīng)遵循應(yīng)用計(jì)算機(jī)解決問(wèn)題的一般規(guī)律。這個(gè)規(guī)律我們稱(chēng)之為“計(jì)算思維”。計(jì)算思維 “計(jì)算思維”的概念是2007年由時(shí)任CMU計(jì)算機(jī)系主任周以真(Jeannette M. Wing )提出來(lái)的?！癈omputational Thinking”, Communications of ACM, 49(3),pp.33-35. March 2007是人的思維，不是計(jì)算機(jī)的思維 計(jì)算思維是人類(lèi)求解問(wèn)題的一條途徑，但決非試圖使人類(lèi)像計(jì)算機(jī)那樣地思考。 計(jì)算思維也并非計(jì)算機(jī)專(zhuān)業(yè)人員才能掌握的思維模式，非計(jì)算機(jī)專(zhuān)業(yè)的人員也應(yīng)具有。計(jì)算的精髓 計(jì)算就是問(wèn)題求解 抽象與自動(dòng)化algorithm 平臺(tái)與層次化pla

20、tform 平衡與最優(yōu)化optimization3.1 算法思維 計(jì)算思維的核心就是用計(jì)算機(jī)自動(dòng)解決問(wèn)題，而解決問(wèn)題的核心就是算法。 可計(jì)算嗎？ 計(jì)算量多大？ 是否有高效算法？ 是否有精確算法？ 如何設(shè)計(jì)近似算法？算法思維 手工方法是不可能處理大數(shù)據(jù)的！ 我們需要思考，我們工作中的什么事情是可以自動(dòng)化來(lái)完成的 自動(dòng)化的量化交易是否可能？3.2 平臺(tái)思維 平臺(tái)：指計(jì)算機(jī)硬件或軟件的操作環(huán)境。泛指進(jìn)行某項(xiàng)工作所需要的環(huán)境或條件（百度百科） 技術(shù)平臺(tái)：微軟平臺(tái)，數(shù)據(jù)庫(kù)平臺(tái)，。 業(yè)務(wù)平臺(tái)：辦公系統(tǒng)大數(shù)據(jù)系統(tǒng)平臺(tái) 需要一個(gè)計(jì)算機(jī)平臺(tái)！而且通常是一個(gè)計(jì)算機(jī)集群的云計(jì)算平臺(tái) 多層次平臺(tái)存儲(chǔ)計(jì)算平臺(tái)分析挖掘平臺(tái)展示應(yīng)用平臺(tái)平臺(tái)選擇 平臺(tái)是我們工作的基礎(chǔ)，平臺(tái)的建立需要時(shí)間和經(jīng)費(fèi)，一旦確定之后很難更換，因此，選擇平臺(tái)要謹(jǐn)慎 平臺(tái)選擇要重視開(kāi)源平臺(tái) 平臺(tái)并非唯一，需要根據(jù)應(yīng)用特征來(lái)選擇平臺(tái) 平臺(tái)選擇要考慮可擴(kuò)展性，最好是scale-out方式的擴(kuò)展。案例:Package Price的誘惑 平臺(tái)綁定一個(gè)產(chǎn)品會(huì)帶來(lái)后患 多方產(chǎn)品的選用 標(biāo)準(zhǔn)化的系統(tǒng)接口關(guān)于開(kāi)源平臺(tái)的討論 大數(shù)據(jù)系統(tǒng)大多為開(kāi)源平臺(tái) 開(kāi)放性 可持續(xù)發(fā)展 對(duì)于開(kāi)源系統(tǒng)的把握能力大數(shù)據(jù) 系統(tǒng)百花齊放 產(chǎn)業(yè)競(jìng)爭(zhēng)激烈，大家都覺(jué)得有機(jī)會(huì)，處于一個(gè)“競(jìng)爭(zhēng)性壟斷”的階