人工智能概論（第2版） 課件第7章 大數(shù)據(jù)與云計(jì)算

第七章大數(shù)據(jù)與云計(jì)算——人工智能的資源和平臺前導(dǎo)物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)和人工智能海量的數(shù)據(jù)通過物聯(lián)網(wǎng)收集，然后存儲于云計(jì)算平臺，最后再通過大數(shù)據(jù)分析技術(shù)，甚至更高形式的人工智能技術(shù)提取和分析得到人類需要的信息。大數(shù)據(jù)的基礎(chǔ)是物聯(lián)網(wǎng)和云計(jì)算，人工智能的基礎(chǔ)是大數(shù)據(jù)。人工智能的決策依賴于大數(shù)據(jù)的分析。目錄大數(shù)據(jù)大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)的實(shí)訓(xùn)案例云計(jì)算融合發(fā)展大數(shù)據(jù)PART01什么是大數(shù)據(jù)谷歌數(shù)據(jù)中心谷歌搜索引擎不但可以存儲用戶搜索出來的所有網(wǎng)站鏈接，還存儲了人們的所有搜索行為通過對大量數(shù)據(jù)分析，谷歌還可以預(yù)測人們接下來會采取怎樣的行動，這種對大量數(shù)據(jù)進(jìn)行捕捉、存儲和分析，并根據(jù)這些數(shù)據(jù)做出預(yù)測的能力，就是我們所說的大數(shù)據(jù)。什么是大數(shù)據(jù)用現(xiàn)有的一般技術(shù)難以管理的大量數(shù)據(jù)的集合。大數(shù)據(jù)的規(guī)模龐大，處理的復(fù)雜性高，采用現(xiàn)有的數(shù)據(jù)處理系統(tǒng)都難以對其駕馭。大數(shù)據(jù)的級別是PB/EB級別，1PB=1024TB、1EB=1024PB、1ZB=1024EB大數(shù)據(jù)從哪來？企業(yè)生產(chǎn)：工業(yè)設(shè)備、智能制造、儀表儀器等都可能產(chǎn)生數(shù)據(jù)人類的衣食住行：網(wǎng)上消費(fèi)和購物、發(fā)送郵件、用手機(jī)上網(wǎng)聊天、發(fā)表博客、瀏覽網(wǎng)頁等等社會運(yùn)行：交通攝像頭、監(jiān)控，銀行資金流水，公交運(yùn)營記錄，物聯(lián)網(wǎng)中產(chǎn)生的等等大數(shù)據(jù)的作用？電商企業(yè)通過數(shù)據(jù)分析了解，用戶通過點(diǎn)擊站內(nèi)廣告最終購買產(chǎn)品的比率較高獲得有價(jià)值的信息，以數(shù)據(jù)來驅(qū)動企業(yè)業(yè)務(wù)，為社會提供發(fā)展動力。超市的產(chǎn)品供應(yīng)商可以利用植入購物車中的IC標(biāo)簽，來收集顧客的行動路線數(shù)據(jù)，通過與商品銷售數(shù)據(jù)相結(jié)合，從而分析出顧客買或不買某種商品的理由。大數(shù)據(jù)的特征主要具有四個(gè)特征：數(shù)量（Volume）、種類（Varity）、速度（Velocity）和價(jià)值（Value），簡稱4V，即龐大的數(shù)據(jù)量、豐富的數(shù)據(jù)種類、極快的數(shù)據(jù)處理速度和巨大的商業(yè)價(jià)值四個(gè)特征。大數(shù)據(jù)的處理流程在合適工具的輔助下，從實(shí)際業(yè)務(wù)系統(tǒng)中采集數(shù)據(jù)，并將結(jié)果按照一定的標(biāo)準(zhǔn)進(jìn)行存儲，然后利用合適的數(shù)據(jù)分析技術(shù)對數(shù)據(jù)進(jìn)行預(yù)處理和分析，然后將分析后的數(shù)據(jù)建立數(shù)據(jù)模型，進(jìn)行人工智能識別，最后將結(jié)果進(jìn)行可視化展示給終端用戶。大數(shù)據(jù)的處理流程——數(shù)據(jù)采集數(shù)據(jù)采集是指從傳感器、智能設(shè)備、儀器儀表、企業(yè)在線系統(tǒng)、互聯(lián)網(wǎng)平臺、移動互聯(lián)APP、RFID射頻等數(shù)據(jù)源獲取數(shù)據(jù)的過程。大數(shù)據(jù)的處理流程——數(shù)據(jù)預(yù)處理現(xiàn)實(shí)世界采集的數(shù)據(jù)存在不完整性（遺漏）、含有噪聲（錯誤）、數(shù)據(jù)不一致、數(shù)據(jù)質(zhì)量不高等問題。而在使用數(shù)據(jù)時(shí)要求數(shù)據(jù)具有一致性、準(zhǔn)確性、完整性等特性。因此在使用數(shù)據(jù)之前要對數(shù)據(jù)進(jìn)行處理，即數(shù)據(jù)預(yù)處理。大數(shù)據(jù)的處理流程——數(shù)據(jù)存儲將海量的、來自前端的數(shù)據(jù)經(jīng)預(yù)處理后，快速導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫或者分布式存儲集群，利用分布式技術(shù)來對存儲于其內(nèi)的、集中的海量數(shù)據(jù)進(jìn)行查詢、分類和匯總，以此滿足分析需求。大數(shù)據(jù)的處理流程——數(shù)據(jù)分析與挖掘數(shù)據(jù)分析與挖掘是整個(gè)大數(shù)據(jù)處理流程的核心，只有通過數(shù)據(jù)分析與挖掘才能獲取更多智能的、有價(jià)值的信息。依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術(shù)大數(shù)據(jù)的處理流程——數(shù)據(jù)展示大數(shù)據(jù)的應(yīng)用PART02大數(shù)據(jù)的實(shí)訓(xùn)案例PART03云計(jì)算PART04什么是云計(jì)算云計(jì)算（CloudComputing）是一種按使用量付費(fèi)的新型互聯(lián)網(wǎng)商業(yè)模式，這種模式可以為用戶提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問，可按需提供給用戶網(wǎng)絡(luò)計(jì)算資源。云計(jì)算是分布式計(jì)算（DistributedComputing）、并行計(jì)算（ParallelComputing）、效用計(jì)算（UtilityComputing）、網(wǎng)絡(luò)存儲（NetworkStorageTechnologies）、虛擬化（Virtualization）、負(fù)載均衡（LoadBalance）、熱備份冗余（HighAvailable）等技術(shù)發(fā)展融合的產(chǎn)物，通過網(wǎng)絡(luò)將大量分布式計(jì)算資源集中管理起來，實(shí)現(xiàn)并行計(jì)算，并通過虛擬化技術(shù)形成資源池，為用戶提供計(jì)算資源按需、彈性分配，極大提高了IT資源的效能。云計(jì)算的特征按需自助服務(wù)客戶可以根據(jù)業(yè)務(wù)的需求，自主向云端申請資源無處不在的網(wǎng)絡(luò)接入通過互聯(lián)網(wǎng)訪問云資源，不受地理位置的限制，可以隨時(shí)隨地接入云平臺與位置無關(guān)的資源池客戶一般無需知道資源的確切物理位置，只需要根據(jù)自身的需求申請相應(yīng)的資源?？焖購椥袁F(xiàn)有資源需要調(diào)整時(shí)，只需要向服務(wù)提供商增加或者減少租賃資源按使用付費(fèi)云計(jì)算商業(yè)模式IaaS（Infrastructureasaservice）基礎(chǔ)設(shè)施即服務(wù)案例1：采用阿里云平臺來申請一臺服務(wù)器資源，要求2核CPU，2G的內(nèi)存，40G的系統(tǒng)硬盤，連接此服務(wù)器的帶寬是1Mbps。云計(jì)算商業(yè)模式PaaS（Platformasaservice）平臺即服務(wù)案例2：在華為軟件開發(fā)云平臺上申請Mysql數(shù)據(jù)庫服務(wù)器，其軟件版本為Mysql5.7,服務(wù)器為2核CPU8G內(nèi)存，最大連接數(shù)數(shù)為2500，存儲空間為500G，并設(shè)置數(shù)據(jù)庫密碼為Qdjsj@308。云計(jì)算商業(yè)模式SaaS（SoftwareasaSer