大數(shù)據(jù)產(chǎn)業(yè)鏈及數(shù)據(jù)收集課件

1、大數(shù)據(jù)產(chǎn)業(yè)鏈及數(shù)據(jù)收集劉寶強 不管你現(xiàn)在做什麼行業(yè)，未來都是數(shù)據(jù)生意 凱文凱利大數(shù)據(jù)產(chǎn)業(yè)鏈大數(shù)據(jù)平臺八爪魚大數(shù)據(jù)收集系統(tǒng) 目錄1.產(chǎn)業(yè)鏈背景數(shù)據(jù)不是一個新的概念，但沒有雲(yún)計算的成熟，就沒有真正的大數(shù)據(jù)。雲(yún)計算為大數(shù)據(jù)提供了硬體和框架。傳統(tǒng)的數(shù)據(jù)處理是利用因果關(guān)係，當(dāng)無法依靠因果關(guān)係處理數(shù)據(jù)時，就需要用關(guān)聯(lián)關(guān)係，分析關(guān)聯(lián)關(guān)係而不是因果關(guān)係為大數(shù)據(jù)提供了理論方向。大數(shù)據(jù)怎麼產(chǎn)生的？ 用大數(shù)據(jù)認(rèn)識世界無數(shù)據(jù)，難以看清世界的真相和細節(jié)！ 用大數(shù)據(jù)預(yù)測未來無數(shù)據(jù)，難以看清數(shù)據(jù)之間的關(guān)聯(lián)及背後的價值！ 用大數(shù)據(jù)引領(lǐng)創(chuàng)新管理無數(shù)據(jù)，難以做到跨界融合，易紙上談兵！大數(shù)據(jù)有什麼用？美國大數(shù)據(jù)產(chǎn)業(yè)鏈中國大數(shù)據(jù)產(chǎn)業(yè)

2、鏈共用、交易、眾包、訂閱行業(yè)及具體場景應(yīng)用大數(shù)據(jù)產(chǎn)業(yè)環(huán)節(jié)及分層2.大數(shù)據(jù)平臺內(nèi)部數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)其他數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)搜集數(shù)據(jù)清洗數(shù)據(jù)建模數(shù)據(jù)分析數(shù)據(jù)倉庫業(yè)務(wù)分析平臺分析決策監(jiān)測預(yù)測3.大數(shù)據(jù)收集系統(tǒng)垂直，行業(yè)門戶企業(yè)情報系統(tǒng)資訊研究諮詢應(yīng)用場景輿情監(jiān)控預(yù)警資訊採集發(fā)佈電子商務(wù)數(shù)據(jù)服務(wù)知識，數(shù)據(jù)倉庫科研電子商務(wù)網(wǎng)路行銷公司企業(yè)政府機關(guān)各類網(wǎng)站數(shù)據(jù)自動化系統(tǒng)集成數(shù)據(jù)獲取的用途應(yīng)用行業(yè)數(shù)據(jù)庫ExcelBI平臺八爪魚數(shù)據(jù)獲取系統(tǒng) 八爪魚大數(shù)據(jù)，通過自主創(chuàng)新研發(fā)，以分散式雲(yún)平臺架構(gòu)為產(chǎn)品核心，説明客戶通過在極短的時間內(nèi)，通過簡單操作即可獲取想要的數(shù)據(jù)，並以結(jié)構(gòu)化數(shù)據(jù)展示，為企業(yè)數(shù)據(jù)採擷與數(shù)據(jù)分析提供基礎(chǔ)數(shù)

3、據(jù)來源。四大特色 1、通用性數(shù)據(jù)獲取系統(tǒng) 視覺化操作 任何網(wǎng)站都可以採集 輕鬆?wèi)?yīng)對各種反爬蟲措施2、 集群化分散式雲(yún)採集模式 雲(yún)服務(wù)穩(wěn)定運行模式 分散式高效採集 定時控制計畫3、通用的數(shù)據(jù)API介面 實現(xiàn)數(shù)據(jù)自動入庫，安全高效 支援二次開發(fā)，實現(xiàn)企業(yè)內(nèi)部系統(tǒng)無縫對接4、企業(yè)級多用戶協(xié)作管理平臺 支援多用戶操作 雲(yún)端調(diào)度和雲(yún)進程實施監(jiān)控數(shù)據(jù)獲取架構(gòu)方案八爪魚內(nèi)置數(shù)據(jù)獲取系統(tǒng)，數(shù)據(jù)倉庫，數(shù)據(jù)整合介面為一體化的解決方案，可進行內(nèi)外網(wǎng)抓取。同時八爪魚採集系統(tǒng)還支援二次開發(fā)，可以實現(xiàn)與企業(yè)內(nèi)部系統(tǒng)的無縫對接。數(shù)據(jù)採集系統(tǒng)網(wǎng)頁數(shù)據(jù)倉庫企業(yè)內(nèi)部系統(tǒng)數(shù)據(jù)整合介面數(shù)據(jù)採集系統(tǒng)網(wǎng)頁分散式雲(yún)集群部署，海量數(shù)據(jù)處理能

4、力八爪魚通過一套中央控制處理機制連接了使用者端和雲(yún)集群服務(wù)端。中央控制器接收使用者指令，把任務(wù)分派到雲(yún)端的各個節(jié)點進行工作，實現(xiàn)自動負(fù)載均衡，動態(tài)伸縮，日均數(shù)據(jù)千萬數(shù)據(jù)輕鬆搞定。雲(yún)採集集群(自動負(fù)載均衡，可動態(tài)伸縮，熱插拔)中央控制終端用戶典型案例需求：某商業(yè)銀行風(fēng)控平臺需要對盡可能多的企業(yè)公示資訊，包括企業(yè)工商資訊，稅務(wù)資訊，執(zhí)行資訊與社交網(wǎng)路的公司資訊進行採集，匯總，並對其進行挖掘，從而對放貸等環(huán)節(jié)提供數(shù)據(jù)依據(jù)與風(fēng)險評估。解決方案：八爪魚負(fù)責(zé)外部數(shù)據(jù)的採集工作，採集的數(shù)據(jù)來源包括，企業(yè)工商資訊，企業(yè)稅務(wù)資訊，法院執(zhí)行資訊，社交新聞輿情資訊等，通過按照客戶要求的數(shù)據(jù)格式進行採集和更新，按照指

5、定的頻率自動更新和推送到風(fēng)控平臺，匹配風(fēng)控模型，進行風(fēng)險預(yù)警，一旦新數(shù)據(jù)達到指標(biāo)值，會立馬形成風(fēng)險資訊，進行處理。效益：八爪魚採集器的高相容性與分散式特性，快速幫助企業(yè)獲取盡可能多的數(shù)據(jù)來源，為金融企業(yè)風(fēng)險控制提供數(shù)據(jù)依據(jù)，降低風(fēng)險，助力金融產(chǎn)品市場化運作。商業(yè)銀行風(fēng)控平臺行業(yè)案例需求：國內(nèi)外某些高校開設(shè)大數(shù)據(jù)應(yīng)用課程，希望有簡單，快速上手，無需程式設(shè)計的視覺化大數(shù)據(jù)獲取工具，方便演示，從而讓老師與學(xué)生快速獲取相關(guān)應(yīng)用案例數(shù)據(jù)，對數(shù)據(jù)進行建模，配合課程進行講解。數(shù)據(jù)採擷（聚類，神經(jīng)網(wǎng)路等），人工智慧（中文分詞，語義分析），行銷推廣（競品分析，輿論分析）解決方案：八爪魚採集系統(tǒng)，只需簡單的規(guī)則搭

6、配，即可採集98%以上的網(wǎng)頁數(shù)據(jù)，方便老師進行演示及獲取數(shù)據(jù)。學(xué)生接受程度高，課程效果佳，簡單操作即可獲取無限數(shù)據(jù)來源，為數(shù)據(jù)採擷，數(shù)據(jù)分析提供基礎(chǔ)數(shù)據(jù)來源與應(yīng)用場景。效益：讓課堂與大數(shù)據(jù)案例深度結(jié)合，為相關(guān)數(shù)據(jù)課程提供業(yè)務(wù)場景及基礎(chǔ)數(shù)據(jù)來源，學(xué)生動手能力強，理論與行動兼?zhèn)?，課程效果佳。助力高校大數(shù)據(jù)相關(guān)課程需求：某國內(nèi)高流量招聘網(wǎng)站：該企業(yè)新開通某地級市網(wǎng)站，期望快速獲取本地企業(yè)招聘資訊與本地人才簡歷，需要對另外同行對手的相關(guān)資訊進行採集入庫，以達到一個基礎(chǔ)數(shù)據(jù)量，從而讓業(yè)務(wù)快速地推進市場。解決方案：八爪魚通過分散式雲(yún)採集並控制採集速度，有效地防止網(wǎng)站封IP採集，以類比人工點擊，讀取，快速收集數(shù)據(jù)。效益：由於落地網(wǎng)站封IP策略並且識別機器爬蟲採集，對一般性