帆軟數(shù)采+數(shù)倉(cāng)解決方案

@FanRuan數(shù)采+數(shù)倉(cāng)解決方案e7d195523061f1c07797a755f80b33936a4bdb71a1e2e9b3B62BFFCC95B79A52B69A880DC502B9E829A24DBA5CC298944ED7C125A3C86A656AA7F644DB8944AD014E04A9878B8132B29416743944FF5DCC507526376A5AC58EE0F1A5FC8F59998C0CD06DB888E7E35498044740ECB45703F93F7CBDEB7090867790094660804162A6986075B2B43D1–公司介紹TheMainStructureContents2–整體架構(gòu)3–數(shù)據(jù)采集4–數(shù)據(jù)倉(cāng)庫(kù)e7d195523061f1c07797a755f80b33936a4bdb71a1e2e9b3B62BFFCC95B79A52B69A880DC502B9E829A24DBA5CC298944ED7C125A3C86A656AA7F644DB8944AD014E04A9878B8132B29416743944FF5DCC507526376A5AC58EE0F1A5FC8F59998C0CD06DB888E7E35498044740ECB45703F93F7CBDEB7090867790094660804162A6986075B2B43D01公司介紹歷經(jīng)14年發(fā)展，帆軟已成長(zhǎng)為國(guó)內(nèi)領(lǐng)先的商業(yè)智能廠商2006注冊(cè)成立帆軟軟件開始公司化運(yùn)營(yíng)推出FineReportV3.02008發(fā)布FineReportV6.0開始大步流星進(jìn)入新的發(fā)展階段

2012FineReport成為報(bào)表軟件領(lǐng)導(dǎo)品牌市場(chǎng)占有率業(yè)內(nèi)第一2013發(fā)布FineBIV1.0掀起國(guó)內(nèi)自助式BI浪潮20152015年銷售額破億將國(guó)內(nèi)商業(yè)智能產(chǎn)業(yè)帶到新的起點(diǎn)2019年銷售突破6.7億連續(xù)兩年獲得IDC認(rèn)證國(guó)內(nèi)商業(yè)智能市場(chǎng)占有率第一總部無錫，員工超1300人，全國(guó)與海外共設(shè)立15處分支機(jī)構(gòu)無錫南京東京安養(yǎng)新竹新加坡曼谷組織規(guī)模員工總數(shù)超1300人，國(guó)內(nèi)BI領(lǐng)域人員規(guī)模第一，產(chǎn)品和研發(fā)超過50%，以產(chǎn)品和技術(shù)驅(qū)動(dòng);總部：無錫研發(fā)中心：南京分支機(jī)構(gòu)：上海、北京、深圳、杭州、濟(jì)南、成都、武漢、西安、沈陽、安養(yǎng)、新竹、東京、曼谷、新加坡;機(jī)構(gòu)分布14年的發(fā)展，帆軟也獲得眾多行業(yè)組織和機(jī)構(gòu)的認(rèn)可ForbesGartnerCCIDIDC帆軟商業(yè)智能產(chǎn)品與服務(wù)體系概覽工具商業(yè)智能工具終端展示FineReportFineBIFineMobile移動(dòng)BI大屏數(shù)據(jù)可視化方案行業(yè)方案阿米巴零售管家微信小秘書商業(yè)風(fēng)控通醫(yī)藥數(shù)據(jù)魔方行長(zhǎng)駕駛艙行業(yè)產(chǎn)品化工地產(chǎn)醫(yī)藥零售保險(xiǎn)交通證券時(shí)尚建筑銀行醫(yī)療電子電氣電力新能源······交流平臺(tái)品牌活動(dòng)數(shù)據(jù)應(yīng)用研究院智數(shù)大會(huì)百城巡展行業(yè)峰會(huì)FineDay商業(yè)智能創(chuàng)新實(shí)踐峰會(huì)理論建設(shè)趨勢(shì)報(bào)告案例研究前沿書籍服務(wù)售后服務(wù)實(shí)施服務(wù)社區(qū)服務(wù)人才培養(yǎng)技術(shù)支持二次開發(fā)客戶成功項(xiàng)目管理數(shù)倉(cāng)搭建可視化開發(fā)問答直播講堂認(rèn)證文檔任務(wù)數(shù)據(jù)運(yùn)營(yíng)官報(bào)表工程師BI工程師帆軟商業(yè)智能工具方案BI工具滿足企業(yè)不同的數(shù)據(jù)應(yīng)用場(chǎng)景終端展示滿足企業(yè)不同的數(shù)據(jù)展示場(chǎng)景行業(yè)方案基于行業(yè)共性的指標(biāo)體系和場(chǎng)景方案行業(yè)產(chǎn)品基于產(chǎn)品應(yīng)用和管理思路整合成的產(chǎn)品化解決方案服務(wù)交流平臺(tái)售后與實(shí)施服務(wù)售后的項(xiàng)目實(shí)施以及服務(wù)響應(yīng)社區(qū)服務(wù)線上的學(xué)習(xí)、交流與互助服務(wù)平臺(tái)人才培養(yǎng)企業(yè)數(shù)據(jù)化人才的培養(yǎng)支持品牌活動(dòng)覆蓋區(qū)域/行業(yè)/職位多維度的會(huì)議交流平臺(tái)數(shù)據(jù)應(yīng)用研究院專注企業(yè)數(shù)據(jù)化應(yīng)用以及BI技術(shù)/理論的交流和研究帆軟售后-多渠道為客戶提供精細(xì)化的售后服務(wù)支持分類服務(wù)通道獲取途徑通道特點(diǎn)自助解決幫助文檔FineReport()/FineBI()百科式文檔，已收錄2627余篇智能客服-小帆智能問答機(jī)器人，可解決3000+問題尋求幫助帆軟論壇（互助版塊）番薯互助問答，已累計(jì)解決28025個(gè)問題，響應(yīng)時(shí)間5分鐘技術(shù)支持QQ800049425官方主要服務(wù)通道，日均處理426個(gè)問題技術(shù)支持電話400-811-8890官方次要服務(wù)通道技術(shù)支持E-mailsupport@官方次要服務(wù)通道服務(wù)投訴投訴電話（總裁熱線）186-0252-2339官方主要投訴受理通道投訴E-mailcomplain@官方次要投訴受理通道微信服務(wù)號(hào)投訴finesoftware官方次要投訴受理通道搭建行業(yè)優(yōu)質(zhì)的活動(dòng)交流平臺(tái)，為企業(yè)數(shù)據(jù)價(jià)值落地賦能百城巡展78場(chǎng)次11885

家到場(chǎng)交流企業(yè)275

家標(biāo)桿企業(yè)分享12

個(gè)行業(yè)17場(chǎng)高峰論壇2

場(chǎng)次1600

用戶到場(chǎng)800

家企業(yè)到場(chǎng)100家場(chǎng)均與會(huì)企業(yè)2

場(chǎng)次1600家企業(yè)到場(chǎng)2600客戶參與交流行業(yè)峰會(huì)智數(shù)大會(huì)FineDay城市課堂41

個(gè)城市286

場(chǎng)城市課堂11508

惠及學(xué)員數(shù)2018首屆智數(shù)大會(huì)帆軟行業(yè)解決方案：基于行業(yè)的深耕，為行業(yè)客戶提供更有價(jià)值的咨詢服務(wù)*更多行業(yè)咨詢請(qǐng)聯(lián)系當(dāng)?shù)劁N售顧問*交通運(yùn)輸物流電力新能源電子電氣醫(yī)療行業(yè)證金保險(xiǎn)期貨建筑行業(yè)精益生產(chǎn)管理；精益供應(yīng)鏈管埋；智能制造可視化應(yīng)用實(shí)踐；報(bào)表體系建設(shè)探索經(jīng)驗(yàn)分享；數(shù)字化管理；數(shù)據(jù)大屏展示；交通運(yùn)輸大數(shù)據(jù)平臺(tái)建設(shè)；跨部門多應(yīng)用數(shù)據(jù)共享平臺(tái)；智能電站、智慧電廠；能源互聯(lián)網(wǎng)；堅(jiān)強(qiáng)智能電網(wǎng)；泛在電力物聯(lián)網(wǎng)；智慧能源綜合服務(wù)平臺(tái)；企業(yè)數(shù)據(jù)管理指標(biāo)體系建立方式集團(tuán)數(shù)據(jù)資產(chǎn)建設(shè)思路如何應(yīng)用數(shù)據(jù)手段加快業(yè)財(cái)一體化項(xiàng)目管理數(shù)據(jù)應(yīng)用工程數(shù)字化指揮中心與智慧工地建設(shè)數(shù)據(jù)發(fā)掘醫(yī)療客源?？漆t(yī)院利用數(shù)據(jù)提升科研水平運(yùn)營(yíng)管理型數(shù)據(jù)平臺(tái)建設(shè)新環(huán)境下醫(yī)療機(jī)構(gòu)的數(shù)據(jù)之路集團(tuán)數(shù)據(jù)化管理的部分場(chǎng)景醫(yī)療數(shù)據(jù)的服務(wù)價(jià)值管理駕駛艙數(shù)據(jù)治理監(jiān)管報(bào)送精細(xì)化自助分析全面風(fēng)險(xiǎn)管理02整體架構(gòu)架構(gòu)1：關(guān)系型數(shù)倉(cāng)架構(gòu)源數(shù)據(jù)財(cái)務(wù)系統(tǒng)種植加工庫(kù)存系統(tǒng)主題分析大屏展示…..ODS(操作數(shù)據(jù)存儲(chǔ))領(lǐng)導(dǎo)駕駛艙銷售、市場(chǎng)數(shù)據(jù)抽取轉(zhuǎn)換數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市整合分析展現(xiàn)數(shù)據(jù)集市關(guān)系數(shù)據(jù)模型

多維數(shù)據(jù)模型自助分析移動(dòng)駕駛艙固定報(bào)表大屏展示EDW(數(shù)據(jù)倉(cāng)庫(kù))數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)加載ETL物流系統(tǒng)人力系統(tǒng)合同采購(gòu)系統(tǒng)研發(fā)系統(tǒng)質(zhì)量系統(tǒng)駕駛艙固定報(bào)表架構(gòu)2：MPP數(shù)倉(cāng)架構(gòu)主題分析生產(chǎn)監(jiān)控看板…..ODS(操作數(shù)據(jù)存儲(chǔ))FineTube調(diào)度Kettle調(diào)度領(lǐng)導(dǎo)駕駛艙ERP數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)-FineData/MPP架構(gòu)整合分析前端展現(xiàn)填報(bào)報(bào)表移動(dòng)駕駛艙固定查詢報(bào)表駕駛艙看板DW(數(shù)據(jù)倉(cāng)庫(kù))實(shí)時(shí)數(shù)據(jù)抽取-E實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)換-T實(shí)時(shí)數(shù)據(jù)加載-LETL批處理MES手工填報(bào)EHR主題分析報(bào)表固定查詢報(bào)表線下excelOA移動(dòng)端報(bào)表KettleKettle調(diào)度寬表化分主題/分模塊結(jié)果集寬表DM(數(shù)據(jù)集市)數(shù)據(jù)建模批量數(shù)據(jù)轉(zhuǎn)換-TFineTube調(diào)度03數(shù)據(jù)采集大數(shù)據(jù)平臺(tái)ApacheKylin華為FusionSight華為DWSAPACHEIMPALAHadoopHiveSPARKAmazonRedshiftPresto······程序數(shù)據(jù)源JAVAAPI Hibernate數(shù)據(jù)源Webservice/SOA標(biāo)準(zhǔn)數(shù)據(jù)源文件數(shù)據(jù)源EXCELTXTCSVXML分析型數(shù)據(jù)庫(kù)VerticaGreenPlumSAPHANA阿里云ADS多維數(shù)據(jù)庫(kù)BWSSASESSbase關(guān)系型數(shù)據(jù)庫(kù)OracleDB2MySQLSQLServerAccessInformix……NOSQL數(shù)據(jù)庫(kù)MongoDBIT采集：數(shù)據(jù)源連接IT采集：支持開發(fā)者深入地開發(fā)與控制模板導(dǎo)入文件導(dǎo)入簡(jiǎn)單程序數(shù)據(jù)源帶參程序數(shù)據(jù)源EJB程序數(shù)據(jù)源WebSerive程序數(shù)據(jù)源自定義函數(shù)自定義樣式自定義交互自定義填報(bào)文件導(dǎo)出文件打印XML程序數(shù)據(jù)源報(bào)表再處理帆軟開放平臺(tái)導(dǎo)入接口數(shù)據(jù)源接口邏輯處理接口導(dǎo)出打印接口IT采集：豐富的填報(bào)控件樣式，支持大數(shù)據(jù)量填報(bào)文本數(shù)字下拉框視圖樹下拉復(fù)選框單選按鈕組日期按鈕復(fù)選框網(wǎng)頁框復(fù)選框組文件密碼下拉樹表格樹列表控件預(yù)定義控件自定義控件提供多種填報(bào)控件風(fēng)格，創(chuàng)新的分頁加載技術(shù)，支持大數(shù)據(jù)量填報(bào)表填報(bào)示例模板IT采集：支持多種智能的數(shù)據(jù)提交控制內(nèi)置4種提交類型支持自定義提交智能綁定字段和單元格提交條件和提交事件內(nèi)置智能提交，插入提交、刪除提交，更新提交等入庫(kù)方式。可設(shè)定單元格未被編輯時(shí)不參與提交。支持自定義JAVA類提交智能添加字段，智能添加單元格，快速實(shí)現(xiàn)字段和單元格的綁定支持提交條件，只有滿足預(yù)設(shè)條件的數(shù)據(jù)才會(huì)入庫(kù)。支持編輯提交事件。IT采集：支持全方位的數(shù)據(jù)校驗(yàn)，確保數(shù)據(jù)合乎規(guī)范典型數(shù)據(jù)校驗(yàn)示例Finereport數(shù)據(jù)校驗(yàn)及時(shí)校驗(yàn)提交校驗(yàn)強(qiáng)制提交JS校驗(yàn)對(duì)單元格內(nèi)容及時(shí)校驗(yàn)，比如文本的長(zhǎng)度/數(shù)字的精度提交時(shí)對(duì)全局?jǐn)?shù)據(jù)進(jìn)行校驗(yàn)，支持公式/自定義java類支持編寫js事件來實(shí)現(xiàn)復(fù)雜的數(shù)據(jù)校驗(yàn)可設(shè)置數(shù)據(jù)校驗(yàn)不通過仍強(qiáng)制提交數(shù)據(jù)IT采集：在線導(dǎo)入excel數(shù)據(jù)，支持多種匹配邏輯導(dǎo)入行式報(bào)表：支持固定行和不定行的導(dǎo)入，提供按標(biāo)題匹配和按位置匹配等智能匹配邏輯，支持雙向擴(kuò)展報(bào)表的導(dǎo)入EXCEL導(dǎo)入設(shè)置導(dǎo)入自由報(bào)表：支持導(dǎo)入自由格式的報(bào)表，按照單元格位置匹配，實(shí)現(xiàn)完整樣式的導(dǎo)入自定義導(dǎo)入：支持行式報(bào)表的自定義導(dǎo)入，用戶可以選擇要導(dǎo)入的行、列以及sheet123實(shí)時(shí)同步自定義組件增量更新可支持和開發(fā)cdc、binlog、logminer、時(shí)間戳、日志，API接口等實(shí)現(xiàn)各種不同數(shù)據(jù)系統(tǒng)的實(shí)時(shí)增量同步數(shù)據(jù)數(shù)據(jù)開發(fā)批處理流處理在線批處理、流處理等多引擎任務(wù)開發(fā)，構(gòu)建復(fù)雜的調(diào)度依賴，提供可視化數(shù)據(jù)開發(fā)模式數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)海量數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)配置數(shù)據(jù)質(zhì)量字段監(jiān)控臟數(shù)據(jù)清洗通過表級(jí)別、字段級(jí)別監(jiān)控規(guī)則定義，第一時(shí)間感知臟數(shù)據(jù)。數(shù)據(jù)安全數(shù)據(jù)暫存數(shù)據(jù)恢復(fù)基于kafka消息中間件隨時(shí)恢復(fù)數(shù)據(jù)，保證數(shù)據(jù)一致性結(jié)構(gòu)化非結(jié)構(gòu)化IT采集：FineTube產(chǎn)品特點(diǎn)基于cdc、binlog、logminer、時(shí)間戳等技術(shù)實(shí)現(xiàn)實(shí)時(shí)增量同步數(shù)據(jù)FineTube實(shí)時(shí)同步自定義參數(shù)，無需臨時(shí)表操作，同步過程參數(shù)自動(dòng)更新IT采集：FineTube-實(shí)時(shí)同步FineTube數(shù)據(jù)開發(fā)在線流處理在線批處理可視化數(shù)據(jù)開發(fā)數(shù)據(jù)開發(fā)在線批處理、流處理等多引擎任務(wù)開發(fā)，構(gòu)建復(fù)雜的調(diào)度依賴，提供可視化數(shù)據(jù)開發(fā)模式IT采集：FineTube-數(shù)據(jù)開發(fā)IT采集：FineTube-數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)零代碼快速生成Serverless化的APIFineTube數(shù)據(jù)服務(wù)旨在為企業(yè)搭建統(tǒng)一的數(shù)據(jù)服務(wù)總線，幫助企業(yè)統(tǒng)一管理對(duì)內(nèi)對(duì)外的API服務(wù)。數(shù)據(jù)服務(wù)為您提供快速生成數(shù)據(jù)API的能力，同時(shí)支持您快速注冊(cè)現(xiàn)有的API至數(shù)據(jù)服務(wù)平臺(tái)，進(jìn)行統(tǒng)一的管理和發(fā)布數(shù)據(jù)服務(wù)可以自定義配置一個(gè)url對(duì)外發(fā)布，提供接受數(shù)據(jù)推送的功能，把推送過來的數(shù)據(jù)存儲(chǔ)到kafka中，后續(xù)可以走正常的同步任務(wù)流程，使用kafka輸入組件消費(fèi)推送過來的數(shù)據(jù)、轉(zhuǎn)換、裝載等等IT采集：FineTube-數(shù)據(jù)質(zhì)量通過表級(jí)別、字段級(jí)別監(jiān)控規(guī)則定義，第一時(shí)間感知臟數(shù)據(jù)FineTube字段類型監(jiān)控FineTube臟數(shù)據(jù)自動(dòng)提醒IT采集：FineTube-數(shù)據(jù)安全FineTube數(shù)據(jù)安全將數(shù)據(jù)置于kafka容器中存儲(chǔ)，基于kafka消息中間件隨時(shí)恢復(fù)數(shù)據(jù)，保證數(shù)據(jù)一致性IT采集：FineTube-智能監(jiān)控FineTube任務(wù)監(jiān)控FineTube服務(wù)器監(jiān)控1任務(wù)監(jiān)控：查看全部任務(wù)的運(yùn)行狀態(tài)，查看每個(gè)任務(wù)已處理的數(shù)據(jù)總量，查看單個(gè)任務(wù)內(nèi)部每個(gè)組件的運(yùn)行情況2服務(wù)器監(jiān)控：查看服務(wù)器當(dāng)前和歷史的CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)的使用情況04數(shù)據(jù)倉(cāng)庫(kù)數(shù)倉(cāng)層次架構(gòu)數(shù)據(jù)清洗是ETL過程中的一個(gè)重要環(huán)節(jié),主要任務(wù)是檢測(cè)并刪除/改正將裝入數(shù)據(jù)倉(cāng)庫(kù)的臟數(shù)據(jù)。元素化標(biāo)準(zhǔn)化校驗(yàn)匹配消除重復(fù)記錄歸檔將非標(biāo)準(zhǔn)的數(shù)據(jù)格式化成結(jié)構(gòu)數(shù)據(jù)。將元素標(biāo)準(zhǔn)化，根據(jù)字典消除不一致的縮寫。對(duì)標(biāo)準(zhǔn)化的元素進(jìn)行一致性校驗(yàn)，即在內(nèi)容上修改錯(cuò)誤。在其它記錄中尋找相似的記錄，發(fā)現(xiàn)重復(fù)記錄。根據(jù)匹配結(jié)果進(jìn)行處理，刪除部分記錄或者合并多個(gè)記錄為一個(gè)完整信息的記錄。結(jié)果寫入數(shù)據(jù)存儲(chǔ)中心。這樣可以更好地進(jìn)行后續(xù)的清洗過程，而且可以更加容易理解數(shù)據(jù)源以便在數(shù)據(jù)倉(cāng)庫(kù)中進(jìn)行切片、整合等操作。數(shù)據(jù)清洗過程數(shù)據(jù)清洗數(shù)倉(cāng)模型概覽數(shù)倉(cāng)星形模型數(shù)倉(cāng)日期維度示例事實(shí)表中本來就有日期字段了，直接用SQL處理就可以了，為什么還需要日期維度？日期維度表中還可以按照分析者的意愿添加更多的屬性，比如是否促銷日、是否特定節(jié)日、月初、月末、季初、季末、年初、年末等。第一步：業(yè)務(wù)建模-需求調(diào)研第二步：領(lǐng)域建模-概念分析第三步：邏輯建模-邏輯設(shè)計(jì)第四步：物理建模-物理設(shè)計(jì)確定需要哪些信息，建立哪些應(yīng)用，常用操作及對(duì)象等，確定主題域數(shù)據(jù)分布調(diào)研數(shù)據(jù)CRUD調(diào)研對(duì)需求調(diào)研所得數(shù)據(jù)的高層抽象描述，形成基礎(chǔ)概念模型概念模型（PDW模型）：實(shí)體-關(guān)系將概念模型映射為某個(gè)特定類型的DBMS模式數(shù)據(jù)。確定數(shù)據(jù)字典、數(shù)據(jù)流圖邏輯模型：實(shí)體-關(guān)系-屬性對(duì)已經(jīng)確定的邏輯結(jié)構(gòu)選擇適當(dāng)?shù)奈锢斫Y(jié)構(gòu)，包括存儲(chǔ)結(jié)構(gòu)、存取路徑、存儲(chǔ)分配等。物理模型：實(shí)體—關(guān)系—屬性—定義數(shù)倉(cāng)建模過程開放性規(guī)范性松緊耦合3NF、星型、寬表、細(xì)粒度數(shù)據(jù)與匯總數(shù)據(jù)并存安全性易用性穩(wěn)定性數(shù)倉(cāng)建模原則藍(lán)色表示共享資源灰色表示無共享資源DBSAN/共享存儲(chǔ)DBDBDB共享式集群數(shù)倉(cāng)——SharedDiskDBDBDBDBDiskDiskDiskDisk分布式數(shù)據(jù)中心—SharedNothingSAN/共享存儲(chǔ)DiskDiskDB傳統(tǒng)數(shù)倉(cāng)—SharedEverthtingFineData-分布式架構(gòu)的先進(jìn)性Gartner2019排名：Greenplum躍居第三1.經(jīng)典數(shù)據(jù)分析領(lǐng)域排名第三Greenplum在經(jīng)典數(shù)據(jù)分析領(lǐng)域排名第三，僅次于Teradata和Oracle。邏輯數(shù)據(jù)分析領(lǐng)域排名第四。2.實(shí)時(shí)數(shù)據(jù)分析領(lǐng)域排名第四隨著物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等流式數(shù)據(jù)分析需求的興起，實(shí)時(shí)數(shù)據(jù)分析能力越來越受重視。Greenplum憑借卓越的性能，在此領(lǐng)域排名和內(nèi)存數(shù)據(jù)庫(kù)HANA并列第四。3.前十唯一開源Greenplum是全球十大經(jīng)典和實(shí)時(shí)數(shù)據(jù)分析產(chǎn)品中唯一的開源數(shù)據(jù)庫(kù)，這就意味著如果選擇開源，前十名中別無選擇，唯此一款。4.行業(yè)Rediscovery經(jīng)過多年對(duì)Hadoop/NoSQL/NewSQL的探索，用戶最終轉(zhuǎn)向以已驗(yàn)證的經(jīng)典技術(shù)為基礎(chǔ)的成熟解決方案。5.數(shù)據(jù)科學(xué)技術(shù)下沉至數(shù)據(jù)庫(kù)最近幾年數(shù)據(jù)庫(kù)領(lǐng)域的一個(gè)新趨勢(shì)：內(nèi)建數(shù)據(jù)分析和數(shù)據(jù)科學(xué)技術(shù)于數(shù)據(jù)庫(kù)內(nèi)部。Greenplum于2011年開始引領(lǐng)這一領(lǐng)域的研發(fā)，其開源項(xiàng)目MADlib目前亦是Apache頂級(jí)項(xiàng)目。6.Greenplum大數(shù)據(jù)平臺(tái)持續(xù)快速演進(jìn)即將發(fā)布的Greenplum6在數(shù)據(jù)庫(kù)內(nèi)核、HTAP、混合負(fù)載、高可用性、異構(gòu)數(shù)據(jù)源、多樣化數(shù)據(jù)類型支持等方面進(jìn)行了重大改進(jìn)。高性能可以高效快速穩(wěn)定地進(jìn)行大數(shù)據(jù)量的數(shù)據(jù)裝載，數(shù)據(jù)計(jì)算和數(shù)據(jù)分發(fā)，支持行列混合存儲(chǔ)和數(shù)據(jù)壓縮，滿足PB級(jí)數(shù)據(jù)高性能分析要求。高性價(jià)比可搭建在各種開放式硬件平臺(tái)上，硬件選型上有很大的自由性，相比其他的封閉式數(shù)倉(cāng)專用系統(tǒng)要有每TB數(shù)據(jù)量下軟硬件價(jià)格優(yōu)勢(shì)。高可用單節(jié)點(diǎn)錯(cuò)誤不影響整個(gè)系統(tǒng)使用，要有天然的數(shù)據(jù)熱備機(jī)制，能夠在單點(diǎn)故障的時(shí)候能夠持續(xù)的對(duì)外進(jìn)行數(shù)據(jù)服務(wù)高兼容支持HADOOP組件功能擴(kuò)展預(yù)置MADlib數(shù)據(jù)挖掘算法庫(kù)易使用支持主流SQL語法和開窗函數(shù)，使用方便，學(xué)習(xí)成本低。支持多語言的自定義函數(shù)和自定義類型.滿足即席分析和復(fù)雜查詢的場(chǎng)景需求數(shù)據(jù)中心產(chǎn)品特點(diǎn)動(dòng)態(tài)擴(kuò)容支持主流SQL語法，使用方便，學(xué)習(xí)成本低。支持多語言的自定義函數(shù)和自定義類型.提供常用的維護(hù)的可視化工具，使用及維護(hù)都相對(duì)簡(jiǎn)單方便；能夠進(jìn)行資源管理。場(chǎng)景FineData（MPP）Oracle支持的數(shù)據(jù)量100TB最大幾十TB海量存儲(chǔ)下查詢能力設(shè)計(jì)架構(gòu)十分適合于進(jìn)行海量數(shù)據(jù)的存儲(chǔ)和查詢，某些場(chǎng)景下性能超過Oracle和DB2數(shù)十倍需要豐富經(jīng)驗(yàn)的架構(gòu)師對(duì)數(shù)據(jù)庫(kù)進(jìn)行合理的設(shè)計(jì)，才會(huì)有很好的查詢效率，對(duì)數(shù)據(jù)庫(kù)使用要求較高計(jì)算時(shí)間窗口秒級(jí)分鐘級(jí)數(shù)據(jù)裝載卸載速度快慢系統(tǒng)在線擴(kuò)容支持不支持線性擴(kuò)展支持不支持FineData-與傳統(tǒng)數(shù)據(jù)庫(kù)（Oracle）對(duì)比帆軟大數(shù)據(jù)場(chǎng)景支撐案例-合作客戶部分列舉客戶大數(shù)據(jù)平臺(tái)原數(shù)據(jù)系統(tǒng)設(shè)計(jì)數(shù)據(jù)量級(jí)數(shù)據(jù)時(shí)效提升查詢效率提升中南控股FineDatasqlserver6TT+1提升至秒級(jí)50倍+綠城房地產(chǎn)FineDatasqlserver5TT+1提升至秒級(jí)80倍+無錫市公安局FineData+HadoopOracle+HADOOP30TT+3提升至小時(shí)級(jí)40倍+江蘇省公安廳FineData+HadoopOracle+HADOOP100TT+3提升至小時(shí)級(jí)40倍+上汽集團(tuán)Hadoop+kylinsqlserver8TT+1提升至秒級(jí)80倍+安吉物流Hadoop+ImpalaOracle10TT+1提升至秒級(jí)80倍+星巴克FineData+Hadoopsqlserver20T小時(shí)級(jí)提升至秒級(jí)30倍+太平財(cái)險(xiǎn)FineData+Hadoop各種關(guān)系型數(shù)據(jù)庫(kù)20T小時(shí)級(jí)提升至秒級(jí)30倍+中百倉(cāng)儲(chǔ)FineDataOracle10TT+1提升至分鐘級(jí)80倍+酷樂潮玩FineData+HadoopMySQL20TT+1提升至分鐘級(jí)60倍+惠科金渝光電Hadoopsqlserver30TT+1提升至分鐘級(jí)60倍+

隨著大數(shù)據(jù)時(shí)代的來臨，公安信息化迎來了一個(gè)飛速發(fā)展的黃金時(shí)期，經(jīng)過“大整合、高共享”，公安信息化綜合應(yīng)用體系已覆蓋了公安主體業(yè)務(wù)，數(shù)據(jù)種類不斷豐富、總量急速增長(zhǎng)、結(jié)構(gòu)不斷異化，警務(wù)大數(shù)據(jù)體系已見雛形，信息資源已成為繼警力資源、裝備資源之后的新一類的核心資源。據(jù)不完全統(tǒng)計(jì)，目前全國(guó)公安機(jī)關(guān)掌握的數(shù)據(jù)資源已達(dá)100多類上千億條,江蘇全省達(dá)幾百億條，僅無錫市局多達(dá)幾十億條，數(shù)據(jù)總量達(dá)100TB，其中迫切分析數(shù)據(jù)近30TB，分布在十?dāng)?shù)個(gè)業(yè)務(wù)系統(tǒng)和數(shù)據(jù)平