大數(shù)據(jù)云平臺基礎(chǔ)架構(gòu)介紹

1、大數(shù)據(jù)云平臺基礎(chǔ)架構(gòu)介紹 云計算與大數(shù)據(jù) 系統(tǒng)架構(gòu) 挑戰(zhàn)Agenda大數(shù)據(jù)解決方案最大、最重要的決定是平臺的選擇Hadoop、Spark、Hbase、Storm實際需求實時處理 、離線處理、 結(jié)構(gòu)化數(shù)據(jù) 、非結(jié)構(gòu)化數(shù)據(jù)、 CRUD 、事務(wù)性、 數(shù)據(jù)量大小平臺的能力能滿足實際需求的平臺才是好平臺業(yè)務(wù)的不確定性Relative scale, not absolute scale The world is changing fast!云計算與大數(shù)據(jù)Big Data Requires Elastic, Flexible Infrastructure自動化運維一鍵部署 | API 調(diào)用 | 定時器 |

2、Auto Scaling彈性、敏捷、靈活縱向、橫向伸縮 | 分鐘級別穩(wěn)定、高性能與安全系統(tǒng)優(yōu)化，平臺配置優(yōu)化私有網(wǎng)絡(luò)，防火墻高度自動化是一個漸進(jìn)的過程云計算與大數(shù)據(jù)Dont try to do it yourself. Let us handle it.完整穩(wěn)定安全高性能實時按需開放易用系統(tǒng)架構(gòu)AlluxioBatch ProcessingReal Time ProcessingCassandra, MongoDB, Redis, MySQL, ElasticSearchReporting, VisualizationStormSpark StreamingCustomProcess Engi

3、neSparkMapReduceHDFS / Hbase / Object StorageIaaSMonitoring Alarm Metering Security Governance (ZooKeeper)Logs Metrics Social Data Sensor Data MessagesKafka/FlumeBig SQLSparkSQLKylinPhoenixHiveGreenPlum HashData 數(shù)據(jù)倉庫是酷克數(shù)據(jù)在青云QingCloud 上面提供的 SQL-on-Cloud解決方案，一個高性能、 完全托管的PB級云端 數(shù)據(jù)倉庫。源于PostgreSQL 和Greenplum Database, HashData數(shù)據(jù)倉庫讓你能夠利用標(biāo)準(zhǔn)SQL客戶端和BI工具輕松分析海量數(shù)據(jù)。SQL on Cloud默認(rèn)3個副本因子云上真的需要3個嗎？怎么做最優(yōu)？Hadoop on Cloud穩(wěn)定性性能網(wǎng)絡(luò) IO SDN 2.0 (點到點網(wǎng)狀結(jié)構(gòu))硬盤 IO 容器，Unikern