大數(shù)據(jù)分析技術(shù)在房產(chǎn)領(lǐng)域的實踐

大數(shù)據(jù)在房產(chǎn)領(lǐng)域的實踐提綱?蜀道難難于上青天?行困難而正確之事?往事可鑒未來可追蜀道難難于上青天????客少、物少———————數(shù)據(jù)來源少買賣行為少周期長———行為數(shù)據(jù)稀少線下行為重容易分流—線上線下難打通業(yè)務(wù)復(fù)雜性—-————分析挖掘無坦途提綱

?

?蜀道難難于上青天行困難而正確之事?往事可鑒未來可追提升服務(wù)品質(zhì)的環(huán)節(jié)?????房源真實無虛假合適的房屋給合適的人

房屋買賣不再難

縮短周期見效率

減少資源浪費效果概述1000萬/天數(shù)百萬/天數(shù)T級別/天6000萬2300萬效果概述

經(jīng)紀(jì)人91/150維

業(yè)主/房54/319維

客戶32/107維23/55維33/81維27/72維升30%應(yīng)用挖掘數(shù)據(jù)采集計算DW存儲分析計算技術(shù)架構(gòu)手動調(diào)度

認(rèn)證系統(tǒng)

權(quán)限

安全

ETLDS

FlumeCollectorSETELinkhdiclog文件

Kafka日志流其他HDFSSparkHiveHadoopMeta

MR

HBaseYarnBIWeb可視化

OLAPData

Service

RDBSNginx

HueAdhoc市場報告解讀客源解讀A房推薦業(yè)主端鏈家指數(shù)數(shù)據(jù)頻道用戶畫像房源畫像小區(qū)畫像業(yè)主畫像經(jīng)紀(jì)人畫像房屋估價elasticsearch，hbase，spark等成熟的開源數(shù)據(jù)存儲、處理系elasticsearch存儲、索引融合層全量數(shù)據(jù)，線上用戶行為數(shù)據(jù)線上日志流處理并傳送至elasticsearch集群。用戶畫像????統(tǒng)上全量索引以及熱數(shù)據(jù)hbase存儲線上用戶行為數(shù)據(jù)spark完成批量和流式數(shù)據(jù)處理，包括線下全量/增量數(shù)據(jù)導(dǎo)入，用戶畫像用戶畫像KV查詢：如通過手機(jī)號查詢客源的一切數(shù)據(jù)數(shù)據(jù)篩選：如篩選西山商圈，近三個月新增房源的小區(qū)名、掛牌價和房屋狀態(tài)，要求房屋必須是精裝修或大于3居室OLAP查詢:

如查詢海淀區(qū)2015年不同月份客源帶看次數(shù)的分布用戶畫像用戶特征傾向居室特征分布面積特征傾向價格特征分布區(qū)域特征傾向應(yīng)用挖掘數(shù)據(jù)采集計算DW存儲分析計算行困難而正確之事KafkaETLFlume調(diào)度

認(rèn)證系統(tǒng)

權(quán)限

安全DSSETELinkhdic

Collectorlog文件

日志流

手動其他HDFSSparkHiveHadoopMeta

MR

HBaseYarnBIWeb可視化

OLAPData

Service

RDBSNginx

HueAdhoc市場報告解讀客源解讀A房推薦業(yè)主端鏈家指數(shù)數(shù)據(jù)頻道用戶畫像房源畫像小區(qū)畫像業(yè)主畫像經(jīng)紀(jì)人畫像房屋估價房屋估價90%房屋估價經(jīng)紀(jì)人業(yè)主/房客戶房屋價格房屋估價房屋估價估價準(zhǔn)確：diff

<=

5%房屋估價房屋估價房屋估價DataSource1DataSource2DataSourceN….

ExtractFeatureExtractFeature

FeatureTransform

FeatureTransform

LOF-樣本異常點處理多模型并舉

ANN

Hedonic

GBDT

EvaluateEnsembleBest

Model房屋估價?

LOF(Local

Outlier

Factor)算法是一種機(jī)遇密度的異常檢測算法，?

通過計算每個實例相對于其鄰居的孤立情況來判斷這個實例是否為離群點?

為每一個每個實例計算一個異常分?jǐn)?shù)，這個分?jǐn)?shù)稱為實例的局部離群因子（LOF）?

較高的LOF值指示這個實例可能是異常的，較低的LOF值指示這個實例可能是正常的提綱

?蜀道難難于上青天?行困難而正確之事?往事可鑒未來可追