機(jī)器學(xué)習(xí)中的數(shù)據(jù)處理及場(chǎng)景化應(yīng)用

1、機(jī)器學(xué)習(xí)中的數(shù)據(jù)處理及場(chǎng)景化應(yīng)用技術(shù)創(chuàng)新，變革未來(lái)數(shù)據(jù)處理特征工程場(chǎng)景化應(yīng)用目錄數(shù)據(jù)處理如何提高機(jī)器學(xué)習(xí)模型的準(zhǔn)確率實(shí)際上限可能上限接近上限的途徑數(shù)據(jù)處理什么樣的數(shù)據(jù)更優(yōu)質(zhì)？原始數(shù)據(jù)加工數(shù)據(jù)數(shù)據(jù)處理數(shù)據(jù)標(biāo)準(zhǔn)化 與歸一化缺失值處理樣本過(guò)濾樣本采樣標(biāo)注數(shù)據(jù)數(shù)據(jù)清洗。010203040506Data Transform數(shù)據(jù)處理Better Data從數(shù)據(jù)預(yù)處理到特征工程數(shù)據(jù)處理特征工程什么是特征工程為什么要做特征工程如何做特征工程特征工程 特征工程是利用數(shù)據(jù)領(lǐng)域的相關(guān)知識(shí)來(lái)創(chuàng)建能夠使機(jī) 器學(xué)習(xí)算法達(dá)到最佳性能的特征的過(guò)程特征工程010302特征 工程更好的特征意味著更強(qiáng)的靈活度更好的特征意味 著更簡(jiǎn)

2、單的模型更好的特征意味著更出色的性能特征工程為什么要做特征工程特征降維STEP 3特征轉(zhuǎn)換STEP 2特征構(gòu)建STEP 1如何做特征工程特征工程特征構(gòu)建 特征構(gòu)建指的是從原始數(shù)據(jù)中人工的構(gòu)建新的特征特征工程特征轉(zhuǎn)換特征工程特征工程特征選擇FilterWrapperEmbeddedSVDABCL1informationgaincorrelation coefficient scoresChi-squared testGAPSO特征降維特征提取因子分析主成分分析奇異值分解線性判別式分析FALDAPCA場(chǎng)景化應(yīng)用用戶購(gòu)買(mǎi)意向預(yù)測(cè)挖掘用戶潛在購(gòu)買(mǎi)需求縮短用戶到商品的距離用戶需求不明確時(shí)提供參考滿足用戶

3、的好奇心數(shù)據(jù)收集數(shù)據(jù)處理特征提取用戶特征商品特征行為特征組合特征特征處理場(chǎng)景化應(yīng)用場(chǎng)景化應(yīng)用數(shù)據(jù) 收集用戶關(guān)注加入購(gòu)物車(chē)用戶購(gòu)買(mǎi)行為時(shí)間商品屬性商品評(píng)論商品分類(lèi)用戶屬性用戶瀏覽數(shù)據(jù)收集場(chǎng)景化應(yīng)用數(shù)據(jù)處理數(shù)據(jù)采樣數(shù)據(jù)清洗缺失數(shù)據(jù)填充場(chǎng)景化應(yīng)用特征提取用戶特征用戶屬性用戶活躍度用戶購(gòu)買(mǎi)力用戶轉(zhuǎn)化率行為偏向場(chǎng)景化應(yīng)用特征提取商品特征商品屬性商品熱度商品銷(xiāo)量商品評(píng)價(jià)商品轉(zhuǎn)化率周期性季節(jié)性購(gòu)買(mǎi)趨勢(shì)場(chǎng)景化應(yīng)用特征提取行為特征瀏覽加入購(gòu)物車(chē)購(gòu)物車(chē)刪除下單關(guān)注點(diǎn)擊場(chǎng)景化應(yīng)用特征提取組合特征用戶對(duì)商品的偏好程度用戶對(duì)商品的購(gòu)買(mǎi)意向行為對(duì)商品的轉(zhuǎn)化率組合方式手工拼接模型特征組合場(chǎng)景化應(yīng)用特征處理數(shù)值型特征歸一化統(tǒng)計(jì)值離散化Hash分桶類(lèi)別性特征One-Hot編碼Hash與聚類(lèi)處理日期型