安徽聯(lián)通用戶流量分析模型.docx

深圳天源迪科信息技術(shù)股份有限公司 版本：1.0安徽聯(lián)通用戶流量分析模型2012年01月12日文件建立/修改記錄日期版本建立/修改內(nèi)容建立/修改人審核人批準(zhǔn)人2012-01-121.0建立孫宏方一、 工具選擇與算法選擇選用Clementine建模工具里面的決策樹算法C5.0對(duì)本網(wǎng)用戶的流量使用情況進(jìn)行分析，類別劃分。二、決策樹算法介紹決策樹算法構(gòu)造決策樹來發(fā)現(xiàn)數(shù)據(jù)中蘊(yùn)涵的分類規(guī)則如何構(gòu)造精度高、規(guī)模小的決策樹是決策樹算法的核心內(nèi)容。決策樹構(gòu)造可以分兩步進(jìn)行。第一步，決策樹的生成：由訓(xùn)練樣本集生成決策樹的過程。一般情況下，訓(xùn)練樣本數(shù)據(jù)集是根據(jù)實(shí)際需要有歷史的、有一定綜合程度的，用于數(shù)據(jù)分析處理的數(shù)據(jù)集。第二步，決策樹的剪技：決策樹的剪枝是對(duì)上一階段生成的決策樹進(jìn)行檢驗(yàn)、校正和修下的過程，主要是用新的樣本數(shù)扼集（稱為測(cè)試數(shù)據(jù)集）中的數(shù)據(jù)校驗(yàn)決策樹生成過程中產(chǎn)生的初步規(guī)則，將那些影響預(yù)衡準(zhǔn)確性的分枝剪除。 1）樹以代表訓(xùn)練樣本的單個(gè)結(jié)點(diǎn)開始。 2）如果樣本都在同一個(gè)類則該結(jié)點(diǎn)成為樹葉，并用該類標(biāo)記。 3）否則，算法選擇最有分類能力的屬性作為決策樹的當(dāng)前結(jié)點(diǎn) 4）根據(jù)當(dāng)前決策結(jié)點(diǎn)屬性取值的不同，將訓(xùn)練樣本數(shù)據(jù)集tlI分為若干子集，每個(gè)取值形成一個(gè)分枝，有幾個(gè)取值形成幾個(gè)分枝。勻針對(duì)上一步得到的一個(gè)子集，重復(fù)進(jìn)行先前步驟，遞4I形成每個(gè)劃分樣本上的決策樹。一旦一個(gè)屬性出現(xiàn)在一個(gè)結(jié)點(diǎn)上，就不必在該結(jié)點(diǎn)的任何后代考慮它。 6）遞歸劃分步驟僅當(dāng)下列條件之一成立時(shí)停止： 給定結(jié)點(diǎn)的所有樣本屬于同一類。 沒有剩余屬性可以用來進(jìn)一步劃分樣本在這種情況下使用多數(shù)表決，將給定的結(jié)點(diǎn)轉(zhuǎn)換成樹葉，并以樣本中元組個(gè)數(shù)最多的類別作為類別標(biāo)記，同時(shí)也可以存放該結(jié)點(diǎn)樣木的類別分布， 如果某一分枝tc，七砰如恤卜a*沒有樣本，則以樣本的多數(shù)類創(chuàng)建一個(gè)樹葉。決策樹構(gòu)造的輸入是一組帶有類別標(biāo)記的例子，構(gòu)造的結(jié)果是一棵二叉樹或多叉樹。二叉樹的內(nèi)部節(jié)點(diǎn)(非葉子節(jié)點(diǎn))一般表示為一個(gè)邏輯判斷，如形式為a=aj的邏輯判斷，其中a是屬性，aj是該屬性的所有取值：樹的邊是邏輯判斷的分支結(jié)果。多叉樹(ID3)的內(nèi)部結(jié)點(diǎn)是屬性，邊是該屬性的所有取值，有幾個(gè)屬性值就有幾條邊。樹的葉子節(jié)點(diǎn)都是類別標(biāo)記。 由于數(shù)據(jù)表示不當(dāng)、有噪聲或者由于決策樹生成時(shí)產(chǎn)生重復(fù)的子樹等原因，都會(huì)造成產(chǎn)生的決策樹過大。因此，簡(jiǎn)化決策樹是一個(gè)不可缺少的環(huán)節(jié)。尋找一棵最優(yōu)決策樹，主要應(yīng)解決以下3個(gè)最優(yōu)化問題：生成最少數(shù)目的葉子節(jié)點(diǎn)；生成的每個(gè)葉子節(jié)點(diǎn)的深度最??；生成的決策樹葉子節(jié)點(diǎn)最少且每個(gè)葉子節(jié)點(diǎn)的深度最小。三、數(shù)據(jù)預(yù)處理及準(zhǔn)備首先關(guān)聯(lián)本網(wǎng)用戶資料信息表，聯(lián)通用戶資料半年匯總表，3G業(yè)務(wù)資料表，統(tǒng)計(jì)出用戶收入，用戶增值費(fèi)用，用戶年齡，用戶在網(wǎng)時(shí)長(zhǎng)與用戶使用流量的關(guān)系，及按流量使用量，套餐內(nèi)流量使用情況，套餐內(nèi)流量剩余流量將用戶分檔統(tǒng)計(jì)（詳細(xì)見附件）。后將用戶資料11月份數(shù)據(jù)清洗（除去離網(wǎng)用戶，測(cè)試卡用戶，上網(wǎng)卡用戶）后作為模型數(shù)據(jù)來源。取數(shù)sql如下：create table spss_flow as (select a.user_id, a.phone_no, a.online_dura, (a.addval_fee + a.call_fee + a.month_fee) as arpu, a.addval_fee, NVL(A.net_flow, 0) / (case WHEN trim(dt_cde) = 42221 THEN 150 ELSE p.RUN_COUNT_IN END) as shiyonglv, (case WHEN trim(dt_cde) = 42221 THEN 150 ELSE p.RUN_COUNT_IN END) - NVL(A.net_flow, 0) / (case WHEN trim(dt_cde) = 42221 THEN 150 ELSE p.RUN_COUNT_IN END) as shengyulv, b.age_level_code, _flow from tb_b_ft_prd_inst partition(p201111) a left join tb_b_dim_prd_3g p on trim(p.offer_id) = trim(a.PRODT_CDE) left join tb_b_ft_prd_inst_bn b on trim(a.user_id) = b.user_id where a.online_user_flag = 1 and a.ceshi_user_flag 1 AND A.PRODT_CDE NOT IN (14419, 44364, 25924, 63155, 63160, 63399, 42221) ); 四、建模過程及流文件說明首先將建模數(shù)據(jù)導(dǎo)出為CSV文件并保存在一個(gè)路徑然后打開clementine工具，在面板下方找到文件節(jié)點(diǎn)：，打開它，然后選中CSV文件路徑即可導(dǎo)入數(shù)據(jù)文件：，選擇字段選項(xiàng)下的 過濾節(jié)點(diǎn)，拖入工作區(qū)，將電話號(hào)碼及USER_ID過濾掉，選擇字段選項(xiàng)下的填充節(jié)點(diǎn)，選擇需要去null的字段，將null值和無效值置換為0，選擇字段選項(xiàng)下的類型節(jié)點(diǎn)，選擇字段選項(xiàng)下的導(dǎo)出節(jié)點(diǎn)，編輯導(dǎo)出節(jié)點(diǎn)，在導(dǎo)出為選項(xiàng)中選擇標(biāo)志，編輯公式編輯器，輸入流量數(shù)大于0作為條件，測(cè)試成功后點(diǎn)擊確定，再選擇類型節(jié)點(diǎn)，設(shè)置輸入輸出參數(shù)，將是否產(chǎn)生流量作為輸出，在網(wǎng)時(shí)長(zhǎng)，年齡，收入，增值用作為輸入?yún)?shù)，最后在建模下拖入C5.0模型節(jié)點(diǎn)，編輯節(jié)點(diǎn)，設(shè)置輸出類型，決策樹方式，剪枝程度100，確定后執(zhí)行節(jié)點(diǎn)。并點(diǎn)擊按鈕，彈出執(zhí)行界面：如果執(zhí)行過程中，想終止執(zhí)行，點(diǎn)擊：即可，模型正常執(zhí)行完成后，執(zhí)