智能數(shù)據(jù)分析助力應(yīng)用智能化.ppt

1、敬惜助力您的應(yīng)用智能化,根據(jù)情況變化來合理運(yùn)用知識(shí)以有效地解決問題 核心問題：知識(shí)挖掘 關(guān)鍵能力：自學(xué)習(xí)、自適應(yīng),什么是智能化,互聯(lián)網(wǎng)、信息爆炸使得我們所面臨的環(huán)境出現(xiàn)了重大的變化：一是海量用戶所導(dǎo)致的需求散亂；二是用戶的需求/興奮點(diǎn)多變且變化迅速。這種情況下就導(dǎo)致傳統(tǒng)IT的先總結(jié)經(jīng)驗(yàn)、積累知識(shí)然后再編寫業(yè)務(wù)應(yīng)用的模式跟不上用戶需求的快速多變。 因此從海量的歷史數(shù)據(jù)中直接挖掘知識(shí)而加以應(yīng)用來有效滿足用戶快速多變的需求就是必然的了。,發(fā)揮計(jì)算機(jī)計(jì)算能力強(qiáng)的優(yōu)勢(shì)，直接從海量的歷史數(shù)據(jù)中挖掘知識(shí)，能力形成速度快、反應(yīng)迅速 人腦思考問題的信息量有限，AI（人工智能）則能同時(shí)處理海量的信息，在快速、大并

2、發(fā)量、精確等方面比人強(qiáng) 面對(duì)海量用戶，能以最低的成本實(shí)現(xiàn)個(gè)性化的需求滿足,智能化的優(yōu)缺點(diǎn),優(yōu)點(diǎn),計(jì)算機(jī)再先進(jìn)也只是一種機(jī)器，不夠靈活永遠(yuǎn)都是最大的不足 人的需求千差萬別，AI只適合處理某些需求，也做不到一勞永逸 大部分情況下，AI都需要巨大的計(jì)算資源（CPU/內(nèi)存）和較長的時(shí)間加以復(fù)雜的計(jì)算才能完成知識(shí)的挖掘,缺點(diǎn),智能化的再認(rèn)識(shí),人類知識(shí)的形成過程（意識(shí)、實(shí)踐、經(jīng)驗(yàn)總結(jié)、知識(shí)化）是緩慢而成本高昂的，而且人類知識(shí)如果不夠精確則應(yīng)用起來也有很大的困難；如果信息量巨大，受限于人腦的處理能力也就無法形成相應(yīng)的知識(shí)。而AI就是用計(jì)算的復(fù)雜化來換取某些情況下知識(shí)凝聚的快速化、精確化，代價(jià)當(dāng)然是計(jì)算資源的

3、巨大消耗。 AI是設(shè)計(jì)好的機(jī)器按既定規(guī)則從海量的歷史數(shù)據(jù)中挖掘出某些知識(shí)，所以其應(yīng)用就只能是數(shù)據(jù)積累豐富且人為因素或外部不可知/不可控因素影響較小的環(huán)境，也就是說應(yīng)用場(chǎng)景對(duì)效果好壞的影響比較大，尤其是在講關(guān)系、講變通、講悟性的中國其應(yīng)用領(lǐng)域的限制較大。,知識(shí)就是力量！,分類,知識(shí)的基礎(chǔ)就是對(duì)事物的識(shí)別，大千世界、萬物生滅，如果只針對(duì)單個(gè)事物那人如何一一識(shí)別？所以識(shí)別的前提就是歸類，將相同、相似、相近的事物按其特征進(jìn)行歸納后形成一個(gè)個(gè)的群體，這樣人就不需要去記憶一個(gè)一個(gè)具體的事物而是只要記住特征就可以識(shí)別一群事物了。 從一大堆歷史數(shù)據(jù)中提取事物分類的特征并把事物特征和已知類別聯(lián)系起來就是提取決策

4、規(guī)則。利用決策規(guī)則就可以將一個(gè)新事物分類到某個(gè)已知類別中。 知道了事物屬于哪個(gè)已知類，那么就可以利用事物的相似性、相近性對(duì)剛分好類的事物套用該類的其它特征加以利用。如判斷下來某用戶偏好吃辣那么網(wǎng)站就可以向用戶推薦其所在位置附近的湘菜館。,敬惜選取的分類技術(shù)是基于粗糙模糊集的算法，不需要人為的主觀判斷，可以從海量歷史數(shù)據(jù)中直接挖掘出基于用戶偏好的決策規(guī)則,粗糙集,處理不確定和不精確問題的數(shù)學(xué)工具，是智能計(jì)算的基礎(chǔ)理論之一 不象模糊集那樣需要人給出一個(gè)主觀的隸屬度函數(shù)，而是從數(shù)據(jù)自身直接處理不確定性，比較客觀，尤其適合人類認(rèn)知不多、數(shù)據(jù)量巨大的情況，如電商網(wǎng)站的用戶行為模式提取、大型設(shè)備或系統(tǒng)故障

5、檢測(cè)規(guī)則挖掘等 核心思想：知識(shí)就是對(duì)事物的分類能力 下近似：R(X)_ = x|(x U)(xR X) 上近似：R(X) = x|(x U)(xR X ) 下近似即肯定屬于X的最大子集，上近似即包含X的最小子集，如果兩者不等即意味著X對(duì)于知識(shí)R存在不確定性，也就是說知識(shí)R對(duì)于事物X無法準(zhǔn)確分類 利用粗糙集理論就可以通過對(duì)決策屬性關(guān)于條件屬性的辨識(shí)能力進(jìn)行檢測(cè)與壓縮，從而實(shí)現(xiàn)對(duì)決策規(guī)則的提取 現(xiàn)實(shí)情況中會(huì)出現(xiàn)條件屬性相同但決策屬性不同（同一個(gè)人今天吃辣明天吃甜）的不相容現(xiàn)象，所以我們導(dǎo)入了模糊集進(jìn)行支持度判定,用戶偏好識(shí)別,對(duì)電商來說用戶偏好就是用戶有傾向性的購買。因此我們把用戶屬性分為用戶的特

6、征屬性、用戶的行為屬性、用戶的業(yè)務(wù)屬性（用購買來刻畫）。 經(jīng)過這樣的劃分，用戶偏好的識(shí)別就是從海量的歷史交易記錄中把用戶屬性和產(chǎn)品的業(yè)務(wù)屬性之間的關(guān)聯(lián)關(guān)系找出來。 識(shí)別出了用戶偏好，我們就可以： 對(duì)老用戶進(jìn)行預(yù)分類，使之下一次登錄時(shí)就可以根據(jù)其偏好對(duì)其界面、產(chǎn)品推薦、廣告展示等進(jìn)行個(gè)性化的定制，以促進(jìn)有效點(diǎn)擊率的提高 對(duì)當(dāng)前用戶的興趣點(diǎn)做出及時(shí)的反應(yīng) 用戶偏好的個(gè)性化,預(yù)測(cè),知識(shí)最大的價(jià)值就是在某些事情尚未發(fā)生前就有所估計(jì)，從而未雨綢繆、提前準(zhǔn)備、不打無準(zhǔn)備之仗。這在風(fēng)險(xiǎn)識(shí)別、前景評(píng)估、輔助決策等方面有巨大的應(yīng)用價(jià)值。 AI中的預(yù)測(cè)是在事情剛發(fā)生時(shí)，根據(jù)當(dāng)前所掌握的不完全的信息就對(duì)目標(biāo)問題做出

7、一個(gè)基本判斷。如車壞半路了，根據(jù)用戶看到的幾個(gè)故障現(xiàn)象就預(yù)判故障點(diǎn)所在而不需要全面檢修；剛接觸一個(gè)新客戶，根據(jù)第一次接觸所收集到的信息就預(yù)判成案概率以決定打單的資源投入力度。 預(yù)測(cè)是否有效取決于知識(shí)的性質(zhì)，如果知識(shí)是基于因果關(guān)系的，顯然預(yù)測(cè)的結(jié)果更為可信；如果知識(shí)是基于相關(guān)性的，那么在一定程度上還是可信的；如果知識(shí)是基于相似性或相近性的，那么顯然就是僅供參考了。,敬惜利用蟻群算法求解貝葉斯網(wǎng)模型的相關(guān)技術(shù)可從歷史數(shù)據(jù)中挖掘出基于因果關(guān)系的貝葉斯網(wǎng)模型，預(yù)測(cè)結(jié)果較為可靠、易于理解,貝葉斯網(wǎng),主觀概率：概率即合理信度，反映的是個(gè)體的知識(shí)狀態(tài)和主觀信念 不確定性是智能計(jì)算所要解決的主要問題，這是因?yàn)?/p>

8、我們對(duì)外部世界的觀測(cè)存在誤差、解決問題總是需要對(duì)世界進(jìn)行簡(jiǎn)化和抽象從而導(dǎo)入了偏差、智能計(jì)算所面臨的問題大多是人類還沒有充分認(rèn)識(shí)的問題。因此種種，概率論就是一個(gè)比較有力的數(shù)學(xué)工具，它非常直觀得反映了我們對(duì)于事物的相信程度，所以在智能計(jì)算中越來越重要 貝葉斯網(wǎng)即是將系統(tǒng)中各個(gè)相關(guān)變量的因果（作用）關(guān)系的連接成網(wǎng)狀結(jié)構(gòu)，這反映了事物之間的相互作用關(guān)系，同時(shí)還包含了這些變量的先驗(yàn)概率的分布。這樣，當(dāng)?shù)玫讲糠肿兞康漠?dāng)前狀態(tài)后，就可以利用貝葉斯公式對(duì)其它變量的當(dāng)前狀態(tài)進(jìn)行概率推導(dǎo) 貝葉斯公式：P(A/B)_ = P(A)*P(B/A)/P(B) 將后驗(yàn)概率轉(zhuǎn)換為先驗(yàn)概率和已知證據(jù)的運(yùn)算，實(shí)現(xiàn)了事情預(yù)測(cè) 貝

9、葉斯網(wǎng)模型（包括結(jié)構(gòu)和參數(shù)）的挖掘是非常消耗CPU資源的NP難問題，敬惜利用蟻群算法實(shí)現(xiàn)了高效的模型挖掘,策略推薦,策略就是用戶的行動(dòng)方案，我們把用戶提交的數(shù)據(jù)分為用戶屬性、所采取的策略、最終效果（目標(biāo)變量），對(duì)這樣歷史數(shù)據(jù)我們就可以生成一個(gè)策略模型。 當(dāng)新的用戶到達(dá)時(shí)，我們根據(jù)用戶屬性，計(jì)算各種策略的不同組合下最終效果的預(yù)測(cè)概率，這樣就可以按照最終效果的概率排序來確定最優(yōu)策略。 這種策略推薦技術(shù)可用于用戶偏好匹配、營銷方案規(guī)劃等。 目前敬惜所實(shí)現(xiàn)的策略推薦方案可以支持目標(biāo)變量為單字符串變量或多個(gè)數(shù)值變量等情況： 單字符串變量按取值的概率進(jìn)行推薦 數(shù)值變量則可以計(jì)算該變量的期望值或期望值的和來

10、進(jìn)行推薦。,技術(shù)架構(gòu),目前敬惜提供兩種訪問接口：Http接口和SOA接口。Http接口使用簡(jiǎn)單而且支持全手工操作（即直接在敬惜的BIZM平臺(tái)上實(shí)現(xiàn)數(shù)據(jù)提交、推理查詢等功能）；使用SOA接口需部署敬惜提供的基于.net的編程訪問接口，具有推理在用戶本地實(shí)現(xiàn)，速度更快，可靠性更高，但需要用戶編程訪問。,Web服務(wù)器,App服務(wù)器,互聯(lián)網(wǎng),敬惜BIZM平臺(tái),Web服務(wù)器,用戶的應(yīng)用/Web服務(wù)器,App服務(wù)器,App服務(wù)器,用戶瀏覽器,SOA服務(wù)器,數(shù)據(jù)庫服務(wù)器,敬惜以SaaS模式提供智能計(jì)算服務(wù) 用戶可以通過敬惜的BIZM管理平臺(tái)手工使用我們的智能計(jì)算服務(wù)，或通過敬惜提供的SOA接口在自己的軟件產(chǎn)

11、品中直接嵌入敬惜的智能計(jì)算服務(wù)，即可讓自己的軟件產(chǎn)品輕松實(shí)現(xiàn)智能化 用戶使用敬惜智能計(jì)算計(jì)算服務(wù)有兩個(gè)過程： 提交數(shù)據(jù)：用戶以文本文件（用空格或TAB分隔）提交歷史數(shù)據(jù)，敬惜在后臺(tái)進(jìn)行模型挖掘的計(jì)算，由于模型挖掘非常消耗計(jì)算資源，所以模型的生成一般都需要一個(gè)較長的時(shí)間 推理：在模型（知識(shí)挖掘的成果）生成后，用戶即可提交當(dāng)前數(shù)據(jù)進(jìn)行推理以獲取相應(yīng)的結(jié)果，推理速度比較快可以即查即用；SOA的實(shí)現(xiàn)將推理部分在客戶端實(shí)現(xiàn)，速度更快，可靠性更高,敬惜智能計(jì)算服務(wù),基于.Net的WebService實(shí)現(xiàn)，用戶通過敬惜編寫的本地駐留接口訪問，和調(diào)用本地函數(shù)無區(qū)別，使用簡(jiǎn)單 歷史數(shù)據(jù)提交： 用UserID/P

12、WD聲明訪問對(duì)象: AIWSClinet wsc = new AIWSClinet(1, 123456); 上傳樣本數(shù)據(jù): wsc.UploadCaseFile(car2.cas); 提交計(jì)算請(qǐng)求: wsc.WantBuild(test, test, AIType.BN, null, null); 由于模型計(jì)算非常消耗CPU時(shí)間，目前敬惜所提供的模型計(jì)算服務(wù)只能提供隔天交付,SOA接口使用提交樣本數(shù)據(jù),推理過程（以貝葉斯網(wǎng)模型為例）： 先聲明訪問對(duì)象: AIWSClinet wsc = new AIWSClinet(1, 123456); 根據(jù)模型的類型（貝葉斯網(wǎng)/粗糙集）創(chuàng)建推理對(duì)象: Re

13、asoning_BN reason = new Reasoning_BN(wsc, aiid); 下載模型: reason.GetModel(); 根據(jù)當(dāng)前采集到的數(shù)據(jù)設(shè)置查詢條件等: reason.PreSetVarValue(varName, varValue); 開始推理并獲取推理結(jié)果 reason. Start(); var rs = reason.GetRS_Probability(); SOA的推理部分的實(shí)現(xiàn)是本地化的，大大縮短了HTTP接口下要通過網(wǎng)絡(luò)連連接到BIZM平臺(tái)執(zhí)行推理所帶來的網(wǎng)絡(luò)延遲，速度更快、可靠性更高,SOA接口使用推理,缺省每天可提交的模型計(jì)算次數(shù)：1 缺省可同時(shí)下載用于推理的模型數(shù)：2 總共可擁有的模型數(shù)：不限 每天可提交計(jì)算次數(shù)和同時(shí)下載模型數(shù)可根據(jù)用戶的業(yè)務(wù)需要按需購買 由于所需CPU資源非常巨大，所以敬惜按優(yōu)先級(jí)處