經(jīng)營分析系統(tǒng)隱私數(shù)據(jù)保護項目

中國移動業(yè)務服務創(chuàng)新 獎勵申報書 項目名稱： 經(jīng)營分析系統(tǒng) 隱私數(shù)據(jù)保護項目 申報單位： 黑龍 江公司 /集團公司業(yè)務支撐系統(tǒng)部 中國移動通信集團公司 2011 年 11 月 7 日 一、項目基本情況 項目 名稱 中文 經(jīng)營分析系統(tǒng) 隱私數(shù)據(jù)保護項目 英文 Protection of Business Analysis Support System Private Data 主要完成單位 中國移動通信集團黑龍江有限公司業(yè)務支撐中心 中國移動通信集團業(yè)務支撐管理部 主 題 詞 隱私數(shù)據(jù) 去隱私化 、 映射 數(shù)據(jù)封裝 、置換 任務來源 A.中國移動通信集團公司計劃 項目起止時間 起始： 2010 年 10 月 1 日 完成： 2011 年 5 月 31 日 二、項目簡介 (不超過 800 個漢字 ) 隨著電信運營商的客戶隱私信息泄露而引起不良社會影響的事件的頻繁發(fā)生，如何進行客戶隱私數(shù)據(jù)的保護越來越重要，經(jīng)分系統(tǒng)不但從上游數(shù)據(jù)源系統(tǒng)中獲取了明細的客戶基本信息，還將它們進行深入分析和挖掘，得到了更為豐富的客戶行為特征信息 ,這些與客戶相關(guān)的行為特征包含了大量的客戶隱私 數(shù)據(jù)和敏感數(shù)據(jù)，一旦出現(xiàn)泄漏的情況，對我們移動公司的影響非常大 ,我省經(jīng)分系統(tǒng)已經(jīng)對部分客戶隱私數(shù)據(jù)進行了簡單保護，但存在以下幾方面的問題： 1、客戶隱私數(shù)據(jù)的查全率有待提高； 2、未形成客戶隱私數(shù)據(jù)的完整保護體系； 3、部分數(shù)據(jù)的保護存在不可逆行為； 針對經(jīng)營分析系統(tǒng)數(shù)據(jù)存在的問題，本項目的研究思路是按照隱私數(shù)據(jù)的識別、處理、還原這個閉環(huán)流程來展開 ，并建立 數(shù)據(jù)加密策略和版本管理模塊，主要包括以下內(nèi)容： 1、建立隱私數(shù)據(jù)識別模塊：根據(jù)隱私數(shù)據(jù)的表現(xiàn)形式，將隱私數(shù)據(jù)分為顯式標識符、準標識符和敏感屬性三類； 建立隱私數(shù)據(jù)知識庫，采用人工和自動識別的模式對隱私數(shù)據(jù)進行管理； 2、建立去隱私數(shù)據(jù)管理模塊：去隱私化處理模塊是客戶隱私數(shù)據(jù)保護模塊的核心，負責封裝和管理去隱私化處理的方法。提供給獲取層的數(shù)據(jù)轉(zhuǎn)換過程（ ETL 的轉(zhuǎn)換階段）調(diào)用，對原始數(shù)據(jù)進行去隱私化處理。加密后入庫。保證去隱私化處理的準確性和高效性。 3、建立隱私數(shù)據(jù)還原模塊：將“還原處理模塊”與數(shù)據(jù)封裝層進行整合，隱私數(shù)據(jù)在經(jīng)過數(shù)據(jù)封裝層時，對其進行還原，明文展示于前臺。調(diào)用還原隱私引擎，將數(shù)據(jù)以明文方式由封裝層傳給內(nèi)部應用、外部系統(tǒng)等模塊。因此此處加擾加 密算法都是可逆的 。 4、建立策略 /版本管理模塊 策略 /版本管理子模塊主要是為去隱私處理模塊和隱私還原處理模塊提供處理策略配置和版本管理，處理過程中所用到的位置變換算法、映射轉(zhuǎn)換關(guān)系、密鑰都在本模塊統(tǒng)一管理和保存 項目自上線以來，雖然增加了大量的數(shù)據(jù)處理運算，但是由于采用了高效的 算法和基于內(nèi)存的 ETL 數(shù)據(jù)處理，未對系統(tǒng)的處理性能造成影響；且利用數(shù)據(jù)隱私數(shù)據(jù)保護項目，提升了數(shù)據(jù)的安全級別，防患于未然，大大提升了經(jīng)分數(shù)據(jù)的安全管控力度。 項目直接產(chǎn)出專利一項，還有一項正在申請。 三、項目詳細內(nèi)容 1、 立項背景（不超過 800 個漢字） 作為全國 31 個省級經(jīng)分系統(tǒng)之一，黑龍江經(jīng)營分析系統(tǒng)自系統(tǒng)建設至今，主數(shù)據(jù)倉庫中已經(jīng)納入 120TB 的海量信息數(shù)據(jù)。其中絕大部分的數(shù)據(jù)中存在客戶隱私信息。隱私數(shù)據(jù)主要是來自上游 BOSS、CRM、客服系統(tǒng)、網(wǎng)管 等系統(tǒng)，主要包括客戶的基本資料、以及包括用戶服務號碼、對端通話號碼及位置信息的用戶使用清單；同時經(jīng)營分析系統(tǒng)通過各種數(shù)據(jù)統(tǒng)計分析技術(shù)，對海量數(shù)據(jù)進行數(shù)據(jù)挖掘和知識發(fā)現(xiàn)，也衍生出一些客戶的隱私數(shù)據(jù)。例如：客戶職業(yè)、數(shù)據(jù)業(yè)務愛好的信息。 目前，黑龍江分公司經(jīng)分系統(tǒng)對 部分隱私數(shù)據(jù)進行了保密處理 。主 數(shù)據(jù)倉庫的詳單數(shù)據(jù)主要是通過使用權(quán)限進行控制。個人用戶來說，只能通過視圖方式訪問詳單信息，視圖中對號碼的后四位是進行加密處理?，F(xiàn)有的隱私保護方案起到了一定的保護作用， 但 存在 以下幾方面的問題： 1、數(shù)據(jù)保護安全級別不高，并且存在數(shù)據(jù)不可逆的問題。 2、 大部分隱私數(shù)據(jù)以明文存放， 4A 平臺可以控制用戶訪問，但不能控制有權(quán)限用戶惡意訪問。 經(jīng)分數(shù)據(jù)存在以下幾個方面的特點： 1、 所有的數(shù)據(jù)處理都不需要識別具體的客戶，超過 80%的分析應用集中在大趨勢和群體客戶行為，只有 20%的分析應用需要對應具體的客戶來采取營銷或服務 行動。所以可以在經(jīng)分后臺“去隱私化”，對 20%的應用通過具體模塊來還原隱私信息。 2、 客戶的隱私數(shù)據(jù)分類特征明顯，可以針對不同級別的隱私數(shù)據(jù)采取不同的加密策略 通過對隱私數(shù)據(jù)泄露途徑進行分析， 數(shù)據(jù)泄露主要途徑是后臺操作人員非法提取數(shù)據(jù) ，因此，可以通過 “去隱私”技術(shù)手段，在數(shù)據(jù)底層構(gòu)建一條防線，使得非法入侵者即使獲取了權(quán)限也無法理解數(shù)據(jù) 詳細技術(shù)內(nèi)容（不超過 1000 個漢字） 經(jīng)營分析系統(tǒng)客戶隱私數(shù)據(jù)保護按照隱私數(shù)據(jù)的識別、處理、還原這個閉環(huán)流程來展開?？蛻綦[私 數(shù)據(jù)保護各模塊屬于數(shù)據(jù)及運維管理域，隱私數(shù)據(jù)保護處理模塊細分為多個子處理模塊，包括：隱私策略管理、去隱私化管理模塊、還原管理模塊等。 客戶隱私數(shù)據(jù)保護技術(shù)體系最核心的、最關(guān)鍵的處理都集中在去隱私化中。在獲取層的轉(zhuǎn)換模塊中，數(shù)據(jù)轉(zhuǎn)換處理（ ETL 模塊中的 T模塊）需要進行改造增加去隱私化處理引擎，引擎需要調(diào)用客戶隱私數(shù)據(jù)保護模塊所封裝的算法和規(guī)則。在數(shù)據(jù)層的數(shù)據(jù)封裝模塊中，同樣需要進行改造，支持對去隱私化的數(shù)據(jù)進行還原處理。隱私數(shù)據(jù)保護管理相關(guān)的模塊在經(jīng)營分析系統(tǒng)中的布位置如下圖： 圖 1. 客戶隱私數(shù)據(jù)保護體統(tǒng)架構(gòu)圖 如上圖結(jié)構(gòu)所示：采用“客戶隱私數(shù)據(jù)保護模塊”對經(jīng)分系統(tǒng)的敏感數(shù)據(jù)去隱私化，隱私數(shù)據(jù)還原，隱私策略等進行統(tǒng)一管控。 1、 隱私數(shù)據(jù)從 CRM、 BOSS 等外圍系統(tǒng)經(jīng)過 ETL 工具加載進數(shù)據(jù)倉庫 DW 時，啟動 ETL“去隱私化處理引擎”，調(diào)用去隱私方法，對需要去隱私化的數(shù)據(jù)進行加擾或者加密處理，然后入庫。 2、 應用訪問層、外網(wǎng)系統(tǒng)需要獲取數(shù)據(jù)倉庫里的隱私數(shù)據(jù)時，通過“還原引擎”模塊啟動“隱私還原管理”將加密數(shù)據(jù)或者加擾數(shù)據(jù)進行還原之后返給請求方。 3、 “隱私策略管理”模塊，對數(shù)據(jù)加密的策略進行管理，通過對密鑰版本的控制從而變更隱私 數(shù)據(jù)的加密策略，提升數(shù)據(jù)安全性。 客戶隱私保護模塊技術(shù)體系具備如下能力： 1、 無損處理：去隱私化處理是無損的、可逆的，也就是說能還原隱私信息原文；無損的隱私保護技術(shù)使用加密保護技術(shù)以及基于可逆置換的加擾技術(shù)。 2、 降低對現(xiàn)有系統(tǒng)影響：經(jīng)營分析系統(tǒng)是穩(wěn)定運行的系統(tǒng)，隱私數(shù)據(jù)保護模塊建設保證對原有應用程序無影響；例如：為了避免影響數(shù)據(jù)庫設計，采用“格式保留加密”的算法，保持密文和原文保持同樣的屬性和字段長度；為了不影響現(xiàn)有系統(tǒng)的數(shù)據(jù)處理和訪問中的關(guān)聯(lián) (Join)操作，轉(zhuǎn)換保持一對一的轉(zhuǎn)換關(guān)系。 3、 算法簡單、 處理高效：經(jīng)營分析系統(tǒng)中的數(shù)據(jù)規(guī)模非常龐大， 系統(tǒng)資源更多的需要提供給 ETL 統(tǒng)計分析等資源消耗大的數(shù)據(jù)操作，去隱私化處理技術(shù)做到了簡單、高效，不占用系統(tǒng)太多資源。如：去隱私化處理放在 ETL 過程中不影響數(shù)據(jù)倉庫處理性能；大規(guī)模數(shù)據(jù)處理采用了效率較高的可逆置換技術(shù)。 4、 實現(xiàn)版本管理：即使是再嚴密的管控和再強大的處理技術(shù)，在使用時間越長其泄密的風險也會越高。為此，客戶隱私數(shù)據(jù)保護處理采用的策略、密鑰等信息都有版本管理，實現(xiàn)了版本的定期更新。 2、 主要技術(shù)創(chuàng)新點（不超過 800 個漢字） 1、 通過加密算法和映射轉(zhuǎn)換的方式實現(xiàn)“格式保留加密”，支持 SQL關(guān)聯(lián)操作快速處理； 本項目的難點是解決效率的問題，通過一種格式保留的 加密算法， 支持通過 SQL 進行快速處理，去隱私化處理后的字段還可以作為 SQL 的關(guān)聯(lián)條件繼續(xù)生效，不影響現(xiàn)有的程序邏輯，且去隱私化處理后的數(shù)據(jù)能夠還原 。 2、 通過數(shù)據(jù)封裝技術(shù)實現(xiàn)隱私數(shù)據(jù)的還原操作，并記錄明細訪問信息； 利用數(shù)據(jù)封裝技術(shù) 調(diào)用去隱私化服務進行隱私數(shù)據(jù)還原，增強項目的標準化程度和可移植性。 3、 通過版本管理的策略進一步增強加密和映射兩種去隱私化方法的保密性； 策略 /版本管理子模塊主要是為去隱私處理模塊和隱私還原處理模塊提供處理策略配置和版本管理，處理過程中所用到的映射轉(zhuǎn)換關(guān)系、密鑰都在本模塊統(tǒng)一管理和保存。策略 /版本管理模塊與其他模塊之間的關(guān)系如下圖 客戶隱私元數(shù)據(jù)元數(shù)據(jù)管理隱私保護策略 管理策略版本管理模塊映射轉(zhuǎn)換規(guī)則管理密鑰管理去隱私化管理模塊還原管理模塊獲取客戶隱私元數(shù)據(jù)用于配置處理策略獲取策略、映射關(guān)系、密鑰根據(jù)實際數(shù)據(jù)更新映射規(guī)則獲取策略、映射關(guān)系、密鑰 4、 通過基于內(nèi)存的 ETL 數(shù)據(jù)處理技術(shù)，提升數(shù)據(jù)處理效率。 利用基于內(nèi)存數(shù)據(jù)庫技術(shù)，采用多進程對隱私數(shù)據(jù)的加密和還原進行操作，大大提升了系統(tǒng)的處理效率。 應用情況（不超過 800 個漢字） 本項目上線以來，對經(jīng)營分析系統(tǒng)數(shù)據(jù)倉庫中 xxx 張表中 xxx 個涉及敏感數(shù)據(jù)的字段進行了加密處理，并不斷進行經(jīng)驗積累，形成了隱私數(shù) 據(jù)加密規(guī)則庫，為企業(yè)數(shù)據(jù)安全保障工作積累了豐富的經(jīng)驗。在系統(tǒng)運行中，持續(xù)對加密算法進行優(yōu)化，目前隱私化和隱私數(shù)據(jù)還原已基本不影響經(jīng)分系統(tǒng)數(shù)據(jù)處理效率。將原有的只能單純依靠管理手段及事后審計方式，轉(zhuǎn)變?yōu)橐约夹g(shù)手段為基礎(chǔ)配合管理手段，徹底阻斷敏感信息泄露途徑，將數(shù)據(jù)安全工作落到了實處。 對公司來講，這些需要加以保護的信息，尤其是客戶敏感信息，其價值不可估量。一旦泄露將會造成災難性后果，其經(jīng)濟損失遠大于前期防護的投入。通過本系統(tǒng)進行未雨綢繆的防護，其經(jīng)濟效益只能通過所阻攔的時間性質(zhì)來衡量，所帶來的回報必將是長久的 。另一方面，我省使用自行研發(fā)的隱私數(shù)據(jù)保護方法代替專業(yè)數(shù)據(jù)保護軟件，至少節(jié)省 60 萬投資。如果推廣到全國，也將節(jié)約大量成本投入。 從客戶的角度，如果發(fā)生了嚴重的從客戶的角度，如果發(fā)生了嚴重的客戶信息泄露事件，公司整體聲譽必將受到嚴重創(chuàng)傷，客戶的內(nèi)心會對中國移動產(chǎn)生一種不信任感，嚴重影響我公司品牌價值。而修復這種不信任感將會更加的費事費力，所耗費的將不僅僅是資金。唯一的辦法就是做好預防工作，防止發(fā)生泄漏，最大程度地做好可能泄露途徑的管控工作，嚴格管控好隱私數(shù)據(jù)泄露的途徑。本項目最大的社會效益就是使公司保持良好的 社會聲譽，不斷提升品牌價值。 。 經(jīng)濟效益（單位：人民幣萬元） 項目總投資額 10 回收期（年） 1 欄目 年份 新增利潤 新增稅收 創(chuàng)收外匯（美元） 節(jié)支總額 2011 50 各欄目的計算依據(jù)： 項目節(jié)約軟件購置費 ： 60 萬元 投資 10 萬 元 合計創(chuàng)收 50 萬元 生產(chǎn)、應用單位 財務專用章和財務負責人簽字 李蘭英 年 月 日 6、社會效益 如果發(fā)生了嚴重的客戶信息泄露事件，公司社會聲譽必將受到嚴重創(chuàng)傷，客戶的內(nèi)心會對中國移動產(chǎn)生一種不信任感，嚴重影響我公司品牌價值。而修復這種不信任感將會更加的費事費力，所耗費的將不僅僅是資金。唯一的辦法就是做好預防工作，防止發(fā)生泄漏，最大程度地做好可能泄露途徑的管控工作，徹底堵死隱私數(shù)據(jù)可能泄露的漏洞。 本項目最大的社會效益就是使公司保持良好的社會聲譽，不斷提升品牌價值。 四、本項目曾獲獎勵情況 獲獎時間 獎 項 名 稱 獎勵等級 授獎部門（單位） 2011 業(yè)務服務創(chuàng)新獎 二等獎 黑龍江移動 本表所填獎勵是指： 1.國家設立的科技獎勵； 2.各省、自治區(qū)、直轄市公司設立的獎勵 3.各省、自治區(qū)、直轄市政府設立的獎勵； 4.經(jīng)科技部批準的社會力量設立的獎勵。 五、申請、獲得專利情況表 國 別 申 請 號 專 利 號 項 目 名 稱 ZC1107001 一種 基于可逆置換技術(shù)的去隱私化處理方法 六、 主要完成人情況表 七、主要完成單位情況 單位名稱 中國移動通信集團黑龍江有限公司 第 二 完成單位 中國移動通信集團業(yè)務支撐系統(tǒng)部 聯(lián)系人 傳真 聯(lián)系電話 電子信箱 主要貢獻 黑龍江公司主要負責負責工作： 1、項目的發(fā)起，需求驅(qū)動， 核心功能設計，主要實現(xiàn)方式的確認工作。 2、負責 隱私數(shù)據(jù)識別、去隱私化算法選擇、算法性能測試、隱私數(shù)據(jù)還原算法選擇和性能測試。 3、負責隱私策略管理模塊設計。 4、負責 ETL 算法優(yōu)化 5、負責系統(tǒng)測試和上線工作。 集團公司業(yè)務支撐系統(tǒng)部負責工作： 提供技術(shù)支持和建設方案指導 單位公章： 2011 年 11 月 7 日 八、申報單位意見 申報單位 中國移動通信集團黑龍江有限公司 通信地址 郵編 150090 聯(lián)系人 基本信息 姓名 電話 部門 手機 職務 傳真 電郵 同意申報 ！ 申報單位公章 2011 年 11 月