數(shù)據(jù)挖掘技術(shù)在案件串并和嫌疑人排查中的應(yīng)用講解

1、數(shù)據(jù)挖掘技術(shù)在案件串并和嫌疑人排查中的應(yīng)用一、序言傳統(tǒng)的信息管理系統(tǒng)（ MIS ） ,主要針對的是日常的結(jié)構(gòu) 化問題，以提高組織的運營效率為目標(biāo)，通過將大量的數(shù)據(jù) 轉(zhuǎn)換為有價值的信息來強(qiáng)化管理。隨著社會的進(jìn)步和技術(shù)的 發(fā)展，人們不再僅僅滿足于獲取多種信息和簡單的使用信 息，而是想在深層次上利用這些信息為組織的決策提供幫 助。因此，為了彌補(bǔ) MIS 的不足，為了更好進(jìn)行市場預(yù)測、 資源配置、人力優(yōu)化和生產(chǎn)管理，在管理科學(xué)、運籌學(xué)、數(shù) 理統(tǒng)計、人工智能等新方法和新技術(shù)的推動下，人們開始重 視決策支持系統(tǒng)（ DSS ）的研究和應(yīng)用?！?.11 ”事件發(fā)生以后，西方主要發(fā)達(dá)國家都高度重視 數(shù)據(jù)挖掘在刑

2、事犯罪情報分析領(lǐng)域的應(yīng)用研究。刑事犯罪數(shù) 據(jù)的分析與挖掘主要是通過對犯罪記錄進(jìn)行分析，從而發(fā)現(xiàn) 犯罪行為的規(guī)律、趨勢，了解不同犯罪行為之間的關(guān)聯(lián)，以 及何種狀態(tài)會誘發(fā)何種犯罪行為，進(jìn)行串并案分析，提供破 案線索和情報，預(yù)測并預(yù)防犯罪。在中國，隨著經(jīng)濟(jì)增長、社會變革深入、人員流動性增 強(qiáng)，影響社會穩(wěn)定的不安定因素增加。 特別是 2008 年以后， 中國大陸人均 GDP 突破 3000 美元，侵財類案件進(jìn)入高發(fā)1 / 15 周期，流竄作案、團(tuán)伙作案等新型犯罪手段層出不窮。部分 公安機(jī)關(guān)開始運用商業(yè)智能 （BI）的思維，利用商業(yè)智能 （BI） 分析工具，結(jié)合長期積累的偵查辦案經(jīng)驗，探索建設(shè)警務(wù)決 策

3、支持系統(tǒng)，研究開展基于犯罪數(shù)據(jù)的分析挖掘。二、案件串并和嫌疑人排查的主要方法1、關(guān)聯(lián)規(guī)則分析關(guān)聯(lián)規(guī)則算法指數(shù)據(jù)中兩個或多個變量取值之間暗含 的某種規(guī)律性。支持度是對關(guān)聯(lián)規(guī)則重要性的衡量，置信度 是對關(guān)聯(lián)規(guī)則準(zhǔn)確性的衡量。以挖掘關(guān)聯(lián)規(guī)則為目標(biāo)的挖掘 過程一般包含兩個階段，第一階段，從資料庫中找出所有的 高頻項目組，它們出現(xiàn)的頻率相對于所有組而言，達(dá)到或超 過所設(shè)定的最小支持度。第二階段，從高頻項目組中產(chǎn)生關(guān) 聯(lián)規(guī)則，保證應(yīng)用該規(guī)則得到的結(jié)果可以達(dá)到最小的置信 度。關(guān)聯(lián)規(guī)則在公安情報分析中的典型應(yīng)用是對犯罪行為規(guī) 律的挖掘。運用關(guān)聯(lián)規(guī)則可以發(fā)現(xiàn)犯罪分子的身份、年齡、 地域等特征與其在實施犯罪行為中

4、所使用的手段、特點、選 擇的地點以及侵害對象等方面的關(guān)聯(lián)規(guī)律性，把具有相似特 征的犯罪人員從海量數(shù)據(jù)中分揀出來，形成“高危人群”數(shù) 據(jù)庫，利用高危人群數(shù)據(jù)庫指導(dǎo)幫助案件偵破。2、聚類分析聚類分析方法主要是研究對象中各點之間存在的程度2 / 15 不同的相似性，根據(jù)對象屬性找出各點間相似程度的序列， 把一些相似程度較大的點聚合為一類。在公安情報分析中， 聚類分析方法應(yīng)用最廣泛?？梢?對犯罪手段、特點、作案時 間等關(guān)鍵要素進(jìn)行挖掘，幫助分析人員確定具有較高相似度 的案件，刻畫嫌疑人特征，并把看似不相關(guān)的案件進(jìn)行合并 偵查?？梢酝诰虬l(fā)現(xiàn)案件的高發(fā)時段、高發(fā)地區(qū)以及高發(fā)的 作案手段，指導(dǎo)巡邏防控和情報

5、預(yù)警。3、協(xié)同過濾 協(xié)同過濾分析方法是在用戶群中找到指定用戶興趣相 似的用戶，綜合這些相似用戶對某一信息的評價，形成該指 定用戶對此信息的喜好程度的預(yù)測。一般分為基于項目的協(xié) 同過濾和基于用戶的協(xié)同過濾。在公安實戰(zhàn)中，我們可以將 案件（一串案件）發(fā)生軌跡視為“項目” ，將嫌疑人活動軌 跡視為“對項目的偏好” ，通過計算軌跡吻合度，推薦可能 的犯罪嫌疑人。4、分類與回歸 分類與回歸分析主要用于找出描述并區(qū)分?jǐn)?shù)據(jù)類的模 型（或函數(shù)） ，以便能夠使用模型預(yù)測未知的對象類。分類 分析的目的是學(xué)會一個分類模型，該模型能把數(shù)據(jù)庫中的項 映射到給一組類別中的某一個類。在公安情報分析中，可以 使用分類與回歸的

6、分析方法，將特定的人員（例如：前科人3 / 15 員）映射到“高危人群”中，當(dāng)“高危人群”出現(xiàn)時，出符 合“犯罪內(nèi)容”特征的犯罪預(yù)警。三、案件串并和嫌疑人排查業(yè)務(wù)需求1、業(yè)務(wù)背景 隨著“金盾工程”建設(shè)的深入開展，各級公安機(jī)關(guān)已經(jīng) 逐步建立了各類公共基礎(chǔ)信息資源庫、人員社會行為動態(tài)信 息資料庫和業(yè)務(wù)信息系統(tǒng)，積累了大量的數(shù)據(jù)資源，這些數(shù) 據(jù)資源和信息系統(tǒng)在輔助各級公安機(jī)關(guān)業(yè)務(wù)人員進(jìn)行案件 調(diào)查工作和服務(wù)群眾等方面帶來了很大的幫助，在一定程度 上提高了案件處理的效率和水平。但是，大部分公安機(jī)關(guān)對 案件進(jìn)行串并、摸排嫌疑人仍停留在利用經(jīng)驗積累進(jìn)行人工 分析的初級階段。面對信息資源不斷增長的現(xiàn)狀，公安

7、機(jī)關(guān) 迫切需要運用數(shù)據(jù)挖掘的思想和方法，對各類數(shù)據(jù)背后所蘊 涵的內(nèi)在的、必然的因果關(guān)系進(jìn)行挖掘，提高案件串并和嫌 疑人排查工作效率。2、業(yè)務(wù)應(yīng)用場景 由于犯罪行為動力定型的穩(wěn)定性和犯罪心理的思維定 式，系列犯罪案件的作案人在其不斷的犯罪活動中的行為和 特征具有穩(wěn)定性和規(guī)律性。本文所描述的分析方法適用于具 有連續(xù)作案行為特征的犯罪情報分析， 例如：團(tuán)伙流竄案件、 涉黑涉惡案件等可防性案件，不適用于偶發(fā)的、突發(fā)的“激 情”犯罪。4 / 153、建設(shè)目標(biāo)使用成熟的圖形化展示工具，集成串并案分析、排查嫌 疑人功能，建立一個面向情報分析人員的智能分析系統(tǒng)。系 統(tǒng)具備自學(xué)習(xí)功能，提供便捷、有效的串并案模型

8、和排查模 型，促進(jìn)信息深度利用，提高公安機(jī)關(guān)信息化應(yīng)用水平、串 并案和排查嫌疑人工作效率。4 、業(yè)務(wù)流程（1）建立案件特征庫。分析已破案件特征，包括：案 件類別、 作案特點、 作案時機(jī)、 侵害對象、 作案工具等項目， 分別生成串并案模型。（2）建立違法犯罪人員特征庫。對已破案件以及相關(guān) 的違法犯罪人員進(jìn)行分析，挖掘案件特征與犯罪人員特征的 潛在關(guān)聯(lián)關(guān)系，構(gòu)建“高危人群”數(shù)據(jù)庫。（3）運用串并案模型，針對未破案件，開展案件串并， 并推薦出可能作案的高危人群。（4）構(gòu)建違法犯罪人員活動軌跡數(shù)據(jù)庫，包括：違法 犯罪人員乘坐出租車軌跡，違法犯罪人員機(jī)動車經(jīng)過卡口 （電子警察） 軌跡， 違法犯罪人員手機(jī)

9、經(jīng)過電子圍欄 （基站） 軌跡，違法犯罪人員上網(wǎng)、住宿、社?？ㄏM、公交（公共 自行車）軌跡，重點人員本地金融活動軌跡，違法犯罪人員 室外活動軌跡（基于天網(wǎng)工程人像比對發(fā)現(xiàn)） 。備注：違法犯罪人員機(jī)動車包含其本人所有車輛、同住5 / 15人和同戶人所有車輛（5）將已串并案件的案發(fā)軌跡與符合高危特征的犯罪 人員活動軌跡疊加分析，計算時間和空間上的吻合度，并推 薦出未破案件的可能嫌疑人。四、詳細(xì)設(shè)計方案根據(jù)需求分析，實現(xiàn)業(yè)務(wù)應(yīng)用功能總體設(shè)計思路為：對數(shù)據(jù)進(jìn)行匯集、整合、建模，運用數(shù)據(jù)挖掘算法發(fā)現(xiàn)和揭示數(shù)據(jù)中隱含的關(guān)聯(lián)關(guān)系，并使用圖形方式展示。項目總體邏 輯架構(gòu)圖如下：圖 1 ：總體邏輯架構(gòu)圖1、數(shù)據(jù)

10、獲取：對數(shù)據(jù)挖掘的數(shù)據(jù)源進(jìn)行搜集整理。 根據(jù)業(yè)務(wù)需求，搜集案件、嫌疑人、嫌疑人活動軌跡信 息，獲取數(shù)據(jù)源連接和訪問權(quán)限，對數(shù)據(jù)結(jié)構(gòu)進(jìn)行分析，完 成找到數(shù)據(jù)的工作。根據(jù)需求和數(shù)據(jù)源狀況，確定數(shù)據(jù)更新 方法、更新策略，選擇 ETL 工具，本項目選擇 IBM Datastage6 / 15數(shù)據(jù)源名稱來源ETL 策略備注刑事案件信息本地業(yè)務(wù)系統(tǒng)立案時間、每日、增量用于挖掘案件特征刑事案件現(xiàn)場勘驗信息本地業(yè)務(wù)系統(tǒng)勘驗時間、每日、增量用于挖掘案件特征違法犯罪人員（本地）本地業(yè)務(wù)系統(tǒng)錄入時間、每日、增量按身份證去重，用于挖掘高危人群特征違法犯罪人員（全國）公安部下發(fā)每月、批量按身份證去重，用于挖掘高危人群特

11、征戶籍人口本地業(yè)務(wù)系統(tǒng)錄入（修改）時間、每日、增量用于確定違法犯罪人員同戶人實有人口本地業(yè)務(wù)系統(tǒng)錄入（修改）時間、每日、增量用于確定違法犯罪人員同住人出租車軌跡以及乘客照片社會資源乘車時間、每日、增量照片比對確定身份 ,發(fā)現(xiàn)軌跡卡口過車信息本地業(yè)務(wù)系統(tǒng)過車時間、每日、增量發(fā)現(xiàn)軌跡電子警察抓拍信息本地業(yè)務(wù)系統(tǒng)抓怕時間、每日、增量發(fā)現(xiàn)軌跡電子圍欄和話單本地業(yè)務(wù)系統(tǒng)經(jīng)過（通話）時間、每日、增量發(fā)現(xiàn)軌跡網(wǎng)吧上網(wǎng)記錄本地業(yè)務(wù)系統(tǒng)下網(wǎng)時間、每日、增量發(fā)現(xiàn)軌跡旅館住宿記錄本地業(yè)務(wù)系統(tǒng)入住時間、每日、增量發(fā)現(xiàn)軌跡社保卡消費記錄社會資源刷卡時間、每日、增量發(fā)現(xiàn)軌跡公交（公共自行車）刷卡記錄社會資源刷卡時間、每日

12、、增量發(fā)現(xiàn)軌跡重點人員本地金融活動記錄公安部下發(fā)刷卡時間、每日、增量發(fā)現(xiàn)軌跡違法犯罪人員室外活動軌跡本地業(yè)務(wù)系統(tǒng)經(jīng)過時間、每日、增量圖像挖掘、圖片比對確定身份，發(fā)現(xiàn)軌跡7 / 15表 1 ：數(shù)據(jù)源表8 / 152、預(yù)處理：為數(shù)據(jù)挖掘提供符合要求數(shù)據(jù)，包括數(shù)據(jù)清洗、轉(zhuǎn)換（標(biāo)準(zhǔn)化） 、裝載、建模。采用數(shù)據(jù)抽取工具（ ETL），對收集的數(shù)據(jù)進(jìn)行抽取、清 洗、轉(zhuǎn)換及裝載，實現(xiàn)數(shù)據(jù)的整合、去重，向多維數(shù)據(jù)倉庫 提供高質(zhì)量的數(shù)據(jù)。圖 2： ETL 過程在此基礎(chǔ)上對數(shù)據(jù)進(jìn)行關(guān)聯(lián)、建模，為情報分析研判提 供可用的數(shù)據(jù)。根據(jù)業(yè)務(wù)特性，確定案件、犯罪人員以及犯 罪人員活動軌跡三個主題，區(qū)分維度數(shù)據(jù)表和事實數(shù)據(jù)表，

13、 建立數(shù)據(jù)倉庫模型。下圖為案件事實表以及相關(guān)維度表數(shù)據(jù) 結(jié)構(gòu)示例9 / 15圖 3 ：數(shù)據(jù)結(jié)構(gòu)實例（案件表）3、數(shù)據(jù)挖掘：使用挖掘算法進(jìn)行挖掘，找出有用的信 息。10 / 15（1）運用聚類分析方法，對某地近十年來的已破刑事 案件進(jìn)行分析，構(gòu)建刑事案件空間向量矩陣，矩陣的行為一 起刑事案件的一個空間向量，矩陣的列為作案手段、選擇處 所、選擇時間、作案特點等特征。采用聚類操作后，如果多 個案件的多個或全部屬性都有相似性，就可以認(rèn)為這是一串 案件，并形成一套分類規(guī)則，即案件串并模板。下圖展示了 部分串并案模板。圖 4 ：案件串并模板示例圖 5 ：案件串并模板示例（2）運用關(guān)聯(lián)規(guī)則分析方法，對某地近

14、十年來的已破 刑事案件特征（ I1:作案手段、 I2:作案特點、 I3:案件類型、 I4: 選擇處所） 和犯罪分子特征 （I5:戶籍地行政區(qū)劃） 進(jìn)行關(guān)聯(lián)， 構(gòu)建數(shù)據(jù)庫事務(wù)集合 D。運用 Apriori 算法，掃描事務(wù)數(shù)據(jù)庫， 產(chǎn)生候選項集， 設(shè)置 min_sup=50,逐步迭代， 產(chǎn)生頻繁 k 項集 Lk 以及支持度計數(shù)， k2且必須要包含 I5:戶籍地行政區(qū)劃；設(shè)置 min_conf=80%,由頻繁 k 項集 Lk 產(chǎn)生并輸出強(qiáng)關(guān)聯(lián)規(guī)則， 得出高危人群數(shù)據(jù)庫。 表 2 展示了運用關(guān)聯(lián)規(guī)則分析方法分 析的高危人群部分?jǐn)?shù)據(jù)樣本。11 / 15I1 作案手段I2 作案特點I3 案件類型I4 選擇

15、處所I5 行政區(qū)劃區(qū)劃名稱迷信多人作案詐騙街面340823安徽樅陽縣技術(shù)開鎖單人作案盜竊車內(nèi)財物路面411528河南息縣冒充軍人、干部單人作案詐騙412825河南上蔡縣撬防盜門入室作案入室盜竊工商企業(yè)430427湖南 耒陽市利用口香糖技術(shù)開鎖入室作案入室盜竊居民小區(qū)431224湖南溆浦縣飛車搶奪多人作案搶奪440229廣東翁源縣插片開鎖多人作案入室盜竊452728廣西東蘭縣夜間攀爬翻窗多人作案入室盜竊居民小區(qū)513428四川涼山籍表 2 ：高危人群樣例數(shù)據(jù)（3）運用串并案模板對現(xiàn)行案件進(jìn)行串并，并根據(jù)案 件特征（作案手段、作案特點、案件類型、選擇處所等）比 對高危人群數(shù)據(jù)庫，推薦出可能作案的高

16、危人群。圖 6 ：運用串并案模板進(jìn)行串并案件（ 4）建立符合可能作案的高危人群特征 （戶籍地 ）的違法 犯罪人員活動軌跡數(shù)據(jù)庫，構(gòu)建案件軌跡與嫌疑人員活動軌 跡的空間和時間矢量矩陣，通過計算矢量距離，推導(dǎo)出與案 件時間、軌跡吻合度最高，且符合案件特征的可能的作案嫌12 / 15疑人。表 3 展示了一串案件發(fā)生時， 6 個符合特征的嫌疑人 手機(jī)位置與案件發(fā)生地點的空間矢量距離， null 表示沒有發(fā)現(xiàn)其活動信息嫌疑人 1嫌疑人 2嫌疑人 3嫌疑人 4嫌疑人 5嫌疑人 6案件 1325mNullNull589mNullNull案件 2Null600m400m5060mNullNull案件 3160

17、m2430mNullNullNull3680m案件 4400m890m280mNullNullNull表 3 ：嫌疑人手機(jī)位置與案件發(fā)生地點的空間矢量矩陣通過對表 3 的數(shù)據(jù)進(jìn)行分析，可以初步判定嫌疑人 1 、 嫌疑人 2 、嫌疑人 3 具有重大嫌疑。在實際操作中，單一種 類軌跡構(gòu)成的矩陣可能非常稀疏，往往需要將多種軌跡信息 進(jìn)行疊加分析，以提高分析的準(zhǔn)確性。4、用戶界面：將數(shù)據(jù)挖掘通過可視化的方法展示給用 戶。（1）數(shù)據(jù)挖掘過程具有高度的交互性，在涉及多維數(shù) 據(jù)挖掘的過程中，要構(gòu)建靈活的用戶界面和探索式的挖掘環(huán) 境。在串并案模板挖掘過程中， 我們采用構(gòu)建立方體 （ Cube ） 的方法， 允許用戶運用知識背景進(jìn)行下鉆、 切片、維度旋轉(zhuǎn)、 設(shè)置度量等操作。2）數(shù)據(jù)挖掘結(jié)果展示采用可視化圖形報表技術(shù)，具13 /