平安城市技術方案V3-20150812094605

平安城市概述項目概述許多城市認識到社會面治安監(jiān)控的意義遠不局限于新建系統(tǒng)，而是把它擴展為對整個城市的監(jiān)控，形成整個城市立體的、全方位的防控體系，因此本著既分又合的方式，把居住區(qū)、賓館、學校、體育場館等各種重要單位已獨立建設的監(jiān)控系統(tǒng)的主要圖像信息，按轄區(qū)就近接入派出所等基本單元的監(jiān)控系統(tǒng)，則可以實現(xiàn)監(jiān)控系統(tǒng)為全社會服務的目的。同時，城市監(jiān)控也提供了其他方面的協(xié)助作用。如城市交通狀況的實施監(jiān)視：現(xiàn)代化的城市需要現(xiàn)代化的管理手段，城市的繁榮，對城市的綜合管理提出了更高的要求。向科技要警力，用現(xiàn)代的交通監(jiān)控技術監(jiān)督、疏導交通以減少違章已成為國內交通管理部門的重要實現(xiàn)方式。項目目標城市監(jiān)控系統(tǒng)的建立，在于提高城市綜合管理的能力。同時城市監(jiān)控的意義不局限于其本身，形成立體的、全方位的防控體系，則實現(xiàn)為全社會服務的目的，提供給其他方面的協(xié)助作用，實現(xiàn)城市的綜合管理。將著重于以下幾個方面：社會治安：包括社區(qū)治安、智能建筑、街面巡視、重點單位等安全防范。交通管理：包括道路交通管理、交叉路口管理、車流量等道路信息采集。城市信息：包括城市綜合信息管理，與相關部委、局、行業(yè)之間的信息共享、數(shù)據(jù)交換等。應急管理：包括城市專項應急預案措施，提供城市綜合減災和應急處置體系的信息，為城市應急聯(lián)動中心提供有力依據(jù)。業(yè)務需求業(yè)務現(xiàn)狀公安信息化建設是政府工作信息化的重要組成部分，為了推動公安信息化建設、實現(xiàn)科技強警，自1998年以來，公安部積極推動“金盾工程”建設，并于2001年1月通過了國家計委關于“金盾工程”建設的立項?！敖鸲芄こ獭逼淇傮w目標是建成和完善全國公安通信網絡和全國公安信息系統(tǒng)，實現(xiàn)以CCIC（中國犯罪信息中心）為核心，各公安業(yè)務為基礎，以“數(shù)字化警察”為目標的信息共享和綜合利用。初步計劃利用三年左右的時間，初步建成公安工作信息化體系的總體框架結構，使全國的公安基層單位和移動值勤的警員能隨時隨地地訪問網絡信息資源。通過統(tǒng)一規(guī)劃，以一種協(xié)調的運行機制和科學的管理模式為基礎，以一套完整的技術標準與規(guī)范體系為依據(jù)，以一個有效的系統(tǒng)集成與應用系統(tǒng)支持平臺為手段，實現(xiàn)公安信息共享體系。公安主要業(yè)務信息應用系統(tǒng)在全國范圍內得到了推廣，大多數(shù)城市的戶政、治安、刑偵等業(yè)務部門建立了一大批應用系統(tǒng)，積累了大量的基礎數(shù)據(jù)，有效地節(jié)省了警力資源、增強了公安隊伍的戰(zhàn)斗力。部分發(fā)達地區(qū)，公安業(yè)務系統(tǒng)的網絡化應用也達到一定規(guī)模?？臻g信息技術和空間信息數(shù)據(jù)是公安信息化體系中的重要組成部分。而目前的公安地理信息系統(tǒng)建設和空間信息數(shù)據(jù)的應用尚處于初級階段。根據(jù)調研，公安局僅僅在指揮中心用到了簡單的電子地圖顯示，部分公安局通過車載GPS實現(xiàn)了對車輛的監(jiān)控、調度、指揮。在整個公安信息化和“金盾工程”建設中，還缺乏關于公安空間信息應用的標準、規(guī)范，更缺乏對大型空間信息應用的成功經驗和案例。空間信息數(shù)據(jù)在公安綜合信息系統(tǒng)的各個環(huán)節(jié)都可能用到。如治安、戶政、交通、綜合查詢、社區(qū)警務、指揮調度、輔助決策等等?？臻g信息應用是公安行業(yè)信息化的核心應用之一，而公安行業(yè)是典型的全國聯(lián)網、需要海量數(shù)據(jù)存儲和共享的空間信息應用服務體系。隨著空間信息技術向著網絡化、海量化和分布式及聯(lián)機計算的方向發(fā)展，從技術的角度講，已經為公安行業(yè)的空間信息應用創(chuàng)造了條件。###公安局信息化建設已經具備一定規(guī)模，部分系統(tǒng)已經投入使用。但現(xiàn)有系統(tǒng)與很多資源平臺的對接尚未實現(xiàn)，因此，已有的各業(yè)務通過統(tǒng)一平臺實現(xiàn)數(shù)據(jù)與業(yè)務的全面整合與共享，改變各系統(tǒng)間相互獨立，實現(xiàn)信息共享是###市公安最迫切的需求。資源共享需求在我國，政府職能正從管理型轉向管理服務型，如何更好地發(fā)揮政府部門宏觀管理、綜合協(xié)調的職能，如何更加有效地向公眾提供服務，提高工作效率、打破信息盲區(qū)、加強廉政建設已成為當前各級政府部門普遍關注和亟待解決的問題。隨著電子政務建設的不斷發(fā)展，政府擁有越來越多的應用數(shù)據(jù)，如何建立政府信息資源采集、處理、交換、共享、運營和服務的機制和規(guī)程，實現(xiàn)分布在各類政府部門和各級政府機關的信息資源的有效采集、交換、共享和應用，是電子政務建設的更高級的階段和核心任務。信息資源只有交流、共享才能被充分開發(fā)和利用，而只有打破信息封閉，消除信息“荒島”和“孤島”，也才能創(chuàng)造價值。應急管理需求隨著我國經濟社會的快速發(fā)展和人民生活水平的普遍提高，特別是黨的社會主義和諧社會理論的提出，社會治安作為構建社會主義和諧社會的基礎，越來越受到黨和政府的高度重視以及社會各界的普遍關注。當前國際形勢正發(fā)生深刻而復雜的變化，國內外不利于社會穩(wěn)定和國家安全的因素明顯增多，我國社會治安仍然面臨著嚴峻考驗。隨著經濟的發(fā)展和人民生活由溫飽型向小康型的轉變，人民群眾對社會安全的渴求越來越強烈，在一些發(fā)達地區(qū)和城市甚至上升為首要的需求。多年來，公安機關緊緊圍繞經濟建設這個中心，牢牢把握全黨全國的工作大局，積極主動地開展工作，嚴密防范和嚴厲打擊各種危害國家安全的犯罪活動、嚴重刑事犯罪和經濟犯罪活動，積極預防和妥善處置由人民內部矛盾引發(fā)的群體性事件，有力地維護社會安定和政治穩(wěn)定。但是，由于目前我國正處于改革的攻堅階段和發(fā)展的關鍵時期，一些深層次的矛盾不斷顯現(xiàn)，刑事犯罪和經濟犯罪危害嚴重，群體性事件、突發(fā)事件和恐怖事件對社會穩(wěn)定的影響越來越大，互聯(lián)網上影響穩(wěn)定的問題日益突出，傳統(tǒng)的安全威脅和非傳統(tǒng)的安全威脅嚴重影響著社會治安的穩(wěn)定和人民群眾的安居樂業(yè)。在以科學發(fā)展觀為指導，積極構建社會主義和諧社會的過程中，黨和政府要求建立健全社會預警體系，提高處置突發(fā)性事件能力，加強社會治安綜合治理，繼續(xù)推進社會治安防控體系建設，依法嚴厲打擊各種犯罪活動，維護國家安全和社會穩(wěn)定，保障人民群眾安居樂業(yè)。因此，加強社會治安管理，保障社會安全，已成為滿足人民需要和加強政府執(zhí)政能力的重要內容之一。進入新世紀，以信息技術為核心的現(xiàn)代科技飛速發(fā)展，在給人們帶來巨大福祉的同時，也給犯罪分子提供了更多的可乘之機和便利條件。犯罪手段呈現(xiàn)高技術、智能化、專業(yè)化發(fā)展的趨勢和組織化、動態(tài)化的特點，大大增加了犯罪行為在時間上的突發(fā)性、空間上的不確定性和手段上的對抗性，給防范和偵破工作帶來了新的困難。因此，利用現(xiàn)代高科技手段構筑社會治安防控體系、把握社會治安態(tài)勢、及時發(fā)現(xiàn)和解決社會治安問題、改進社會治安防范系統(tǒng)、提高社會治安防控效能就顯得非常必要，本專題正是為適應時代需要而提出的。惠普平安城市整體架構設計系統(tǒng)總體架構平安城市的大數(shù)據(jù)分析系統(tǒng)是面向結構化和非結構化信息相結合的高級應用的綜合信息系統(tǒng)應用平臺，它總體上分為四個層次：數(shù)據(jù)源層、數(shù)據(jù)處理層、信息平臺層和應用服務層。`系統(tǒng)總體架構系統(tǒng)架構說明數(shù)據(jù)源層平安城市的數(shù)據(jù)源層可以接入多種數(shù)據(jù)格式的數(shù)據(jù)，包括攝像頭視頻信號、各種傳感器信號、互聯(lián)網資訊和社交媒體信息、各種在生活工作中產生的文檔報告數(shù)據(jù)以及來自城市其他應用管理系統(tǒng)中的數(shù)據(jù)（如來自學校的活動信息、醫(yī)院的救助信息、各大停車場的車位空余信息等等）。這些信息中有結構化數(shù)據(jù)，有半結構化數(shù)據(jù)，也有文檔、視頻等非結構化數(shù)據(jù)。這些數(shù)據(jù)需要經過不同的處理方式進行加工、分析，才能匯總起來進行統(tǒng)一的關聯(lián)應用。可接入的數(shù)據(jù)源系統(tǒng)包括但不限于以下幾點：停車場記錄巡邏車車牌識別記錄道路攝像頭車牌識別記錄刑偵案件及線索記錄庫110報警庫巡警巡查記錄庫治安攝像頭記錄庫交通攝像頭記錄庫警車、警員和協(xié)警位置記錄庫微博記錄微信記錄數(shù)據(jù)處理層數(shù)據(jù)處理層利用各種采集連接器（Connector）和視頻分析工具從結構化數(shù)據(jù)源、非結構化數(shù)據(jù)源內獲取數(shù)據(jù)信息。其中，主要處理方式包括以下幾個方面：場景分析：來自攝像頭或其他城市傳感設備的數(shù)據(jù)，可以通過HP的視頻場景分析工具，對指定的用戶行為模式、特定場景、特定對象進行實時的分析，捕捉到違法違規(guī)行為后可以自動報警并將報警數(shù)據(jù)發(fā)送到后臺信息平臺中。語音識別：針對音視頻記錄數(shù)據(jù)可以通過HP的視頻內容處理工具對語音進行文字識別、對畫面進行轉場識別并結合音視頻播放的時間點將處理結果傳送到信息平臺中。圖像檢測：針對城市路口或特殊通道的數(shù)碼相機拍攝的汽車、人物等圖片數(shù)據(jù)可以通過HP的圖像處理軟件實現(xiàn)車牌識別、人臉檢測和比對、對象識別等功能，并能對汽車類型、人物年齡表情進行進一步分析，并將分析結果發(fā)送到信息平臺中。ETL工具：可以對來自大數(shù)據(jù)平臺或數(shù)據(jù)倉庫的用戶行為數(shù)據(jù)、地理位置信息、移動通訊記錄等信息進行數(shù)據(jù)加工轉換，并將結果導入到信息平臺中。采集器：來自互聯(lián)網社交媒體的數(shù)據(jù)可以通過HP的互聯(lián)網采集器或者社交媒體采集器進行信息的匯聚和索引；來自基于數(shù)據(jù)庫系統(tǒng)開發(fā)的應用系統(tǒng)，如110報警系統(tǒng)、巡查核錄系統(tǒng)等，可以通過HP的數(shù)據(jù)庫采集器進行數(shù)據(jù)的收集、內容解析和索引；來自其他應用系統(tǒng)，如OANotes辦公系統(tǒng)，HP提供400多種連接器，涵蓋了主流的應用系統(tǒng)，可以把以及各種城市應用管理系統(tǒng)的結構化和非結構化數(shù)據(jù)將由專門的連接器進行處理。來自，將相關視頻記錄存儲到視頻管理系統(tǒng)，并將分析結果送到后臺服務引擎中。信息平臺層信息平臺層接收來自數(shù)據(jù)處理層匯聚加工過的數(shù)據(jù)結果，可以對結構化數(shù)據(jù)和非結構化數(shù)據(jù)同時進行存儲和智能分析。結構化數(shù)據(jù)存儲在HP的Vertica平臺。HPVertica具有強大的功能，可迅速、可靠地管理大量數(shù)據(jù)，為您提供實時的業(yè)務智能以進行先進的大數(shù)據(jù)分析，從而將您的所有數(shù)據(jù)轉變?yōu)樾б妗ertica是真正的列式數(shù)據(jù)庫，優(yōu)化器和執(zhí)行引擎可以忽略表中與查詢無關的列。Vertica不僅僅按列式存儲數(shù)據(jù)，還主動地根據(jù)列數(shù)據(jù)的特點和查詢的要求選用最佳的算法對數(shù)據(jù)進行排序和壓縮，這就極大地降低磁盤I/O消耗。同時，HPVertica在執(zhí)行查詢方面，速度比傳統(tǒng)數(shù)據(jù)庫快50到1000倍，同時消耗的成本和占用的硬件僅有原來的幾分之一。非結構化數(shù)據(jù)采用HPIDOL智能數(shù)據(jù)處理平臺實現(xiàn)對信息的智能分析處理，IDOL利用貝葉斯概率論、香農信息論為理論基礎，實現(xiàn)了基于語義分析的智能搜索技術，對信息、數(shù)據(jù)進行有針對性的聚類分為和分類分析，使數(shù)據(jù)之間產生關聯(lián)性。應用服務層應用服務層包含對平安城市應用的各種規(guī)則的定義和匹配，通過工作流的方式對特定的主題事件進行預先定義，當引擎中的數(shù)據(jù)符合模式組合的條件時，可以觸發(fā)特定的告警操作并關聯(lián)其他應用系統(tǒng)的數(shù)據(jù)產生相關關聯(lián)操作。事件行為監(jiān)控可以對來自攝像頭的視頻畫面進行實時的處理和分析，可以對多種城市治安行為和交通事件進行檢測和自動告警，節(jié)省了大量人工監(jiān)控成本，并為城市突發(fā)事件處理和綜合數(shù)據(jù)的匯總分析提供數(shù)據(jù)支撐。案件調查分析可以對全部接入數(shù)據(jù)進行統(tǒng)一的檢索，可以針對某一事件進行時間、地理位置、社會反響等多維度的統(tǒng)計和發(fā)現(xiàn)，從而對掌握案件的來龍去脈提供360度的智能分析，為決策者提供決策支持。警力調動協(xié)作可以對全市警力進行統(tǒng)一的調配，根據(jù)事件發(fā)生的時間、地理位置、類型等因素定位到合適的人員進行快速處理。分析統(tǒng)計報告可以對交通流量情況、治安違法行為、日常巡查線路等信息進行按時間范圍為條件的統(tǒng)計分析，為未來的道路路網規(guī)劃、疏通擁堵、交通管制、警力調配等方案制訂提供決策依據(jù)。系統(tǒng)功能方案 根據(jù)平安城市大數(shù)據(jù)分析系統(tǒng)功能需求，結合我們的項目經驗，我們進行一一對應的分析。事件行為監(jiān)測禁區(qū)檢測發(fā)現(xiàn)出現(xiàn)在劃定區(qū)域或通過劃定界線的人員、動物或車輛。物體遺留預警檢測是否有物體或車輛進入預定區(qū)域，發(fā)現(xiàn)攜帶物品的人留下物體離開后進行報警。游蕩人員預警發(fā)現(xiàn)特定場景（地點，時間）下徘徊逗留的可疑人員，如銀行門口，ATM機前，車輛周圍等。逆行預警可檢測人、車或其他物體的違規(guī)移動或逆行。問題車輛稽查支持導入通緝或待查找車牌的列表，如csv文件。當檢測到的車牌在這個列表中，檢測結果會顯示列表的名稱。如果不在帶檢測的列表中，會顯示“NOTINDATABASE”，即不在列表中。目標車輛跟蹤可以自動識別汽車的車牌，并將識別結果和識別時間存儲到指定位置。系統(tǒng)可以定義汽車模型對象，對出現(xiàn)在攝像頭中的符合標準的對象進行識別并繪制運動軌跡?？梢詫Τ霈F(xiàn)在多個攝像頭中的對象進行識別，同時根據(jù)時間、地理位置等信息對特定對象進行運動線路繪制。違章停車檢測可以定義道路上的各種行駛或停放區(qū)域，設置通行規(guī)則，當有違規(guī)行為時會自動告警。信號燈違法識別可以定義紅綠燈場景，在紅燈亮時有闖紅燈違法行為會告警。行人穿越檢測檢測行人違章穿越道路并報警。車型識別及統(tǒng)計可以根據(jù)預先定義的汽車品牌和型號，自動匹配當前的識別結果，識別出來當前的品牌和型號。人臉識別檢測采用人臉識別技術可以從監(jiān)控視頻圖像中實時查找人臉，并與人臉數(shù)據(jù)庫進行實時比對，從而實現(xiàn)快速身份識別。案件調查分析事件統(tǒng)一檢索系統(tǒng)支持多種關鍵詞檢索方式，通過指定字段搜索或全文搜索的方式，查找系統(tǒng)平臺中的多個數(shù)據(jù)源的數(shù)據(jù)，實現(xiàn)跨庫檢索。用戶可以指定時間范圍、距離范圍等檢索條件一次性查找出內容相關的攝像頭告警信息、車輛信息、人員信息、110告警信息、其他應用系統(tǒng)信息，從多角度獲取與查找主題相關的內容。在關鍵詞搜索的基礎之上，系統(tǒng)支持自然語言檢索，用戶可以輸入一句話、一段文字甚至是一整篇文章，系統(tǒng)會分析用戶檢索條件的內容概念，然后從概念的相關度上來找出用戶關心的結果。熱點主題地圖熱點主題地圖（AQG）是提供給用戶的一種智能分析功能，它可以根據(jù)用戶給定的一段時間范圍或輸入的關鍵詞內容，實時自動生成概念相關主題建議，并可以圖形化方式來展現(xiàn)，從而幫助用戶發(fā)現(xiàn)熱點主題并找到更相關的內容結果。微博情感分析IDOL獨特的技術允許依照詞匯的褒貶義和文字基調進行高級的分類操作。IDOL能夠分析語言的結構和含義，判定每段信息的正面或負面特征，進而創(chuàng)建相應的分類系統(tǒng)。除此之外，管理員還可以利用多種標記功能和閾值設定來配置信息正負面分析的敏感程度。正負面分析使用多種強大的技術提取這些文章和談話中的含義，并且自動執(zhí)行詳細的統(tǒng)計分析以找出信息中所表現(xiàn)出的趨勢，以及它對人、企業(yè)和產品的正負面產生的影響。正負面分析技術涵蓋了各種傳統(tǒng)和新型的媒體，其中包括報紙、電話、博客、論壇、討論版和在線社區(qū)，為宣傳項目提供助力。IDOL能夠理解俚語、行業(yè)術語、諷刺用語以及替代拼寫方式，也能夠適應語言的多變性。其自動而深入的分析可實現(xiàn)主動式的回應，確保不會忽略越來越重要的大眾觀點。實體統(tǒng)計分析很多的搜索對象都有相關的元數(shù)據(jù)屬性字段，通過HP提供的參數(shù)統(tǒng)計功能，可以實現(xiàn)各元數(shù)據(jù)的統(tǒng)計和分析，并可以輸出成為多種圖形形式，如柱狀圖，餅圖，線圖等，從而使用戶實時了解搜索對象的數(shù)量特征，更深入的得到內容信息。IDOL系統(tǒng)的參數(shù)統(tǒng)計功能支持的字段數(shù)目不限。效果如下圖所示：事件內容關聯(lián)內容關聯(lián)功能是HP系統(tǒng)針對多種信息格式，自動分析內容概念，并自動在系統(tǒng)中找出與其相關的其他數(shù)據(jù)內容。當用戶查看具體每篇文檔信息時，可以自動找出與上述文檔內容相關的其他文檔信息。 例如，系統(tǒng)發(fā)現(xiàn)微博中有大量信息討論某個路段發(fā)生了一起交通事故，很多人在推薦繞路行駛。視頻分析系統(tǒng)根據(jù)汽車流量分析發(fā)現(xiàn)某個路段發(fā)生了堵車現(xiàn)象。IDOL系統(tǒng)可以發(fā)現(xiàn)這兩者的關聯(lián)性并將結果推送給操作者，操作者及時發(fā)現(xiàn)事件情況并做相應處理。熱點信息聚合基本聚類系統(tǒng)能夠智能的分析給定一批數(shù)據(jù)的熱點主題、最新主題以及主題直接的相關程度。能夠以圖形化方式展現(xiàn)熱點聚類地圖，并能夠查看各主題下的數(shù)據(jù)信息。系統(tǒng)提供的自動聚類功能，它能夠自動地分析采集過來的所有信息內容，根據(jù)內容概念來把相似的文檔聚類到一起（相關性算法），同時完全自動化的生成類別的標題，并提供自動的熱點生成和自動的熱點趨勢分析。具體功能包括：可自定義聚類類別，根據(jù)聚類生成的條件進行聚類分析可自定義聚類范圍，對某些主題或某時間段數(shù)據(jù)進行聚類分析可自定義聚類主體，能根據(jù)用戶主體配置進行文本聚類提供聚類規(guī)則的管理維護功能提供多種聚類結果展示，如文本、主體、圖形等可進行聚類趨勢分析二維地圖聚類二維地圖聚類為文本聚類結果的圖像展示方式之一，又稱為信息島圖，或者信息截面圖，它表示某個時刻的信息聚類結果，能區(qū)分聚類熱點的受關注程度以及聚類主體之間的關聯(lián)性。每個亮點都是系統(tǒng)自動聚類出的新聞熱點，顏色越亮代表信息量越大越熱，點與點的距離越近，表明兩個聚類主體之間的關聯(lián)性越高；通過二維地圖的應用，企業(yè)的員工可以清楚的了解自己部門，或者相應范圍內的知識熱點，并可以將熱點轉化為自己的知識主題，從而獲得知識內容，發(fā)揮知識利用的價值。聚類熱點信息和爆炸信息聚類熱點信息和爆炸信息主要提供文本的聚類展現(xiàn)方式，使人員從時間和相關性角度考察內容：HotNews（熱點新聞）：“熱點新聞”顯示的只是某一類主題最相關的信息，而并不局限于最新的信息。BreakingNews（爆炸新聞）：“爆炸新聞”顯示的是最近的最新新聞。與“熱點新聞”不同的是。它會對兩個不同時間點的聚類結果做一個比較，只有存在最近的聚類中而其他聚類沒有的內容才會顯示出來。如下圖為對熱點新聞和爆炸新聞的聚類文本展示：聚類趨勢圖聚類信息趨勢圖又稱為信息走勢圖，表示聚類信息在一定時間內的走勢情況，橫線越長表明新聞主題一直在延續(xù)，顏色越紅越粗表明某天信息量越多越熱，有分支表明某個新聞主題有了新的報道方向。通過信息趨勢圖的應用，企業(yè)員工可以直觀的了解相關的行業(yè)，相關項目的進展狀態(tài)，并根據(jù)不同時期的知識主題演變，判斷事件的發(fā)展趨勢，從而輕松的掌握知識的來龍去脈。敏感信息審計用戶可以在系統(tǒng)中自定義敏感詞匯進行分類訓練，或者不需要任何手工輸入，系統(tǒng)可以自動根據(jù)敏感信息樣本中的概念進行分類。分類訓練完成后，系統(tǒng)能夠自動對論壇、博客、郵件、社交媒體等文本信息進行分類，發(fā)現(xiàn)其中的敏感信息。分類管理通過發(fā)現(xiàn)內容里的概念，使用戶得到準確的分類類別，確保所有的數(shù)據(jù)最大限度的精確歸類和正確的理解。系統(tǒng)分類支持創(chuàng)建多種類型的、多層結構、無數(shù)量限制的信息分類體系。如下圖，定義好分類的名稱，指定的數(shù)據(jù)源，語言類型后，就可以針對分類進行初始訓練，可以輸入關鍵詞，或者句子，文章等，定義邏輯表達式，進行分類的初始訓練：通過初始訓練，系統(tǒng)會返回符合訓練要求的文檔，這樣就可以再次進行文檔訓練和詞匯權重的調節(jié)，以此來精化分類的標準，深化分類的準確性。系統(tǒng)支持小的數(shù)量樣本文檔的訓練，從而簡化分類訓練難度，方便用戶使用。自動歸類根據(jù)不同的分類主題，建立了分類節(jié)點，前臺的用戶以及管理員就可以點擊相關的分類樹節(jié)點，查看相關分類的結果：分類推薦建立了分類體系之后，系統(tǒng)中的用戶就可以進行分類查看；但是，如果分類樹過于龐大，或者用戶沒有時間逐級點擊分類節(jié)點，那么系統(tǒng)還提供了分類推薦功能，它根據(jù)每個用戶的隱含個性需求，來推送給用戶需要查看的分類節(jié)點。系統(tǒng)分析用戶的行為是基于用戶的多種內容行為操作，包括搜索行為，查看文檔，發(fā)布消息等，從而積累用戶的主題特征。嫌疑人行為分析整合民用應用系統(tǒng)，如手機基站接入數(shù)據(jù)、電話通話記錄、上網記錄、GPS導航定位信息、銀行卡刷卡記錄等等，從海量信息中對指定嫌疑人的通信、上網、運動軌跡、消費行為等進行快速的查詢和定位，生成嫌疑人用戶行為軌跡圖。同時，系統(tǒng)可以根據(jù)嫌疑人的通話記錄或運動軌跡，自動分析出與之有關聯(lián)的其他人員或相同地理位置中發(fā)生的事件。警力調動協(xié)作鄰近警力定位實時獲取警員和警車的巡查地理信息和行駛記錄以及相關人員和機構的聯(lián)系方式，當突發(fā)事件發(fā)生時，快速定位臨近警力資源進行快速處理和救助。警力人員調動通過系統(tǒng)監(jiān)控門戶可以控制和管理其介入的全部數(shù)據(jù)信號，提供可視化友好界面查看一個或多個攝像頭信息，可以通過多種手段查找和顯示相關數(shù)據(jù)并安排鄰近警力人員進行快速處理。告警事件處理通過點擊告警事件打開處理界面查看相關信息畫面并根據(jù)相應流程進行處理，并記錄實際處理的到場時間、處理結果等信息。分析統(tǒng)計報告流量及車道占用率統(tǒng)計實時采集和統(tǒng)計道路監(jiān)控攝像頭中出現(xiàn)的行駛車輛信息，自動計算出指定時間段內攝像頭中車道的流量和占用情況，從而分析道路的擁堵程度，實現(xiàn)信息發(fā)布的自動化，方便交通出行者行車決策，提高交通需求宏觀調控水平，提高道路利用率。交通擁堵監(jiān)控分析通過流量綜合分析道路的交通擁堵程度，生成交通擁堵分布圖，分析發(fā)現(xiàn)處于全天交通飽和狀態(tài)路口、存在明顯的瓶頸區(qū)域的老城區(qū)以及車輛擁堵嚴重的商業(yè)區(qū)和社區(qū)，為城市的道路路網規(guī)劃、疏通擁堵、交通管制等方案制定提供決策依據(jù)。告警事件類型統(tǒng)計根據(jù)時間和地理位置等條件生成全年告警事件類型統(tǒng)計圖以及指定時期指定區(qū)域的告警事件類型統(tǒng)計圖，與其他統(tǒng)計圖一起形成安全分析報告，結合相關部委、局、行業(yè)之間的共享信息、交換數(shù)據(jù)等，為城市治安、社區(qū)警務、指揮調度等方案制訂提供決策依據(jù)。案件多發(fā)地統(tǒng)計根據(jù)時間和事件類型等條件生成全年案件多發(fā)地統(tǒng)計圖以及指定時期指定事件類型的案件多發(fā)地統(tǒng)計圖，與其他統(tǒng)計圖一起形成安全分析報告，結合相關部委、局、行業(yè)之間的共享信息、交換數(shù)據(jù)等，為城市治安、社區(qū)警務、指揮調度等方案制訂提供決策依據(jù)。警力巡查部署統(tǒng)計根據(jù)時間和巡查區(qū)域等條件生成全年警力巡查部署統(tǒng)計圖以及指定時期指定區(qū)域的警力巡查部署統(tǒng)計圖，與其他統(tǒng)計圖一起形成安全分析報告，結合相關部委、局、行業(yè)之間的共享信息、交換數(shù)據(jù)等，為城市治安、社區(qū)警務、指揮調度等方案制訂提供決策依據(jù)。數(shù)據(jù)采集方式文件采集HP的文件系統(tǒng)連接器（FileSystemConnector）將所有常用的電子文檔文件一網打盡，它支持1000多種文件格式，包括txt、html、rtf、office文檔、pdf、MP3、MPEG、SWF、AVI、VOD、DAT、tiff、書生sep電子文件等各種格式文檔的自動掃描、自動數(shù)據(jù)采集和入庫，甚至包括各種壓縮文件以及壓縮嵌套文件，如zip，rar，tar等，對于命名錯誤或者后綴錯誤的文檔，它還能夠自動的識別編碼和語言類型，文檔格式。其主要功能還包括：按照目錄形式或者列表形式對文檔進行分類組織，分類層次可以任意定制；對目錄下文檔進行自動掃描，并將目錄作為文檔分類標引項自動提??；對于一些標準格式文檔，可以自動提取一些特征值，如標題、作者、單位、摘要等作為元數(shù)據(jù)標引項；支持抓取文檔里的內嵌對象，例如Word文件中嵌入的visio圖；支持Excel、XML、Txt等多種數(shù)據(jù)源的導入，導入后可自動解析數(shù)據(jù)源中的知識條目；實現(xiàn)對于文檔正文內容的自動采集，轉換編碼，并與元數(shù)據(jù)合并形成標準的中間內容格式，索引到內容處理引擎IDOLServer中；支持文件去重:可以根據(jù)文件內容或屬性字段進行自動排重；其操作流程為：文檔目錄文檔目錄文檔列表分類、特征標引項的自動提取文檔內容的自動抓取文檔特征標引項入庫、內容索引完成配置流程為：如下為嵌套的壓縮文件抓取：抓取后的結果：同時也支持抓取文檔里面的內嵌文檔抓?。ㄈ鐆ord文件里面嵌入visio的圖片文件，word的圖文框等；）如下為內嵌visio以及xls的內容：如下為抓取的效果：同時HP還支持對國內特殊文件格式的抓取，如CEB格式文件的內容抓取：抓取出來的效果如下：HP文件采集器支持文件自動探測采集，如無后綴名文件采集，后綴錯誤文件采集，不規(guī)范文件采集，單個不限容量文件采集等。不規(guī)范命名文件等文件格式的抓取示例如下：網絡信息采集HttpConnector是HP針對網站信息的采集工具，它依據(jù)采集配置主動抓取網站上的頁面內容，然后將內容轉換成為標準格式傳輸?shù)絀DOLServer進行索引。它能按照用戶設定的信息采集條件，自動采集多種類型網站和內容，包括：多源頭采集（新聞，論壇，博客等）；多語種采集（中文，英文，德文，法文，俄文，日文等）；多類型采集（網頁，文檔，音視頻等）；帳號登錄采集（需要用戶名密碼登錄的站點）；定向內容采集（按照某內容主題采集）；HttpConnector在采集過程中，它將自動分析這個頁面中的相關鏈接，然后繼續(xù)抓取相關的頁面。這些鏈接頁面的判斷是基于抓取器中相關配置，把需要的內容抓取過來，無用的信息排除掉。同時它還可以實現(xiàn)采集的預處理，包括排重處理，分類標引等，與IDOLIndextask組件結合起來進行多任務處理，如下所示：HttpConnector的主要功能如下：功能功能描述定向站點范圍采集支持采集指定URL站點的網頁內容及對應的URL和附件多種格式網頁采集支持多種網頁格式(HTML、ASP、JSP、PHP等等)網站采集多種類型站點采集支持采集各種新聞、論壇、博客、貼吧、微博。附件類型采集支持多種文檔附件(ZIP、Doc、Xls、Pdf、RAR)采集支持自動采集網頁的附件文件并按文件采集的要求進行分析更新采集可自動判斷網頁變化，更新采集網頁，可以定義分鐘、小時、天等循環(huán)頻率支持記錄采集歷史，對已采集過的網頁不會進行重復采集和分析斷點續(xù)傳采集系統(tǒng)關閉或意外中斷，重啟后可以在斷點處開始采集，不需要全部重新采集，并已經采集的內容不會丟失認證采集支持session

設置采集，支持用戶密碼認證采集靈活參數(shù)定義.可以按照域名采集，可以按照站點采集，按照層次采集，.支持采集url定義規(guī)則，支持定義屏蔽多種文件(avi,mp3)格式采集規(guī)則.可以定義采集線程數(shù)和層次深度.可以定義采集線程時間間隔（防止目標站點屏蔽）.可以定義采集網頁總數(shù)和網頁文件大小.可以配置采集器按照url進行數(shù)據(jù)排重網頁內容提取可通過配置模板有效地提取網頁中的信息:.網頁標題，鏈接標題.網頁正文.網頁時間.新聞來源（如果有）.網站中文名稱針對統(tǒng)計數(shù)據(jù)發(fā)布網站（表格樣式）：.可以保留統(tǒng)計發(fā)布網頁格式，從而保證對應顯示關系網頁內容過濾可以有效地過濾網頁中的信息:.網頁頭、尾信息.廣告信息.索引頁面（新聞列表和博客索引頁）.其他無用信息網頁快照當原始網頁刪除后，系統(tǒng)可以通過平臺網頁快照瀏覽原文數(shù)據(jù)索引支持將采集到的信息永久性存成本地文件或存入索引庫，形成本地資料庫，不受原網站刪除內容的影響。數(shù)據(jù)索引后可以根據(jù)網頁標題和正文內容生成自動摘要和分類多語言信息采集支持中文簡體、中文繁體、英采集,自動判斷對方網站的語言。支持常見的GB2312,GBK,GB18030,BIG5,UTF8ASCII字符集的站點.采集輸出形式.文本文件.搜索引擎系統(tǒng).數(shù)據(jù)庫系統(tǒng)網絡隔離應用針對一些內外網隔離的環(huán)境，采集系統(tǒng)支持人工導入外網采集數(shù)據(jù)到內網目錄后，系統(tǒng)自動入庫處理。應用界面.圖形化用戶管理界面.同步查看采集統(tǒng)計數(shù)據(jù).同步查看采集線程的狀態(tài).及時查看采集日志社交媒體采集SocialMediaConnector是HP提供的專門的社交媒體采集器，支持對多種SNS信息的采集。通過配置社交媒體訪問賬號的token，采集器調用社交媒體提供的專門采集接口，根據(jù)采集任務的社交媒Feeds抓取其發(fā)布或者轉發(fā)內容，然后將內容轉換成為標準格式傳輸?shù)絀DOLServer進行索引。目前社交媒體采集器支持的主流網站包括：GoogleDocsFaceBookTwitterLinkedInAtomQuickr新浪微博可以處理的屬性內容包括：屬性字段中文描述statuses/text發(fā)送本微博內容statuses/reposts_count發(fā)送本微博被轉發(fā)數(shù)statuses/comments_count發(fā)送本微博被評論數(shù)statuses/retweeted_status/text轉發(fā)微博的內容statuses/retweeted_status/comments_count轉發(fā)微博的評論數(shù)statuses/retweeted_status/reposts_count轉發(fā)微博的被轉發(fā)數(shù)statuses/retweeted_status/user/followers_count轉發(fā)微博的用戶粉絲數(shù)statuses/retweeted_status/user/friends_count轉發(fā)微博的用戶好友數(shù)statuses/retweeted_status/user/id轉發(fā)微博的用戶idstatuses/retweeted_status/user/name轉發(fā)微博的用戶idstatuses/user/followers_count發(fā)送本微博的用戶粉絲數(shù)statuses/user/friends_count發(fā)送本微博的用戶好友數(shù)statuses/user/id本微博的用戶idstatuses/user/name本微博的用戶名稱statuses/user/statuses_count本微博的用戶微博總數(shù)statuses/user/location本微博的用戶地理位置具體字段視社交媒體網站提供的采集接口而定。數(shù)據(jù)庫采集很多業(yè)務系統(tǒng)都是基于一些關系數(shù)據(jù)庫來處理的，如Oracle，SQLServer，Sybase等等。數(shù)據(jù)資源的采集，也需要將這些業(yè)務系統(tǒng)的資源有機的整合起來，將所有的業(yè)務數(shù)據(jù)融入整個內容資源中去。需要注意的是，對于已經建立的業(yè)務系統(tǒng)，在不能改變源數(shù)據(jù)庫的數(shù)據(jù)結構、數(shù)據(jù)內容和工作方式的情況下，對數(shù)據(jù)庫中的資源進行關聯(lián)，采集平臺可以自動將源數(shù)據(jù)庫中數(shù)據(jù)進行轉換，抓取，形成相關資源庫，自動對元數(shù)據(jù)的更新進行同步，然后在統(tǒng)一的瀏覽平臺下進行查詢、預覽、應用。HP提供了ODBCConnector，來對各種關系數(shù)據(jù)庫如SQLserver、Sybase、DB2、GreenPlum、主流國產數(shù)據(jù)庫等數(shù)據(jù)庫進行自動數(shù)據(jù)采集和加載入庫。同時也提供了OracleConnector專門針對Oracle做高性能的采集處理。ODBCConnector采用ODBC方式連接，是成熟的數(shù)據(jù)接口，適用于大部分的數(shù)據(jù)庫環(huán)境，支持多種字段類型，具備通用性、廣泛性；OracleConnector采用OracleOLEDB與Oracle直接相連，更具效率，同時支持ORACLE的一些特性，對ORACLE9i/10g/11g等都完整的滿足；如下為采集流程：如下為處理模式：以下以Oracle數(shù)據(jù)庫為例子，介紹具體采集功能：增量采集，第一次完全信息采集之后，OracleConnector即不再對所有數(shù)據(jù)進行采集，Connector會根據(jù)采集日志狀態(tài)，來對新增、刪除或者修改的數(shù)據(jù)庫信息進行增量同步。Connector支持用戶自定義采集策略和規(guī)則，如表字段、視圖內容、多表聯(lián)合、循環(huán)間隔、采集時間等對數(shù)據(jù)庫進行信息采集。自動采集，OracleConnector可以作為系統(tǒng)進程或者后臺服務運行，按照用戶設定好的規(guī)則，自動完成采集任務。Connector支持SQL語句的調用，可使用Select、Where、Like等語句對采集范圍進行限制。OracleConnector采用Oracle方式工作，使采集工作更有效率。支持大字段格式，OracleConnector均支持數(shù)據(jù)庫中的大字段內容，支持對數(shù)據(jù)庫中存放的各類文檔（如PDF、Office、Html等）的內容抽取和處理。支持多表聯(lián)合，可以從多個關聯(lián)表中整合數(shù)據(jù)條目并進行數(shù)據(jù)采集。支持并發(fā)采集，用戶可自定義多個采集任務同時進行，提高采集效率。支持分布式采集，用戶可根據(jù)數(shù)據(jù)庫分布情況，部署分布式的OracleConnector模塊，Connector完成采集后的數(shù)據(jù)通過網絡接口索引至中心引擎。攝像頭采集HP提供專業(yè)的視頻場景分析系統(tǒng)，可以對攝像頭信號視頻數(shù)據(jù)進行預設的一些場景分析，從而降低傳統(tǒng)人工的監(jiān)控方式耗費的大量的人力物力，提高視頻分析的效率。其主要功能支持：支持多種攝像頭設備場景信息數(shù)據(jù)采集，與硬件無關，能夠支持多路，多級的攝像頭設備，包括模擬，IP或混合方式等；支持多種攝像頭數(shù)據(jù)壓縮方式，包括MJPEG，MPEG2，MPEG4，H264等；支持攝像頭多種智能場景采集分析識別，實時采集識別對象大小，形狀，顏色，速度，方向，位置等信息，建立這些對象的歷史場景中的軌跡；支持攝像頭中物體運動檢測，標識指定運動的物體，如一個人進入禁區(qū)自動檢測；支持攝像頭中物體非運動檢測，用戶可設置參數(shù)來定義應檢測對象的類型，以及定義的時間長度，并作為一個固定的對象歸類。如在機場無人看管的行李；支持攝像頭中物體大小檢測，檢測區(qū)域中一個對象或一組對象大小，從而提供響應，如交通堵塞，監(jiān)察人員可以立即發(fā)出警報，并在必要時，可以打開一個額外的車道，以紓緩交通；支持攝像頭中物體跟蹤，可在多臺攝像機之間完全自動跟蹤對象。當一個對象在視野仍然存在，可使用其坐標信息來控制變焦和處理；支持攝像頭中物體對象計數(shù)，確定到已知類型的對象，并根據(jù)某種狀態(tài)次數(shù)，可以生成不同類別的處理；支持攝像頭中物體行為分析，能夠區(qū)分用戶指定的正常行為的范圍內，所有已查明的行為之間的各種方案。并通過相關的運動歷史，自動進行相關的行為分析，以識別不尋常的或可疑的活動，并提醒監(jiān)察人員立即采取行動。系統(tǒng)通過VideoInputServiceServer組件加載視頻文件處理視頻文件或者攝像頭視頻信號，并將視頻文件轉換成場景分析使用的視頻流。如下圖所示：Hadoop采集作為全球熱門的分布式計算和數(shù)據(jù)處理技術，Hadoop使得企業(yè)可以存儲并管理更為龐大的結構化數(shù)據(jù)(如關系數(shù)據(jù)庫中的數(shù)據(jù))和非結構化數(shù)據(jù)(如視頻)的能力。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡稱HDFS。HDFS有著高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（highthroughput）來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。HP提供了專門的Hadoop采集器HDFSconnector，支持從Haddop數(shù)據(jù)源提取和分析數(shù)據(jù)并且送入IDOL進行搜索，目前支持Hadoop版本1.5以上。如下所示：圖片采集HP提供了專門的圖片分析產品ImageServer，可以分析一系列的圖片屬性，其主要功能包括：支持多種圖片文件格式的采集與圖片特征值提取分析，如cdr，png，jpeg，tiff，gif，bmp等；支持圖片特征值匹配采集提取，基于配置的方法，如顏色，形狀，標志等，返回圖片相關特征值屬性信息；支持圖片logo標志檢測和識別，包括品牌logo檢測等；支持圖片中人臉檢測，人臉識別，確定人物相關屬性信息；支持圖片中條形碼的定位與解碼，包括一維和二維；圖片logo識別示例如下：人臉識別的示例如下：ImageServer提供專門的ACI/API指令接口，應用程序可以通過HTTP指令的方式與ImageServer服務通訊，服務返回相應的XML結果。音視頻采集HP提供專業(yè)的音視頻處理系統(tǒng)，可以進行視頻文件的語音識別、關鍵幀分析、人臉識別、字幕識別，豐富視頻資料的各種信息屬性，在語音識別結果的文字、關鍵楨、人臉圖片中加入相對應的時間碼（timecode），從而使視頻可以與文字或圖片中相應的時間點產生對應關系，并利用這種對應關系為最終用戶提供服務。系統(tǒng)支持多種音視頻文件，包括音視頻電子文件wav，asf，avi，quicktime，mpeg，wmv等的采集以及音視頻模擬信號采集，同時支持多種語言的音頻文件語言檢測。系統(tǒng)主要功能包括：視頻提取和處理、關鍵幀提取、字幕識別、標識識別、人臉識別、語音識別，說話者識別等，具體功能介紹如下：數(shù)據(jù)采集分發(fā) 通過編寫腳本進行視頻數(shù)據(jù)的采集，獲取視頻文件的路徑和其他屬性信息，可以實時接收數(shù)據(jù)庫推送的每日更新數(shù)據(jù)，同時可以通過配置SQL語句獲取歷史數(shù)據(jù)。后臺腳本對視頻處理服務集群的VideoLogger運行狀態(tài)進行監(jiān)控，將視頻處理任務發(fā)送到空閑的或隊列占用少的VideoLogger上進行處理。視頻處理VideoLogger是視頻處理的核心產品，它使用獨特的SmartEncode技術，可以自動給視頻建立索引，并同時控制多重格式和位數(shù)率的視頻編碼。通過這種方法制作的視頻索引可以搜索，與編碼格式在時間上同步對應，可用于各種程序中。它的主要功能包括：實時建立索引VideoLogger使用先進的技術“捕捉、聽取和讀取”模擬視頻信號或數(shù)字視頻信號，在視頻信號進入系統(tǒng)的同時建立信息豐富的視頻數(shù)據(jù)庫或索引，并可以方便的對索引信息及各種元數(shù)據(jù)進行存儲和搜索。保持索引與源內容同步通過SmartEncode，VideoLogger可以在編碼的同時進行視頻索引工作，并使索引與源內容在時間上保持同步。自動分割視頻資料VideoLogger具有特殊的智能，能夠尋找視頻內容中的變化，自動將大段的或連續(xù)的視頻材料進行分割。功能強大的插件通過加入一些輔助功能的插件，可以使VideoLogger的功能更加強大，它能夠從視頻信號中摘取字幕文字和屏幕上的插播文字，能夠同時辨別視頻中的面容和屏幕上的文字與數(shù)字。通過語音識別插件，還可以接收音頻信號，并將聲音、說話者姓名和音頻類型轉換成可搜索的文字。有了這些文字就可以在惠普軟件Autonomy的智能信息操作平臺上充分利用視、音頻信息，您可以方便的找到您所需要的視頻剪輯。輸出到各種數(shù)據(jù)存儲中VideoLogger軟件索引能夠輸出到各種數(shù)據(jù)存儲中，如數(shù)據(jù)庫管理系統(tǒng)或媒體資產管理系統(tǒng)，當然也可以導入惠普軟件Autonomy的IDOL中，從而使可以被檢索的媒體整合到企業(yè)使用的各種應用程序中。開發(fā)SDK調用VideoLogger軟件提供可供開發(fā)調用的SDK，可以通過應用程序進行VideoLogger的功能調用，如創(chuàng)建視頻處理任務、添加自定義標簽等，并且可以監(jiān)控VideoLogger的運行狀態(tài)，獲取當前處理的任務等。 VideoLogger的工作界面如下：語音識別SpeechServer作為惠普軟件語音識別軟件，能夠自動進行實時的音頻索引。利用先進的語音識別技術,SpeechServer可為任何聲音內容制作關鍵字索引。它能夠實時處理連續(xù)的語音，根據(jù)對不同的說話者語音進行預先訓練，識別當前說話者的身份。經過SpeechServer識別出的文字與經過VideoLogger索引的視頻信息可以實現(xiàn)精確的對應，識別出的詞語可以與相應的視頻幀相對應。通過SpeechServer，你不再需要花大量的時間進行筆錄或手工加注，以便使視頻內容容易查找，這一切將自動實時產生。關鍵楨分析 關鍵幀分析（KeyframeAnalysis）插件可以識別視頻內容中的關鍵幀，并將這些幀保存為JPG格式的圖片。關鍵幀識別通過識別視頻畫面轉換的場景實現(xiàn)，可以通過調節(jié)敏感度來控制關鍵幀的生成。除此以外也可以通過設置視頻播放的時間間隔來進行關鍵幀的生成。每一個關鍵幀帶有視頻播放的時間點，點擊具體幀圖片可以直接定位到該幀的時間點進行播放。人臉識別 人臉識別功能通過ImageServer產品實現(xiàn)。首先需要在ImageServer中定義人物圖片庫，可以通過圖片訓練的方式對每個人物的人臉進行訓練，每個人物可以從不同角度定義多張圖片，如正臉、側臉等。訓練完成后，VideoLogger在進行視頻語音識別的同時與ImageServer交互進行人臉識別操作?？梢栽O置人臉識別的相關度闕值來調節(jié)識別的準確率。標識識別 標識識別功能通過ImageServer產品實現(xiàn)。首先需要在ImageServer中定義標識圖片庫，可以通過圖片訓練的方式對每個物體或圖標的多個角度進行訓練，每個標識可以從不同角度定義多張圖片。訓練完成后，VideoLogger在進行視頻語音識別的同時與ImageServer交互進行標識識別操作?？梢栽O置標識識別的相關度闕值來調節(jié)識別的準確率。字幕識別 字幕識別功能同樣通過ImageServer產品實現(xiàn)。Imag