計算機視覺的困惑

計算機視覺的現(xiàn)狀與困惑測繪遙感信息工程國家重點實驗室李德仁2011年11月26日武漢弘毅講堂2011主要內(nèi)容什么是計算機視覺？如何用計算機視覺模擬人眼？計算機視覺存在的困惑結(jié)束語什么是計算機視覺？——定義1 –fromK.Kanatani,“StatisticalOptimizationforGeometricComputation:TheoryandPractics”,1996.“從視頻影像中提取三維信息，進行三維場景建模，稱為計算機視覺，或者影像理解，是當(dāng)今世界最受關(guān)注的研究領(lǐng)域之一”“計算機視覺是通過計算機輔助，用二維圖像認(rèn)知三維環(huán)境，該學(xué)科旨在為計算機和機器人開發(fā)出具有與人類水平相當(dāng)?shù)囊曈X能力”什么是計算機視覺？——定義2《計算機視覺－計算理論與算法基礎(chǔ)》馬頌德,張正友,1998.“計算機視覺是通過計算機硬件和軟件，從二維圖像(單張,多張和視頻影像)中自動提取圖像目標(biāo)及其環(huán)境的幾何(形狀,大小,位置等非語義信息)和物理特性(性質(zhì),類別，屬性等語義信息),獲得與人類視覺水平相當(dāng)?shù)囊曈X能力”什么是計算機視覺？如何用計算機模擬人眼？影像處理計算機圖形學(xué)幾何屬性(3D)物理屬性影像(2D)+視差原理計算機視覺深度、大小、形狀、位置等幾何信息特征提取與模式識別對象、屬性、關(guān)系、行為等語義信息基本問題：給定一個目標(biāo)或者場景的若干不同視角的影像，重建該目標(biāo)的三維形狀

計算機視覺探測幾何屬性從生理視差到人造視差多目立體攝影測量系統(tǒng)智能化近景攝影測量網(wǎng)絡(luò)支撐基座，相當(dāng)于肩部基線的長度可變，以適應(yīng)攝影測量的不同幾何精度要求立體攝影機多目立體攝影測量系統(tǒng)多目立體攝影測量系統(tǒng)拍攝的多視角敦煌壁畫三維重建結(jié)果(fromimagestosurface)多目立體攝影測量系統(tǒng)不同視角的帽子圖像，帽子上的紋理是為了精確匹配和識別三維重建結(jié)果敦煌月牙泉–CrescentSpring尋找隕石火星表面三維實時建模智能機器人激光掃描重建激光掃描重建TLSPointcloudDCImageStereocameraStereoimageTotalstationControlpointsALSPointcloudImageDem+DomFacadeMuralandStatueAncientbuildingDigitaldocumentation作業(yè)流程(Workingflow)MappingPreprocessingshootingLaserScanningModelingObjectPointCloudSurfaceModelRawImageTextureTexturedModel3.2PointclouddataprocessingTINofastatuaryin196caveModelofastatuaryin196caveTINof285caveModelof285cave3.6Results–196Cave基于機載和地面激光雷達的三維數(shù)字莫高窟計算機視覺提取物理屬性的方法Datadriven

基于灰度和光譜(GrayLevels)

基于特征(Features)

基于結(jié)構(gòu)和紋理(StructureandTexture)

基于內(nèi)容(Content)

……如何用計算機模擬人眼？線性特征如何用計算機模擬人眼？紋理特征如何用計算機模擬人眼？形狀特征基于內(nèi)容的圖像檢索無需人為干預(yù)和解釋，通過計算機自動實現(xiàn)對圖像的視覺內(nèi)容(顏色、紋理、形狀等)進行分析、檢索和存儲。特征提取自動檢索查詢影像檢索詞：云層、植被人眼檢索特征明顯、結(jié)果精確，但疲勞、耗時電腦檢索錯檢、漏檢、特征提取困難，但節(jié)省人力基于內(nèi)容的圖像檢索華盛頓機載高光譜影像光譜用遙感影像確定地物屬性紋理形狀對象利用超光譜圖像進行識別光譜反射曲線影像立方體ABC計算機識別人臉計算機識別人臉多尺度S1S1C1多方向流程樣本特征提取模式識別決策人眼識別精確、快速、耗時電腦檢索存在錯誤、節(jié)省人力、特征難以確定計算機視覺的困惑計算機視覺可以比人類視覺有更強的幾何信息提取功能(where),但對語義信息的提取功能(what)卻遠(yuǎn)遠(yuǎn)低于人類視覺;計算機視覺尚不了解人類視覺感知和認(rèn)知的過程,也不了解人類視覺中的記憶,聯(lián)想,對比等在視覺認(rèn)知中是如何起作用的.計算機識別人臉=？計算機很難用上述方法區(qū)分相同特征的人和狗“Sally”計算機識別人臉特征提取模式分類特征提取模式分類Who?計算機視覺提取物理屬性的方法Knowledgedriven

基于地學(xué)知識

基于3D先驗知識(DOM,DEM,DLG)

基于數(shù)據(jù)挖掘(DataMining)

基于信息融合(InformationFusion)

……33ScientificAmerican2003V1神經(jīng)元的信號,穿越視網(wǎng)膜,到達大腦后部的第十七區(qū)(Area17),在此,這些信號被分解為一些簡單的共性,如:色彩,形態(tài),運動和深度等.結(jié)束語計算機視覺提取幾何信息(感知)比人強,提取物理信息(認(rèn)知)遠(yuǎn)比人差;計算機視覺的發(fā)展應(yīng)堅持?jǐn)?shù)據(jù)導(dǎo)引與知識導(dǎo)引的集成;計算機視覺的進一步發(fā)展需要求助于醫(yī)學(xué)家心理學(xué)家和生理學(xué)家的幫助;多學(xué)科的交叉是必要的和有價值的也是可能的，歡迎有更多的各學(xué)科領(lǐng)域的專家合作,以實現(xiàn)計算機視覺的全自動化。地球空間信息學(xué)的使命(1)從本質(zhì)上講，地球空間信息學(xué)應(yīng)作為認(rèn)知科學(xué)的一個組成部分，它要研究和解決如何從各種對地觀測數(shù)據(jù)中智能地提取信息和知識的問題，從而實現(xiàn)數(shù)據(jù)—信息—知識的自動轉(zhuǎn)化。來自衛(wèi)星導(dǎo)航定位系統(tǒng)（GNSS）的對地觀測數(shù)據(jù)是以點方式記錄的電磁波信號，代表從衛(wèi)星到達地面目標(biāo)點的相位和時延；來自光學(xué)遙感（RS）衛(wèi)星的數(shù)據(jù)是面方式的反映地表光譜反射率的灰度矩陣；來自SAR衛(wèi)星的數(shù)據(jù)是衛(wèi)星后向反射到目標(biāo)的相位和振幅記錄。這些不同類型的電磁波信號均要穿過大氣的電離層和對流層，會對原始信號產(chǎn)生干擾和影響，所以地球空間信息學(xué)的感知和認(rèn)知涉及到各類傳感器的建模、校正與標(biāo)定，自主定位與定姿，各類數(shù)據(jù)的預(yù)處理與精處理，特征提取與目標(biāo)識別，語義與非語義信息的提取，信息融合與集成，以及空間數(shù)據(jù)挖掘與知識發(fā)現(xiàn)等方面，是一個復(fù)雜的反演問題。當(dāng)前，隨著衛(wèi)星通信技術(shù)和嵌入式通用計算技術(shù)的發(fā)展，為適應(yīng)應(yīng)急任務(wù)對航天信息感知和認(rèn)知的實時要求，在軌處理和嵌入式實時智能化處理以實現(xiàn)數(shù)據(jù)—信息—知識自動轉(zhuǎn)化的問題已提到日程上來。實時在軌處理的智能對地觀測衛(wèi)星系統(tǒng)（IEOS）地球空間信息學(xué)的使命(2)地球空間信息學(xué)又是一門面向經(jīng)濟建設(shè)、國防建設(shè)和大眾民生應(yīng)用需求的服務(wù)科學(xué)。它需要從理解用戶的自然語言入手，搜索可用來回答用戶需求的數(shù)據(jù)，優(yōu)選提取信息和知識的工具，形成合理的數(shù)據(jù)流與服務(wù)鏈，通過網(wǎng)絡(luò)通信的方式，將有用的信息和知識及時送達給用戶。從這個意義上看，地球空間信息服務(wù)的最高標(biāo)準(zhǔn)是在規(guī)定的時間（RightTime）將所需位置（RightPlace）上的正確數(shù)據(jù)/信息/知識（RightData/Information/Knowledge）送到需要的人手上（RightPerson）。面向任務(wù)的地球空間信息聚焦服務(wù)，將長期以來數(shù)據(jù)導(dǎo)引的產(chǎn)品制作和分發(fā)模式轉(zhuǎn)變成需求導(dǎo)引的聚焦服務(wù)模式，從而解決目前對地觀測數(shù)據(jù)又多、又少的矛盾，實現(xiàn)服務(wù)代替產(chǎn)品，適應(yīng)當(dāng)今信息時代的需求。地球空間信息資源網(wǎng)絡(luò)服務(wù)概念模型空天地一體化信息網(wǎng)絡(luò)空間數(shù)據(jù)資源處理資源數(shù)據(jù)注冊數(shù)據(jù)獲取服務(wù)組合服務(wù)空天地傳感器資源分布式注冊服務(wù)中心知識發(fā)現(xiàn)服務(wù)處理服務(wù)傳感器規(guī)劃服務(wù)傳感器注冊地學(xué)知識資源處理注冊計算資源網(wǎng)絡(luò)資源存儲資源知識注冊可視化服務(wù)服務(wù)質(zhì)量評價空間信息資源空間信息注冊

軟硬件基礎(chǔ)設(shè)施服務(wù)1)云計算與服務(wù)技術(shù)

2)基于云計算平臺的遙感圖像處理系統(tǒng)3) 基于云計算平臺的空間信息處理服務(wù)計算設(shè)施軟件架構(gòu)測繪成果共享方式從紙質(zhì)復(fù)印-文件拷貝-網(wǎng)絡(luò)共享-面向服務(wù)架構(gòu)的服務(wù)發(fā)布。1970s小型機1960s大型機1980s個人電腦和局域網(wǎng)1990s桌面互聯(lián)網(wǎng)2000s移動互聯(lián)網(wǎng)面向過程1970s面向?qū)ο?980s面向構(gòu)件1990s面向領(lǐng)域2000s面向服務(wù)SOC2010s從以計算機為中心，到以網(wǎng)絡(luò)為中心，再到以人為中心紙質(zhì)復(fù)印基于云計算的注冊服務(wù)文件拷貝數(shù)據(jù)庫共享虛擬服務(wù)服務(wù)器集群和虛擬化專業(yè)服務(wù)導(dǎo)致服務(wù)器多樣化更多任務(wù)由服務(wù)器承擔(dān)服務(wù)器登場瀏覽器/服務(wù)器客戶機/服務(wù)器服務(wù)器井噴…服務(wù)器托管服務(wù)器托管形成市場搜索服務(wù)器視頻服務(wù)器安全服務(wù)器郵件服務(wù)器數(shù)據(jù)服務(wù)器互聯(lián)網(wǎng)資源配置的變遷出現(xiàn)了基于云計算的空間信息服務(wù)互聯(lián)網(wǎng)環(huán)境下空間信息從數(shù)據(jù)共享、信息共享走向服務(wù)共享

共享計算能力為主的服務(wù)共享存儲能力為主的服務(wù)共享交互能力為主的服務(wù)依托互聯(lián)網(wǎng)，隨時隨地獲得個性化空間信息服務(wù)基于Internet的空間信息服務(wù)云計算使空間信息服務(wù)可在更大范圍部署上海北京深圳云計算中心內(nèi)部的生態(tài)鏈

互聯(lián)網(wǎng)上大量計算資源和服務(wù)器井噴

如Google,Amazon,Hotmail…各自獨立提供網(wǎng)絡(luò)服務(wù)

基礎(chǔ)設(shè)施服務(wù)商如AmazonWebservices搜索論壇郵件購物…聊天軟件服務(wù)商如Googlemap和Apple服務(wù)平臺服務(wù)商如和GoogleAPPEngine軟件服務(wù)商如salesforce軟件集成服務(wù)商如programmableweb知名軟件服務(wù)商同時也可以成為其它SaaS供應(yīng)商的基礎(chǔ)平臺云計算與服務(wù)技術(shù)MicrosoftAzureGoogleAppEngineAmazonEC2&S3基礎(chǔ)設(shè)施作為服務(wù)(InfrastructureasaService(IaaS))平臺作為服務(wù)(PlatformasaService(PaaS))軟件作為服務(wù)(SoftwareasaService(SaaS)OpenRS-Cloud技術(shù)體系2)基于云計算平臺的遙感圖像處理系統(tǒng)OpenRSOpenRS-CloudWeb型的算法提交界面可直接獲取和設(shè)定位于云端的算法插件的參數(shù)信息；可直接利用遠(yuǎn)程集群進行并行處理；集成WebGIS技術(shù)查找感興趣遙感圖像OpenRS-Cloud任務(wù)進度查看通過瀏覽器可直接查看任務(wù)的執(zhí)行狀況子任務(wù)的分解與合并子任務(wù)LOG實時輸出子任務(wù)的運行進度OpenRS-Cloud處理結(jié)果展示可以直接在瀏覽器上查看處理結(jié)果，左圖展示了EDISON邊緣提取算法，右圖為KMean分類OpenRS-Cloud通過WebService提供桌面級調(diào)用接口桌面程序直接利用OpenRS-Cloud的WebService接口實現(xiàn)并行鑲嵌與糾正一個洪水淹沒的計算實例分布式異構(gòu)地球空間信息處理服務(wù)服務(wù)鏈建立服務(wù)鏈