淺析增強現(xiàn)實技術在航空裝備維修保障中的應用

1、    淺析增強現(xiàn)實技術在航空裝備維修保障中的應用    汪時交 梁志帥 宋海方 張喆0 引言維修保障工作是航空裝備保持良好狀態(tài)、完成預定任務的基礎和保證。在武器的全壽命費用中，使用和維修保障費用往往占到裝備全壽命費用的70%80%。與此同時，裝備維修質量對于裝備安全也至關重要，維修問題已經成為引發(fā)航空事故的主要因素之一。裝備維修質量和效率不僅關乎裝備運營成本和安全，還會影響作戰(zhàn)節(jié)奏甚至戰(zhàn)役結果。航空業(yè)是較早引入增強現(xiàn)實（augmented reality，ar）技術的行業(yè)，ar技術在改善維修保障過程引導和提高維修保障質量等方面具有獨特的優(yōu)勢，在裝備維修

2、和保障過程中具有廣闊的應用前景。1 ar技術概述ar技術是在虛擬現(xiàn)實（virtual reality，vr）技術的基礎上發(fā)展起來的，與vr技術營造的完全虛擬的環(huán)境不同，ar技術的“增強”，指的是通過在真實世界中疊加計算機生成的信息，從而在視覺、聽覺、觸覺甚至味覺和嗅覺上“增強”用戶對真實世界的感知能力。ar的這種“增強”主要體現(xiàn)在三個方面：一是空間穿透。通過虛實融合，使用戶可以在視覺上穿透現(xiàn)實空間環(huán)境，讓“不可見”變?yōu)椤翱梢姟?，讓“遙遠的”變?yōu)椤把矍暗摹?；二是時間折疊，通過將歷史和實時信息的疊加，使得用戶可以回溯再現(xiàn)歷史，也可以自由組合呈現(xiàn)不同時刻的信息；三是知識疊加，通過自動識別環(huán)境中的實物

3、對象，將其關聯(lián)的信息、知識等實時疊加到該對象上，從而為用戶全面深入了解現(xiàn)實環(huán)境提供輔助信息和知識。ar的這三個特點為用戶對復雜現(xiàn)實環(huán)境的準確感知和分析決策提供了一種重要的技術手段。為了提供給用戶沉浸式的虛實融合體驗，從技術領域的角度，增強現(xiàn)實系統(tǒng)需要解決三大關鍵技術，即三維注冊、真實感繪制和人機交互。其中：1）三維注冊技術將虛擬場景綁定到現(xiàn)實場景的坐標系中，隨著用戶的移動和視角的變化，計算出虛擬場景在該視角下的投影信息，融合到真實場景的影像上，保證了虛擬場景與現(xiàn)實場景的幾何一致性。2）真實感繪制是在幾何一致的基礎上，將虛擬景物或信息進行視覺呈現(xiàn)與融合，例如，不僅要使計算機生成的虛擬對象在著色、

4、貼圖上與真實物體一致，在光照等方面也要保持一致。3）人機交互的目的是利用各種設備或界面，與虛擬或現(xiàn)實的目標進行互動，通過信息交換完成確定的交互任務。ar的基本原理和工作過程如圖1所示，系統(tǒng)首先通過攝像頭捕獲現(xiàn)實場景圖像，通過對視頻幀圖像的處理，標記識別場景對象和位置，然后通過對攝像機位姿的估計，再將虛擬對象渲染到特定的位置，從而實現(xiàn)對現(xiàn)實世界的“增強”顯示的效果。ar的跟蹤注冊方法分為基于標記的方法（marker-based）和無標記（marker-less）的方法?；跇擞浀姆椒ㄊ窃趫鼍爸蓄A先布置標記物（通常是二維碼），攝像機通過識別標記物完成跟蹤注冊，這種方法的優(yōu)點是便于系統(tǒng)開發(fā)和移植擴展

5、。缺點是對于航空裝備的一線維修保障而言，在裝備上添加標記物需要經過復雜的論證和審批。無標記的跟蹤注冊方法直接對場景中的物體進行識別跟蹤，這種方法的優(yōu)點是無需放置標記物，但是跟蹤注冊過程耗時較多，一般需要在聯(lián)網環(huán)境下進行，開發(fā)難度也相對較大。2 在裝備日常檢查中的應用日常檢查是裝備維修中最常見的維修保養(yǎng)方式，也是裝備維護保障的基礎，對于裝備完好性和裝備安全性具有重要的意義。日常維修檢查包括裝備使用前、使用后或達到一定的時間和使用次數(shù)時進行的外觀檢查、清潔、潤滑、保養(yǎng)和簡單的修復工作，也包括燃油、潤滑油（脂）、氣體的添加補充等工作。為了確保裝備日常檢查的可靠安全，維修人員一般在紙質或電子的技術文檔

6、指導下完成工程，但是紙質或電子文檔的使用并不方便，同時基于文字或簡單的圖表引導并不能為維修人員提供無歧義的維修引導，ar技術可以為裝備的日常檢查過程提供新的引導方法。圖2表示的是一個使用ar技術的日常檢查場景，通過在實際裝備上疊加圖片、三維模型和動畫等信息，對操作過程進行引導，并對風險信息進行提示。ar顯示器可以是頭戴式設備，也可以是平板或其他手持式終端。通過在實際場景中疊加虛擬信息的方式，可以避免紙質文檔的引導歧義，使維修人員更好地理解維修過程，從而有效地降低維修差錯。3 在裝備拆裝中的應用無論是日常檢查還是故障排除和損傷修復，拆裝工作都是裝備維修中必不可少的步驟和基礎。空客公司在2010年

7、開發(fā)了“moon”項目（“moon”是“assembly oriented authoring augmented reality”即“面向裝配的增強現(xiàn)實內容編寫”的簡稱），該項目使用工業(yè)化數(shù)字樣機（industrial digital mock-up，idmu）和ar技術，并應用于空客a400m運輸機的輔助裝配過程中。“moon”項目的一個使用案例如圖3所示?！癿oon”項目使用平板電腦作為信息顯示終端，在裝備拆裝過程使用平板電腦意味著維修人員的雙手受到束縛，為了解決這個問題，空客a330飛機的研發(fā)團隊又開發(fā)了基于谷歌智能眼鏡的可穿戴式的ar系統(tǒng)。使用谷歌眼鏡的ar系統(tǒng)的應用案例如圖4所示。

8、基于智能眼鏡的可穿戴ar系統(tǒng)可以使維修人員更多地關注維修工作本身。隨著智能眼鏡越來越輕量化，可以顯示的內容越來越豐富，使用智能眼鏡的維修指導系統(tǒng)將越來越多地應用到裝備維修過程中。4 在遠程維修指導中的應用航空裝備維修是一個專業(yè)性很強的領域，很多維修特別是排故工作并不能依靠現(xiàn)場維修人員獨立解決，需要依靠維修專家的指導和幫助，但是由于維修專家數(shù)量有限，且大多數(shù)情況下難以隨時到達維修現(xiàn)場，于是如何將維修專家的知識、判斷和經驗及時有效地傳遞到維修現(xiàn)場，就成為一個重要的問題。在傳統(tǒng)的方法中，通過諸如電子郵件或電話之類的方法實現(xiàn)遠程通信。這種方法允許發(fā)送非結構化的文本或對話。因此，要確保他們發(fā)出的消息是情

9、境感知的就更加困難。圖5表示了一種基于hololens頭戴式顯示器的遠程維修輔助系統(tǒng)架構。該系統(tǒng)由三部分組成：1）配有虛擬接口、供遠程專家使用的桌面計算機；2）存儲數(shù)據(jù)的云服務器；3）使用hololens ar應用的頭戴式設備。系統(tǒng)的（供遠程專家使用的）服務端和（供現(xiàn)場維修人員使用的）客戶端應用程序均使用unity 3d游戲引擎進行開發(fā)，同時使用vuforia開發(fā)ar程序?，F(xiàn)場的維修人員通過頭戴式顯示器上的攝像頭等傳感器，將維修現(xiàn)場的圖像通過有線或無線網絡傳遞給遠程服務器端的應用。服務器端的應用程序可以使異地的專家實時接收現(xiàn)場視頻，并確定需要維護的設備，通過使用動態(tài)填充的cad模型下拉菜單，專

10、家可以從遠程資產存儲庫中選擇相應的3d模型，并通過拖動和旋轉等操作，將需要進行的維修作業(yè)步驟傳遞給現(xiàn)場的維修人員。如果要實施的步驟非常復雜，還可以通過預置動畫等方式，以更加直觀的格式將專家知識傳遞給維修現(xiàn)場人員。維修現(xiàn)場的技術人員借助頭戴式顯示器，將專家創(chuàng)建的3d內容疊加到現(xiàn)實裝備上。vuforia可以定位圖像目標，并將指定的零件放置在正確的位置上。遠程維修指導系統(tǒng)開發(fā)的重點是在服務器端進行預置模型和動畫的編寫，以及預置內容的傳輸。隨著圖像處理和語音識別技術的進一步發(fā)展，以及深度學習、云計算和5g技術的發(fā)展，基于ar技術的智能和遠程故障檢測與診斷系統(tǒng)也將得到應用。5 在裝備維修保障中應用ar技

11、術的優(yōu)勢和不足在裝備維修保障中應用ar技術的潛在優(yōu)勢包括：一是可以有效彌補當前維修力量的不足。近幾年，裝備維修領域普遍存在維修人員數(shù)量不足、有經驗的維修人員比例低等問題，使用ar技術便可有效地傳遞維修知識和經驗，幫助維修人員快速熟悉維修過程。二是使用ar技術可以有效降低維修差錯，提高維修質量。維修差錯已經成為引發(fā)航空事故的主要原因，維修人員數(shù)量和經驗的不足進一步加劇了這一現(xiàn)象。以美軍為例，在20132017年間，盡管飛行訓練的時間減少了，但是這期間的航空事故卻增加了40%，維修差錯是引發(fā)美軍航空事故的主要原因。ar系統(tǒng)在現(xiàn)實場景中疊加提示和警示信息，可以有效避免維修過程的“錯、忘、漏”的發(fā)生。

12、三是借助ar技術可以提高維修訓練效率。維修訓練工作是裝備維修保障工作的重要組成，傳統(tǒng)的維修訓練由于資料限制，難以將理論學習和動手實踐有機結合，借助ar技術，可以將理論與實踐最大程度結合起來，做到邊學邊練、邊講邊練的效果。盡管ar在裝備維修保障領域有著廣闊的應用前景，但是ar技術在裝備維修中的應用也存在一些不足：一是ar顯示設備的使用便捷性和舒適性需要進一步改善。無論使用頭戴式顯示器還是手持式顯示器，都存在著一些固有的限制：使用平板設備意味著對雙手造成了束縛，使用頭戴式設備需要考慮長時間佩戴對人體的影響，以及頭戴式設備交互方式的便捷性。二是ar的跟蹤注冊技術需要進一步適應裝備維修保障場景的需求。

13、例如，使用有標記的方法難以適應裝備維修保障的政策以及實際場景條件；使用無標記的方法又受到攝像頭的角度和光照條件等的限制。三是ar的內容編寫需要建立統(tǒng)一的技術規(guī)范和標準。ar的內容編寫是ar技術應用的主要工作之一，ar內容的標準化是ar技術應用推廣的重要環(huán)節(jié)，可以參考當前的交互式電子技術手冊（interactive electronic technical manual，ietm）標準和規(guī)范，制定相應的ar內容標準，從而為ar的應用打下良好基礎?？傮w而言，ar作為一種知識表達和傳遞的新技術，在裝備維修保障領域有著廣闊的應用前景。隨著深度學習、云計算以及便攜式顯示設備等技術的發(fā)展，當前一些制約ar

14、技術應用的問題也將會得到解決，ar的相關內容有望成為裝備維修保障的有機組成。參考文獻1. 鮑虎軍，章國峰，秦學英.增強現(xiàn)實：原理、算法與應用m.北京：科學出版社，2019.2. riccardo palmarinia， john ahmet erkoyuncu， rajkumar roy， et al. a systematic review of augmented reality applications in maintenance. robotics and computer-integrated manufacturing j， vol. 49， february 2018， pp.

15、215-228.3. sabine webel， uli bockholt， timo engelke， et al. augmented reality training for assembly and maintenance skills c. bio web of conferences 1， 00097 （2011）. doi： 10.1051/bioconf/20110100097.4. r. silva， j. c. oliveira， g. a. giraldi. introduction to augmented reality j. pdf document is avai

16、lable on： https：/www. introduction _to_augmented_reality.5. jonathan a. schlueter. remote maintenance assistance using real-time augmented reality authoring d. iowa state university， 2018.6. g.o.c. prado， p.a. silva， f.m. simomura， et al. shm with augmented reality for aircraft maintenance c. 31st c

17、ongress of the international council of the aeronautical sciences， 20187. terry r. hebert jr. the impacts of using augmented reality to support aircraft maintenance d. air force institute of technology， 2019.8. m. m. l. changb， s. k. ong， a. y. c. nee. ar-guided product disassembly for maintenance and remanufacturing c. the 24th cirp conference on life cycle engineering， procedia cirp 61 （2017） 299 304.9. henderson， s. j.， & feiner， s. exploring the benefits of augmented reality documentation for maintena