智能座艙監(jiān)測系統(tǒng)（IMS）之DMS和OMS詳解

座艙監(jiān)測系統(tǒng)主要分為輸入端（感知端）、控制端（規(guī)劃端）、輸出端（執(zhí)行端），輸入端主要由車內(nèi)攝像頭和雷達(dá)作為信息源，然后進(jìn)行判斷，最后輸出信息顯示終端。參考《汽車智能座艙分級與綜合評價(jià)白皮書》，智能座艙定義為：座艙域控制器由一顆或者多顆主控座艙芯片以及

外圍電路，集成車載信息娛樂系統(tǒng)、液晶儀表、HUD等功能，接收傳感器信號、計(jì)算并決策、發(fā)送指令給執(zhí)行端。智能座艙具體功能依據(jù)市場主流銷售車型功能列表分類如下：智能座艙功能列表其中DMS，即DriverMonitoringSystem，駕駛員監(jiān)測系統(tǒng)，監(jiān)測對象為Driver(駕駛員），DMS可以監(jiān)測駕駛員的疲勞狀態(tài)、危險(xiǎn)駕駛行為。OMS，即OccupancyMonitoringSystem，乘客監(jiān)測系統(tǒng)，監(jiān)測對象為乘客，OMS能夠監(jiān)測乘客年齡、狀態(tài)、情緒等。相對于DMS和OMS而言，IMS是一個(gè)比較新的概念。In-cabinmonitoringSystem即汽車座艙的智能視覺監(jiān)控系統(tǒng)。通俗來講，IMS既包括DMS、OMS，也包括FACEID、手勢識別、體征監(jiān)測、遠(yuǎn)程監(jiān)控等。IMS系統(tǒng)工作原理座艙檢測系統(tǒng)的形成鏈條主要涉及三個(gè)環(huán)節(jié)，攝像頭/傳感器進(jìn)行圖像的捕捉與輸入；芯片板進(jìn)行解碼與演算；信息娛樂系統(tǒng)（IVI）的人機(jī)交互進(jìn)行監(jiān)測提示與反饋，最終使駕駛員得到相應(yīng)的安全預(yù)警反饋。小結(jié)：在智能座艙中，除了顯示和交互技術(shù)外，座艙監(jiān)測技術(shù)也是未來的重要發(fā)展方向，監(jiān)測系統(tǒng)主要包含了駕駛員監(jiān)測（DMS）和乘員監(jiān)測（OMS）。當(dāng)前的座艙監(jiān)測方案主要包括了DMS和OMS,前者主要對駕駛員的監(jiān)測，主要利用2D/3D攝像頭方案，后者主要針對車內(nèi)乘客的監(jiān)測，會增加毫米波雷達(dá)作為補(bǔ)充。

#01駕駛員監(jiān)控系統(tǒng)（DMS）系統(tǒng)介紹根據(jù)“歐盟通用安全法規(guī)”，從2024年中期開始，所有劃歸M類和N類的新制造車輛都必須配備先進(jìn)的駕駛員分心警告系統(tǒng)（ADDW）。ADDW系統(tǒng)主要監(jiān)控駕駛員的眼睛運(yùn)動，并在檢測到分心跡象時(shí)發(fā)出警告。早在2019年，寶馬X5車型就已經(jīng)配備了駕駛員注意力攝像頭，用于觀察駕駛員的睜眼情況和頭部位置，從而評估駕駛員的專注程度。拓展：按用途以符號分類按GB/T15089--2001《機(jī)動車輛和掛車分類》標(biāo)準(zhǔn)將機(jī)動車輛和掛車分為M類、N類、G類、O類、L類。1、M類：M類車輛是至少有四個(gè)車輪并且用于載客的機(jī)動車輛。2、N類：N類車輛時(shí)至少有四個(gè)車輪且用于載貨的機(jī)動車輛。3、G類：G類可概括為越野車，包括在M類N類之中。4、O類：O類掛車【包括半掛車】。M類：至少有4個(gè)車輪并且用于載客的機(jī)動車輛；M1類：包括駕駛員座位在內(nèi),座位數(shù)不超過9座的載客車;M2類：包括駕駛員座位在內(nèi),座位數(shù)不超過9座,且最大設(shè)計(jì)總質(zhì)量不超過5000kg的載客車;

M3類：包括駕駛員座位在內(nèi),座位數(shù)不超過9座,且最大設(shè)計(jì)總質(zhì)量超過5000kg的載客車;

N類：至少有4個(gè)車輪并且用于載貨的機(jī)動車輛；

N1類：最大設(shè)計(jì)總質(zhì)量不超過3500kg的載貨車輛；

N2類：最大設(shè)計(jì)總質(zhì)量超過3500kg，但不超過12000kg的載貨車輛；

N3類：最大設(shè)計(jì)總質(zhì)量超過12000kg的載貨車輛；DMS并不是一個(gè)完全新穎的概念，不過，傳統(tǒng)DMS通常依賴于從車輛收集信息的被動技術(shù)，例如車道保持、駕駛持續(xù)時(shí)間，以及轉(zhuǎn)向傳感器等。然而，這些被動技術(shù)已經(jīng)被證明不夠準(zhǔn)確，容易導(dǎo)致很高的誤報(bào)率。因此，ADDW法規(guī)轉(zhuǎn)向主動監(jiān)測駕駛員的眼球運(yùn)動，標(biāo)志著DMS從被動技術(shù)向基于視覺的主動監(jiān)測技術(shù)轉(zhuǎn)變。一、DMS分類DMS可分為兩類：直接/主動監(jiān)控和被動/間接監(jiān)控。被動監(jiān)控依靠駕駛持續(xù)時(shí)間和車道保持等車輛信息來評估駕駛員的疲勞程度，但這種方案有可能產(chǎn)生誤報(bào)。另一方面，根據(jù)ADDW的要求，主動監(jiān)控利用近紅外（NIR）相機(jī)，這對于眼球運(yùn)動檢測特別有效，且不會影響駕駛員。近紅外相機(jī)通常包含一顆或兩顆LED/VCSEL照明器，以及一顆圖像傳感器，它們通常被安裝在車輛A柱或轉(zhuǎn)向柱等位置。然后，通過軟件提取駕駛員眼瞼閉合以及打哈欠等特征，在識別駕駛員瞌睡或疲勞跡象方面發(fā)揮著至關(guān)重要的作用。DMS方案二、DMS配置DMS攝像頭安裝位置具有靈活性，可以在儀表盤、方向盤柱、左右側(cè)A柱或內(nèi)后視鏡等位置，此外，大陸還將DMS集成在顯示屏中，實(shí)現(xiàn)結(jié)構(gòu)上的小型化。其中正對駕駛?cè)四樈嵌鹊霓D(zhuǎn)向柱和儀表盤位置，是效果最好的，A柱其次，艙內(nèi)后視鏡也勉強(qiáng)可以。攝像頭推薦安裝位置目前主流是利用2D或3D的攝像頭方案（一般帶紅外功能）實(shí)現(xiàn)對駕駛員的身份識別、駕駛員疲勞駕駛以及危險(xiǎn)行為的檢測功能，是目前流行的ADAS（高級駕駛輔助系統(tǒng)）系統(tǒng)中重要組成部分。2D人臉識別技術(shù)的原理就是用一顆RGB攝像頭捕捉人臉的2D平面圖像和已經(jīng)錄入的圖像庫進(jìn)行對比，算法相對簡單，模組成本較低。但是由于其捕捉的是人臉的2D平面圖像，即使輔以“活體”算法，但防偽性還是很差。2D

3D的區(qū)別3D人臉識別技術(shù)逐漸運(yùn)用到智能鎖領(lǐng)域。而主流的3D人臉識別技術(shù)主要有3種：?雙目識別技術(shù)：雙目識別技術(shù)又叫雙目測距技術(shù)，原理和我們的人眼類似，直接由兩個(gè)攝像頭拍攝，得到兩個(gè)不同的平面圖像，再把兩張圖像上相同的特征點(diǎn)標(biāo)注出來，最后再基于三角測量原理計(jì)算出深度信息。雙目識別原理?3D結(jié)構(gòu)光技術(shù)：3D結(jié)構(gòu)光需要有點(diǎn)陣投影器和紅外攝像頭。點(diǎn)陣投影器投影到我們臉上，紅外攝像頭則找到投影到臉上的光點(diǎn)，然后基于三角測量原理計(jì)算出人臉的深度信息，通過深度判斷人臉是否吻合。3D結(jié)構(gòu)光原理?TOF技術(shù)：TOF又稱飛行時(shí)間技術(shù)，通過傳感器發(fā)射出紅外光，紅外光再從物體表面反射回傳感器，傳感器根據(jù)發(fā)射光和反射光之間的相位差換算出深度信息，通過深度信息判斷人臉是否吻合。TOF的原理與3D結(jié)構(gòu)光比較相似，都是通過紅外光反射計(jì)算深度信息，只是3D結(jié)構(gòu)光技術(shù)投射的紅外光是點(diǎn)狀，而TOF投射的則是一整片紅外光，因此TOF的工作距離可以達(dá)到5米，但是精度與3D結(jié)構(gòu)光相比還是有較大的差距。3D結(jié)構(gòu)和3D-TOF的差異總結(jié)：1、雙目方案。比較大的問題在于實(shí)現(xiàn)算法需要很高的計(jì)算資源，導(dǎo)致實(shí)時(shí)性很差，而且基本跟分辨率，檢測精度掛鉤。也就是說，分辨率越高，要求精度越高，則計(jì)算越復(fù)雜，同時(shí)，純雙目方案受光照，物體紋理性質(zhì)影響。2、結(jié)構(gòu)光方案。目的就是為了解決雙目中匹配算法的復(fù)雜度和魯棒性問題而提出，該方案解決了大多數(shù)環(huán)境下雙目的上述問題。但是，在強(qiáng)光下，結(jié)構(gòu)光核心技術(shù)激光散斑會被淹沒，因此，不合適室外。同時(shí)，在長時(shí)間監(jiān)控方面，激光發(fā)射設(shè)備容易壞，重新更換設(shè)備后，需要重新標(biāo)定。3、TOF方案。傳感器技術(shù)不是很成熟，因此，分辨率較低，成本高，但由于其原理與另外兩種完全不同，實(shí)時(shí)性高，不需要額外增加計(jì)算資源，幾乎無算法開發(fā)工作量，是未來。注：RGB色彩模式（也翻譯為“紅綠藍(lán)”，比較少用）是工業(yè)界的一種顏色標(biāo)準(zhǔn)，是通過對紅(Red)、綠(Green)、藍(lán)(Blue)三個(gè)顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色的，RGB即是代表紅、綠、藍(lán)三個(gè)通道的顏色，這個(gè)標(biāo)準(zhǔn)幾乎包括了人類視力所能感知的所有顏色，是運(yùn)用最廣的顏色系統(tǒng)之一。

#02OMS系統(tǒng)介紹DMS還可以升級為OMS-即車內(nèi)人員監(jiān)控系統(tǒng)，攝像頭不僅可以對駕駛員的狀態(tài)進(jìn)行跟蹤，包括駕駛員疲勞的一些提醒，甚至還可以對后排乘客進(jìn)行跟蹤，以滿足相關(guān)乘車需求。OMS傳感方案包括五種，分別是攝像頭、毫米波、超聲波、壓力傳感器和生物特征傳感器。目前，OMS主流傳感方案為1*OMS攝像頭（占比高）或1*毫米波雷達(dá)。在座艙感知方案中，諸如毫米波雷達(dá)等感知方案可以作為視覺方案的補(bǔ)充，能夠有效降低隱私侵犯和泄露風(fēng)險(xiǎn)，主要用于座艙OMS系統(tǒng)的生命體征檢測，目前國內(nèi)已有多家車企搭載了該種方案。座艙生命體檢測方案一、OMS典型方案介紹1、基于視覺感知技術(shù)的DMS駕駛員監(jiān)控系統(tǒng)與OMS乘客監(jiān)控系統(tǒng)具有明顯的成本優(yōu)勢。實(shí)現(xiàn)功能在配套的艙內(nèi)攝像頭部分，目前，在前裝市場，艙內(nèi)視覺方案的主要攝像頭配置有幾種類型：

（1）單攝像頭方案，大多數(shù)集成在駕駛員側(cè)的A柱或方向盤，功能主要是人臉識別（包括發(fā)動機(jī)啟動、車機(jī)系統(tǒng)進(jìn)入以及座椅個(gè)性化調(diào)節(jié)等）和疲勞分心監(jiān)測。另一種則是集成在內(nèi)后視鏡位置，除了服務(wù)駕駛員，還可以額外提供乘員監(jiān)控功能（車內(nèi)行車記錄功能），甚至包括兒童／遺留物檢測、安全帶檢測和識別特定乘客等功能（2）雙／三攝像頭方案，分別位于A柱、內(nèi)后視鏡以及車頂位置，負(fù)責(zé)不同功能的實(shí)現(xiàn)。（3）大部分用于檢測駕駛員疲勞的駕駛員監(jiān)測系統(tǒng)均采用成本較低的傳統(tǒng)2D可見光攝像頭（配合IR紅外LED）。3D—ToF傳感器也開始進(jìn)入前裝（比如，首發(fā)搭載理想L9），從而增強(qiáng)座艙監(jiān)控系統(tǒng)魯棒性，實(shí)現(xiàn)惡劣的光照條件下捕捉深度和紅外圖像。主機(jī)廠車型IMS裝配情況

攝像頭安裝位置示意圖同時(shí)，在整體系統(tǒng)方案方面，主要形態(tài)包括基于攝像頭和獨(dú)立控制單元，或攝像頭＋集成座艙車機(jī)／域控制器解決方案。供應(yīng)商方面，有底層感知算法供應(yīng)商、軟件Tier1以及硬件Tier1等不同角色。虹軟科技通過視覺，可以實(shí)現(xiàn)的OMS功能有：乘客占位和屬性檢測：實(shí)時(shí)統(tǒng)計(jì)車內(nèi)人員數(shù)量，準(zhǔn)確標(biāo)識乘客入座位置，幫助掌握車輛載客情況。精準(zhǔn)識別年齡、性別、情緒等多種人臉屬性信息，分析乘客面部表情，有效規(guī)避司乘沖突。遺留物品檢測：實(shí)時(shí)檢測艙內(nèi)后座畫面，結(jié)合下車信號有效分析乘客隨身物品的遺留情況，并根據(jù)業(yè)務(wù)策略給予告警系統(tǒng)。可精準(zhǔn)檢測手機(jī)、錢包、女士手袋等數(shù)十種隨身物品，且支持一站式自定義物體品類訓(xùn)練。遺留兒童檢測：實(shí)時(shí)監(jiān)測艙內(nèi)后座區(qū)域，結(jié)合下車信號精準(zhǔn)判斷后座區(qū)域是否存在兒童遺留，并根據(jù)業(yè)務(wù)策略將兒童感知數(shù)據(jù)傳輸至告警系統(tǒng)，全面保障乘客的出行安全。遺留寵物檢測：準(zhǔn)確分析后座區(qū)域是否存在活體寵物遺留，并根據(jù)業(yè)務(wù)策略及時(shí)發(fā)送預(yù)警信息；支持識別多品種寵物貓和寵物狗，能有效抵御毛絨玩具等假體攻擊。2、毫米波雷達(dá)OMS方案在一些主機(jī)廠中已經(jīng)得到應(yīng)用，在某些場景下（如遺留兒童監(jiān)測），攝像頭的監(jiān)控范圍易受安裝位置、視線范圍等條件影響，較難做到精準(zhǔn)無誤監(jiān)測與警報(bào)。而雷達(dá)傳感器（包括毫米波雷達(dá)、超聲波雷達(dá)、UWB雷達(dá)）具有穿透固體物質(zhì)的能力，可以更精確地檢測無人照管的兒童、監(jiān)測乘員狀態(tài)、預(yù)估駕駛員的生命體征，在艙內(nèi)監(jiān)控中的應(yīng)用有望擴(kuò)大。其中森思泰克的STA60-4/STA79-4車內(nèi)成員檢測雷達(dá)方案較為成熟，STA60-4和STA79-4車內(nèi)成員檢測雷達(dá)是由森思泰克自主研發(fā)的兩款基于60GHz和79GHz毫米波技術(shù)的雷達(dá)產(chǎn)品。兩款雷達(dá)工作頻率不同，可滿足不同國家法規(guī)差異化的要求。兩雷達(dá)功能相同，均可檢測車中指定區(qū)域內(nèi)有無活體目標(biāo)，尤其是后排遺留兒童檢測，具有性能高、體積小、重量輕等特點(diǎn)。

森思泰克方案圖STA60-4/STA79-4車內(nèi)成員檢測雷達(dá)一般安裝在汽車天窗附近，隱藏在頂棚內(nèi)部。當(dāng)車輛駐停后，雷達(dá)可自動檢測車內(nèi)后排座椅上的目標(biāo)信息，一旦發(fā)現(xiàn)存在滯留兒童，迅速發(fā)出報(bào)警信號，同時(shí)還可以啟動通風(fēng)系統(tǒng)等輔助救助裝置，從而達(dá)到保障乘車兒童人身安全的目的。森思泰克雷達(dá)參數(shù)指標(biāo)楚航科技車規(guī)級平臺研發(fā)生產(chǎn)的60GHz生命體征探測雷達(dá)，采用3發(fā)4收天線通道，可覆蓋車內(nèi)全區(qū)域，體積小，低成本，低功耗，<1%誤報(bào)率與0漏報(bào)率，可實(shí)現(xiàn)ROA第二排占位探測與第三排活體探測,DMS駕駛員心跳呼吸檢測。楚航科技方案參數(shù)指標(biāo)應(yīng)用場景：ROA系統(tǒng)1.

ROA（rearoccupantalert）后排占位檢測系統(tǒng)毫米波雷達(dá)安裝在車頂可感知整個(gè)座艙區(qū)域、探測目標(biāo)并對其進(jìn)行高精度分類和生物特征的監(jiān)測，監(jiān)測車內(nèi)人數(shù)。2.CPD（childrenpresentdetection）兒童存在探測功能防止兒童以及寵物被遺留在車內(nèi)而發(fā)生意外，一旦有兒童被遺留在車內(nèi)，系統(tǒng)會輸出報(bào)警信息給駕駛員。3.SOD（seatoccupancydetection）占位檢測功能可以探測到車內(nèi)哪個(gè)位置被占用，并可輸出占用信息