GB/T 37036.7-2023 信息技術(shù) 移動(dòng)設(shè)備生物特征識(shí)別 第7部分：多模態(tài)（正式版）

ICS35.240.01GB/T37036.7—2023信息技術(shù)移動(dòng)設(shè)備生物特征識(shí)別國(guó)家市場(chǎng)監(jiān)督管理總局國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)GB/T37036.7—2023 I Ⅱ 3術(shù)語(yǔ)和定義 4.1融合層級(jí) 4.2技術(shù)架構(gòu) 5業(yè)務(wù)流程 3 45.4分?jǐn)?shù)級(jí)融合 5.5決策級(jí)融合 86.1總體要求 86.2多模態(tài)特征采集模塊 6.3多模態(tài)特征存儲(chǔ)模塊 6.4多模態(tài)特征比對(duì)模塊 7注冊(cè)失敗率和識(shí)別響應(yīng)時(shí)間 7.1多模態(tài)識(shí)別注冊(cè)失敗率 7.2多模態(tài)識(shí)別響應(yīng)時(shí)間 8安全要求 8.1總體要求 8.2多模態(tài)信息采集安全 8.3多模態(tài)信息存儲(chǔ)安全 8.4多模態(tài)信息使用安全 IGB/T37036.7—2023本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本文件是GB/T37036《信息技術(shù)移動(dòng)設(shè)備生物特征識(shí)別》的第7部分。GB/T37036已經(jīng)發(fā)布了以下部分：——第1部分：通用要求；——第4部分：虹膜；——第6部分：指靜脈；——第7部分：多模態(tài)；——第8部分：呈現(xiàn)攻擊檢測(cè)。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)(SAC/TC28)提出并歸口。本文件起草單位：支付寶(中國(guó))網(wǎng)絡(luò)技術(shù)有限公司、中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院華東分院、人力資源和社會(huì)保障部信息中心、新大陸數(shù)字技術(shù)股份有限公司、北京曠視科技有限公司、中國(guó)電子技術(shù)標(biāo)準(zhǔn)通技術(shù)有限公司、北京得意音通技術(shù)有限責(zé)任公司、北京眼神智能科技有限公司、聯(lián)想中天科技有限公技有限公司、華為終端有限公司、西安凱虹電子科技有限公司、北京郵電大學(xué)、北京萬(wàn)里紅科技有限公技(北京)有限公司、紫光同芯微電子有限公司、廣東中科臻恒信息技術(shù)有限公司。ⅡGB/T37036.7—2023 第3部分：人臉。目的在于確立移動(dòng)設(shè)備在人臉生物識(shí)別方面的流程和要求 1GB/T37036.7—2023信息技術(shù)移動(dòng)設(shè)備生物特征識(shí)別第7部分：多模態(tài)2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成文件必不可少的條款。其中，注日期的引用文本文件。GB/T36460信息技術(shù)生物特征識(shí)別多模態(tài)及其他多生物特征融合GB/T37036.1—2018信息技術(shù)移動(dòng)設(shè)備生物特征識(shí)別第1部分：通用要求GB/T37036.2—2019信息技術(shù)移動(dòng)設(shè)備生物特征識(shí)別第2部分：指紋GB/T37036.3—2019信息技術(shù)移動(dòng)設(shè)備生物特征識(shí)別第3部分：人臉GB/T37036.4—2021信息技術(shù)移動(dòng)設(shè)備生物特征識(shí)別第4部分：虹膜GB/T37036.5—2023信息技術(shù)移動(dòng)設(shè)備生物特征識(shí)別第5部分：聲紋GB/T37036.6—2022信息技術(shù)移動(dòng)設(shè)備生物特征識(shí)別第6部分：指靜脈GB/T40660—2021信息安全技術(shù)生物特征識(shí)別信息保護(hù)基本要求3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.13.23.3生物特征項(xiàng)biometricfeature從生物特征樣本中提取的用于比對(duì)的數(shù)值或標(biāo)記。2GB/T37036.7—2023注5:應(yīng)用于生物特征樣本的過濾器本身不是生物特征項(xiàng)，如特征臉不是生物特征項(xiàng)，但是過濾器應(yīng)用于樣本的輸出可能是生物特征項(xiàng)。3.4注1:多重意味著類型的差異。注2:三個(gè)組成成分指生物特征特性的類型、傳感器類型和處理方法。3.5一種基于多模態(tài)進(jìn)行識(shí)別得到確定結(jié)果的生物特征識(shí)別技術(shù)。3.6多模態(tài)特征multi-modalfeature用于多模態(tài)識(shí)別的生物特征項(xiàng)。4總體框架移動(dòng)設(shè)備多模態(tài)識(shí)別層級(jí)分類按照GB/T36460的描述，一般可以分為樣本級(jí)融合、特征級(jí)融合、分?jǐn)?shù)級(jí)融合和決策級(jí)融合四個(gè)層級(jí)。——樣本級(jí)融合即每個(gè)單一生物特征識(shí)別過程輸出一組樣本，將多組生物特征樣本數(shù)據(jù)融合為一——特征級(jí)融合即每個(gè)單一生物特征識(shí)別過程輸出一組特征，將多組生物特征融合為一個(gè)特征集或者特征向量?！獩Q策級(jí)融合即每個(gè)單一生物特征識(shí)別過程輸出一個(gè)布爾值。利用混合算法如和與或，或者采本文件給出的移動(dòng)設(shè)備多模態(tài)識(shí)別技術(shù)架構(gòu)是GB/T37036.1—2018中描述的通用技術(shù)架構(gòu)在多模態(tài)識(shí)別應(yīng)用領(lǐng)域的具體化，見圖1。移動(dòng)設(shè)備生物特征識(shí)別多模態(tài)融合過程中，樣本級(jí)融合在樣本采比對(duì)模塊被調(diào)用之后實(shí)現(xiàn)融合。一個(gè)生物特征識(shí)別系統(tǒng)通常使用上述融合形式或者層級(jí)的一種來(lái)完成3GB/T37036.7—2023安企環(huán)境比對(duì)特征級(jí)樣本級(jí)融合255融合層級(jí)應(yīng)具備的模塊，但可位丁移動(dòng)設(shè)備端或者服務(wù)器應(yīng)具備的模塊特征級(jí)融合提取樣本采集提取圖1移動(dòng)設(shè)備多模態(tài)識(shí)別技術(shù)架構(gòu)5業(yè)務(wù)流程多模態(tài)識(shí)別融合層級(jí)不同，業(yè)務(wù)流程也有所區(qū)別。下面各條款分別按照不同融合層級(jí)描述各典型典型的樣本級(jí)融合注冊(cè)過程見圖2。呈現(xiàn)攻擊檢測(cè)n移動(dòng)設(shè)備側(cè)采集樣本na)通過移動(dòng)設(shè)備側(cè)同時(shí)采集或依次采集樣本1和樣本n(n≥2)(樣本如人臉圖像、指紋圖像等);b)分別對(duì)每個(gè)采集過程進(jìn)行生物特征樣本質(zhì)量判斷，c)對(duì)采集到的樣本數(shù)據(jù)進(jìn)行融合；4GB/T37036.7—2023d)從融合后的樣本數(shù)據(jù)中提取生物特征項(xiàng)；e)將生物特征項(xiàng)存儲(chǔ)在特征存儲(chǔ)模塊中作為多模態(tài)生物特征參考，并與用戶身份標(biāo)識(shí)關(guān)聯(lián)。典型的樣本級(jí)融合識(shí)別過程見圖3。參考參考質(zhì)量判斷采集樣本1移動(dòng)設(shè)備側(cè)采集樣本特征項(xiàng)提取圖3樣本級(jí)融合識(shí)別過程識(shí)別過程通常包含如下階段：a)移動(dòng)設(shè)備側(cè)同時(shí)采集或依次采集樣本1、生物特征樣本n(n≥2),采集方式同注冊(cè)時(shí)的采集方式相對(duì)應(yīng)；b)分別對(duì)每個(gè)采集過程進(jìn)行生物特征樣本質(zhì)量判斷，并進(jìn)行呈現(xiàn)攻擊檢測(cè)；c)對(duì)采集到的樣本數(shù)據(jù)進(jìn)行融合；d)從融合后的數(shù)據(jù)中提取生物特征項(xiàng)；e)將提取的生物特征項(xiàng)與存儲(chǔ)在特征存儲(chǔ)模塊中的一個(gè)或多個(gè)用多模態(tài)生物特征參考進(jìn)行比f(wàn))根據(jù)比對(duì)分?jǐn)?shù)進(jìn)行識(shí)別決策并輸出識(shí)別結(jié)果。注銷過程通常包含如下階段：a)啟動(dòng)注銷過程；b)在生物特征存儲(chǔ)模塊中刪除與待注銷用戶關(guān)聯(lián)的全部生物特征參考，并在多模態(tài)識(shí)別系統(tǒng)中刪除待注銷用戶的身份標(biāo)識(shí)；c)結(jié)束注銷過程。5.3特征級(jí)融合典型的特征級(jí)融合注冊(cè)過程見圖4。呈現(xiàn)攻擊檢測(cè)1關(guān)聯(lián)標(biāo)識(shí)質(zhì)量判斷采集樣本1特征項(xiàng)提取I特征項(xiàng)提取圖4特征級(jí)融合注冊(cè)過程注冊(cè)過程通常包含如下階段：a)移動(dòng)設(shè)備側(cè)同時(shí)采集或依次采集樣本1、生物特征樣本n(n≥2);b)分別對(duì)每個(gè)采集過程進(jìn)行生物特征樣本質(zhì)量判斷，并進(jìn)行呈現(xiàn)攻擊檢測(cè)；5GB/T37036.7—2023c)分別針對(duì)每個(gè)采集的生物特征樣本提取生物特征項(xiàng)1、生物特征項(xiàng)n;e)將多模態(tài)生物特征項(xiàng)存儲(chǔ)在特征存儲(chǔ)模塊中，作為多模態(tài)生物特征參考，并與用戶身份標(biāo)識(shí)典型的特征級(jí)融合識(shí)別過程見圖5。典型的特征級(jí)融合識(shí)別過程見圖5。參考特征比對(duì)分?jǐn)?shù)決策輸出結(jié)果呈現(xiàn)攻擊檢測(cè)采集樣本1移動(dòng)設(shè)備側(cè)采集樣本特征項(xiàng)提取n特征融合a)移動(dòng)設(shè)備側(cè)同時(shí)采集或依次采集樣本n(n≥2),采集方式同注冊(cè)時(shí)的采集方式相對(duì)應(yīng)；c)分別針對(duì)采集的生物特征樣本分別提取生物特征項(xiàng)1、生物特征項(xiàng)n;e)將提取的多模態(tài)生物特征項(xiàng)與存儲(chǔ)在特征存儲(chǔ)模塊中的對(duì)應(yīng)的一個(gè)或多個(gè)參考進(jìn)行特征比f(wàn))根據(jù)比對(duì)分?jǐn)?shù)進(jìn)行識(shí)別決策并輸出識(shí)別結(jié)果。注銷過程通常包含如下階段：b)在生物特征存儲(chǔ)模塊中刪除與待注銷用戶關(guān)聯(lián)的全部生物特征參考，并在多模態(tài)識(shí)別系統(tǒng)中刪除待注銷用戶的身份標(biāo)識(shí)；c)結(jié)束注銷過程。典型的分?jǐn)?shù)級(jí)融合注冊(cè)過程見圖6。典型的分?jǐn)?shù)級(jí)融合注冊(cè)過程見圖6。早現(xiàn)攻山檢測(cè)存儲(chǔ)參考關(guān)聯(lián)標(biāo)識(shí)1關(guān)聯(lián)標(biāo)識(shí)呈現(xiàn)攻出檢測(cè)1采集樣本n特征項(xiàng)提取特征項(xiàng)提取1a)分別移動(dòng)設(shè)備側(cè)同時(shí)采集或依次采集樣本1和樣本n(n≥2);6GB/T37036.7—2023c)分別針對(duì)采集的生物特征樣本提取生物特征項(xiàng)；d)分別將該生物特征項(xiàng)存儲(chǔ)在存儲(chǔ)模塊中作為生物特征參考，并與用戶身份標(biāo)識(shí)關(guān)聯(lián)。典型的分?jǐn)?shù)級(jí)融合識(shí)別過程見圖7。質(zhì)量判斷質(zhì)量判斷參考采集樣本1采集樣本決策輸出結(jié)果特征項(xiàng)提取1特征比對(duì)1特征比對(duì)r分?jǐn)?shù)h識(shí)別過程通常包含如下階段：a)移動(dòng)設(shè)備側(cè)同時(shí)采集或依次采集樣本1和樣本n(n≥2),采集方式同注冊(cè)時(shí)的采集方式相c)分別針對(duì)采集的生物特征樣本提取生物特征項(xiàng)；d)將提取的生物特征項(xiàng)與存儲(chǔ)在特征存儲(chǔ)模塊中對(duì)應(yīng)的一個(gè)或多個(gè)生物特征參考進(jìn)行比對(duì)，分f)將分?jǐn)?shù)同閾值比較，進(jìn)行識(shí)別決策并輸出識(shí)別結(jié)果。注銷過程通常包含如下階段：a)啟動(dòng)注銷過程；b)在生物特征存儲(chǔ)模塊中刪除與待注銷用戶關(guān)聯(lián)的全部生物特征參考，并在多模態(tài)識(shí)別系統(tǒng)中刪除待注銷用戶的身份標(biāo)識(shí)；c)結(jié)束注銷過程。典型的決策級(jí)融合注冊(cè)過程見圖8。7GB/T37036.7—2023質(zhì)量判斷質(zhì)量判斷呈現(xiàn)攻擊檢測(cè)1質(zhì)量判斷呈現(xiàn)攻擊檢測(cè)n移動(dòng)設(shè)備側(cè)采集樣本1移動(dòng)設(shè)備側(cè)采集樣本n存儲(chǔ)參考關(guān)聯(lián)標(biāo)識(shí)1存儲(chǔ)參考關(guān)聯(lián)標(biāo)識(shí)》特征項(xiàng)提取1特征項(xiàng)提取A圖8決策級(jí)融合注冊(cè)過程注冊(cè)過程通常包含如下階段：a)移動(dòng)設(shè)備側(cè)同時(shí)采集或依次采集樣本1和樣本n(n≥2)(樣本如人臉圖像、指紋圖像等);b)分別對(duì)每個(gè)采集過程進(jìn)行樣本質(zhì)量判斷，并進(jìn)行呈現(xiàn)攻擊檢測(cè)；c)分別對(duì)采集的生物特征樣本分別提取生物特征項(xiàng)；d)將生物特征項(xiàng)存儲(chǔ)在特征存儲(chǔ)模塊中作為生物特征參考，并與身份標(biāo)識(shí)關(guān)聯(lián)。典型的決策級(jí)融合識(shí)別過程見圖9。典型的決策級(jí)融合識(shí)別過程見圖9。參考1分?jǐn)?shù)1特征比對(duì)1輸出結(jié)果分?jǐn)?shù)集樣本1集樣本n質(zhì)量判斷特征項(xiàng)提取圖9決策級(jí)融合識(shí)別過程識(shí)別過程通常包含如下階段：a)移動(dòng)設(shè)備側(cè)采集或依次采集樣本1和樣本n(n≥2),采集方式同注冊(cè)時(shí)的采集方式相對(duì)應(yīng)；b)分別對(duì)每個(gè)采集過程進(jìn)行質(zhì)量判斷，并進(jìn)行呈現(xiàn)攻擊檢測(cè)；c)對(duì)采集的生物特征樣本提取生物特征項(xiàng)；d)將提取的生物特征項(xiàng)與存儲(chǔ)在特征存儲(chǔ)模塊中對(duì)應(yīng)的一個(gè)或多個(gè)用戶生物特征參考進(jìn)行比e)將每個(gè)比對(duì)分?jǐn)?shù)分別同相應(yīng)閾值比較，輸出n(n≥2)個(gè)識(shí)別結(jié)果；f)將n(n≥2)個(gè)識(shí)別結(jié)果進(jìn)行融合(比如與、或),生成最終的識(shí)別決策結(jié)果并輸出。注銷過程通常包含如下階段：a)啟動(dòng)注銷過程；b)在生物特征存儲(chǔ)模塊中刪除與待注銷關(guān)聯(lián)的全部生物特征參考，并在多模態(tài)識(shí)別系統(tǒng)中刪除待注銷用戶的身份標(biāo)識(shí)；c)完成后結(jié)束注銷過程。8GB/T37036.7—20236功能要求應(yīng)符合GB/T37036.1—2018第6章的要求，包括但不限于：c)多模態(tài)識(shí)別系統(tǒng)服務(wù)提供方宜支持對(duì)錯(cuò)誤接受率和錯(cuò)誤拒絕率等性能指標(biāo)的設(shè)定；d)宜支持對(duì)登記時(shí)間、識(shí)別時(shí)間和呈現(xiàn)攻擊檢測(cè)準(zhǔn)確率等性能指標(biāo)進(jìn)行設(shè)定。要求包括但不限于：b)應(yīng)支持用戶登記多模態(tài)模板到存儲(chǔ)模塊中；c)應(yīng)支持用戶刪除已登記在生物特征存儲(chǔ)模塊中的生物特征模板；特征比對(duì)失敗后的處理機(jī)制；e)宜支持用戶、多模態(tài)識(shí)別系統(tǒng)管理員用戶等不同用戶使用權(quán)限，在多模態(tài)融合識(shí)別中的采集、比對(duì)與存儲(chǔ)等模塊中分別具有相應(yīng)的權(quán)限管理機(jī)制。a)登記過程中的成功或失敗事件；b)識(shí)別過程中的成功或失敗事件；c)注銷過程中的成功或失敗事件；d)多模態(tài)模板更新等。有效時(shí)間等。多模態(tài)特征采集模塊應(yīng)提供多模態(tài)特征數(shù)據(jù)采集與傳輸?shù)墓δ?。涉及某種具體生物特征模態(tài)時(shí)，其要求應(yīng)相應(yīng)地符合GB/T37036.2—2019、GB/T37036.3—2019、GB/T37036.4—2021、GB/T37036.5—2023、GB/T37036.6—2022的相關(guān)多模態(tài)特征存儲(chǔ)模塊功能要求包括但不限于：a)應(yīng)支持將登記的用戶多模態(tài)特征模板與該用戶的身份標(biāo)識(shí)進(jìn)行關(guān)聯(lián)；c