雙目立體視覺(jué)的三維人臉重建方法_圖文

1、 智 能 系 統(tǒng) 學(xué) 報(bào) 第 卷 左右攝 像 機(jī) 采 集 標(biāo) 定 模 板 圖像 ： 擇 ） 選 實(shí)驗(yàn)結(jié) 果 與分 析 基于雙 目立體視 覺(jué)的三維 人臉重建 系統(tǒng)構(gòu)成 的平 面棋 盤(pán)格作 為標(biāo) 定 物 ， 盤(pán) 格 每個(gè) 小格 的尺寸 棋 為 圖 為用 左 右攝像 機(jī) 同 時(shí)從不 同方位采 集到 的 幅標(biāo)定 模板 圖像 本 文 的研究 是 以雙 目立 體 視 覺(jué)理 論 為基 礎(chǔ) ， 以 人臉 為研究對(duì) 象 ， 構(gòu)建一 個(gè)三維人 臉重建 系統(tǒng) 系 該 統(tǒng) 的實(shí)驗(yàn)平 臺(tái)如 圖 所示 ， 主要 是 由 臺(tái) 彩 色 視頻攝 像 機(jī) 、 恒 圖像 采 集 卡 大 視 頻 電纜 、 白棋 盤(pán) 格 標(biāo) 定 板

2、和 、 黑 算機(jī)組 成 計(jì) （ ）左攝像機(jī)采集 副標(biāo)定模板圖像 （ ）右 攝 像 機(jī) 采 集 副標(biāo) 定 模 板 圖像 圖 雙 目攝像機(jī)采集標(biāo)定模板圖像 圖 三維 人 臉 重 建 系統(tǒng) 實(shí) 驗(yàn) 平 臺(tái) 角點(diǎn)檢測(cè) ： ） 對(duì)棋盤(pán) 格進(jìn)行 角點(diǎn) 檢測(cè) ， 目的是 為 了得到角點(diǎn)的二維圖像坐標(biāo) ， 作為標(biāo)定過(guò)程 的數(shù) 據(jù)輸 入 ， 測(cè)結(jié) 果精確程 度直接影響了整個(gè)系統(tǒng) 的標(biāo)定精 檢 度 以 ， 所 采用 的是 精度 很 高的基 于 子 的亞 算 像 素級(jí) 角點(diǎn)檢 測(cè)算 法 為角點(diǎn)檢 測(cè)的結(jié)果 圖 內(nèi)外 參數(shù) 標(biāo)定 ： ） 由于所 采用 的 雙 目攝像 機(jī) 是 固定焦距 的 ， 以在使 用 過(guò) 程 中其

3、 內(nèi)部 參數(shù) 不會(huì) 發(fā) 所 生變 化 由上 述攝像 機(jī) 標(biāo) 定算 法得 到 內(nèi)外 參數(shù) 標(biāo) 定 結(jié)果 見(jiàn)表 可見(jiàn) ， 中采 用 的立體 視覺(jué) 系統(tǒng) 可 以認(rèn) 文 為是 由 個(gè)完 全相 同的攝像 機(jī)組成 的平 行雙 目立體 視覺(jué) 系統(tǒng) 表 攝 像 機(jī) 標(biāo)定 結(jié)果 圖 三 維 人臉 重 建 系 統(tǒng)流 程 圖 攝 像 機(jī) 內(nèi)外 參 數(shù) 內(nèi) 參數(shù) 焦 主 左攝 像機(jī) 一 一 右 攝 像機(jī) 一 距 點(diǎn) 圖 所 示為 整 個(gè)系 統(tǒng) 的流程 圖 首先 利用 標(biāo)定 的 臺(tái)攝像機(jī) 獲取 人臉 正 面圖像 對(duì) ， 通過(guò) 圖像校 正 一 使 圖像對(duì) 的極線對(duì)齊 在立體 匹配方 面 ， 結(jié)合 特征技 術(shù) ， 用基于

4、區(qū)域生 長(zhǎng) 的立 體 匹 配算法 得 到 整個(gè) 人 采 臉 區(qū)域 的視差 圖 最后 ， 人臉 的三維點(diǎn) 云在二 維平 將 一 一 畸 變 一 面上進(jìn) 行 三角 剖分 、 網(wǎng)格 細(xì)分 和光順 處 理 來(lái) 重建 三維人臉模 型 外 參數(shù) 旋 轉(zhuǎn) 向量 ， 平 移 向量 。 ； 攝像 機(jī)標(biāo)定分 析 利用上 面介紹 的標(biāo)定方 法對(duì)雙 目攝像 機(jī)進(jìn) 行 內(nèi) 外參 數(shù)標(biāo)定 ， 具體實(shí) 現(xiàn)如下 ： 誤差 分析 ： 了表征 攝像機(jī) 標(biāo)定 的測(cè) 量精度 ） 為 并對(duì) 誤差 進(jìn)行 定 量分 析 ， 入 了平均 絕對(duì) 誤 差 ， 引 定義 如下 ： 第 期 賈 貝 貝 ， ： 目立 體 視 覺(jué) 的三 維 人 臉 重

5、 建 方 法 等 雙 二、 一 一 以看 出 ， 該立體 匹配算法 獲取 的人臉視 差 圖比較 光滑 且能夠反 映出人臉較為 明顯 的視差 階躍 （ ） 式 中 ： ， 棋盤(pán)格 角點(diǎn) 的實(shí) 際 圖像 坐 標(biāo) ， （ ，）是 （ ）是通 過(guò)標(biāo) 定 的雙 目視 覺(jué)測(cè) 量 出來(lái) 的圖像 坐標(biāo) ， 為測(cè) 量角點(diǎn) 的數(shù) 目 角點(diǎn) 坐標(biāo) 重新投 影 到圖像 中 ， 將 所 得誤 差為 （ ）采 集 的 人臉 網(wǎng)像 對(duì) （ （ 【 一 （ ） 生 長(zhǎng) 算 法 牛 成 視 差 圖 域 圖 角 點(diǎn) 檢 測(cè) 圖 立體匹配牛成視籌圖 圖 為經(jīng)過(guò)角 點(diǎn)畸 變校 正后 的重投 影誤差 分 布 圖 從圖 中可以看 出，

6、經(jīng)角點(diǎn)校正后 的圖像誤差分 布均 勻， 在和 方向上檢測(cè)精度均不超過(guò) 像素 個(gè) 因此 從實(shí)驗(yàn)結(jié)果來(lái)看 ， 本攝像 機(jī)標(biāo)定方法是有效的 三維人 臉重 建結(jié) 果 采 用上面介紹 的三 維人臉重建方 法 ， 即利用人臉 視差 圖和攝像 機(jī) 內(nèi)外 參 數(shù) 的結(jié)果 汁算 人臉 點(diǎn) 云的三 維坐標(biāo) 采用 方法 對(duì) 散 亂 的 三維 點(diǎn) 云進(jìn) 行 三 角剖分 ， 圖 如 （ ） 而后 對(duì)初始 生成 的三角 形 網(wǎng)格 三維人臉 模型進(jìn)行 了網(wǎng)格細(xì)化和光順 處理 ， 到最終 得 的三維 人臉模型如 圖 所 示 圖 中可 以看 出 ， （） 從 初 始生成 的三維人臉模 型粗糙 而不平 滑 ， 經(jīng)過(guò) 網(wǎng)格優(yōu)化 后

7、， 對(duì)初始人 臉模 型進(jìn) 行 了孑 洞 修 補(bǔ) 和平滑 處 理 ， 使 得三維人 臉主體部分 的重建效果真實(shí)感強(qiáng) 圖 重 投 影 誤 差分 析 立體 圖像 匹配和 視差 圖生 成 圖 給 出了立體 匹 配 生成 視 差 圖 為 雙 圖 （） 目攝像 機(jī) 拍 攝 的人 臉 圖 像 對(duì) ， 像 分 辨 率 為 圖 首先利 用 基 于特 征技 術(shù) 得 到人 臉 邊 緣 特征 點(diǎn) 個(gè) ， 對(duì)邊緣 特 征 點(diǎn)做 灰 度 相 關(guān)處 理 ， 到 準(zhǔn)確 可 得 靠 的視差 然后選擇 匹配 的邊緣特 征點(diǎn) 個(gè)作 為種 子像素 ， 以種子像 素 的視 差作 為 區(qū)域 生 長(zhǎng) 的視 差 ， 在 外 極線約束 、 單

8、調(diào)性 約束 以及對(duì)應(yīng) 匹配 的邊緣 特征點(diǎn) 的約束 下 ， 對(duì)與種子像 素相鄰 的像 素點(diǎn)在 水平 掃描線 卜 行 區(qū)域生 長(zhǎng) ， 進(jìn) 最終選 取 個(gè)種 子像 素從 而得 到整 個(gè)人臉 區(qū)域 的視 差圖 將生成 的人臉 視差 圖量化 到 ） （ 個(gè)灰 度級(jí) ， 圖 所 示 圖中可 如 （） 從 秘 翟 夠 哆 杈 一 （ ） 始 生 成 三 角形 網(wǎng)格 初 的 三維 人臉 模 型 （ ） 終 的 三維 人臉 模 型 最 圖 多 視角 下 的三 維 人 臉 重 建 結(jié) 果 智 能 系 統(tǒng) 學(xué) 報(bào) 第 卷 ， 結(jié) 束 語(yǔ) 本 文從人類(lèi)視 覺(jué) 機(jī) 理角 度 出發(fā) ， 出一種 基 于 提 （ ）： ，

9、 ， 雙 目立 體視覺(jué) 的三維 人臉 重 建 方法 先 利用 標(biāo) 定 首 的 臺(tái)攝 像機(jī)獲 取人 臉 正 面 圖像對(duì) ， 過(guò) 圖像 校 正 通 使 圖像對(duì) 的極線對(duì) 齊 ， 然后 結(jié)合 特征技術(shù) ， 選擇具 有 準(zhǔn)確可靠 視差 的人 臉 邊緣 特 征 點(diǎn)作 為種 子 像 素 ， 以 種子像 素的視差作 為 區(qū)域 生 長(zhǎng) 的視 差 ， 在水 平 掃描 線上進(jìn)行 區(qū)域生 長(zhǎng) ， 提高 了匹配 的速度 和準(zhǔn)確度 ， 從 而得到整個(gè) 人臉 區(qū)域 的視 差 圖 后 根 據(jù)攝 像 機(jī)標(biāo) 最 定和立體 匹配結(jié)果 計(jì)算 得 到 空 問(wèn)點(diǎn) 的三 維 坐標(biāo) ， 通 過(guò) 對(duì)人臉 的 三維點(diǎn) 云進(jìn) 行 三角 剖分 、

10、 網(wǎng)格 細(xì)分和光順 處理 ， 到光滑 逼真 的三維人臉模 型 得 在今后 的研究 中， 主要 解 決 由于光 照 因素對(duì) 三 張廣軍機(jī)器視覺(jué) 北京 ： 科學(xué)出版社， ： ， （） ， ： ， ， ， （ ） ， ： 阮秋琦數(shù)字圖像處理學(xué) 版北京 ：電子工業(yè) 出版 社 ， ： ， ： ， （ ） 維 人臉重建造 成的 影 響 ， 慮 采用 主 動(dòng)光 源 對(duì)被 拍 考 攝 的人臉 區(qū)域 進(jìn)行 照射 ， 同時(shí)進(jìn) 行 人臉 圖像 對(duì) 的采 集 ， 樣可 以有 效地 減小 光 線 變化 對(duì)人 臉 圖像 的影 這 響 ， 而達(dá)到在各 種 光照 條 件下 重 建 出具 有真 實(shí) 感 從 的三維 人臉模 型

11、張永春 ， 達(dá)飛鵬 ， 宋文忠三維散亂點(diǎn)集的曲面三角剖 分 中國(guó)圖象圖形學(xué)報(bào) ， ） ， （ ： ， ， ， ， ）： （ 參 考 文獻(xiàn) ： ， ， ： ： ， ， （ ） ， ， ）： （ ， ， ， ， ： 作者簡(jiǎn)介： 賈 貝 貝 ， ， 年 生 ， 士 研 究 女 碩 生 ， 要 研 究 方 向 為 計(jì) 算 機(jī) 視 覺(jué) 、 字 主 數(shù) 圖 像 處理 、 號(hào) 與信 息 處 理 信 ， ， ， ： ， ， ： ， 阮 秋 琦 ， ， 年 牛 ， 授 ， 士 男 教 博 生 導(dǎo) 師 ， 京 交 通 大 學(xué) 信 息 科 學(xué) 研 究 所 北 所長(zhǎng) ， 國(guó)務(wù) 院 學(xué) 位 委 員 會(huì) 學(xué) 科 評(píng) 議 組 成 ， ， ， 一 員， 高級(jí)會(huì)員主要研究方 向?yàn)閳D 像處理 、 計(jì)算 機(jī)視 覺(jué) 、 多媒體信息 處理 、 虛擬現(xiàn)實(shí) 、 算機(jī)支持 的協(xié) 同工作 曾 計(jì) 獲國(guó)家教委科技進(jìn) 步二等獎(jiǎng) 、 鐵道部科技進(jìn)步二等獎(jiǎng)和三等 獎(jiǎng)等 ， 被評(píng) 為國(guó)家