投影儀攝像機(jī)系統(tǒng)的研究在當(dāng)前的人機(jī)交互領(lǐng)域中備受關(guān)注，由于攝像機(jī)和投影儀系統(tǒng)硬件設(shè)備的便攜性，該技術(shù)給互動(dòng)投影在嵌入式移動(dòng)設(shè)備上的應(yīng)用帶來了很大的機(jī)遇。本文提出了基于單目攝像機(jī)與投影儀系統(tǒng)能夠在任意平面徒手觸摸的交互系統(tǒng)，包括前景區(qū)域分割、指尖點(diǎn)的定位以及觸摸檢測三個(gè)部分。結(jié)合投影圖像與攝像機(jī)圖像反射率對比的顯著性檢測方法，并融合均值漂移實(shí)現(xiàn)了圖像前景手臂區(qū)域的分割；對前景輪廓的邊緣進(jìn)行檢測，并對邊緣點(diǎn)序列進(jìn)行曲率計(jì)算，根據(jù)曲率極值與輪廓重心的距離約束條件來定位指尖點(diǎn)位置；基于空間結(jié)構(gòu)光編碼測量技術(shù)的思想提出了自適應(yīng)編碼的方法，通過嵌入在幀間投影圖像中的自適應(yīng)編碼，判斷指尖點(diǎn)與投影平面的空間距離，實(shí)現(xiàn)觸摸檢測。

系統(tǒng)框架與算法原理

本文采用基于DLP（DigitalLightProcession）技術(shù)的便攜式投影儀與單個(gè)普通可見光攝像機(jī)固定在一起組成的互動(dòng)投影系統(tǒng)，通過投影儀將背景畫面投射在任意的規(guī)則平面上，如白紙、墻壁、桌面等，由攝像機(jī)捕捉用戶在投影屏幕上的交互手勢圖像，經(jīng)數(shù)據(jù)接口傳輸給計(jì)算機(jī)進(jìn)行處理，對前景手臂區(qū)域分割提取并檢測指尖點(diǎn)的位置，最后采用自適應(yīng)結(jié)構(gòu)光編碼的方法檢測指尖觸摸投影平面的操作，并由計(jì)算機(jī)執(zhí)行相應(yīng)的操控，實(shí)現(xiàn)觸控的投影交互方式。

基于指尖觸控的互動(dòng)投影系統(tǒng)算法原理框架流程如圖1所示。通過計(jì)算機(jī)視覺的方法對指尖觸摸進(jìn)行檢測，主要可以分為前景手臂區(qū)域檢測、指尖點(diǎn)定位以及觸摸檢測三大部分。

圖1 系統(tǒng)算法流程圖

為了檢測指尖點(diǎn)觸摸的位置，系統(tǒng)需要對投影背景上的前景手臂區(qū)域進(jìn)行提取分割。在互動(dòng)投影人機(jī)交互系統(tǒng)中，由于投影背景畫面的多樣性，傳統(tǒng)的圖像分割方法比較難以準(zhǔn)確實(shí)現(xiàn)前景的手臂區(qū)域提取。本文根據(jù)手臂皮膚對光照的反射率與投影屏幕物體表面的反射率差異性來檢測前景區(qū)域的顯著性特征。假設(shè)周圍環(huán)境光的影響為Q，投影平面物體的表面反射率為A，攝像機(jī)在像素級的顏色轉(zhuǎn)換函數(shù)為C，視覺回饋圖像的亮度值為E，則有：

經(jīng)過mean-shift的圖像分割抽象后，攝像機(jī)采集圖像的前景與背景的細(xì)節(jié)紋理均已被消除，圖像的像素點(diǎn)分類成M個(gè)不同的圖像區(qū)域。系統(tǒng)算法通過融合顯著性特征圖以及mean-shift分割平滑細(xì)節(jié)后的圖像來實(shí)現(xiàn)前景手臂區(qū)域的提取。

(a)投影背景圖像；(b)攝像機(jī)采集圖像；(c)基于反射率對比的顯著性檢測結(jié)果；(d)均值漂移圖像分割結(jié)果；(e)顯著性圖與均值漂移分割的融合結(jié)果；(f)最終前景分割結(jié)果

圖2 基于顯著性檢測的前景提取

觸摸檢測

基于指尖觸摸的互動(dòng)投影系統(tǒng)需要對用戶在投影儀平面上交互的指尖觸摸進(jìn)行檢測，指尖點(diǎn)的定位是準(zhǔn)確判斷觸摸位置的基礎(chǔ)。如圖3所示，本文的指尖點(diǎn)定位檢測是基于曲率極值的方法來實(shí)現(xiàn)。首先，對手臂區(qū)域分割后的前景基于Canny算子檢測邊緣輪廓點(diǎn)；其次，對所有的邊緣序列點(diǎn)計(jì)算對應(yīng)的曲率，通過尋找曲率的極大值可以獲取指尖位置的候選點(diǎn)；再次，在對前景輪廓提取完曲率的極大值點(diǎn)后，我們發(fā)現(xiàn)手掌的輪廓曲率較大的不僅包含指尖點(diǎn)的位置，還有手指之間夾縫的峰谷點(diǎn)，但可以根據(jù)候選點(diǎn)與手掌區(qū)域輪廓的重心距離來排除；最后，將每個(gè)候選點(diǎn)距離較近的點(diǎn)分類成一個(gè)組合，稱為同一個(gè)手指上的候選點(diǎn)，而距離較大的分類在不同的組，一個(gè)手掌區(qū)域總共可以分成五個(gè)組，每個(gè)組的點(diǎn)取平均值作為最終的指尖點(diǎn)返回。

觸摸檢測的實(shí)現(xiàn)是基于一種自適應(yīng)結(jié)構(gòu)光編碼，系統(tǒng)根據(jù)前面檢測到的用戶前景指尖點(diǎn)位置后，將結(jié)構(gòu)光的圖案編碼投射在指尖點(diǎn)附近的小領(lǐng)域范圍內(nèi)，并且該結(jié)構(gòu)光圖案的顏色通道會隨著投影背景畫面中相應(yīng)位置的像素值而自適應(yīng)的改變。在投影儀前后兩幀投影圖像嵌入自適應(yīng)結(jié)構(gòu)光編碼，彩色編碼圖案通過對背景像素點(diǎn)的亮度值添加或減少一個(gè)固定編碼值，從而減少本身對背景畫面的視覺干擾。

本文采用的自適應(yīng)結(jié)構(gòu)光編碼主要由三種不同形狀的幾何圖案組成，分別為條形、方形和方框。三種幾何圖案在紅、綠、藍(lán)、黑四種顏色通道隨機(jī)生成彩色結(jié)構(gòu)光編碼。如圖3所示，圖像上每個(gè)像素點(diǎn)的碼字是以該點(diǎn)為中心的鄰近3×3的子窗口幾何圖案構(gòu)成的特征向量。

圖3自適應(yīng)結(jié)構(gòu)光編碼圖案

三種不同的幾何結(jié)構(gòu)圖案與四種顏色通道可以組成12個(gè)不同的特征基元。具體每個(gè)基元圖案的編碼如表1所示，系統(tǒng)定義圖像上任意點(diǎn)以其為中心的3×3鄰近的圖案構(gòu)成的子窗口作為該點(diǎn)的碼字，不同的子窗口碼字具有獨(dú)特性，而且與鄰域窗口的碼字差異很大。圖3為自適應(yīng)編碼的碼字定義方式，每個(gè)窗口的碼字編碼為子窗口中從左至右，從上至下的9個(gè)基元圖案組成的特征向量。一般來說，子窗口與鄰域之間的碼字的漢明距離差異越大，解碼恢復(fù)物體三維深度信息出錯(cuò)概率越小，抗噪性能越強(qiáng)。本文提出的自適應(yīng)編碼任意兩個(gè)子窗口之間碼字的平均漢明距離達(dá)到8.2551，均大于偽隨機(jī)編碼、M-陣列的空間編碼以及幾何圖形編碼等方案，相比于目前空間結(jié)構(gòu)編碼的方案，不容易受到圖像噪聲的干擾，穩(wěn)定性更高。

在編碼過程，當(dāng)系統(tǒng)檢測到某一幀圖像上的指尖點(diǎn)位置后，在以指尖點(diǎn)為中心附近的鄰域窗口進(jìn)行自適應(yīng)結(jié)構(gòu)光編碼，采用如下的公式：

圖4 觸摸檢測原理

更多資訊請關(guān)注人機(jī)界面頻道