富士通研究所と中国 富士通研究開発中心は、PC やタブレットなどに搭載された単眼カメラで撮影した映像から、手の上下・左右に加え、奥行き方向への動きも検知する3次元ハンドジェスチャー認識技術を開発した。端末のメニュー選択やコンテンツ操作への応用を見込んでいる。 

富士通研、手の3次元ジェスチャーを PC などの単眼カメラで認識する技術を開発
奥行きのある手の動きを認識する
 
従来のハンドジェスチャー認識技術は、マウスのカーソル移動に相当する上下・左右方向の手の動きは検知できたが、クリック操作に相当する手を前に押し出す動きの検知は困難だった。

今回開発した3次元ハンドジェスチャー認識技術では、まず撮影した画像から、予め登録されている手の特徴データをもとに手の領域を正確に検出する。さらに、手の奥行き方向への動きを、変化する手の大きさや角度などの連続性を用いて高精度に推定し、“押す”“引く”の動作を約90%の精度で検知するという。

従来方式と開発方式との手の領域検出技術の比較
従来方式と開発方式との手の領域検出技術の比較

本技術により、例えば PC から離れた場所にいながら端末のメニュー選択を上下の手振りで行い、メニューの決定を手で“押す”操作で行ったり、地図などの画面の拡大/縮小を“押す”“引く”のジェスチャーで操作したりと、より複雑な操作システムが実現可能になる。

画面に触れずにジェスチャーのみでメニューを操作
画面に触れずにジェスチャーのみでメニューを操作

富士通研究所では、手の検出や動作認識技術の精度を高めながら、2014年度中の実用化を目指している。