ジェスチャインターフェースは、ゲーム機器やインフォテインメント製品のためだけのものではない。米Segway社の「Segway PT（personal transporters）」では、利用者が適切な方向に体を傾けることにより、前進、停止、左または右への方向転換を直感的に指示することができる（図1）。コマンドをコンピュータに送信するのではなく、現実のツールのエミュレートによって、さまざまな種類の微妙なジェスチャを認識するインターフェースも存在する。例えば、ワコムのペンタブレットである「Intuos」や「Cintiq」は、タブレット対応のペイント/グラフィックスソフトウエアを用いて、ユーザーの手とツールの動きを、上下、左右、タブレット表面の加圧、スタイラスの傾き角度、スタイラスの傾き方向、スタイラスの回転という6つの次元で認識する。この機能により、ソフトウエアは全体的な動きだけでなく、手のひねりなどといった微妙な動きも再現することができ、絵の具による描画などの複雑な状況を、より現実的にエミュレーションすることができる。

　現実のツールで微妙な動作を検出するもう1つの例としては、米Intuitive Surgical社の内視鏡手術ロボットシステム「da Vinci Surgical System」がある。同システムは、2台の3CCDカメラを使った独自の3Dビジョンシステム、およびマスターコンソール「InSite」とロボットアーム「EndoWrist」で構成される。腹腔鏡手術を行う際に、マスターコンソール側で外科医の手と指の動きを正確に解釈してEndoWristを制御するという仕組みだ（図2）。このシステムを使えば、外科医は必ずしも手術室（現場）で執刀しなくてもよい。外科医は手術時に無理な姿勢をとる必要がなくなり、長時間の手術を行う際にも体の疲労を抑えることができる。また、同システムのデジタルフィルタリング機能により、従来の腹腔鏡手術のように外科医が直接手術器具を操作する場合よりも精密な手術が可能になり、動きの範囲も広がり、より細かい動きが実現できる。

　3Dビジョンシステムは、外科医がda Vinci Surgical Systemを有効に使いこなし、ミスが生じないようにするための重要なフィードバック型インターフェースである。さらにこのシステムには、動作中に内部および外部で生じる何らかの衝突を検出することなどを目的とし、簡単な触覚、つまり力が加わったことを感知するビジュアルフィードバックインターフェースが搭載されている。米国ジョンズホプキンス大学などの研究機関では、da Vinci Surgical Systemを用いて、触覚をサポートする技術を研究している。コンピュータ科学を専門とする同大学のGregory D Hager教授は、「da Vinci Surgical Systemは、明確でパターン化された処理に対して、高品質な動きと映像データを提供してくれる完璧な“研究設備”だ。われわれが開発した統計的モデルを用いて、手術の現場で起きる状況を認識できるようにすることにより、このシステムをもっとインテリジェントなものにしようと考えている」と述べる。