JP7304184B2 - 車両の非接触操作装置、および車両 - Google Patents

Description

本発明は、車両の非接触操作装置に関する。

車両には、各種の操作部材が設けられる。たとえば、車両には、車両の走行を制御するためのスタートスイッチ、ハンドル、シフトレバー、ペダルなどがある。また、車両には、空調装置、ナビゲーション装置、オーディオ装置、映像受信装置、ハンズフリー通話装置、その他の設備機器の操作部材が設けられる。このように、車両には、多数の操作部材が設けられている。これら多数の操作部材は車室の内面に対してレイアウトされるものであるが、近年においては車室のレイアウト面が不足する傾向にある。今後さらに、たとえばゲーム装置、ネットワーク通信装置、エンターテイメント装置などが追加されることを考えた場合、それらの装置の操作部材を増設できなくなる可能性もある。

特に、車両では、自動運転技術の開発が進められており、実際にその開発が進展して乗員が直接に車両の走行を制御しなくても車両が自律的に走行できるようになるとすると、乗員は、たとえばシートを倒した状態で乗車する可能性がある。この場合、乗員は、何かの操作をしようとする場合には、操作のために体を起こして、車室の内面に対してレイアウトされている操作部材まで腕を伸ばして操作をする必要がある。

特開２０１７－０２７４０１号公報

このため、車両では、特許文献１に開示されるように、車両の車室へ投影された映像を操作するような新たな操作装置の開発が求められている。
特許文献１では、シートに着座する乗員の前に映像を提示する。また、提示した映像に対応する操作に応じて、超音波場による触覚刺激を乗員の操作部位へ出力できる。このため、乗員は、映像への操作について、操作の実感を得ることができる。
しかしながら、特許文献１では、映像は、運転姿勢でシートに着座している乗員が操作可能な位置に映像を固定的に投影する。
この場合、たとえばシートを倒してリラックスしている乗員は、車室に投影される映像に対して手がとどかず、そのままでは映像を操作できない。

このように、車両では、操作装置を改善することが求められている。

本発明の一形態に係る車両の非接触操作装置は、車両の車室において運転姿勢またはリクライニング状態で着座する乗員により操作可能な映像を投影する投影デバイスと、前記投影デバイスにより投影される前記映像を生成および更新する生成部と、前記車両に乗っている前記乗員の乗車状態を検出する検出デバイスと、前記検出デバイスにより検出される前記乗員に対して前記映像を投影するように前記投影デバイスまたは前記生成部へ指示する設定部と、を有し、前記設定部は、前記検出デバイスにより検出される乗車状態に基づいて、前記乗員が前記車室に設けられるシートに対して運転姿勢で着座しているか、またはリクライニング状態で着座しているのか、を判断し、前記乗員が前記運転姿勢で着座している場合には、前記運転姿勢で前記乗員が操作可能な標準投影位置への映像投影を、前記投影デバイスまたは前記生成部へ指示して、前記運転姿勢で着座する前記乗員の前側となる位置に、前記映像を投影させ、前記乗員が前記リクライニング状態で着座している場合には、前記映像を投影する位置を、前記標準投影位置から変更するように前記投影デバイスまたは前記生成部へ指示して、前記リクライニング状態の前記乗員の腰上の辺りに、前記映像を投影させる。

好適には、前記検出デバイスは、前記車室の空間に投影されている前記映像に対する前記乗員による操作を検出し、前記設定部は、前記乗員が前記リクライニング状態で着座しているために前記映像を投影する位置を前記標準投影位置から変更する際に、前記乗員が予め設定された特定動作をすることが前記検出デバイスにより検出される場合、前記特定動作について予め対応づけられている特定位置へ前記映像を投影するように、前記投影デバイスまたは前記生成部へ指示して、前記特定動作について予め対応づけられている前記特定位置に、前記映像を投影させ、前記乗員が前記リクライニング状態で着座しているために前記映像を投影する位置を前記標準投影位置から変更する際に、前記乗員が前記特定動作以外の操作をすることが前記検出デバイスにより検出される場合、前記映像を投影する位置の変更を終了する、とよい。

好適には、前記設定部は、前記検出デバイスにより、前記乗員が両方の掌を上向きにする前記特定動作が検出される場合、前記両方の掌の上の前記特定位置へ前記映像を投影するように、前記投影デバイスまたは前記生成部へ指示する、とよい。

好適には、前記車室の空間に投影されている前記映像に対する前記乗員の操作を、前記映像に対する前記乗員の操作部位の位置または動きに基づいて判定する操作判定部、を有し、前記設定部は、前記映像を投影する位置を、前記乗員に近い位置と前記乗員から遠い位置との間で変更した場合、前記操作判定部により判定される操作を変更する、とよい。

好適には、前記設定部は、前記映像を投影する位置が、前記乗員に近い位置にある場合において前記操作判定部により判定される操作の種類の数は、前記乗員から遠い位置にある場合より多い、とよい。

好適には、前記操作に対する応答として、投影されている前記映像に対して操作をする前記乗員の操作部位に対して、超音波場による触覚刺激を出力する刺激応答出力部、を有し、前記設定部は、前記映像を投影する位置が、前記乗員に近い位置にある場合には、前記乗員から遠い位置にある場合より、触覚刺激を強くする、とよい。
本発明の他の一形態に係る車両の非接触操作装置は、車両の車室に設けられるシートに運転姿勢またはリクライニング状態で着座する乗員により操作可能な映像を投影する投影デバイスと、前記投影デバイスにより投影される前記映像を生成および更新する生成部と、前記乗員の操作部位を検出する検出デバイスと、前記映像に対する前記乗員の操作を、前記映像に対する前記乗員の操作部位の位置または動きに基づいて判定する操作判定部と、前記投影デバイスが前記映像を投影する位置を、前記投影デバイスまたは前記生成部へ設定する設定部と、を有し、前記設定部は、前記シートのリクライニング情報に基づいて、前記乗員が前記シートに対して運転姿勢で着座しているか、またはリクライニング状態で着座しているか、を判断し、前記乗員が前記運転姿勢で着座していると判断した場合には、前記投影デバイスが前記映像を投影する前記位置を、前記運転姿勢で着座する前記乗員の前側となる第１位置に設定し、前記乗員が前記リクライニング状態で着座していると判断した場合には、前記検出デバイスにより、前記乗員の前記操作部位による特定動作が検出されたか否かを判定し、前記特定動作が検出されていないと判定した場合には、前記投影デバイスが前記映像を投影する前記位置を、前記第１位置よりも後方の第２位置に設定し、前記特定動作が検出されたと判定した場合には、前記投影デバイスが前記映像を投影する前記位置を、前記特定動作に対応する第３位置に設定する。
好適には、前記設定部は、前記投影デバイスが前記映像を投影する前記位置を、前記第１位置と、前記第２位置または前記第３位置との間で変更した場合、前記操作判定部により判定される操作を変更する、とよい。

本発明の一形態に係る車両は、上述したいずれかに記載の非接触操作装置と、前記非接触操作装置とネットワークを通じて接続され、車両を制御する複数の被制御装置と、を有し、複数の前記被制御装置の各々は、前記非接触操作装置が前記車両の車室に投影する映像に対する乗員の操作に基づいて生成する入力情報を、前記ネットワークを通じて前記非接触操作装置から取得する。

本発明では、車両に乗っている乗員の乗車状態を検出デバイスにより検出し、検出デバイスにより検出される乗員が操作可能な位置に映像を投影するように投影デバイスまたは生成部へ指示する。これにより、映像は、乗員の乗車状態に応じて、乗員が操作可能な位置に可変的に投影され得る。たとえば、設定部は、検出デバイスにより検出される乗員乗車状態に基づいて、乗員が車室に設けられるシートに対して運転姿勢で着座している状態にあるか否かを判断し、乗員が運転姿勢で着座している場合、運転姿勢で乗員が操作可能な標準投影位置への映像投影を、投影デバイスまたは生成部へ指示し、乗員が運転姿勢で着座していない場合、映像を投影する位置を、運転姿勢での標準投影位置から変更して、検出デバイスにより検出される乗員が操作可能な位置へ映像を投影するように、投影デバイスまたは生成部へ指示する。
これにより、車室に乗っている乗員は、運転が可能でない姿勢で着座している場合でも、その状態で操作可能な位置に映像が投影され、投影される映像に対する操作をすることができる。

図１は、本発明の実施形態に係る自動車の模式的な説明図である。 図２は、図１の自動車の制御系の模式的な説明図である。 図３は、図１の自動車に設けられる非接触操作装置の構成図である。 図４は、図３の非接触操作装置の主要構成要素の車室での配置の一例を説明する図である。 図５は、図３の非接触操作装置による非接触投影操作処理の流れを示すフローチャートである。 図６は、図５の裏で動作する、装置設定部による投影位置変更処理の流れを示すフローチャートである。 図７は、図６の投影位置変更処理による投影位置の変更状態の一例の説明図である。 図８は、図７の投影位置に応じた操作および刺激の切替内容を示す操作判定テーブルの一例の説明図である。

以下、本発明の実施形態を、図面に基づいて説明する。

図１は、本発明の実施形態に係る自動車１の模式的な説明図である。
図１（Ａ）は上面図、図１（Ｂ）は側面図、図１（Ｃ）は側面図、である。
図１の自動車１は、車両の一例である。自動車１は、乗員が乗車する車室３が設けられる車体２を有する。車室３には、乗員が着座するシート４が設けられる。車室３の前部には、乗員が自動車１の走行を操作するために、ハンドル５、シフトレバー６、ブレーキペダル７、アクセルペダル８、が設けられる。乗員は、図１（Ｂ）に示すように、シート４に運転姿勢で着座することにより、これらハンドル５などの操作部材へ手を伸ばして操作することができる。
なお、図１（Ｃ）のように乗員がシート４を倒してくつろげるリクライニング状態で自動車１に乗車している場合、乗員は、シート４から上体を起こさなければ、ハンドル５などの操作部材まで手を伸ばして操作することができない。

図２は、図１の自動車１の制御系１０の模式的な説明図である。図２には、制御系１０を構成する複数の制御装置が、それぞれに組み込まれる制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により代表して示されている。
具体的には、図２には、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３、自動運転／運転支援ＥＣＵ１４、運転操作ＥＣＵ１５、検出ＥＣＵ１６、空調ＥＣＵ１７、乗員監視ＥＣＵ１８、外通信ＥＣＵ１９、非接触操作装置４０の操作ＥＣＵ２０、システムＥＣＵ２１、が図示されている。これら複数の制御ＥＣＵは、自動車１で採用されるたとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）といった車ネットワーク２６により、中継装置としてのセントラルゲートウェイ（ＣＧＷ）２７に接続される。
そして、各制御モジュールにおいて、制御ＥＣＵは、自動車１で用いる電子機器に接続される。起動された制御ＥＣＵは、各種の処理を実行し、車ネットワーク２６から取得する情報（データ）に基づいてそれぞれに接続されている電子機器の動作を制御する。また、制御ＥＣＵは、それぞれに接続されている電子機器の動作状態などの情報（データ）を車ネットワーク２６へ出力する。

運転操作ＥＣＵ１５には、乗員が自動車１の走行を制御するために操作するハンドル５、ブレーキペダル７、アクセルペダル８、シフトレバー６などの操作検出センサが接続される。運転操作ＥＣＵ１５は、操作量に応じた制御情報を、車ネットワーク２６へ出力する。駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３は、車ネットワーク２６から情報を取得し、自動車１の走行を制御する。

操作ＥＣＵ２０は、車ネットワーク２６を通じて運転操作ＥＣＵ１５から情報を取得して、図示外の表示デバイスに表示する。操作ＥＣＵ２０には、表示デバイスとともに、乗員が操作する図示外の操作デバイスが接続される。操作ＥＣＵ２０は、たとえば表示デバイスおよび操作デバイスとともに、操作装置を構成する。操作装置は、後述する非接触操作装置４０に組み込まれてよい。操作ＥＣＵ２０は、車ネットワーク２６を通じて運転操作ＥＣＵ１５から取得した情報に対して操作デバイスが操作された場合、操作デバイスの入力情報を、車ネットワーク２６を通じて運転操作ＥＣＵ１５へ出力する。運転操作ＥＣＵ１５は、車ネットワーク２６を通じて入力情報を取得して、入力情報に基づく制御を実行する。

検出ＥＣＵ１６には、自動車１の速度センサ３１、衝突などによる自動車１の加速度を検出可能な加速度センサ３２、外カメラ３３、などが接続される。検出ＥＣＵ１６には、自動車１の速度センサ３１および加速度センサ３２の値、外カメラ３３の画像などを、車ネットワーク２６へ出力する。検出ＥＣＵ１６は、外カメラ３３の画像に基づいて衝突を予測し、予測結果を車ネットワーク２６へ出力してよい。セントラルゲートウェイ２７は、情報を中継する。
自動運転／運転支援ＥＣＵ１４は、たとえば自動車１の目的地まで自動車１の走行を制御する。自動運転／運転支援ＥＣＵ１４は、車ネットワーク２６を通じて検出ＥＣＵ１６から情報を取得し、安全な走行のための制御情報を、車ネットワーク２６へ出力する。駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３は、車ネットワーク２６から情報を取得し、自動車１の走行を制御する。

操作ＥＣＵ２０は、車ネットワーク２６を通じて検出ＥＣＵ１６および自動運転／運転支援ＥＣＵ１４から情報を取得して、表示デバイスに表示する。操作ＥＣＵ２０は、車ネットワーク２６を通じて検出ＥＣＵ１６および自動運転／運転支援ＥＣＵ１４から取得した情報に対して操作デバイスが操作された場合、操作デバイスの入力情報を、車ネットワーク２６へ出力する。検出ＥＣＵ１６および自動運転／運転支援ＥＣＵ１４は、車ネットワーク２６を通じて入力情報を取得して、入力情報に基づく制御を実行する。

乗員監視ＥＣＵ１８には、内カメラ３４、が接続される。乗員監視ＥＣＵ１８は、内カメラ３４の画像に基づいて、自動車１に乗っている乗員を識別し、また、乗員の乗車状態を監視する。乗員監視ＥＣＵ１８は、これらの情報を車ネットワーク２６へ出力する。操作ＥＣＵ２０は、車ネットワーク２６を通じて乗員監視ＥＣＵ１８の情報を取得して、表示デバイスに表示する。操作ＥＣＵ２０は、車ネットワーク２６を通じて取得した情報に対して操作デバイスが操作された場合、操作デバイスの入力情報を、車ネットワーク２６へ出力する。乗員監視ＥＣＵ１８は、車ネットワーク２６を通じて入力情報を取得して、入力情報に基づく制御を実行する。

空調ＥＣＵ１７は、車室３の温度、湿度などの環境を制御する。空調ＥＣＵ１７は、検出した温度、日射量、湿度などの情報を車ネットワーク２６へ出力する。操作ＥＣＵ２０は、車ネットワーク２６を通じて空調ＥＣＵ１７の情報を取得して、表示デバイスに表示する。操作ＥＣＵ２０は、車ネットワーク２６を通じて取得した情報に対して操作デバイスが操作された場合、操作デバイスの入力情報を、車ネットワーク２６へ出力する。空調ＥＣＵ１７は、車ネットワーク２６を通じて入力情報を取得して、入力情報に基づく制御を実行する。

外通信ＥＣＵ１９は、たとえば、自動車１の外に存在する通信基地局８１、他の自動車８２の通信装置と無線通信する。通信基地局８１、および他の自動車８２の通信装置は、サーバ装置８３とともに、交通システム８０を構成する。外通信ＥＣＵ１９は、交通システム８０の情報を、通信基地局８１または他の自動車８２の通信装置から受信し、車ネットワーク２６へ出力する。操作ＥＣＵ２０は、車ネットワーク２６を通じて外通信ＥＣＵ１９の情報を取得して、表示デバイスに表示する。操作ＥＣＵ２０は、車ネットワーク２６を通じて取得した情報に対して操作デバイスが操作された場合、操作デバイスの入力情報を、車ネットワーク２６へ出力する。外通信ＥＣＵ１９は、車ネットワーク２６を通じて入力情報を取得して、入力情報を、通信基地局８１、他の自動車８２の通信装置へ無線送信する。送信された情報は、交通システム８０において、たとえばサーバ装置８３や他の自動車８２において利用される。これにより、自動車１のたとえば操作ＥＣＵ２０は、外通信ＥＣＵ１９を通じて、交通システム８０のサーバ装置８３や他の自動車８２との間で、情報（データ）を送受することができる。

また、図２に示す制御系１０は、自動車１に設けられるバッテリ９１から各部へ電力が供給されることにより動作し得る。バッテリ９１から各部への電力供給線は、たとえば車ネットワーク２６の通信ケーブルとともに自動車１に張り巡らされる。制御系１０は、バッテリ９１のほかにも、発電機、受電機から電力が供給されてもよい。

このように操作ＥＣＵ２０は、自動車１の車ネットワーク２６により、他の制御装置の制御ＥＣＵと接続され、他の制御装置の制御ＥＣＵとの間で情報（データ）を送受することができる。また、図２において、操作ＥＣＵ２０以外の制御ＥＣＵは、自動車１を制御する複数の被制御装置の制御ＥＣＵである。

ところで、自動車１には、各種の操作部材が設けられる。たとえば、自動車１には、自動車１の走行を制御するためのスタートスイッチ、ハンドル５、シフトレバー６、ペダルなどがある。また、自動車１には、空調装置、ナビゲーション装置、オーディオ装置、映像受信装置、ハンズフリー通話装置、その他の設備機器の操作部材が設けられ得る。このように、自動車１には、多数の操作部材が設けられる。これら多数の操作部材は、車室３の内面に対してレイアウトされるものであるが、近年においては車室３のレイアウト面が不足する傾向にある。今後さらに、たとえばゲーム装置、ネットワーク通信装置、エンターテイメント装置などが追加されることを考えた場合、それらの装置の操作部材を増設できなくなる可能性もある。
特に、自動車１では、自動運転技術の開発が進められており、実際にその開発が進展して乗員が直接に自動車１の走行を制御しなくても自動車１が自律的に走行できるようになるとすると、図１（Ｃ）に示すように、乗員は、たとえばシート４を倒した状態で乗車する可能性がある。この場合、乗員は、何かの操作をしようとする場合には、操作のために体を起こして、車室３の内面に対してレイアウトされている操作部材まで腕を伸ばして操作をする必要がある。
このため、自動車１では、自動車１の車室３へ投影された映像を操作するような新たな操作装置の開発が求められている。このような操作装置として、たとえば非接触操作装置４０が考えられる。非接触操作装置４０は、シート４に着座する乗員の前に映像を投影する。非接触操作装置４０は、投影した映像に対応する操作に応じて、入力情報を生成し、車ネットワーク２６へ出力し得る。また、非接触操作装置４０では、投影した映像に対応する操作に応じて、超音波場による触覚刺激を乗員の操作部位へ出力してもよい。このような触覚刺激による応答が得られることにより、乗員は、車室３の空間に投影された映像への非接触の操作をしているにもかかわらず、実体のある物に対して操作している場合と同様に、操作の実感を得ることができる。

しかしながら、乗員は、必ずしも図１（Ｂ）のように自動車１に設けられるハンドル５などの走行のための操作部材を操作可能な運転姿勢でシート４に着座しているとは限らない。
乗員は、たとえば図１（Ｃ）のように、シート４を倒してくつろげるリクライニング状態で自動車１に乗車している可能性もある。
この場合、図１（Ｂ）の運転姿勢を基準として乗員の前に乗員の手が届く標準投影位置に映像を投影していたとしても、乗員は手を伸ばして映像に届くことができない。シート４を倒してリラックスしている乗員は、シート４から上体を起こさなければ、車室３に投影される映像へ手を伸ばして届くことができない。
このように、自動車１では、操作装置を改善することが求められている。

図３は、図１の自動車１に設けられる非接触操作装置４０の構成図である。
図３の非接触操作装置４０は、車内通信部４１、タイマ４２、３Ｄ映像投影デバイス４３、操作検出デバイス４４、刺激出力デバイス４５、音出力デバイス４６、メモリ４７、およびこれらが接続される操作ＥＣＵ２０、を有する。

メモリ４７は、たとえば不揮発性メモリである。メモリ４７は、非接触操作用のプログラム、およびデータを記録する。プログラムには、ＡＩにより処理を実行するものであってもよい。プログラムには、ＡＩ処理のための学習プログラムが含まれてよい。データには、非接触操作の際に投影する映像の三次元モデルデータなどが含まれる。三次元モデルデータは、非接触操作のための映像データであり、たとえばモデルの表面を構成する複数のポリゴンデータを有する。

操作ＥＣＵ２０は、たとえば中央処理装置、ＡＳＩＣ、ＤＳＰなどのマイクロコンピュータでよい。操作ＥＣＵ２０は、メモリ４７から非接触操作用のプログラムを読み込んで実行する。これにより、操作ＥＣＵ２０には、非接触操作装置４０の制御部が実現される。非接触操作装置４０の制御部は、非接触操作装置４０の全体の動作を制御し、非接触操作装置４０に非接触操作のための各種の機能を実現する。たとえば、操作ＥＣＵ２０には、非接触操作のための各種の機能として、映像生成部５１、操作判定部５２、刺激応答出力部５３、音応答出力部５４、装置設定部５５、が実現される。

車内通信部４１は、車ネットワーク２６に接続される。車内通信部４１は、車ネットワーク２６を通じて、たとえば図中に例示するように空調ＥＣＵ１７、自動運転／運転支援ＥＣＵ１４、外通信ＥＣＵ１９、などの他の制御ＥＣＵとの間で情報（データ）を送受する。たとえば、車内通信部４１は、空調ＥＣＵ１７から空調操作映像の表示指示を取得し、操作ＥＣＵ２０へ出力する。車内通信部４１は、自動運転／運転支援ＥＣＵ１４から、自動運転／運転支援のための設定操作映像の表示指示を取得し、操作ＥＣＵ２０へ出力する。車内通信部４１は、外通信ＥＣＵ１９から三次元モデルデータなどのコンテンツデータを取得し、操作ＥＣＵ２０へ出力する。

タイマ４２は、経過時間または時刻を計測する。

映像生成部５１は、３Ｄ映像投影デバイス４３により投影される映像を生成および更新する。映像生成部５１は、表示指示に基づいて、投影する映像のデータを生成するために、メモリ４７または車内通信部４１から三次元モデルデータを取得する。映像生成部５１は、取得した三次元モデルデータから、三次元モデルを生成する。映像生成部５１は、乗員から見た車室３での三次元モデルの投影位置および向きを決定し、三次元モデル（立体モデル）から投影用の映像データを生成する。映像生成部５１は、投影用の映像データを３Ｄ映像投影デバイス４３へ出力する。映像生成部５１は、二次元モデルデータから、二次元モデル（平面モデル）を生成して、投影用の映像データを生成してもよい。なお、映像生成部５１は、表示指示がない場合でも、メモリ４７または車内通信部４１から動画や静止画といったコンテンツデータを取得し、そのコンテンツの三次元映像（立体映像）または二次元映像（平面映像）の映像データを生成し、３Ｄ映像投影デバイス４３へ出力してもよい。

３Ｄ映像投影デバイス４３は、自動車１の車室３へ乗員により操作可能な映像を投影する。３Ｄ映像投影デバイス４３は、たとえばディスプレイデバイス、プロジェクタ、でよい。３Ｄ映像投影デバイス４３は、たとえばホログラム方式、ミラー方式により、車室３についての中空の空間に映像を投影してよい。３Ｄ映像投影デバイス４３は、乗員が着座するシート４の前に、たとえばダッシュボード、リアミラー、車室３の天井に配置されてよい。自動車１の車室３による空間へ３Ｄ（三次元）の映像または２Ｄ（二次元）の映像を、車室３の空間へ投影する。これにより、車室３の投影位置には、乗員が三次元モデルを視認できるように、立体的な映像が投影される。

操作検出デバイス４４は、乗員の所定の操作部位を検出する。操作検出デバイス４４は、自動車１に乗っている乗員の乗車状態または着座状態を検出してよい。操作検出デバイス４４は、車室３による空間に投影されている映像に対して非接触の操作をする乗員の操作部位を検出してよい。非接触の操作には、たとえば、映像に対する手元操作、映像を移動させる移動操作がある。操作検出デバイス４４は、乗員が着座するシート４の前に、たとえばダッシュボード、リアミラー、車室３の天井に配置されてよい。ダッシュボードやリアミラーに乗員監視装置の内カメラ３４が配置されている場合、操作検出デバイス４４は、内カメラ３４と兼用されてよい。操作検出デバイス４４は、たとえば２つの撮像素子が並べて配列されたステレオカメラ６３でよい。この場合、操作検出デバイス４４は、２つの撮像素子の画像により、車室３の中空に投影される映像に対する乗員による操作を検出する。

操作判定部５２は、操作検出デバイス４４からたとえばステレオカメラ６３の画像といった検出情報を取得し、それに基づいて車室３の空間に投影されている映像に対する乗員の非接触の操作を判定する。操作判定部５２は、車室３による空間に投影されている映像に対する乗員の操作として、操作部位の位置や動きを判定する。動きには、移動の方向、速度、加速度などの操作部位の運動の情報が含まれる。操作判定部５２は、たとえばＡＩ処理により画像から乗員の指先の特徴を含む画素位置を取得し、ステレオカメラ６３の画像についての三角測量法により指先の位置情報を生成する。操作判定部５２は、時間をずらした撮像結果から、指先の動き、たとえば移動方向、移動速度、移動の加速度などの情報を生成する。操作判定部５２は、映像の投影位置を基準として乗員の操作部位の位置や動きを判定して、車室３による空間に投影されている映像に対する乗員の操作を判定する。操作判定部５２は、投影される映像への乗員の操作部位の接触の有無、接触までの残距離、接触する深さなどを判定する。操作判定部５２は、判定したこれらの操作情報を、操作ＥＣＵ２０の各部へ出力する。操作判定部５２は、操作情報を、たとえば映像生成部５１、刺激応答出力部５３、音応答出力部５４、装置設定部５５、へ出力する。映像生成部５１は、乗員の操作に応じて投影用の映像データを更新して３Ｄ映像投影デバイス４３へ出力する。これにより、３Ｄ映像投影デバイス４３により車室３に投影される映像は、操作に応答して更新される。

また、操作判定部５２は、操作情報に基づいて、車室３の空間に投影されている映像に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を、車内通信部４１を通じて自動車１の各部へ出力する。操作判定部５２は、たとえば空調温度の設定を変更する操作ボタンを投影している状態で、その操作ボタンが操作された場合、操作ボタンに対応する入力情報を生成し、車内通信部４１へ出力する。車内通信部４１は、入力情報を、車ネットワーク２６を通じて被制御装置としての空調ＥＣＵ１７へ出力する。空調ＥＣＵ１７は、入力情報に基づいて、空調の目標温度を変更し、車室３の温度が目標温度となるように空調制御を実行する。

刺激出力デバイス４５は、たとえば電気信号により、映像に対して操作をする乗員の操作部位に対して、触覚刺激を出力可能なものであればよい。非接触に触感を与えるデバイスとしては、たとえば超音波の場を生成して、乗員の操作部位へ超音波の場または場の変動を与えることにより、操作部位の皮膚に触感を与えるものがある。刺激出力デバイス４５は、たとえば複数の超音波素子６５が平面状に配列される素子アレイでよい。刺激出力デバイス４５は、車室３に乗っている乗員の操作部位に向けて、たとえば手の下側に離れた位置に設けられればよい。複数の超音波素子６５から選択的に超音波を出力することにより、乗員の手のたとえば指先といった局所的な部位には、皮膚が物体に触れているかのような触感が生じ得る。

刺激応答出力部５３は、投影されている映像に対して操作をする乗員の操作部位に対して、刺激出力デバイス４５から超音波場による触覚刺激を出力する。刺激応答出力部５３は、乗員の操作に対する応答として、触覚刺激を出力する。刺激応答出力部５３は、刺激出力デバイス４５へ電気信号を出力し、操作に応じた超音波を複数の超音波素子６５から選択的に出力する。これにより、刺激応答出力部５３は、車室３に超音波場を生成することができる。刺激応答出力部５３は、操作判定部５２により映像と接触していると判断される乗員の操作部位へ局所的に超音波の場または場の変動を与える。人は、超音波場にたとえば手を入れると、手の表面の皮膚により超音波場を感じ取ることができる。これにより、刺激応答出力部５３は、車室３による空間に投影されている映像に対して非接触の操作をする乗員の操作部位に対して、超音波場による触感の刺激を操作に対する応答として出力することができる。刺激応答出力部５３は、乗員の操作部位についての、たとえば映像と仮想的に接触している面に、超音波の場または場の変動を局所的に与える。
この他にもたとえば、刺激応答出力部５３は、複数の圧力出力素子が配列される素子アレイを有してもよい。この場合、刺激応答出力部５３は、複数の圧力出力素子の動作を個別に制御することにより、人の皮膚に対して圧力を作用させることができる。これにより、乗員は、操作に応じた感触を得ることができる。

音出力デバイス４６は、たとえば音信号により駆動されるスピーカでよい。音出力デバイス４６は、車室３に配置されていればよい。

音応答出力部５４は、音出力デバイス４６へ音信号を出力し、操作に応じた音を音出力デバイス４６から出力する。音応答出力部５４は、メモリ４７に記録されている音声データを選択して取得し、音声データから生成した音信号を音出力デバイス４６としてのスピーカへ出力する。これにより、乗員は、操作に応じた音を聞くことができる。

装置設定部５５は、非接触操作装置４０に設定を行う。装置設定部５５は、たとえば映像生成部５１、操作判定部５２、刺激応答出力部５３、音応答出力部５４へ、設定値を出力したり、設定を指示したりする。
装置設定部５５は、操作検出デバイス４４により検出される乗員の乗車状態または着座状態に基づいて、映像の投影位置を判定する。装置設定部５５は、刺激応答出力部５３が乗員に対して刺激を出力することができる操作エリアの範囲内で、映像の投影位置を判定する。装置設定部５５は、投影位置への映像の投影を映像生成部５１または３Ｄ映像投影デバイス４３へ指示する。装置設定部５５は、投影位置の周囲について操作を検出するように、操作判定部５２または操作検出デバイス４４へ指示してよい。装置設定部５５は、投影位置の周囲について触覚刺激を出力するように、刺激応答出力部５３または刺激出力デバイス４５へ指示してよい。これにより、たとえば映像生成部５１は、操作判定部５２により乗員の操作を判定可能な位置へ、映像を投影することができる。

図４は、図３の非接触操作装置４０の主要構成要素の車室３での配置の一例を説明する図である。
図４には、図３の３Ｄ映像投影デバイス４３、操作検出デバイス４４、および、刺激出力デバイス４５の具体的な組み合わせ例が模式的に示されている。
具体的には、３Ｄ映像投影デバイス４３として、表示スクリーン６１、ハーフミラー６２が図示されている。操作検出デバイス４４として、ステレオカメラ６３が図示されている。刺激出力デバイス４５として、素子アレイが図示されている。これらの非接触操作装置４０の部材は、自動車１の車室３に設けられる。
また、図４には、運転姿勢の乗員と、シート４を倒したリクライニング状態の乗員と、が併せて示されている。

刺激出力デバイス４５は、中空の四角枠体６４を有する。四角枠体６４の４つの面のそれぞれには、複数の超音波素子６５が配列された素子アレイが設けられる。四角枠体６４の上下左右の面の素子アレイを動作させることにより、図示するように四角枠体６４の内へ入れた指先には、超音波場を局所的に作用し得る。これにより、人は指先が触られている触感を得ることができる。

ハーフミラー６２は、刺激出力デバイス４５の中空の四角枠体６４の前に設けられる。ハーフミラー６２は、乗員と対向するように設けられる。ハーフミラー６２の下側には、三次元映像（立体映像）または二次元映像（平面映像）を表示するための表示スクリーン６１が配置される。これにより、刺激出力デバイス４５についての中空の四角枠体６４の内側に、三次元映像（立体映像）または二次元映像（平面映像）が視認可能に投影される。乗員は、刺激出力デバイス４５についての中空の四角枠体６４の内側において、車室３の中空に投影された映像を視認できる。乗員は、図中に円で示す三次元映像としての球体を、中空の四角枠体６４の内側に浮かんでいるように視認することができる。

ステレオカメラ６３は、たとえばハーフミラー６２についての、刺激出力デバイス４５の反対側に設けてよい。ステレオカメラ６３の２つの撮像素子は、四角枠体６４の内側にいる乗員の指などを撮像し得る。これにより、ステレオカメラ６３は、刺激出力デバイス４５の中空の四角枠体６４に入る指などを撮像することができる。以下、必要に応じて、図４を基準として、四角枠体６４の軸心に沿った方向をＺ方向とよび、それに垂直な方向をＹ方向およびＸ方向とよぶ。ここで、Ｚ方向は、自動車１の前後方向に沿った方向となる。

なお、図３の非接触操作装置４０の構成要素は、図４に示すように密集して配置される必要はない。

たとえば、刺激出力デバイス４５の中空の四角枠体６４は、乗員の前に配置された場合、乗員がハンドル５などを操作する際に操作の邪魔となる可能性がある。中空の四角枠体６４は、図１に示すように、車体２の外周面に沿って四角枠状に設けられてよい。この場合、乗員が着座するシート４の前には、四角枠体６４などの構造物が設けられなくなる。この場合であっても、３Ｄ映像投影デバイス４３は、たとえば図中に点線円で示す球体映像で示すように、車室３に設けられる中空の四角枠体６４の内側の空間に映像を投影することができる。乗員は、四角枠体６４の内側の操作エリアにおいて操作をすることにより、映像に対して非接触の操作をすることができる。また、中空の四角枠体６４は、必ずしも正四角形の枠形状でなくてもよい。素子アレイは、単に車体２の外周に沿って配置されてもよい。素子アレイは、車室３の内面に全体的に配置されてもよい。

ハーフミラー６２は、基本的に、刺激出力デバイス４５の中空の四角枠体６４を間にして、乗員と対向するように設ければよい。また、映像を四角枠体６４の内側の中空に投影するためだけであれば、ハーフミラー６２の替わりに、フル反射ミラーを用いてもよい。また、刺激出力デバイス４５の中空の四角枠体６４を間にして、乗員と対向する位置に表示スクリーン６１そのものを配置してもよい。この場合、ハーフミラー６２またはフル反射ミラーは不要である。このようなハーフミラー６２またはフル反射ミラーおよび表示スクリーン６１は、たとえばダッシュボード、ルームミラー、ルーフに配置してよい。また、乗員監視装置と一体化して設けてもよい。

ステレオカメラ６３などの検出デバイスは、たとえばダッシュボード、ルームミラー、バックミラーに配置してよい。また、検出デバイスは、ＤＭＳなどの乗員監視装置の撮像素子と兼用してもよい。ステレオカメラ６３などの検出デバイスは、乗員についての指先などの操作部位を撮像できるものであればよい。また、検出デバイスは、画像によらず、たとえば車室３をレーザースキャンして、レーザにより乗員の指先などを検出してもよい。

図５は、図３の非接触操作装置４０による非接触投影操作処理の流れを示すフローチャートである。

ステップＳＴ１において、操作ＥＣＵ２０は、映像を投影した非接触操作を開始するか否かを判断する。操作ＥＣＵ２０は、たとえば表示指示がある場合、または表示するコンテンツがある場合、非接触操作を開始と判断し、処理をステップＳＴ２へ進める。それ以外の場合、操作ＥＣＵ２０は、非接触操作を開始しないと判断し、図５の処理を終了する。

ステップＳＴ２において、操作ＥＣＵ２０は、映像生成部５１として、最初の３Ｄ映像を生成して表示する。操作ＥＣＵ２０は、メモリ４７または車内通信部４１から取得する三次元モデルデータから三次元モデルを生成し、さらに投影用の映像データを生成する。操作ＥＣＵ２０は、三次元モデルについてあらかじめ設定された映像の最初の投影位置および表示向きの設定に基づいて、三次元モデルから投影用の映像データを生成する。操作ＥＣＵ２０は、生成した三次元モデルをメモリ４７に一時的に記録してもよい。この場合、操作ＥＣＵ２０は、映像を更新するための次回の生成処理ではメモリ４７から三次元モデルを読み込んで、投影用の映像データを生成することができる。操作ＥＣＵ２０は、生成した投影用の映像データを３Ｄ映像投影デバイス４３へ出力する。３Ｄ映像投影デバイス４３は、投影用の映像データによる映像を、車室３の空間に投影する。これにより、たとえば最初の投影位置が、運転姿勢の乗員の前へ投影する標準投影位置である場合、図４に示すように乗員の前の標準投影位置に、三次元モデルが所定の表示向きにより表示される。所定の表示向きは、たとえば三次元モデルに向きがある場合にはその正面とすればよい。運転姿勢の乗員は、そのまま手を伸ばすことにより、映像まで手を伸ばすことができる。

ステップＳＴ３において、操作ＥＣＵ２０は、操作判定部５２として、映像に対する乗員の操作を検出しているか否かを判断する。操作ＥＣＵ２０は、操作検出デバイス４４からたとえばステレオカメラ６３の画像といった検出情報を取得し、乗員のたとえば指先といった所定の部位を抽出し、所定の操作部位についてのたとえば車室３での位置の変化や動きの有無に基づいて、映像に対する乗員の操作を検出する。この時点での操作検出では、操作ＥＣＵ２０は、乗員の操作部位が映像を操作していなくても、映像に対する乗員の操作を検出したと判断してよい。映像に対する乗員の操作を検出しない場合、操作ＥＣＵ２０は、本ステップの判断処理を繰り返す。映像に対する乗員の操作を検出した場合、操作ＥＣＵ２０は、処理をステップＳＴ４へ進める。

ステップＳＴ４において、操作ＥＣＵ２０は、操作判定部５２として、映像に対する乗員の操作を判定する。操作ＥＣＵ２０は、映像の表面の投影位置を基準として、乗員の操作部位が映像に接触している状態にあるか否かを判定し、操作部位が映像を操作している状態にある場合にはさらに操作部位の接触形状、位置および動き（方向、速度）を判定する。接触形状は、たとえば接触している指の本数、手の位置などでよい。さらに、操作ＥＣＵ２０は、映像の表面の投影位置を基準として、操作部位が映像に接触するまでの残距離、操作部位が映像に対して接触している深さ、などを判定してもよい。
また、操作ＥＣＵ２０は、操作情報に基づいて、車室３の空間に投影されている映像のたとえばボタンといった所定の映像部分に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を生成する。

ステップＳＴ５において、操作ＥＣＵ２０は、操作判定部５２として、判定した乗員の操作についての操作情報および操作による入力情報を、装置の内外へ出力する。操作ＥＣＵ２０は、操作情報を、映像生成部５１、刺激応答出力部５３、音応答出力部５４、へ出力する。操作ＥＣＵ２０は、入力情報を、車内通信部４１を通じて自動車１の各部に設けられる複数の被制御装置の制御ＥＣＵへ出力する。

ステップＳＴ６において、操作ＥＣＵ２０は、操作情報に基づいて、操作に対する応答を触覚および音により出力する。
操作ＥＣＵ２０は、刺激応答出力部５３として、操作情報に基づいて、映像に接触している状態にある乗員の操作部位の位置を特定し、その位置へ向けて超音波を出力するように、超音波を出力する複数の超音波素子６５を選択し、刺激出力デバイス４５へ電気信号を出力する。刺激出力デバイス４５は、選択された複数の超音波素子６５から超音波を出力する。乗員は、超音波による応答により、映像を操作している触感を得ることができる。
操作ＥＣＵ２０は、音応答出力部５４として、操作情報に基づいて特定される映像に接触している状態にある乗員の操作部位の動き、および映像の接触箇所に応じて、メモリ４７から音声データを選択し、音信号を音出力デバイス４６へ出力する。音出力デバイス４６は、音信号に基づく音を車室３へ出力する。これにより、乗員は、操作の応答音として、乗員の操作部位の動きおよび映像の接触箇所に応じて異なる音を聞くことができる。

ステップＳＴ７において、操作ＥＣＵ２０は、映像生成部５１として、操作情報に基づいて、操作に対する応答のために、投影する３Ｄ映像を更新する。操作ＥＣＵ２０は、メモリ４７に記録してある三次元モデルを読み込んで、投影用の映像データを更新し、３Ｄ映像投影デバイス４３へ出力する。３Ｄ映像投影デバイス４３は、更新された映像を、車室３へ投影する。これにより、乗員は、映像の変化により、映像に対して操作をしていることを視覚的に認識することができる。操作ＥＣＵ２０は、操作検出デバイス４４により検出される同じ乗員の操作部位の操作情報に応じて、映像と刺激の出力とを同期するように更新する。

ステップＳＴ８において、操作ＥＣＵ２０は、非接触操作を終了するか否かを判断する。操作ＥＣＵ２０は、たとえば操作に基づく入力情報を出力し終えている場合、新たな表示指示がない場合、または、表示しているコンテンツが終了する場合、非接触操作を終了と判断し、図５の処理を終了する。それ以外の場合、操作ＥＣＵ２０は、処理をステップＳＴ３へ戻す。操作ＥＣＵ２０は、ステップＳＴ８において非接触操作を終了と判断するまで、ステップＳＴ３からステップＳＴ８の処理を繰り返す。この繰返処理の間、操作ＥＣＵ２０は、映像に対する乗員の操作に応じて、乗員の操作部位に対する刺激の応答、音の応答、映像の更新による応答の処理を繰り返す。すなわち、操作ＥＣＵ２０は、操作に応じて映像を更新する際に、超音波場による刺激の出力を、更新される映像に対応させて変更することになる。超音波場による刺激は、映像の更新に追従するように同期的に制御し得る。

図６は、図５の裏で動作する、装置設定部５５による投影位置変更処理の流れを示すフローチャートである。

ステップＳＴ１１において、装置設定部５５としての操作ＥＣＵ２０は、非接触操作装置４０の各部に初期設定として、標準設定を行う。
標準設定とは、操作ＥＣＵ２０は、乗員が運転姿勢で正しくシート４に着座していることを前提とした設定をいう。
標準設定において、操作ＥＣＵ２０は、標準投影位置への映像の投影を、映像生成部５１へ指示する。
操作ＥＣＵ２０は、標準投影位置への映像に対する乗員の操作の判定を、操作判定部５２へ指示する。
操作ＥＣＵ２０は、標準投影位置への映像に対して操作する乗員の操作部位への触覚刺激の出力準備を、刺激応答出力部５３へ指示する。

ステップＳＴ１２において、操作ＥＣＵ２０は、乗員の乗車状態または着座状態を判断するための情報として、乗員の姿勢を取得する。
操作ＥＣＵ２０は、たとえば操作検出デバイス４４からステレオカメラ６３の画像を取得する。

ステップＳＴ１３において、操作ＥＣＵ２０は、乗員の乗車状態または着座状態を判断するための情報として、さらにシート４の情報を取得する。具体的には、操作ＥＣＵ２０は、シート４のリクライニング情報、シート４の前後位置を取得する。

ステップＳＴ１４において、操作ＥＣＵ２０は、操作検出デバイス４４などから取得した情報に基づいて、乗員の乗車状態または着座状態を判断する。
操作ＥＣＵ２０は、たとえば、乗員が車室３に設けられるシート４に対して運転姿勢で着座しているか否かを判断する。
運転姿勢で着座している場合、操作ＥＣＵ２０は、映像の投影位置の移動処理をすることなく、処理をステップＳＴ２１へ進める。この場合、乗員は、自動車１に設けられるハンドル５などの走行のための操作部材を操作可能な運転姿勢でシート４に着座している。映像生成部５１は、この運転姿勢で乗員が操作可能な標準投影位置への映像投影を続ける。
運転姿勢で着座していない場合、操作ＥＣＵ２０は、処理をステップＳＴＳＴ１５へ進める。
たとえば、乗員が運転姿勢よりも後に下がっている場合、乗員が通常の運転姿勢の着座位置よりも深く座っている場合、操作ＥＣＵ２０は、運転姿勢で着座していないと判断し、処理をステップＳＴＳＴ１５へ進めてよい。

ステップＳＴ１５において、操作ＥＣＵ２０は、乗員の乗車状態または着座状態に応じた、映像の投影位置の移動処理を開始する。
この場合、乗員は、たとえばリラックスできるリクライニング状態にある場合のように運転姿勢で着座していない。操作ＥＣＵ２０は、映像を投影する位置を、標準投影位置から変更して、標準投影位置とは異なる乗員が操作可能な位置へ変更するための、映像の投影位置の移動処理を開始する。

ステップＳＴ１６において、操作ＥＣＵ２０は、移動操作としての乗員の特定動作が検出されているか否かを判断する。操作ＥＣＵ２０は、たとえば操作検出デバイス４４から取得するステレオカメラ６３の画像により、特定動作が検出されているか否かを判断してよい。特定動作としては、たとえば、乗員が両方の掌を上向きに並べる特定動作がある。
特定動作などの乗員による映像への操作が開始されている場合、操作ＥＣＵ２０は、処理をステップＳＴ１８へ進める。
特定動作などの乗員による映像への操作が開始されていない場合、操作ＥＣＵ２０は、処理をステップＳＴ１７へ進める。

ステップＳＴ１７において、操作ＥＣＵ２０は、映像の投影位置として、乗員の操作に応じた位置への移動を指示する。
操作ＥＣＵ２０は、映像に対する乗員の操作に応じて、移動方向や移動量を生成し、その移動を映像生成部５１へ指示する。映像生成部５１は、指示された移動方向へ、指示された移動量で、映像の投影位置を移動させるように、映像を更新する。

ステップＳＴ１８において、操作ＥＣＵ２０は、映像の投影位置として、乗員の特定動作に予め対応付けられている特定位置への移動を、映像生成部５１へ指示する。映像生成部５１は、特定位置に映像を表示するように、映像を更新する。
たとえば乗員の特定動作が、乗員が両方の掌を上向きに並べる特定動作である場合、操作ＥＣＵ２０は、両方の掌の上の特定位置への映像の移動を、映像生成部５１へ指示する。腹部の前で両方の掌が上向きに並べられると、映像は、腹部の前に投影されるようになる。このように、映像は、特定動作に基づいて投影位置が変更可能である。これにより、映像の投影位置は、単に乗員の着座姿勢のみに依存した場所へ移動されるのではなくなる。映像は、特定動作により乗員が意図した任意の場所へ移動して投影され得る。映像の表示内容の選択肢が広がる。たとえば自動車１が揺れている状況であったとしても、乗員は特定動作による簡易な操作により、所望の位置に映像を移動させることができる。自動車１の揺れにより映像の投影位置が、所望の位置からずれてしまい難くなる。乗員による映像の移動操作は、特定動作により容易になる。しかも、両方の掌の上の特定位置に映像を投影することにより、乗員は、手に携帯電話端末などを所持している場合と同様の操作性を得ることができる。
なお、本実施形態では、映像生成部５１および３Ｄ映像投影デバイス４３は、自動車１に１組で設けられていることを前提に説明している。この他にもたとえば、３Ｄ映像投影デバイス４３は、自動車１に複数または複数組で設けられてよい。この場合、操作ＥＣＵ２０は、映像の投影位置に応じて、映像を出力する３Ｄ映像投影デバイス４３を複数のものから選択し、選択した３Ｄ映像投影デバイス４３または対応する映像生成部５１へ、映像の移動を指示すればよい。

ステップＳＴ１９において、操作ＥＣＵ２０は、変更された映像の投影位置に応じた操作判定の設定を、操作判定部５２へ指示する。

ステップＳＴ２０において、操作ＥＣＵ２０は、変更された映像の投影位置に応じた刺激出力の設定を、刺激応答出力部５３へ指示する。

ステップＳＴ２１において、操作ＥＣＵ２０は、投影位置変更処理の終了の有無を判断する。
具体的には、操作ＥＣＵ２０は、映像に対する乗員の手元操作の有無を判断する。
操作ＥＣＵ２０は、たとえば操作検出デバイス４４から取得するステレオカメラ６３の画像により、映像に対する乗員の手元操作の有無を判断してよい。映像に対する手元操作には、たとえば映像を指先で押す操作、映像の表面をなでる操作、がある。
映像に対する乗員の手元操作が検出される場合、操作ＥＣＵ２０は、図６の処理を終了する。これにより、映像の投影位置の変更処理を終了する。映像は、乗員が手元操作を開始した位置に固定して投影され続ける。たとえば映像として電子書籍のページ画像を表示している場合、その後の乗員が指先でページをラフにめくる操作をしたとしても、それにより映像の投影位置が不用意に移動してしまわないようにできる。
なお、操作ＥＣＵ２０は、映像に対する乗員の視線が固定されていることなどを判断して、固定されている場合には、図６の処理を終了してもよい。

次に、移動操作により変更される映像の投影位置と、操作判定および刺激出力の設定との関係の一例について説明する。

図７は、図６の投影位置変更処理による投影位置の変更状態の一例の説明図である。
図７には、乗員の乗車状態（着座状態）として、運転姿勢と、リクライニング状態とが図示されている。
運転姿勢の乗員の場合、その前側となるように、刺激出力デバイス４５の中空の四角枠体６４の前縁付近の位置に、映像が投影される。この位置が、映像の標準投影位置となる。
これに対し、リクライニング状態の乗員の場合、その腰上の辺りとなるように、刺激出力デバイス４５の中空の四角枠体６４の中央付近の位置に、映像が投影される。
乗員は、いずれの乗車状態（着座状態）においても、映像へ腕を伸ばして、手を届けることができる。

そして、標準投影位置の映像は、四角枠体６４についての前後方向の略中央より前側の遠方エリア１０１に投影されることになる。この場合、装置設定部５５としての操作ＥＣＵ２０は、ステップＳＴ１９において、映像についての乗員が操作可能な範囲を、三次元モデルの映像の後半分の、乗員に対向する面に設定するように、操作判定部５２へ指示する。
これに対し、リクライニング状態に対応する映像は、四角枠体６４についての前後方向の略中央より後側の近傍エリア１０２に投影されることになる。この場合、装置設定部５５としての操作ＥＣＵ２０は、ステップＳＴ１９において、映像についての乗員が操作可能な範囲を、三次元モデルの映像の略全体の表面に設定するように、操作判定部５２へ指示する。このように、三次元モデルの映像の略全体の表面を操作可能な範囲とすることにより、図７よりも上となる位置に三次元モデルの映像が投影されている場合でも、乗員は、その三次元モデルの映像に対して下から操作することが可能になる。また、三次元モデルの映像を表示するコンテンツデータの可能性も広げることができる。
このように、乗員の姿勢に応じた位置に映像が投影され、それに応じて操作可能な範囲が変更されることにより、３Ｄ映像に対する操作入力が容易になる。

図８は、図７の投影位置に応じた操作および刺激の切替内容を示す操作判定テーブル４８の一例の説明図である。
なお、図７の情報および図８の操作判定テーブル４８は、メモリ４７に記録されている。装置設定部５５としての操作ＥＣＵ２０は、メモリ４７からこれらの情報および操作判定テーブル４８を読み込んで、ステップＳＴ１９およびＳＴ２０の処理を実行する。

図８の操作判定テーブル４８は、操作種類ごとのレコードを有する。図８の例には、操作種類として、「押す／引く」、「特定動作」、「なでる／めくる」、「回す」、「つかむ／離す」、「つぶす」、などか示されている。この例では、「押す／引く」、および「特定動作」の操作は、映像を移動させるための移動操作に分類される。「なでる／めくる」から「つぶす」までの操作は、映像を変化させるための手元操作に分類される。
そして、映像が遠方エリア１０１に投影される場合、装置設定部５５としての操作ＥＣＵ２０は、図中の「遠方」列に「〇」を付けている操作種類についての判定を、操作判定部５２に指示する。また、操作ＥＣＵ２０は、図中で操作種類に対応する刺激設定として、弱い刺激を出力するように、刺激応答出力部５３へ指示する。
これに対し、映像が近傍エリア１０２に投影される場合、装置設定部５５としての操作ＥＣＵ２０は、図中の「近傍」列に「〇」を付けている操作種類についての判定を、操作判定部５２に指示する。また、操作ＥＣＵ２０は、図中で操作種類に対応する刺激設定として、遠方エリア１０１の場合より強い刺激を出力するように、刺激応答出力部５３へ指示する。

このように、装置設定部５５としての操作ＥＣＵ２０は、映像を投影する位置を、乗員に近い近傍エリア１０２の位置と乗員から遠い遠方エリア１０１の位置との間で変更した場合、操作判定部５２により判定される操作を変更する。
映像を投影する位置が乗員に近い近傍エリア１０２の位置にある場合において操作判定部５２により判定される操作の種類の数は、乗員から遠い遠方エリア１０１の位置にある場合より多い。
これにより、たとえば映像がダッシュボードの上などのように遠方に表示され、その映像についての乗員に対向する面しか視認されない場合には、限られた少数の操作を判別するようにできる。揺れる車内において操作がブレたとしても、操作判定部５２としての操作ＥＣＵ２０は、少ない数の操作種類を判別するための広い操作マージンにより、その操作をより確からしく適切に判定することができる。

これに対して、たとえば映像が腿上などのように近くに表示され、その映像に対して乗員が様々な操作を細かくできる場合には、映像の略全体の表面に対する操作を、可能な限りの多くの操作として判別するようにできる。操作判定部５２としての操作ＥＣＵ２０は、微妙な操作の違いから、乗員が意図した操作をより確からしく適切に判定することができる。
たとえば、動物キャラクタの頭部を投影する場合、ダッシュボードの上に投影されるときには顔のみが操作でき、自身の膝の上に投影されるときには頭部のすべての面について操作ができるようになる。
また、立方体の複数の表面に多数の操作ボタンが割り当てられた映像を投影する場合、それを近くに移動させることにより、ボタンの誤操作を抑制することができる。

また、装置設定部５５としての操作ＥＣＵ２０は、映像を投影する位置を、乗員に近い近傍エリア１０２の位置と乗員から遠い遠方エリア１０１の位置との間で変更した場合、刺激応答出力部５３から出力される刺激の強さを変更する。
具体的には、映像を投影する位置が、乗員に近い近傍エリア１０２の位置にある場合には、乗員から遠い遠方エリア１０１の位置にある場合より、各操作に対応する触覚刺激を強くする。
このように、乗員の近くに映像が投影される場合、遠方では触ることができない映像のエリアに触れることができるようになるため、適切な位置に適切な刺激を与えることができる。

以上のように、本実施形態では、自動車１に乗っている乗員の乗車状態（着座状態）を操作検出デバイス４４により検出し、装置設定部５５としての操作ＥＣＵ２０は、操作検出デバイス４４により検出される乗員が操作可能な位置に映像を投影するように、映像生成部５１または３Ｄ映像投影デバイス４３へ指示する。これにより、映像は、乗員の乗車状態に応じて、乗員が操作可能な位置に可変的に投影され得る。たとえば、操作ＥＣＵ２０は、操作検出デバイス４４により検出される乗員乗車状態（着座状態）に基づいて、乗員が車室３に設けられるシート４に対して運転姿勢で着座している状態にあるか否かを判断する。そして、乗員が運転姿勢で着座している場合、操作ＥＣＵ２０は、運転姿勢で乗員が操作可能な標準投影位置への映像投影を指示し、乗員が運転姿勢で着座していない場合には、映像を投影する位置を、運転姿勢での標準投影位置から変更して、標準投影位置とは異なる、乗員が操作可能な位置へ映像を投影するように指示する。

これにより、車室３に乗っている乗員は、運転が可能でない姿勢で着座している場合でも、その状態で操作可能な位置に映像が投影され、投影される映像に対する操作をすることができる。
乗員は、自分の手の届く範囲に投影される映像を操作し、その操作の応答として、操作種類に応じた触覚刺激などを得ることができる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるのもではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

たとえば上記実施形態では、非接触操作装置４０は、自動車１といった自動車１に設けられている。
この他にもたとえば、非接触操作装置４０は、ユーザが使用する椅子に設けられてもよい。また、非接触操作装置４０は、自動車１または椅子と別体に設けられ、ユーザが自ら自動車１または椅子に対して設置できるものでもよい。

１…自動車（車両）、３…車室、４…シート、２０…操作ＥＣＵ、２６…車ネットワーク、４０…非接触操作装置、４１…車内通信部、４２…タイマ、４３…３Ｄ映像投影デバイス、４４…操作検出デバイス、４５…刺激出力デバイス、４６…音出力デバイス、４７…メモリ、４８…操作判定テーブル、５１…映像生成部、５２…操作判定部、５３…刺激応答出力部、５４…音応答出力部、５５…装置設定部、６１…表示スクリーン、６２…ハーフミラー、６３…ステレオカメラ、６４…四角枠体、６５…超音波素子、１０１…遠方エリア、１０２…近傍エリア

Claims (9)

1. 車両の車室において運転姿勢またはリクライニング状態で着座する乗員により操作可能な映像を投影する投影デバイスと、
   前記投影デバイスにより投影される前記映像を生成および更新する生成部と、
   前記車両に乗っている前記乗員の乗車状態を検出する検出デバイスと、
   前記検出デバイスにより検出される前記乗員に対して前記映像を投影するように前記投影デバイスまたは前記生成部へ指示する設定部と、
   を有し、
   前記設定部は、
   前記検出デバイスにより検出される乗車状態に基づいて、前記乗員が前記車室に設けられるシートに対して運転姿勢で着座しているか、またはリクライニング状態で着座しているのか、を判断し、
   前記乗員が前記運転姿勢で着座している場合には、前記運転姿勢で前記乗員が操作可能な標準投影位置への映像投影を、前記投影デバイスまたは前記生成部へ指示して、前記運転姿勢で着座する前記乗員の前側となる位置に、前記映像を投影させ、
   前記乗員が前記リクライニング状態で着座している場合には、前記映像を投影する位置を、前記標準投影位置から変更するように前記投影デバイスまたは前記生成部へ指示して、前記リクライニング状態の前記乗員の腰上の辺りに、前記映像を投影させる、
   車両の非接触操作装置。
   
2. 前記検出デバイスは、前記車室の空間に投影されている前記映像に対する前記乗員による操作を検出し、
   前記設定部は、
   前記乗員が前記リクライニング状態で着座しているために前記映像を投影する位置を前記標準投影位置から変更する際に、前記乗員が予め設定された特定動作をすることが前記検出デバイスにより検出される場合、
   前記特定動作について予め対応づけられている特定位置へ前記映像を投影するように、前記投影デバイスまたは前記生成部へ指示して、前記特定動作について予め対応づけられている前記特定位置に、前記映像を投影させ、
   前記乗員が前記リクライニング状態で着座しているために前記映像を投影する位置を前記標準投影位置から変更する際に、前記乗員が前記特定動作以外の操作をすることが前記検出デバイスにより検出される場合、
   前記映像を投影する位置の変更を終了する、
   請求項１記載の、車両の非接触操作装置。
   
3. 前記設定部は、
   前記検出デバイスにより、前記乗員が両方の掌を上向きにする前記特定動作が検出される場合、前記両方の掌の上の前記特定位置へ前記映像を投影するように、前記投影デバイスまたは前記生成部へ指示する、
   請求項２記載の、車両の非接触操作装置。
   
4. 前記車室の空間に投影されている前記映像に対する前記乗員の操作を、前記映像に対する前記乗員の操作部位の位置または動きに基づいて判定する操作判定部、を有し、
   前記設定部は、
   前記映像を投影する位置を、前記乗員に近い位置と前記乗員から遠い位置との間で変更した場合、前記操作判定部により判定される操作を変更する、
   請求項１から３のいずれか一項記載の、車両の非接触操作装置。
   
5. 前記設定部は、
   前記映像を投影する位置が、前記乗員に近い位置にある場合において前記操作判定部により判定される操作の種類の数は、前記乗員から遠い位置にある場合より多い、
   請求項４記載の、車両の非接触操作装置。
   
6. 前記操作に対する応答として、投影されている前記映像に対して操作をする前記乗員の操作部位に対して、超音波場による触覚刺激を出力する刺激応答出力部、を有し、
   前記設定部は、
   前記映像を投影する位置が、前記乗員に近い位置にある場合には、前記乗員から遠い位置にある場合より、触覚刺激を強くする、
   請求項２から５のいずれか一項記載の、車両の非接触操作装置。
   
7. 車両の車室に設けられるシートに運転姿勢またはリクライニング状態で着座する乗員により操作可能な映像を投影する投影デバイスと、
   前記投影デバイスにより投影される前記映像を生成および更新する生成部と、
   前記乗員の操作部位を検出する検出デバイスと、
   前記映像に対する前記乗員の操作を、前記映像に対する前記乗員の操作部位の位置または動きに基づいて判定する操作判定部と、
   前記投影デバイスが前記映像を投影する位置を、前記投影デバイスまたは前記生成部へ設定する設定部と、
   を有し、
   前記設定部は、
   前記シートのリクライニング情報に基づいて、前記乗員が前記シートに対して運転姿勢で着座しているか、またはリクライニング状態で着座しているか、を判断し、
   前記乗員が前記運転姿勢で着座していると判断した場合には、前記投影デバイスが前記映像を投影する前記位置を、前記運転姿勢で着座する前記乗員の前側となる第１位置に設定し、
   前記乗員が前記リクライニング状態で着座していると判断した場合には、前記検出デバイスにより、前記乗員の前記操作部位による特定動作が検出されたか否かを判定し、
   前記特定動作が検出されていないと判定した場合には、前記投影デバイスが前記映像を投影する前記位置を、前記第１位置よりも後方の第２位置に設定し、
   前記特定動作が検出されたと判定した場合には、前記投影デバイスが前記映像を投影する前記位置を、前記特定動作に対応する第３位置に設定する、
   車両の非接触操作装置。
   
8. 前記設定部は、
   前記投影デバイスが前記映像を投影する前記位置を、前記第１位置と、前記第２位置または前記第３位置との間で変更した場合、前記操作判定部により判定される操作を変更する、
   請求項７記載の、車両の非接触操作装置。
   
9. 請求項１から８のいずれか一項記載の非接触操作装置と、
   前記非接触操作装置とネットワークを通じて接続され、車両を制御する複数の被制御装置と、
   を有し、
   複数の前記被制御装置の各々は、前記非接触操作装置が前記車両の車室に投影する映像に対する乗員の操作に基づいて生成する入力情報を、前記ネットワークを通じて前記非接触操作装置から取得する、
   車両。
   
   

Images