JP6315427B2 - 表示制御装置、表示制御方法、表示制御プログラム、および投影装置 - Google Patents

Description

本発明は、車両等の乗員に対して提供される情報の表示を制御する表示制御装置、表示制御方法、表示制御プログラム、および投影装置に関する。

近年、車両のウインドシールドに画像を投影することで、その画像を運転者に視認させるヘッドアップディスプレイ（Head‐Up Display：ＨＵＤ）装置の開発が盛んである。この装置では、現実世界の対象物（例えば、他の車両、歩行者、建物など）に重畳するように画像を投影することで、対象物の視認性を向上させることができる。

このようなヘッドアップディスプレイ装置では、運転者の視界において、いわゆる二重像の問題が生じる。人間の左右の眼は約６〜６．５ｃｍ離れているため、運転者がある対象物を注視した場合、左右の眼の網膜に映る像には、ずれ、すなわち両眼視差が生じる。そのため、人間が注視している対象物は単一の像として視認されるが、注視している対象物よりも遠くに、もしくは近くに存在する対象物は、二つの像、すなわち二重像となって視認される。二重像の問題を解決する方法としては、例えば、特許文献１に開示された方法がある（以下、従来技術という）。

従来技術では、二重像の影響を抑制することを目的として、カメラ等で検出された対象物の位置に重畳させて、二重像となって視認されても違和感を与えない画像を生成して表示する。具体的には、ドットパターンまたはＩマークの形状の画像を生成し、その画像を対象物と対応付けて表示することにより、二重像が生じた場合でも、運転者が対象物の存在およびその位置を把握できるとしている。

特許第４９７０３７９号公報

しかしながら、上述した従来技術は、対象物の存在の有無および対象物の位置の把握を支援するものであり、対象物の種類および状態の把握を支援することはできない。よって、従来技術では、対象物の認識性を向上させるための画像表示としては不十分であった。

本発明の目的は、対象物の種類および状態を乗員に把握させることができる表示制御装置、表示制御方法、表示制御プログラム、および投影装置を提供することである。

本発明の一態様に係る表示制御装置は、移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する第１決定部と、所定画像を生成し、前記所定画像を前記表示媒体に表示する表示部と、を含む表示システムにおける表示制御装置であって、前記認識部において前記所定の対象物が認識された場合、前記第１決定部で決定された位置から所定距離離れた第１の位置と、前記第１決定部で決定された位置と前記第１の位置とを結んだ直線上に実質的に存在し、かつ、前記第１決定部で決定された位置に対して前記第１の位置と実質的に対称の位置である第２の位置とを決定する第２決定部と、第１のタイミングから所定時間の間、前記表示媒体に表示されたときに前記第１の位置に所定の提示画像を表す所定画像を生成するように前記表示部を制御し、前記第１のタイミングから前記所定時間が経過する以前である第２のタイミングから前記所定時間の間、前記表示媒体に表示されたときに前記第２の位置に前記所定の提示画像を表す前記所定画像を生成するように前記表示部を制御する制御部と、を備える構成を採る。

本発明の一態様に係る表示制御方法は、移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する決定部と、所定画像を生成し、前記所定画像を前記表示媒体に表示する表示部と、を含む表示システムにおける表示制御方法であって、前記認識部において前記所定の対象物が認識された場合、前記決定部で決定された位置から所定距離離れた第１の位置と、前記決定部で決定された位置と前記第１の位置とを結んだ直線上に実質的に存在し、かつ、前記第１決定部で決定された位置に対して前記第１の位置と実質的に対称の位置である第２の位置とを決定し、第１のタイミングから所定時間の間、前記表示媒体に表示されたときに前記第１の位置に所定の提示画像を表す所定画像を生成するように前記表示部を制御し、前記第１のタイミングから前記所定時間が経過する以前である第２のタイミングから前記所定時間の間、前記表示媒体に表示されたときに前記第２の位置に前記所定の提示画像を表す前記所定画像を生成するように前記表示部を制御するようにした。

本発明の一態様に係る表示制御プログラムは、移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する決定部と、所定画像を生成し、前記所定画像を前記表示媒体に表示する表示部と、を含む表示システムにおけるコンピュータに実行させる表示制御方法であって、前記コンピュータに、前記認識部において前記所定の対象物が認識された場合、前記決定部で決定された位置から所定距離離れた第１の位置と、前記決定部で決定された位置と前記第１の位置とを結んだ直線上に実質的に存在し、かつ、前記第１決定部で決定された位置に対して前記第１の位置と実質的に対称の位置である第２の位置とを決定する処理と、第１のタイミングから所定時間の間、前記表示媒体に表示されたときに前記第１の位置に所定の提示画像を表す所定画像を生成するように前記表示部を制御する処理と、前記第１のタイミングから前記所定時間が経過する以前である第２のタイミングから前記所定時間の間、前記表示媒体に表示されたときに前記第２の位置に前記所定の提示画像を表す前記所定画像を生成するように前記表示部を制御する処理と、を実行させるようにした。

本発明の一態様に係る投影装置は、移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する第１決定部と、を含む表示システムにおける投影装置であって、所定画像を生成し、前記所定画像を前記表示媒体に表示する表示部と、前記認識部において前記所定の対象物が認識された場合、前記第１決定部で決定された位置から所定距離離れた第１の位置と、前記第１決定部で決定された位置と前記第１の位置とを結んだ直線上に実質的に存在し、かつ、前記第１決定部で決定された位置に対して前記第１の位置と実質的に対称の位置である第２の位置とを決定する第２決定部と、第１のタイミングから所定時間の間、前記表示媒体に表示されたときに前記第１の位置に所定の提示画像を表す所定画像を生成するように前記表示部を制御し、前記第１のタイミングから前記所定時間が経過する以前である第２のタイミングから前記所定時間の間、前記表示媒体に表示されたときに前記第２の位置に前記所定の提示画像を表す前記所定画像を生成するように前記表示部を制御する制御部と、を備える構成を採る。

本発明によれば、対象物の種類および状態を乗員に把握させることができる。

本発明の実施の形態に係る表示システムの構成例を示すブロック図 本発明の実施の形態に係る前景の一例を示す図 本発明の実施の形態に係る対象物、表示媒体、乗員の目の位置関係の一例を示す図 画像を表示媒体に表示したときの一例を示す図 図４Ａに示す画像が二重像となって見えるときの一例を示す図 本発明の実施の形態に係る第１のタイミングで画像を表示媒体に表示したときの一例を示す図 図５Ａに示す画像が二重像となって見えるときの一例を示す図 本発明の実施の形態に係る第２のタイミングで画像を表示媒体に表示したときの一例を示す図 図６Ａに示す画像が二重像となって見えるときの一例を示す図 本発明の実施の形態に係る表示システムの動作例を示すフローチャート 乗員の頭部が傾いた場合において補正処理が行われずに第１のタイミングで表示された画像が二重像となって見えるときの一例を示す図 乗員の頭部が傾いた場合において補正処理が行われずに第２のタイミングで表示された画像が二重像となって見えるときの一例を示す図 乗員の頭部が傾いた場合において補正処理が行われて第１のタイミングで表示された画像が二重像となって見えるときの一例を示す図 乗員の頭部が傾いた場合において補正処理が行われて第２のタイミングで表示された画像が二重像となって見えるときの一例を示す図 第１のタイミングで表示された画像の輝度の変化の一例を示す図 第２のタイミングで表示された画像の輝度の変化の一例を示す図 第１のタイミングで表示された画像の輝度の変化の一例を示す図 第２のタイミングで表示された画像の輝度の変化の一例を示す図 本発明の実施の形態に係る表示システム、表示制御装置のハードウェア構成例を示すブロック図

以下、本発明の実施の形態について図面を参照しながら説明する。

まず、本実施の形態に係る表示システム１００の構成例について図１を用いて説明する。図１は、本実施の形態に係る表示システム１００の構成例を示すブロック図である。

表示システム１００は、例えば、車両等の移動体において用いられ、車両の運転を支援するシステムである。表示システム１００は、車載機器であってもよいし、車両に持ち込まれる機器であってもよい。また、表示システム１００が車両に適用されたものとして説明するが、移動体は、車両に限定されず、船舶、航空機等であってもよい。また、本実施の形態では、ユーザが車両の乗員、特に車両の運転者である例について説明するが、その限りではない。さらには、表示システム１００は、ユーザの身体に装着可能なウェアラブルコンピュータ（例えば、後述するＨＭＤ）において用いられてもよい。

この表示システム１００には、図１に示すように、カメラ１１０、カメラ１２０、表示媒体１３０が接続される。

カメラ１１０は、車両の内部または外部に搭載され、運転者の前方の視界（以下、前景という）を撮影する。カメラ１１０により撮影された画像（以下、前景画像という）は、後述する認識部１０１へ出力される。なお、本実施の形態では、前景をセンシングする手段としてカメラ１１０を用いるとするが、これに限定されるものではなく、例えばレーダ等を用いてもよい。

カメラ１２０は、インナーカメラまたはドライバモニタリングカメラと呼ばれるカメラであり、車両の内部に搭載され、運転者の顔を撮影する。カメラ１２０により撮影された画像（以下、顔画像という）は、後述する決定部１０２へ出力される。

表示媒体１３０は、車両において用いられ、後述する表示部１０４で生成された画像（詳細は後述する）が表示される媒体である。本実施の形態では、表示媒体１３０は、光を透過する透過型の表示媒体である。

表示媒体１３０としては、例えば、ヘッドアップディスプレイ（Head Up Display：ＨＵＤ）、ＬＣＤ（Liquid Crystal Display）、ＨＭＤ（Head‐Mounted DisplayまたはHelmet‐Mounted Display）、眼鏡型ディスプレイ（Smart Glasses）、その他の専用のディスプレイなどが適用される。また、ＨＵＤは、例えば、車両のウインドシールドであってもよいし、別途設けられるガラス面、プラスチック面（例えば、コンバイナ）などであってもよい。また、ウインドシールドは、例えば、フロントガラスであってもよいし、車両のサイドガラスまたはリアガラスであってもよい。

さらに、ＨＵＤは、ウインドシールドの表面または内側に備えられた透過型ディスプレイであってもよい。ここで、透過型ディスプレイとは、例えば、透過型の有機ＥＬディスプレイ、または、特定の波長の光を照射した際に発光するガラスを用いた透明なディスプレイである。運転者は、背景を視認すると同時に、透過型ディスプレイ上の表示を視認することができる。このように表示媒体１３０は、光を透過する表示媒体である。いずれの場合も、画像は表示媒体１３０に表示される。

なお、図１の例では、表示システム１００は、表示媒体１３０を含まない構成としたが、表示媒体１３０を含む構成としてもよい。

図１において、表示システム１００は、認識部１０１、決定部１０２、表示制御装置１０３、および表示部１０４を有する。また、表示制御装置１０３は、決定部１０５、制御部１０６を有する。以下、各部について説明する。

認識部１０１は、カメラ１１０から取得した前景画像に含まれる特徴量を抽出し、抽出した特徴量に基づいて対象物の認識を行う。また、認識部１０１は、対象物を認識した場合、その対象物の位置を算出する。対象物とは、例えば、道路上の白線、標識、路面標示、縁石、ガードレール、信号機、電柱、車両、人物、建物などである。なお、対象物の認識処理および対象物の位置の算出処理は公知のため、詳細な説明は省略する。

また、認識部１０１は、所定の対象物を認識した場合、その対象物の輪郭を検出する。例えば、認識部１０１は、前景画像に対して、特定の微分フィルタによるエッジ抽出を行うことで、対象物の輪郭を検出する。なお、対象物のエッジの検出処理は公知のため、詳細な説明は省略する。

そして、認識部１０１は、対象物の位置を示す情報（以下、対象物位置情報という）を決定部１０２へ出力し、対象物の輪郭を示す情報（以下、輪郭情報という）を表示制御装置１０３の制御部１０６へ出力する。

ここで、運転者の前景の一例を図２に示す。図２に示すように、車両の前方に、車両が走行している道路を横断しようとする歩行者２００が存在する場合、運転者は、表示媒体１３０を介して歩行者２００を視認できる。この場合、認識部１０１は、歩行者２００を認識するとともに、歩行者２００の位置を算出する。また、認識部１０１は、歩行者２００の輪郭を検出する。そして、認識部１０１は、歩行者２００の位置を示す対象物位置情報を決定部１０２へ出力し、歩行者２００の輪郭を示す輪郭情報を表示制御装置１０３へ出力する。

決定部１０２は、カメラ１２０から取得した顔画像に基づいて運転者の目の領域（以下、目領域という）を検出する。目領域とは、例えば、両眼を含む所定の領域である。なお、顔画像に対して画像処理を行うことで目領域を検出する処理は公知のため、詳細な説明は省略する。また、本実施の形態では、決定部１０２が顔画像に基づいて目領域を検出するとしたが、目領域は、例えば、予め定められた領域でもよいし、または、運転者の視線を検知する視線検知部（図示略）が検知した視線に基づいて検出した領域でもよい。

そして、決定部１０２は、検出した目領域のうちの所定の点（例えば、左右いずれかの目、または、左目と右目との間の中心）の位置、認識部１０１から取得した対象物位置情報が示す対象物の位置、表示媒体１３０の位置の関係から、表示部１０４で生成された画像が表示される表示媒体１３０上の位置（以下、画像表示位置という）を決定する。この画像表示位置は、換言すれば、目領域の所定点から表示媒体１３０を介して対象物が観察されたときにおける、対象物の表示媒体１３０上の位置である。なお、画像表示位置の決定処理は公知のため、詳細な説明は省略する。

ここで、画像表示位置の決定処理の一例について図３を用いて説明する。図３は、運転者が表示媒体１３０を介して歩行者２００を注視したときにおける、歩行者２００、表示媒体１３０、運転者の両眼の位置関係を模式的に示す図である。図３において、破線は、歩行者２００を注視している運転者の視線を示している。

また、図３において、仮想線Ｌ１は、運転者の右目の位置Ｐ１と左目の位置Ｐ２とを通る水平な線である。また、仮想線Ｌ２は、運転者の目領域のうちの所定の点の位置Ｐ３と、歩行者２００の位置Ｐ４とを通り、仮想線Ｌ１に垂直な線である。位置Ｐ３は、例えば、右目の位置Ｐ１と左目の位置Ｐ２との間における中央の位置である。なお、仮想線Ｌ１、Ｌ２は、説明のために図示したものであり、表示媒体１３０上には表示されない。

このような図３において、例えば、決定部１０２は、位置Ｐ３と位置Ｐ４とを通る仮想線Ｌ２が表示媒体１３０と交わる位置Ｐ５を、画像表示位置に決定する。従来では、このようにして決定された画像表示位置に画像が表示されることになるが、本実施の形態では、ここで決定された画像表示位置を所定距離ずらして第１の位置および第２の位置を決定する処理を後述の決定部１０５が行う。この第１の位置および第２の位置の決定処理の詳細は後述する。

そして、決定部１０２は、画像表示位置を示す情報（以下、画像表示位置情報という）を表示制御装置１０３の決定部１０５へ出力する。また、決定部１０２は、画像表示位置情報以外にも、認識部１０１で認識された対象物の情報（例えば、上記対象物位置情報、カメラ１１０から対象物までの距離を示す距離情報など）を認識部１０１から取得し、決定部１０５へ出力する。

決定部１０５は、画像表示位置情報が示す画像表示位置から所定距離離れた第１の位置および第２の位置を決定する。

ここで、第１の位置および第２の位置の決定処理の一例について図３を用いて説明する。図３において、表示媒体１３０と仮想線Ｌ１はともに水平であるとする。

まず、決定部１０５は、歩行者２００からカメラ１１０までの距離と、予め定められたカメラ１１０から表示媒体１３０までの距離とに基づいて、歩行者２００の位置Ｐ４から画像表示位置Ｐ５までの距離Ｄ２を算出する。

次に、決定部１０５は、算出した距離Ｄ２と、画像表示位置Ｐ５から運転者の目領域のうちの所定の点の位置Ｐ３までの距離とに基づいて、位置Ｐ４から位置Ｐ３までの距離Ｄ４を算出する。

次に、決定部１０５は、位置Ｐ３から運転者の左目の位置Ｐ２までの距離Ｄ３を算出する。

次に、決定部１０５は、位置Ｐ４、Ｐ６、Ｐ５から成る三角形と、位置Ｐ４、Ｐ２、Ｐ３から成る三角形との相似比を用いて、画像表示位置Ｐ５をずらす距離Ｄ１を算出する。すなわち、決定部１０５は、以下の式により距離Ｄ１を算出する。
Ｄ１＝Ｄ２×Ｄ３／Ｄ４

次に、決定部１０５は、画像表示位置Ｐ５を左方向へ距離Ｄ１ずらした位置Ｐ６を、第１の位置に決定する。

次に、決定部１０５は、画像表示位置Ｐ５を右方向へ距離Ｄ１ずらした位置Ｐ７を、第２の位置に決定する。第２の位置Ｐ７は、画像表示位置Ｐ５と位置Ｐ６とを結んだ直線上に実質的に存在し、画像表示位置Ｐ５に対して位置Ｐ６と実質的に対称の位置である。

そして、決定部１０５は、第１の位置および第２の位置を示す位置情報を制御部１０６へ出力する。

制御部１０６は、輪郭情報および位置情報に基づいて、所定画像を生成し、表示するように表示部１０４を制御する。例えば、制御部１０６は、所定画像の生成と表示についての制御の内容を示す制御情報を生成し、その制御情報を表示部１０４へ出力することで、表示部１０４を制御する。なお、制御部１０６による制御の詳細は、後述する。

上記所定画像とは、表示部１０４により生成される画像であり、表示媒体１３０に表示されたときに車両の乗員に提示される提示画像（例えば、後述する画像３００等）を示す画像である。すなわち、提示画像と所定画像とは実質的に内容が同じである。

表示部１０４は、制御部１０６から取得した制御情報に基づいて、所定画像を生成し、その所定画像を表示媒体１３０に表示する。例えば表示媒体１３０がＨＵＤである場合、表示部１０４は、プロジェクタ機能を用いて、所定画像を表示媒体１３０に投射（投影）する。これにより、所定画像は、運転者に虚像として視認される。なお、表示媒体に投射された画像が虚像として運転者に視認される原理は公知のため、詳細な説明は省略する。

本実施の形態では、所定画像を表示媒体１３０に投射して乗員に虚像として認識させることと、所定画像を表示媒体１３０に表示することとは同義であるとして、以下説明する。すなわち、以下の説明において、ＨＵＤへ所定画像が投射されて、乗員に虚像として視認される事象を、表示と表現する。

なお、表示部１０４は、プロジェクタ機能を用いる代わりに、例えば、ホログラムの原理を用いてＨＵＤに画像を表示させてもよい。ホログラムを用いる場合、導光板の内部全反射条件を満たす平行光束群を内部全反射して導光する導光板を用いる方式でもよい。導光板を用いた方式においては、プロジェクタのように画像を直接的に投射するものではないが、説明の便宜上、プロジェクタ方式と同様に投射または表示という定義で説明する。

また、本実施の形態では、表示部１０４が所定画像を生成するとしたが、所定画像は、表示制御装置１０３または図示しない他の構成要素によって生成されてもよい。

また、表示部１０４を表示制御装置１０３に含めることで投影装置として構成してもよい。

次に、制御部１０６による制御処理の具体例について以下に説明する。ここでは、まず、本実施の形態との比較例として、バイオロジカル・モーション（詳細は後述）として動作させる点群を表す画像が表示媒体１３０上の歩行者２００の位置（上述した画像表示位置Ｐ５）に表示される場合の制御処理について図４を用いて説明し、その後、本実施の形態の制御処理について図５、図６を用いて説明する。

まず、比較例における制御処理について説明する。図４Ａは、表示部１０４が制御部１０６の制御情報に基づいて画像を生成し、その画像を表示媒体１３０に表示したときの一例を示している。この場合、制御部１０６は、歩行者２００の輪郭を示す輪郭情報に基づいて、対象物が人物であることを認識する。そして、制御部１０６は、人物の形状を表す画像として予め定められた画像３００を生成するように、かつ、その画像３００を表示媒体１３０上の歩行者２００の位置（上述した画像表示位置Ｐ５）に表示するように、表示部１０４を制御する。

ここで、画像３００について説明する。画像３００は、歩行者２００の骨格（例えば、人間の頭、肩、肘、手首、膝、足首などの部位）を代表する点群を表す画像である。この点群は、バイオロジカル・モーションとして動作する。よって、点群は、歩行者２００の動きに合わせて配置が変わるが、所定点と所定点の間（以下、点間という）の距離は部位間の距離に対応するため、規定の部位間の制約を逸脱して点の配置が異なることはない。すなわち、点間の距離は、所定の距離（実際の部位間の距離）以上になることはない。なお、上記点群は、必ずしも対象物の各部位の位置を正確に示すものである必要は無く、各部位のおおよその位置を示すものであってもよい。

このような画像３００により、運転者は、周辺視野に存在する対象に視線を向けることなく、対象物の種類および対象物の状態を把握することができる。例えば、運転者は、点群の配置の変化により人間特有の動作を直感的に認識できるので、視界の中に様々な物体（例えば、建物、車両等）が存在していても、歩行者２００を瞬時に認識できる。

なお、本実施の形態では、バイオロジカル・モーションとして動作させる対象を点として説明したが、歩行者２００であることを認識できるのであれば、面積を持った正円、楕円、または矩形等の形状のマーカを採用してもよい。

図４Ｂは、図４Ａに示す画像３００の見え方の一例を示している。運転者は、表示媒体１３０を介して歩行者２００を見た場合、図４Ｂに示すように、歩行者２００の左側に画像３００Ｌが、歩行者２００の右側に画像３００Ｒが見えることになる。すなわち、運転者にとっては、図４Ａに示す画像３００が二重像となって見える。そのため、運転者は、対象物の数、および、その対象物の存在する位置を正確に把握することは難しい。

そこで、本実施の形態では、制御部１０６が以下の制御処理を行うことで、運転者が対象物の種類および状態を容易に把握できるようにする。次に、本実施の形態の制御処理について説明する。

まず、制御部１０６は、歩行者２００の輪郭を示す輪郭情報に基づいて、対象物が人物であることを認識する。そして、制御部１０６は、第１のタイミングから所定時間の間、人物の形状を表す画像として予め定められた画像３００を生成し、その画像３００を表示媒体１３０上の歩行者２００の位置から左側へ距離Ｄ１ずらした第１の位置Ｐ６に表示するように表示部１０４を制御する。このときの例を図５Ａ、図５Ｂに示す。

図５Ａは、表示媒体１３０上の第１の位置Ｐ６に画像３００が表示された例を示している。図５Ａに示すように、画像３００は、歩行者２００の位置（上記画像表示位置Ｐ５）よりも左側へずれて表示される。

図５Ｂは、図５Ａに示す画像３００の見え方の一例を示している。運転者は、表示媒体１３０を介して歩行者２００を見た場合、図５Ｂに示すように、歩行者２００の左側に画像３００Ｌが、歩行者２００の位置に画像３００Ｒが見えることになる。すなわち、運転者にとっては、図５Ａに示す画像３００が二重像となって見えるが、画像３００Ｒは歩行者２００の位置に重なって見える。

次に、制御部１０６は、第２のタイミングから所定時間の間、画像３００を生成するように、かつ、その画像３００を表示媒体１３０上の歩行者２００の位置から右側へ距離Ｄ１ずらした第２の位置Ｐ７に表示するように、表示部１０４を制御する。このときの例を図６Ａ、図６Ｂに示す。第２のタイミングとは、上述した第１のタイミングから所定時間が経過するより前のタイミングである。

図６Ａは、表示媒体１３０上の第２の位置Ｐ７に画像３００が表示された例を示している。図６Ａに示すように、画像３００は、歩行者２００の位置（上記画像表示位置Ｐ５）よりも右側へずれて表示される。

図６Ｂは、図６Ａに示す画像３００の見え方の一例を示している。運転者は、表示媒体１３０を介して歩行者２００を見た場合、図６Ｂに示すように、歩行者２００の右側に画像３００Ｒが、歩行者２００の位置に画像３００Ｌが見えることになる。すなわち、運転者にとっては、図６Ａに示す画像３００が二重像となって見えるが、画像３００Ｌは歩行者２００の位置に重なって見える。

制御部１０６は、上記第１のタイミングのときの制御処理と、上記第２タイミングのときの制御処理とを繰り返し行う。これにより、運転者にとっては、歩行者２００の位置に画像３００Ｒまたは画像３００Ｌのいずれかが常に重なって見えることになるため、運転者は、対象物が歩行者であるか（対象物の種類）、および、その対象物が車道を横断しようとしているか（対象物の状態）を把握することができる。

以上、本実施の形態に係る表示システム１００の構成例について説明した。

次に、本実施の形態に係る表示システム１００の動作例について図７を用いて説明する。図７は、本実施の形態に係る表示システム１００の動作例を示すフローチャートである。

まず、認識部１０１は、カメラ１１０から取得した前景画像に含まれる特徴量を抽出し、抽出した特徴量に基づいて対象物の認識を行う（ステップＳ１０１）。また、認識部１０１は、対象物を認識した場合、対象物の位置を算出し、対象物の輪郭を検出する。

次に、決定部１０２は、運転者の目領域のうちの所定の点の位置、認識部１０１で算出された対象物の位置、表示媒体１３０の位置の関係に基づいて、画像表示位置を決定する（ステップＳ１０２）。画像表示位置とは、上述したとおり、運転者の目領域のうちの所定の点から表示媒体１３０を介して対象物が観察されたときにおける、対象物の表示媒体１３０上における位置である。

次に、決定部１０５は、画像表示位置から左方向へ所定距離離れた第１の位置、および、画像表示位置から右方向へ所定距離離れた第２の位置を決定する（ステップＳ１０３）。

次に、制御部１０６は、第１のタイミングから所定時間の間、所定画像を生成、表示するように表示部１０４を制御する（ステップＳ１０４）。

上記所定画像とは、表示部１０４において生成される画像であり、表示媒体１３０の第１位置に表示されたときに運転者に提示される提示画像を示す画像である。また、提示画像とは、認識部１０１で認識された対象物の形状を示す画像であり、例えば、図５Ａに示した、バイオロジカル・モーションとして動作する点群から成る画像３００である。

上述したステップＳ１０４の制御処理により、表示部１０４は、第１のタイミングから所定時間の間、所定画像を生成し、その所定画像を表示媒体１３０に表示する（例えば、図５Ａ参照）。このとき、運転者が表示媒体１３０を介して対象物を視認すると、提示画像が二重像となって見えることになる（例えば、図５Ｂ参照）。

次に、制御部１０６は、第２のタイミングから所定時間の間、所定画像を生成、表示するように表示部１０４を制御する（ステップＳ１０５）。第２のタイミングとは、上述したとおり、第１のタイミングから所定時間が経過する以前のタイミングである。

上記所定画像とは、表示部１０４において生成される画像であり、表示媒体１３０の第２の位置に表示されたときに運転者に提示される提示画像を示す画像である。また、提示画像とは、認識部１０１で認識された対象物の形状を示す画像であり、例えば、図６Ａに示した、バイオロジカル・モーションとして動作する点群から成る画像３００である。

上述したステップＳ１０５の制御処理により、表示部１０４は、第２のタイミングから所定時間の間、所定画像を生成し、その所定画像を表示媒体１３０に表示する（例えば、図６Ａ参照）。このとき、運転者が表示媒体１３０を介して対象物を視認すると、第２の提示画像が二重像となって見えることになる（例えば、図６Ｂ参照）。

以上、本実施の形態に係る表示システム１００の動作例について説明した。

なお、上記説明では、図５Ｂ、図６Ｂに示すように画像３００の全ての点群が歩行者２００に重なって見えるように第１の位置および第２の位置が決定されるとしたが、点群の一部が歩行者２００に重ならなくてもよい。

また、上記説明では、第１の位置を画像表示位置から左方向へ所定距離ずらした位置Ｐ６とし、第２の位置を画像表示位置から右方向へ所定距離ずらした位置Ｐ７としたが、例えば、第１の位置を位置Ｐ７とし、第２の位置を位置Ｐ６としてもよい。

このように、本実施の形態では、運転者が表示媒体を介して対象物を注視したときに、表示媒体に表示される画像の二重像の一方が常に対象物に重なって見えるため、二重像のうち、対象物に重なって見える方では、バイオロジカル・モーションとして機能するため、対象物を認識することができ、もう一方では表示が時間的に欠けているためバイオロジカル・モーションとして機能しないため、対象物を認識することができない。すなわち、運転者は、対象物と重なる位置に表示された画像でのみ対象物を認識することが可能となり、対象物の位置と数を正確に把握することができる。

以上本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されず、種々の変形が可能である。以下、変形例について説明する。

（変形例１）
上記実施の形態では、運転者の両目の位置を結んだ線（図３に示した仮想線Ｌ１）が水平である場合について説明したが、運転者が頭部を傾けたことで仮想線Ｌ１が水平ではなくなる場合がある。この場合、本変形例では、距離Ｄ１および頭部の傾きに基づいて補正処理を行う。ここでいう頭部の傾きとは、頭部の前後方向を軸とする回転方向における傾きである。この頭部の傾きは、例えば、カメラ１２０で撮像された運転者の顔画像に基づいて頭部の傾きを検知する検知部（図示略）により検知される。頭部の傾きの検知処理は、公知であるため、詳細な説明は省略する。

まず、図８Ａ、図８Ｂを用いて、頭部が傾いたときに補正処理が行われない場合について説明する。図８Ａは、頭部が傾いたことにより、水平な仮想線Ｌ１が角度θ１傾いて仮想線Ｌ１’となったときの、第１のタイミングから所定時間の間における二重像の見え方を示している。また、図８Ｂは、頭部が傾いたことにより、水平な仮想線Ｌ１が角度θ１傾いて仮想線Ｌ１’となったときの、第２のタイミングから所定時間の間における二重像の見え方を示している。なお、仮想線Ｌ１、Ｌ’は、説明のために図示したものであり、表示媒体１３０等には表示されない。

図８Ａに示すように、画像３００Ｒは、歩行者２００の上方にずれて見えることになる。また、図８Ｂに示すように、画像３００Ｌは、歩行者２００の下方にずれて見えることになる。よって、運転者は、歩行者２００に重なる二重像が上下にずれて見えるため、視認しにくい。

そこで、本変形例では、制御部１０６は、距離Ｄ１および角度θ１に基づいて、以下の補正処理を行う。なお、ここでは、表示媒体１３０の面上における座標系として、右水平方向をＸ軸の正方向、下鉛直方向をＹ軸の正方向とする。

まず、制御部１０６は、例えば、以下の各式により、Ｘ軸方向の補正量ｘおよびＹ軸方向の補正量ｙを算出する。
ｘ＝Ｄ１（１−ｃｏｓθ１）
ｙ＝Ｄ１ｓｉｎθ１

次に、制御部１０６は、算出した補正量ｘ、ｙに基づいて第１の位置を補正する。例えば、制御部１０６は、第１の位置を、Ｘ軸の正方向に補正量ｘだけずらし、かつ、Ｙ軸の正方向に補正量ｙだけずらす。これにより、補正後の第１の位置が決定される。

そして、制御部１０６は、第１のタイミングから所定時間の間、補正後の第１の位置に画像３００を表示するように表示部１０４を制御する。このときの二重像の見え方を図８Ｃに示す。図８Ｃに示すように、画像３００Ｒの点群の全部が歩行者２００に重なって見えることになる。

次に、制御部１０６は、算出した補正量ｘ、ｙに基づいて第２の位置を補正する。例えば、制御部１０６は、第２の位置を、Ｘ軸の負方向に補正量ｘだけずらし、かつ、Ｙ軸の負方向に補正量ｙだけずらす。これにより、補正後の第２の位置が決定される。

そして、制御部１０６は、第２のタイミングから所定時間の間、補正後の第２の位置に画像３００を表示するように表示部１０４を制御する。このときの二重像の見え方を図８Ｄに示す。図８Ｄに示すように、画像３００Ｌの点群の全部が歩行者２００に重なって見えることになる。

このように、本変形例によれば、運転者が頭部を傾けた場合、頭部の傾きの角度θ１および距離Ｄ１に基づいて、第１の位置と第２の位置とを結んだ線が運転者の両目の位置を結んだ線（仮想線Ｌ’）に対して平行となるように第１の位置および第２の位置を補正する。これにより、運転者が頭部を傾けた場合でも、二重像の一方が対象物からずれることなく、対象物に重なって見えることになり、視認性が向上する。

（変形例２）
上記実施の形態において、制御部１０６による制御処理は、運転者が対象物を視認した場合に実行されるようにしてもよい。

例えば、制御部１０６は、上述した視線検知部（図示略）により検知された視線を示す視線情報を視線検知部から取得するとともに、認識部１０１で認識された対象物の位置を示す対象物位置情報を認識部１０１から取得する。そして、制御部１０６は、視線情報および対象物位置情報に基づいて、運転者が対象物を視認したか否かを判定する。以下、運転者に視認される対象物の例を上述した歩行者２００として説明する。

上記判定の結果、運転者が歩行者２００を視認したと判定した場合、上述したとおり、制御部１０６は、運転者が視認した歩行者２００のみの輪郭を示す輪郭情報に基づいて、表示部１０４に生成させる画像３００を決定する処理を行う。そして、制御部１０６は、決定した画像３００を生成、表示するように表示部１０４を制御する。

これにより、運転者が視認した歩行者２００に対してのみ画像３００が表示されるので、必要なタイミングで運転者に画像３００Ｒ、３００Ｌを視認させることができる。また、このとき、運転者が表示媒体１３０を介して歩行者２００を注視すると、二重像となって見える図５Ｂの画像３００Ｒ、図６Ｂの画像３００Ｌが歩行者２００に重なって見えるので、運転者の視線を歩行者２００に誘導することができる。

その後、上述した画像３００の表示から一定時間が経過した場合、制御部１０６は、画像３００の生成、表示を停止するように表示部１０４を制御してもよい。

これにより、画像３００の表示により運転者の意識を歩行者２００へ引きつけた後において、必要以上に長い間、運転者が画像３００Ｒ、３００Ｌを視認することを防ぐことができるので、安全性の向上が見込める。

このように、本変形例によれば、運転者が対象物を視認しているか否かに応じて画像の表示、非表示が行われるので、適切なタイミングで運転者に画像を視認させたり、画像の視認を止めさせたりすることができる。

（変形例３）
上記実施の形態で説明した画像の輝度を以下のように制御してもよい。以下では、２つの輝度制御処理について説明する。

まず、図９Ａ、図９Ｂを用いて、制御部１０６により行われる第１の輝度制御処理について説明する。図９Ａは、図５Ａに示す画像３００の輝度の変化を示しており、図９Ｂは、図６Ａに示す画像３００の輝度の変化を示している。図９Ａ、図９Ｂにおいて、横軸は経過時間を示しており、縦軸は輝度を示している。

図９Ａ、図９Ｂに示すように、第１の輝度制御処理では、図５Ａの画像３００の輝度がＯＦＦ（下限値）になる前に図６Ａの画像３００の輝度がＯＮ（上限値）になるように制御され、また、図６Ａの画像３００の輝度がＯＦＦ（下限値。ゼロであってもよい）になる前に図５Ａの画像３００の輝度がＯＮ（上限値）になるように制御される。この制御により、図５Ａの画像３００が消える前に図６Ａの画像３００が現われ、また、図６Ａの画像３００が消える前に図５Ａの画像３００が現われる。

この第１の輝度制御処理では、図９Ａ、図９Ｂに示すように、各輝度の立ち上がり、立ち下がりの勾配が急（例えば、直角）であるため、運転者は、図５Ｂの画像３００Ｌが図６Ｂの画像３００Ｌへ移動し、図６Ｂの画像３００Ｒが図５Ｂの画像３００Ｒへ移動するように見える。

次に、図９Ｃ、図９Ｄを用いて、制御部１０６により行われる第２の輝度制御処理について説明する。図９Ｃは、図ＡＢに示す画像３００の輝度の変化を示しており、図９Ｄは、図６Ａに示す画像３００の輝度の変化を示している。図９Ａ、図９Ｂにおいて、横軸は経過時間を示しており、縦軸は輝度を示している。

図９Ｃ、図９Ｄに示すように、第２の輝度制御処理では、第１の輝度制御処理と同様に、図５Ａの画像３００の輝度がＯＦＦ（下限値）になる前に図６Ａの画像３００の輝度がＯＮ（上限値）になるように制御され、また、図６Ａの画像３００の輝度がＯＦＦ（下限値）になる前に図５Ａの画像３００の輝度がＯＮ（上限値）になるように制御される。この制御により、図５Ａの画像３００が消える前に図６Ａの画像３００が現われ、また、図６Ａの画像３００が消える前に図５Ａの画像３００が現われる。

この第２の輝度制御処理では、図９Ｃ、図９Ｄに示すように、各輝度の立ち上がり、立ち下がりの勾配が緩やか（例えば、所定の鈍角）であるため、運転者は、図５Ｂの画像３００Ｌおよび図６Ｂの画像３００Ｒのそれぞれが明滅するように見える。

このように、画像の輝度の立ち上がり、立ち下がりの勾配（換言すれば、速さ）を急または緩やかにすることにより、二重像のうちの対象物に重ならずに見える方の画像の見え方を選択することができる。

以上、本発明の実施の形態の変形例について説明した。なお、上述した変形例は、任意に組み合わせてもよい。

上述した表示システム１００、表示制御装置１０３の各部の機能は、コンピュータプログラムにより実現され得る。

図９は、各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ１０００は、入力ボタン、タッチパッドなどの入力装置１００１、ディスプレイ、スピーカなどの出力装置１００２、ＣＰＵ（Central Processing Unit）１００３、ＲＯＭ（Read Only Memory）１００４、ＲＡＭ（Random Access Memory）１００５を備える。また、コンピュータ１０００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置１００６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１００７、ネットワークを介して通信を行う送受信装置１００８を備える。上記各部は、バス１００９により接続される。

そして、読取装置１００７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１００６に記憶させる。あるいは、送受信装置１００８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置１００６に記憶させる。

そして、ＣＰＵ１００３が、記憶装置１００６に記憶されたプログラムをＲＡＭ１００５にコピーし、そのプログラムに含まれる命令をＲＡＭ１００５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ１００５または記憶装置１００６には、各実施の形態１で述べた各種処理で得られた情報が記憶され、適宜利用される。

本発明は、ユーザ（例えば、車両等の乗員、または、表示デバイスを装着したユーザ等）に対して提供される情報の表示を制御する表示制御装置、表示制御方法、表示制御プログラム、および投影装置に有用である。

１００ 表示システム
１０１ 認識部
１０２ 決定部
１０３ 表示制御装置
１０４ 表示部
１０５ 決定部
１０６ 制御部
１１０ カメラ
１２０ カメラ
１３０ 表示媒体
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ ＲＯＭ
１００５ ＲＡＭ
１００６ 記憶装置
１００７ 読取装置
１００８ 送受信装置
１００９ バス

Claims (8)

1. 移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、
   前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する第１決定部と、
   所定画像を生成し、前記所定画像を前記表示媒体に表示する表示部と、
   を含む表示システムにおける表示制御装置であって、
   前記認識部において前記所定の対象物が認識された場合、前記第１決定部で決定された位置から所定距離離れた第１の位置と、前記第１決定部で決定された位置と前記第１の位置とを結んだ直線上に実質的に存在し、かつ、前記第１決定部で決定された位置に対して前記第１の位置と実質的に対称の位置である第２の位置とを決定する第２決定部と、
   第１のタイミングから所定時間の間、前記表示媒体に表示されたときに前記第１の位置に所定の提示画像を表す所定画像を生成するように前記表示部を制御し、前記第１のタイミングから前記所定時間が経過する以前である第２のタイミングから前記所定時間の間、前記表示媒体に表示されたときに前記第２の位置に前記所定の提示画像を表す前記所定画像を生成するように前記表示部を制御する制御部と、を備える、
   表示制御装置。
2. 前記第２決定部は、
   前記乗員が前記表示媒体を介して前記所定の対象物を視認したときに前記所定の提示画像が二重像となって前記乗員に視認される場合、前記第１のタイミングから前記所定時間の間、前記二重像となって視認される前記所定の提示画像の一方と、前記第２のタイミングから前記所定時間の間、前記二重像となって視認される前記所定の提示画像の一方とが前記表示媒体上における前記所定の対象物に重なって視認されるように、前記第１の位置および前記第２の位置を決定する、
   請求項１に記載の表示制御装置。
3. 前記制御部は、
   前記乗員の頭部の傾きが検知された場合、前記頭部の傾きの角度と、前記所定距離とに基づいて、前記第１の位置と前記第２の位置とを結んだ線が前記乗員の両目の位置を結んだ線に対して平行となるように前記第１の位置および前記第２の位置を補正する、
   請求項１または２に記載の表示制御装置。
4. 前記制御部は、
   前記乗員の視線と、前記所定の対象物の位置とに基づいて、前記乗員が前記所定の対象物を視認したか否かを判定し、
   前記乗員が前記所定の対象物を視認したと判定した場合、前記所定画像を生成するように前記表示部を制御する、
   請求項１から３のいずれか１項に記載の表示制御装置。
5. 前記制御部は、
   前記所定の提示画像の輝度の立ち上がりおよび立ち下がりの速さを制御する、
   請求項１から４のいずれか１項に記載の表示制御装置。
6. 移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、
   前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する決定部と、
   所定画像を生成し、前記所定画像を前記表示媒体に表示する表示部と、
   を含む表示システムにおける表示制御方法であって、
   前記認識部において前記所定の対象物が認識された場合、前記決定部で決定された位置から所定距離離れた第１の位置と、前記決定部で決定された位置と前記第１の位置とを結んだ直線上に実質的に存在し、かつ、前記第１決定部で決定された位置に対して前記第１の位置と実質的に対称の位置である第２の位置とを決定し、
   第１のタイミングから所定時間の間、前記表示媒体に表示されたときに前記第１の位置に所定の提示画像を表す所定画像を生成するように前記表示部を制御し、
   前記第１のタイミングから前記所定時間が経過する以前である第２のタイミングから前記所定時間の間、前記表示媒体に表示されたときに前記第２の位置に前記所定の提示画像を表す前記所定画像を生成するように前記表示部を制御する、
   表示制御方法。
7. 移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、
   前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する決定部と、
   所定画像を生成し、前記所定画像を前記表示媒体に表示する表示部と、
   を含む表示システムにおけるコンピュータに実行させる表示制御方法であって、
   前記コンピュータに、
   前記認識部において前記所定の対象物が認識された場合、前記決定部で決定された位置から所定距離離れた第１の位置と、前記決定部で決定された位置と前記第１の位置とを結んだ直線上に実質的に存在し、かつ、前記第１決定部で決定された位置に対して前記第１の位置と実質的に対称の位置である第２の位置とを決定する処理と、
   第１のタイミングから所定時間の間、前記表示媒体に表示されたときに前記第１の位置に所定の提示画像を表す所定画像を生成するように前記表示部を制御する処理と、
   前記第１のタイミングから前記所定時間が経過する以前である第２のタイミングから前記所定時間の間、前記表示媒体に表示されたときに前記第２の位置に前記所定の提示画像を表す前記所定画像を生成するように前記表示部を制御する処理と、を実行させる、
   表示制御プログラム。
8. 移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、
   前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する第１決定部と、
   を含む表示システムにおける投影装置であって、
   所定画像を生成し、前記所定画像を前記表示媒体に表示する表示部と、
   前記認識部において前記所定の対象物が認識された場合、前記第１決定部で決定された位置から所定距離離れた第１の位置と、前記第１決定部で決定された位置と前記第１の位置とを結んだ直線上に実質的に存在し、かつ、前記第１決定部で決定された位置に対して前記第１の位置と実質的に対称の位置である第２の位置とを決定する第２決定部と、
   第１のタイミングから所定時間の間、前記表示媒体に表示されたときに前記第１の位置に所定の提示画像を表す所定画像を生成するように前記表示部を制御し、前記第１のタイミングから前記所定時間が経過する以前である第２のタイミングから前記所定時間の間、前記表示媒体に表示されたときに前記第２の位置に前記所定の提示画像を表す前記所定画像を生成するように前記表示部を制御する制御部と、を備える、
   投影装置。

Images