JP6315383B2 - 表示制御プログラムおよび表示制御装置 - Google Patents

Description

本発明は、車両等の乗員に対して提供される情報の表示を制御する表示制御プログラムおよび表示制御装置に関する。

近年、車両のウインドシールドに画像を投影することで、運転者等の乗員に画像を視認させるヘッドアップディスプレイ（Head‐Up Display：ＨＵＤ）装置の開発が盛んである。この装置では、現実世界の対象物（例えば、他の車両、歩行者、建物など）に重畳するように画像を投影することで、対象物の視認性を向上させることができる。

このようなヘッドアップディスプレイ装置では、乗員の視界において、いわゆる二重像の問題が生じる。すなわち、現実世界の対象物の位置に重畳して、ウインドシールドに対象物を強調する表示を行う場合、乗員が注視している対象物までの距離と、乗員の視点からウインドシールド上に表示される画像までの距離が異なる。この場合、乗員からは図１に示すように、乗員が注視する対象物１０（歩行者）を挟んで、ウインドシールド２０上に表示される画像３０が左右に並んで二重に見える。その結果、乗員が、表示される情報を正しく認識できないという問題があった。

二重像の問題を解決する方法としては、例えば、特許文献１に開示された方法がある（以下、従来技術という）。

従来技術では、二重像の影響を抑制することを目的として、カメラ等で検出された対象物の位置に重畳させて、二重像として視認されても違和感を与えない画像を生成して表示する。具体的には、図２に示すように、ドットパターン形状の画像４０を生成し、その画像４０を対象物１０と対応付けてウインドシールド２０上に表示することにより、二重像が生じた場合でも、乗員が対象物の存在およびその位置を把握できるとしている。

特許第４９７０３７９号公報

しかしながら、上述した従来技術では、ウインドシールド上の表示が左右に分離することによって対象物の視認性が低下することを防止できるが、二重像の影響で、対象物の位置に重畳される画像の表示領域が大きくなるため、乗員に対して対象物を正確に把握させることは困難であった。

本発明の目的は、乗員に対して対象物の存在を正確に把握させることができる表示制御プログラムおよび表示制御装置を提供することである。

本発明の一態様に係る表示制御プログラムは、移動体の乗員の前景の画像である前景画像を取得し、前記前景画像に含まれる所定の対象物を認識する認識部と、前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における領域のうちの所定位置を特定する特定部と、前記認識部の認識結果に基づいた所定画像を生成し、当該所定画像を前記表示媒体に表示する表示部と、を含む表示システムにおけるコンピュータに実行させる表示制御プログラムであって、前記コンピュータに、前記認識部により前記所定の対象物が認識された場合において、その認識結果に基づいて、前記表示媒体上において、前記特定部により特定された前記所定位置から所定の距離だけ離れた右側位置、および、前記所定位置に対して前記右側位置と実質的に対称の位置である左側位置を決定し、前記表示媒体に表示されたときに、前記右側位置に第１の右側画像を示すとともに、前記左側位置に第１の左側画像を示す第１の所定画像を、第１のタイミングで表示し、前記表示媒体に表示されたときに、前記右側位置に第２の右側画像を示すとともに、前記左側位置に第２の左側画像を示す第２の所定画像を、前記第１のタイミングとは異なる第２のタイミングで表示するように前記表示部を制御する処理を実行させ、前記第１および第２の所定画像はそれぞれ、複数の要素から構成される画像であり、前記第１の右側画像は、前記複数の要素のうちの一部の要素である第１の要素から構成され、前記第１の左側画像は、前記複数の要素のうち前記第１の要素以外の第２の要素から構成され、前記第２の右側画像は、前記複数の要素のうちの一部の要素であり、かつ、前記第１の要素と異なる第３の要素から構成され、前記第２の左側画像は、前記複数の要素のうち前記第３の要素以外の第４の要素から構成される。

本発明の一態様に係る表示制御装置は、移動体の乗員の前景の画像である前景画像を取得し、前記前景画像に含まれる所定の対象物を認識する認識部と、前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における領域のうちの所定位置を特定する特定部と、前記認識部の認識結果に基づいた所定画像を生成し、当該所定画像を前記表示媒体に表示する表示部と、を含む表示システムにおける表示制御装置であって、前記認識部により前記所定の対象物が認識された場合において、その認識結果に基づいて、前記表示媒体上において、前記特定部により特定された前記所定位置から所定の距離だけ離れた右側位置、および、前記所定位置に対して前記右側位置と実質的に対称の位置である左側位置を決定する決定部と、前記表示媒体に表示されたときに前記右側位置に第１の右側画像を示すとともに、前記左側位置に第１の左側画像を示す第１の所定画像を、第１のタイミングで表示し、前記表示媒体に表示されたときに前記右側位置に第２の右側画像を示すとともに、前記左側位置に第２の左側画像を示す第２の所定画像を、前記第１のタイミングとは異なる第２のタイミングで表示するように前記表示部を制御する制御部と、を備え、前記第１および第２の所定画像はそれぞれ、複数の要素から構成される画像であり、前記第１の右側画像は、前記複数の要素のうち一部の第１の要素から構成され、前記第１の左側画像は、前記複数の要素のうち前記第１の要素以外の第２の要素から構成され、前記第２の右側画像は、前記複数の要素のうち一部、かつ、前記第１の要素と異なる第３の要素から構成され、前記第２の左側画像は、前記複数の要素のうち前記第３の要素以外の第４の要素から構成される。

本発明によれば、乗員に対して対象物の存在を正確に把握させることができる。

従来技術の問題点を説明する図である。 従来技術（特許文献１に記載の技術）の問題点を説明する図である。 本実施の形態に係る表示システムの構成例を示すブロック図である。 車両の横方向および前方方向におけるカメラと歩行者との距離を示す図である。 本実施の形態に係る表示システムの動作例を示すフローチャートである。 対象物表示位置に対して右側位置および左側位置を決定する処理を説明する図である。 対象物表示位置に対して右側位置および左側位置を決定する処理を説明する図である。 仮想画像の表示処理を説明する図である。 仮想画像の表示処理を説明する図である。 表示媒体に表示される２つの仮想画像と、運転者からの当該仮想画像の見え方との関係を示す。 本実施の形態に係る表示システムの動作の変形例を示すフローチャートである。 表示媒体に表示される２つの仮想画像と、運転者からの当該仮想画像の見え方との関係を示す。 表示媒体に表示される２つの仮想画像と、運転者からの当該仮想画像の見え方との関係を示す。 本発明の実施の形態に係る表示システム、表示制御装置のハードウェア構成例を示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。

まず、本実施の形態に係る表示システム１００の構成例について図３を用いて説明する。図３は、本実施の形態に係る表示システム１００の構成例を示すブロック図である。

表示システム１００は、例えば、車両等の移動体において用いられ、車両の運転を支援するシステムである。具体的には、表示システム１００は、移動体の周辺に存在する歩行者の情報を認識し、乗員に対して歩行者の存在を示す情報を提示することで、交通事故を未然に防止するシステムである。なお、表示システム１００は、移動体の前方車両を検出し、その前方車両に関する情報を表示することで、前方車両との追突を防止するシステムであっても良い。また、表示システム１００は、移動体の前方を走行中の自転車を検出し、その自転車に関する情報を表示することで、自転車との衝突を防止するシステムであっても良い。

さらに、表示システム１００は、車載機器であっても良いし、車両に持ち込まれる機器であっても良い。また、表示システム１００が車両に適用されたものとして説明するが、移動体は、車両に限定されず、船舶、航空機等であっても良い。また、本実施の形態では、ユーザーが車両の乗員、特に車両の運転者である例について説明するが、その限りではない。さらには、表示システム１００は、ユーザーが身体に装着に可能なウェラブルコンピュータ（例えば、後述するＨＭＤ）において用いられても良い。

表示システム１００には、図１に示すように、カメラ１１０、カメラ１２０、表示媒体１３０が接続される。

カメラ１１０は、車両の内部または外部に搭載され、運転者の前方の視界（以下、「前景」という）を撮影する。カメラ１１０により撮影された画像（以下、「前景画像」という）は、認識部１０１へ出力される。なお、本実施の形態では、前景をセンシングする手段としてカメラ１１０を用いるとするが、これに限定されるものではなく、例えばレーダー等を用いても良い。

カメラ１２０は、インナーカメラまたはドライバモニタリングカメラと呼ばれるカメラであり、車両の内部に搭載され、運転者の顔を撮影し、その撮影した顔画像に基づいて運転者の視点方向を検知する。カメラ１２０により検知された運転者の視点方向を示す情報（以下、「視点方向情報」という）は、認識部１０１へ出力される。また、カメラ１２０により撮影された顔画像は、特定部１０２へ出力される。

表示媒体１３０は、車両において用いられ、後述する表示部１０４で生成された仮想画像（詳細は後述する）が表示される媒体である。本実施の形態では、表示媒体１３０は、光を透過する透過型の表示媒体である。

表示媒体１３０としては、例えば、ヘッドアップディスプレイ（Head Up Display：ＨＵＤ）、ＬＣＤ（Liquid Crystal Display）、ＨＭＤ（Head‐Mounted DisplayまたはHelmet‐Mounted Display）、眼鏡型ディスプレイ（Smart Glasses）、ナビゲーション用ディスプレイ、メータディスプレイ、その他の専用のディスプレイなどが適用される。また、ＨＵＤは、例えば、車両のウインドシールドであっても良いし、別途設けられるガラス面、プラスチック面（例えば、コンバイナ）などであっても良い。また、ウインドシールドは、例えば、フロントガラスであっても良いし、車両のサイドガラスまたはバックガラスであっても良い。

さらに、ＨＵＤは、ウインドシールドの表面または内側に備えられた透過型ディスプレイであっても良い。ここで、透過型ディスプレイとは、例えば、透過型の有機ＥＬディスプレイ、または、特定の波長の光を照射した際に発光するガラスを用いた透明なディスプレイである。運転者は、背景を視認すると同時に、透過型ディスプレイ上の表示を視認することができる。このように表示媒体１３０は、光を透過する表示媒体である。いずれの場合も、仮想画像は表示媒体１３０に表示される。

なお、図１の例では、表示システム１００は、表示媒体１３０を含まない構成としたが、表示媒体１３０を含む構成としても良い。

図１において、表示システム１００は、認識部１０１、特定部１０２、表示制御装置１０３および表示部１０４を有する。また、表示制御装置１０３は、決定部１０５、制御部１０６を有する。以下、各部について説明する。

認識部１０１は、カメラ１１０から取得した前景画像に含まれる特徴量を抽出し、抽出した特徴量に対してパターンマッチング処理等を行うことによって対象物を認識する。前景をセンシングする手段としてカメラ１１０の代わりにレーダーを用いた場合には、認識部１０１は、クラスタリングまたは機械学習等により対象物を抽出して認識する。

また、認識部１０１は、対象物を認識した場合、その対象物の位置を算出する。対象物とは、例えば、移動体（例えば、車両、人物、自転車、二輪車等）、道路上の白線、標識、路面標示、縁石、ガードレール、信号機、電柱、車両、人物、建物などである。なお、対象物の認識処理および対象物の位置の算出処理は公知のため、詳細な説明は省略する。

また、認識部１０１は、所定の対象物を認識した場合、その対象物の輪郭を検出する。例えば、認識部１０１は、前景画像に対して、特定の微分フィルタによるエッジ抽出を行うことで、対象物の輪郭を検出する。そして、認識部１０１は、検出した対象物の輪郭に基づいて、当該対象物の種別を特定する。なお、対象物のエッジの検出処理は公知のため、詳細な説明は省略する。本実施の形態では、所定の対象物を認識した場合、その対象物の輪郭を検出する例について説明しているが、対象物の輪郭を検出する処理は必ずしも必須ではない。例えば、歩行者の輪郭に合わせて人型のマーカー（虚像）をぴったりと重畳させる場合には、対象物の輪郭を検出する必要があるものの、定型の人型のマーカーのテンプレート（パラパラ漫画のようなもの）を歩行者の位置に合わせて表示する場合には対象物の輪郭を検出する必要はないからである。

なお、認識部１０１は、対象物の種別を歩行者として特定した場合、図４に示すように、歩行者の位置（Ｘ、Ｙ）、車両の進行方向に対する歩行者の相対角度、歩行者と車両との相対速度等を認識する。歩行者の位置（Ｘ、Ｙ）は、カメラ１１０が設置された位置を基準点（図中の点Ｏ）として、車両の横方向および前方方向をそれぞれＸ軸およびＹ軸とするカメラ座標系における座標である。すなわち、歩行者の位置Ｘは、車両の横方向におけるカメラ１１０と歩行者との距離を示す。歩行者の位置Ｙは、車両の進行方向におけるカメラ１１０と歩行者との距離を示す。

認識部１０１は、対象物の位置および種別を含む情報（以下、「対象物位置情報」という）を特定部１０２に出力する。認識部１０１は、複数の対象物を認識した場合、カメラ１２０から出力された視点方向情報を取得し、その取得した視点方向情報に示される視点方向すなわち運転者が注視する方向に位置する対象物を特定する。そして、認識部１０１は、特定した対象物の位置および種別を含む対象物位置情報を特定部１０２に出力する。また、認識部１０１は、対象物の輪郭を示す情報（以下、「輪郭情報」という）を表示制御装置１０３の制御部１０６に出力する。輪郭情報には、輪郭の形状を示す情報の他、輪郭の位置および対象物の種別を示す情報も含まれる。

特定部１０２は、カメラ１２０から出力された顔画像に基づいて運転者の目の領域（以下、「目領域」という）を検出する。目領域とは、例えば、両眼を含む所定の領域である。なお、顔画像に対して画像処理を行うことで目領域を検出する処理は公知のため、詳細な説明は省略する。また、本実施の形態では、特定部１０２が顔画像に基づいて目領域を検出するとしたが、目領域は、例えば、予め定められた領域でも良いし、または、運転者の視線を検知する視線検知部（図示略）が検知した視線に基づいて検出した領域でも良い。

そして、特定部１０２は、検出した目領域のうちの所定の点（例えば、左右いずれかの目、または、左目と右目との間の中心）の位置、認識部１０１から出力された対象物位置情報に示される対象物の位置、表示媒体１３０の位置の関係から、対象物が表示される表示媒体１３０上の位置（以下、「対象物表示位置」という）を特定する。この対象物表示位置は、換言すれば、目領域の所定点から表示媒体１３０を介して対象物が観察されたときにおける、対象物の表示媒体１３０上の位置である。なお、対象物表示位置の特定処理は公知のため、詳細な説明は省略する。

そして、特定部１０２は、対象物表示位置を示す情報（以下、「対象物表示位置情報」という）を表示制御装置１０３の決定部１０５に出力する。

決定部１０５は、認識部１０１による対象物の認識結果に基づいて、表示媒体１３０上において、特定部１０２から出力された対象物表示位置情報に示される対象物表示位置から所定の距離だけ離れた右側位置、および、対象物表示位置に対して右側位置と実質的に対称の位置である左側位置を決定する。右側位置および左側位置の具体的な決定方法については後述する。決定部１０５は、決定した左側位置および右側位置を示す情報（以下、「左右位置情報」という）を制御部１０６に出力する。

制御部１０６は、認識部１０１から出力された輪郭情報に基づいて仮想画像を生成し、その仮想画像を、決定部１０５から出力された左右位置情報に基づいて表示媒体１３０に表示するように表示部１０４を制御する。例えば、制御部１０６は、輪郭情報および左右位置情報に基づいて、仮想画像の生成と表示についての制御の内容を示す制御情報を生成し、その制御情報を表示部１０４へ出力することで表示部１０４を制御する。なお、制御部１０６による制御の詳細は、後述する。

表示部１０４は、制御部１０６から出力された制御情報に基づいて、仮想画像を生成し、その仮想画像を表示媒体１３０に表示する。例えば表示媒体１３０がＨＵＤである場合、表示部１０４は、プロジェクタ機能を用いて、仮想画像を表示媒体１３０に投射（投影）する。これにより、仮想画像は、運転者に虚像として視認される。なお、表示媒体に投射された仮想画像が虚像として運転者に視認される原理は公知のため、詳細な説明は省略する。

本実施の形態では、仮想画像を表示媒体１３０に投射して乗員に虚像として認識させることと、仮想画像を表示媒体１３０に表示することとは同義であるとして、以下説明する。すなわち、以下の説明において、ＨＵＤへ仮想画像が投射されて、乗員に虚像として視認される事象を、表示と形容する。

なお、表示部１０４は、プロジェクタ機能を用いる代わりに、例えば、ホログラムの原理を用いてＨＵＤに仮想画像を表示させても良い。ホログラムを用いる場合、導光板の内部全反射条件を満たす平行光束群を内部全反射して導光する導光板を用いる方式でも良い。導光板を用いた方式においては、プロジェクタのように仮想画像を直接的に投射するものではないが、説明の便宜上、プロジェクタ方式と同様に投射または表示という定義で説明する。

また、本実施の形態では、表示部１０４が仮想画像を生成するとしたが、仮想画像は、表示制御装置１０３または図示しない他の構成要素によって生成されても良い。

また、表示部１０４を表示制御装置１０３に含めることで投影装置として構成しても良い。

次に、本実施の形態に係る表示システム１００の動作例について図５を用いて説明する。図５は、本実施の形態に係る表示システム１００の動作例を示すフローチャートである。ステップＳ１００における処理は、例えば車両のエンジンがオフ状態からオン状態となることに連動して表示システム１００が起動されることにより開始される。

まず、認識部１０１は、カメラ１１０から取得した前景画像に含まれる特徴量を抽出し、抽出した特徴量に対してパターンマッチング処理等を行うことによって対象物を認識する（ステップＳ１００）。そして、認識部１０１は、対象物の位置および種別を含む対象物位置情報を特定部１０２に出力する。また、認識部１０１は、対象物の輪郭を示す輪郭情報を表示制御装置１０３の制御部１０６に出力する。

次に、特定部１０２は、認識部１０１から出力された対象物位置情報に含まれる対象物の種別が歩行者であるか否かについて判定する（ステップＳ１２０）。この判定の結果、対象物の種別が歩行者でない場合（ステップＳ１２０、ＮＯ）、処理はステップＳ２２０に遷移する。一方、対象物の種別が歩行者である場合（ステップＳ１２０、ＹＥＳ）、特定部１０２は、運転者の目領域のうちの所定の点の位置、認識部１０１から出力された対象物位置情報に示される歩行者（対象物）の位置、表示媒体１３０の位置の関係から、歩行者が表示される表示媒体１３０上の位置である対象物表示位置を特定する（ステップＳ１４０）。そして、特定部１０２は、対象物表示位置を示す対象物表示情報を表示制御装置１０３の決定部１０５に出力する。

次に、決定部１０５は、認識部１０１による対象物の認識結果に基づいて、表示媒体１３０上において、特定部１０２から出力された対象物表示位置情報により示される対象物表示位置から所定の距離だけ離れた右側位置、および、対象物表示位置に対して右側位置と実質的に対称の位置である左側位置を決定する（ステップＳ１６０）。そして、決定部１０５は、決定した左側位置および右側位置を示す左右位置情報を制御部１０６に出力する。

ここで、図６を参照し、ステップＳ１６０の処理について説明する。図６において、２００は車両の前方に位置する歩行者、２２０は運転者の左目、２３０は運転者の右目を模式的に示したものである。図６の例では、歩行者２００は、運転者の正面、すなわち左目２２０と右目２３０との間の中心２２５の正面に位置する。２１２は、特定部１０２により特定された、歩行者２００が表示される表示媒体１３０上の位置（対象物表示位置）を示している。Ｌ１は、運転者の視点（左目２２０、右目２３０）から表示媒体１３０までの距離である。決定部１０５は、予め定められたカメラ１２０と表示媒体１３０との位置関係、カメラ１２０により撮影された運転者の顔画像に基づいて、距離Ｌ１を算出することができる。Ｌ２は、表示媒体１３０から歩行者２００までの距離である。決定部１０５は、歩行者２００からカメラ１１０までの距離と、予め定められたカメラ１１０から表示媒体１３０までの距離に基づいて、距離Ｌ２を算出することができる。Ｌ３は、運転者の左目２２０および右目２３０の間隔（平均的には、６〜７［ｃｍ］）である。決定部１０５は、カメラ１２０により撮影された運転者の顔画像に基づいて、距離Ｌ３を算出することができる。この場合、決定部１０５は、対象物表示位置２１２から所定の距離ｄだけ離れた右側位置２１６および左側位置２１４を決定する。距離ｄは、以下の式（１）により算出することができる。
ｄ＝１／２×Ｌ２×Ｌ３／（Ｌ１＋Ｌ２）・・・（１）
なお、距離Ｌ３を算出する際、必ずしも、カメラ１２０により撮影された運転者の顔画像に基づく必要はない。すなわち、カメラ１２０を設けることは必ずしも必須ではない。距離Ｌ３として、例えば６．５［ｃｍ］等の所定値を設定しても良い。

図６では、歩行者２００が運転者の正面に位置する場合について説明したが、歩行者２００の位置が運転者の正面から左右にずれた場合についても、右側位置２１６および左側位置２１４を同様に決定することができる。図７は、歩行者２００の位置が運転者の正面から左方向にずれた場合を示している。この場合においても、対象物表示位置２１２と、右側位置２１６および左側位置２１４との距離ｄは、上記の式（１）を用いて算出することができる。また、図６や図７において、運転者の頭部の位置が歩行者２００の位置から左右にずれた場合についても、右側位置２１６および左側位置２１４を同様に決定することができる。また、運転者の頭部位置が車両のロール方向（言い換えると車両の進行方向に対して垂直な平面上を、運転者が首をかしげように回転する方向）に回転する場合には、決定部１０５は、その回転角度と同じ角度だけ右側位置２１６および左側位置２１４を中心として回転させた位置に決定する。

制御部１０６は、認識部１０１から出力された輪郭情報と、決定部１０５から出力された左右側位置情報に基づいて、仮想画像の生成と表示についての制御の内容を示す制御情報を生成し、その制御情報を表示部１０４へ出力する。

ここで、図８を参照し、仮想画像の表示処理について説明する。図８において、３０１、３０２は、表示媒体１３０上の左側位置２１４および右側位置２１６にそれぞれ表示される仮想画像である。３０３は、運転者が表示媒体１３０上に表示される仮想画像３０１（本発明の「第１の左側画像」に対応）を右目２３０で見ることにより、歩行者２００の左方向に見える虚像である。３０４は、運転者が表示媒体１３０上に表示される仮想画像３０２（本発明の「第１の右側画像」に対応）を左目２２０で見ることにより、歩行者２００の右方向に見える虚像である。仮想画像３０１，３０２は、同じ色および輝度で表示されることが好ましい。３０５は、運転者が歩行者２００を注視した際、仮想画像３０１の二重像のうち虚像３０３以外の虚像と、仮想画像３０２の二重像のうち虚像３０４以外の虚像とが歩行者２００の位置で組み合わさって見える人の形状の虚像である。

ここで、仮想画像３０１と仮想画像３０２とは複数の要素から構成される第１の所定画像であり、仮想画像３０２は、第１の所定画像を構成する複数の要素のうちの一部である第１の要素から構成され、仮想画像３０１は、上記複数の要素のうち第１の要素以外の第２の要素から構成される。

このように、歩行者２００の位置に人の形状を示す虚像を見えるようにすることで、運転者に対して歩行者２００の存在を把握させることができる。

次に、表示部１０４は、制御部１０６から出力された制御情報に基づいて、仮想画像を生成する（ステップＳ１８０）。続いて、表示部１０４は、生成した仮想画像を表示媒体１３０に表示する（ステップＳ２００）。

その後、表示システム１００は、処理を終了させる必要があるか否かについて判定する（ステップＳ２２０）。例えば、表示システム１００は、車両のエンジンがオン状態からオフ状態となることに連動して表示システム１００が停止される場合に処理を終了させる必要があると判定する一方、車両のエンジンがオン状態からオフ状態となっていない場合に処理を終了させる必要がないと判定する。

判定の結果、処理を終了させる必要がある場合（ステップＳ２２０、ＹＥＳ）、表示システム１００は、図５における処理を終了する。一方、処理を終了させる必要がない場合（ステップＳ２２０、ＮＯ）、処理はステップＳ１００以降の処理が再度実行される。その後、ステップＳ２００において仮想画像を表示する場合には、前回のステップＳ２００において表示された仮想画像とは異なる仮想画像が表示される。具体的には、第１の所定画像を構成する複数の要素を仮想画像３０１と仮想画像３０２とに分けた際の分け方とは異なる分け方で複数の要素を分けた左右２つの仮想画像が表示される。この点に関して、図９を用いて詳しく説明する。

図９において、４０１、４０２は、表示媒体１３０上の左側位置２１４および右側位置２１６にそれぞれ表示される仮想画像である。４０３は、運転者が表示媒体１３０上に表示される仮想画像４０１（本発明の「第２の左側画像」に対応）を右目２３０で見ることにより、歩行者２００の左方向に見える虚像である。４０４は、運転者が表示媒体１３０上に表示される仮想画像４０２（本発明の「第２の右側画像」に対応）を左目２２０で見ることにより、歩行者２００の右方向に見える虚像である。仮想画像４０１，４０２は、同じ色および輝度で表示されることが好ましい。４０５は、運転者が歩行者２００を注視した際、仮想画像４０１の二重像のうち虚像４０３以外の虚像と、仮想画像４０２の二重像のうち虚像４０４以外の虚像とが歩行者２００の位置で組み合わさって見える人の形状の虚像である。

ここで、仮想画像４０１と仮想画像４０２とは複数の要素から構成される第２の所定画像であり、仮想画像４０２は、第２の所定画像を構成する複数の要素のうち一部であって、かつ、第１の要素と異なる第３の要素から構成され、仮想画像４０１は、上記複数の要素のうち第３の要素以外の第４の要素から構成される。すなわち、仮想画像４０１，４０２はそれぞれ、仮想画像３０１、３０２とは異なる要素から構成される異なる画像である。

以上のように、本実施の形態では、二重像の発生を想定した上で表示媒体１３０上の左側位置２１４に仮想画像３０１，４０１を表示し、右側位置２１６に仮想画像３０２，４０２を表示している。さらに、本実施の形態では、表示媒体１３０上の左側位置２１４および右側位置２１６に表示させる仮想画像を時間が経過するにつれ変更させる。これにより、運転者に対して、虚像３０３，３０４，３０５，４０３，４０４，４０５のうち歩行者２００の位置に重畳される虚像３０５，４０５のみが明瞭に表示されることになり、運転者に歩行者の存在を正確に把握させることができる。この点について、以下でさらに詳しく説明する。

図１０は、時々刻々と表示媒体１３０の左側位置２１４および右側位置２１６に表示される２つの仮想画像と、歩行者２００の左方向に見える虚像、歩行者２００の位置に重畳されて見える虚像、および歩行者２００の右方向に見える虚像との関係を示す。図１０に示すように、時間の経過に伴い歩行者２００の位置に重畳されて見える虚像を構成する要素の位置および数は大きく変化せず、当該仮想画像は運転者に明瞭に視認される。一方、時間の経過に伴い、歩行者２００の左および右方向に見える虚像を構成する要素の位置および数は高速で大きく変化するため、当該虚像は運転者にぼやけて視認される。すなわち、歩行者２００の位置に重畳されて表示される虚像のみが運転者に明瞭に視認されるため、運転者は、歩行者の存在を正確に把握することができる。

ここで、一般に、人間が知覚できる明暗の限界周波数である臨界融合周波数（ＣＦＦ：Critical Flicker Frequency）は、３０〜４０［Ｈｚ］と言われている。そこで、表示媒体１３０の左側位置２１４および右側位置２１６に２つの仮想画像を表示させる時間間隔を、臨界融合周波数以上の周波数の逆数とすることにより、歩行者２００の左および右方向において、運転者が虚像を認識できないようにすることができる。

なお、上記実施の形態では、対象物として歩行者を１回認識する毎に、表示媒体１３０に２つの仮想画像を１回表示する例について説明したが、対象物として歩行者を１回認識する毎に、表示媒体１３０に２つの仮想画像をＮ回（Ｎは１より大きい自然数）切り替えて表示するようにしても良い。この場合における表示システム１００の動作について、図１１を参照して説明する。図１１は、本実施の形態に係る表示システム１００の動作の変形例を示すフローチャートである。ステップＳ３００における処理は、例えば車両のエンジンがオフ状態からオン状態となることに連動して表示システム１００が起動されることにより開始される。

まず、認識部１０１は、カメラ１１０から取得した前景画像に含まれる特徴量を抽出し、抽出した特徴量に対してパターンマッチング処理等を行うことによって対象物を認識する（ステップＳ３００）。そして、認識部１０１は、対象物の位置および種別を含む対象物位置情報を特定部１０２に出力する。また、認識部１０１は、対象物の輪郭を示す輪郭情報を表示制御装置１０３の制御部１０６に出力する。

次に、特定部１０２は、認識部１０１から出力された対象物位置情報に含まれる対象物の種別が歩行者であるか否かについて判定する（ステップＳ３２０）。この判定の結果、対象物の種別が歩行者でない場合（ステップＳ３２０、ＮＯ）、処理はステップＳ５００に遷移する。一方、対象物の種別が歩行者である場合（ステップＳ３２０、ＹＥＳ）、特定部１０２は、運転者の目領域のうちの所定の点の位置、認識部１０１から出力された対象物位置情報に示される歩行者（対象物）の位置、表示媒体１３０の位置の関係から、歩行者が表示される表示媒体１３０上の位置である対象物表示位置を特定する（ステップＳ３４０）。そして、特定部１０２は、対象物表示位置を示す対象物表示位置情報を表示制御装置１０３の決定部１０５に出力する。

次に、決定部１０５は、認識部１０１による対象物の認識結果に基づいて、表示媒体１３０上において、特定部１０２から出力された対象物表示位置情報により示される対象物表示位置から所定の距離だけ離れた右側位置、および、対象物表示位置に対して右側位置と実質的に対称の位置である左側位置を決定する（ステップＳ３６０）。そして、決定部１０５は、決定した左側位置および右側位置を示す左右位置情報を制御部１０６に出力する。

制御部１０６は、認識部１０１から出力された輪郭情報と、決定部１０５から出力された左右側位置情報に基づいて、仮想画像の生成と表示についての制御の内容を示す制御情報を生成し、その制御情報を表示部１０４へ出力する。

次に、表示部１０４は、制御部１０６から出力された制御情報に基づいて、２つの仮想画像を第１仮想画像として生成する（ステップＳ３８０）。次に、表示部１０４は、生成した第１仮想画像を表示媒体１３０に表示する（ステップＳ４００）。

次に、表示部１０４は、制御部１０６から出力された制御情報に基づいて、２つの仮想画像を第２仮想画像として生成する（ステップＳ４２０）。次に、表示部１０４は、生成した第２仮想画像を表示媒体１３０に表示する（ステップＳ４４０）。その後も、表示部１０４は、制御部１０６から出力された制御情報に基づいて、２つの仮想画像を生成して表示媒体１３０に表示する処理を繰り返す。そして、表示部１０４は、制御部１０６から出力された制御情報に基づいて、２つの仮想画像を第Ｎ仮想画像として生成する（ステップＳ４６０）。次に、表示部１０４は、生成した第Ｎ仮想画像を表示媒体１３０に表示する（ステップＳ４８０）。ステップＳ４００〜Ｓ４８０の処理においては、表示媒体１３０上の左側位置２１４および右側位置２１６に表示させる仮想画像を時々刻々と変更させている。

最後に、表示システム１００は、処理を終了させる必要があるか否かについて判定する（ステップＳ５００）。判定の結果、処理を終了させる必要がある場合（ステップＳ５００、ＹＥＳ）、表示システム１００は、図１１における処理を終了する。一方、処理を終了させる必要がない場合（ステップＳ５００、ＮＯ）、処理はステップＳ３００の前に戻る。

また、上記実施の形態では、人の形状の虚像が歩行者２００の位置に見えるように、表示媒体１３０の左側位置２１４および右側位置２１６に、当該虚像を生じさせる要素から構成される仮想画像３０１，３０２，４０１，４０２を表示させる例について説明したが、本発明はこれに限定されない。

例えば、図１２に示すように、円形状の虚像が歩行者２００の位置に見えるように、扇形または半円形の複数の要素から構成される所定画像を表示させるようにしてもよい。この所定画像は、表示媒体１３０の左側位置２１４に表示される仮想画像と、右側位置２１６に表示される仮想画像とからなる。そして、右側位置２１６に表示される仮想画像は、上記所定画像を構成する複数の要素のうちの一部の要素からなり、右側位置２１６に表示される仮想画像は、上記複数の要素のうち上記一部の要素以外の他の要素からなる。

また、図１３に示すように、長方形の枠形状の虚像が歩行者２００の位置に見えるように、四角形または角の一部が丸くなった四角形である複数の要素から構成される所定画像を表示させるようにしてもよい。この所定画像も、表示媒体１３０の左側位置２１４に表示される仮想画像と、右側位置２１６に表示される仮想画像とからなる。そして、右側位置２１６に表示される仮想画像は、上記所定画像を構成する複数の要素のうちの一部の要素からなり、右側位置２１６に表示される仮想画像は、上記複数の要素のうち上記一部の要素以外の他の要素からなる。

上述した表示システム１００、表示制御装置１０３の各部の機能は、コンピュータプログラムにより実現され得る。

図１４は、各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ１０００は、入力ボタン、タッチパッドなどの入力装置１００１、ディスプレイ、スピーカなどの出力装置１００２、ＣＰＵ（Central Processing Unit）１００３、ＲＯＭ（Read Only Memory）１００４、ＲＡＭ（Random Access Memory）１００５を備える。また、コンピュータ１０００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置１００６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１００７、ネットワークを介して通信を行う送受信装置１００８を備える。上記各部は、バス１００９により接続される。

そして、読取装置１００７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１００６に記憶させる。あるいは、送受信装置１００８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置１００６に記憶させる。

そして、ＣＰＵ１００３が、記憶装置１００６に記憶されたプログラムをＲＡＭ１００５にコピーし、そのプログラムに含まれる命令をＲＡＭ１００５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ１００５または記憶装置１００６には、上記実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。

本発明は、乗員に対して対象物の存在を正確に把握させることができる表示制御プログラムおよび表示制御装置に有用である。

１００ 表示システム
１０１ 認識部
１０２ 特定部
１０３ 表示制御装置
１０４ 表示部
１０５ 決定部
１０６ 制御部
１１０，１２０ カメラ
１３０ 表示媒体
２００ 歩行者
２１２ 対象物表示位置
２１４ 左側位置
２１６ 右側位置
２２０ 左目
２２５ 中心
２３０ 右目
３０１，３０２，４０１，４０２ 仮想画像
３０３，３０４，３０５，４０３，４０４，４０５ 虚像
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ ＲＯＭ
１００５ ＲＡＭ

Claims (4)

1. 移動体の乗員の前景の画像である前景画像を取得し、前記前景画像に含まれる所定の対象物を認識する認識部と、
   前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における領域のうちの所定位置を特定する特定部と、
   前記認識部の認識結果に基づいた所定画像を生成し、当該所定画像を前記表示媒体に表示する表示部と、
   を含む表示システムにおけるコンピュータに実行させる表示制御プログラムであって、
   前記コンピュータに、
   前記認識部により前記所定の対象物が認識された場合において、その認識結果に基づいて、前記表示媒体上において、前記特定部により特定された前記所定位置から所定の距離だけ離れた右側位置、および、前記所定位置に対して前記右側位置と実質的に対称の位置である左側位置を決定し、
   前記表示媒体に表示されたときに、前記右側位置に第１の右側画像を示すとともに、前記左側位置に第１の左側画像を示す第１の所定画像を、第１のタイミングで表示し、
   前記表示媒体に表示されたときに、前記右側位置に第２の右側画像を示すとともに、前記左側位置に第２の左側画像を示す第２の所定画像を、前記第１のタイミングとは異なる第２のタイミングで表示するように前記表示部を制御する処理を実行させ、
   前記第１および第２の所定画像はそれぞれ、複数の要素から構成される画像であり、
   前記第１の右側画像は、前記複数の要素のうちの一部の要素である第１の要素から構成され、
   前記第１の左側画像は、前記複数の要素のうち前記第１の要素以外の第２の要素から構成され、
   前記第２の右側画像は、前記複数の要素のうちの一部の要素であり、かつ、前記第１の要素と異なる第３の要素から構成され、
   前記第２の左側画像は、前記複数の要素のうち前記第３の要素以外の第４の要素から構成される、
   表示制御プログラム。
2. 移動体の乗員の前景の画像である前景画像を取得し、前記前景画像に含まれる所定の対象物を認識する認識部と、
   前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における領域のうちの所定位置を特定する特定部と、
   前記認識部の認識結果に基づいた所定画像を生成し、当該所定画像を前記表示媒体に表示する表示部と、
   を含む表示システムにおける表示制御装置であって、
   前記認識部により前記所定の対象物が認識された場合において、その認識結果に基づいて、前記表示媒体上において、前記特定部により特定された前記所定位置から所定の距離だけ離れた右側位置、および、前記所定位置に対して前記右側位置と実質的に対称の位置である左側位置を決定する決定部と、
   前記表示媒体に表示されたときに前記右側位置に第１の右側画像を示すとともに、前記左側位置に第１の左側画像を示す第１の所定画像を、第１のタイミングで表示し、前記表示媒体に表示されたときに前記右側位置に第２の右側画像を示すとともに、前記左側位置に第２の左側画像を示す第２の所定画像を、前記第１のタイミングとは異なる第２のタイミングで表示するように前記表示部を制御する制御部と、
   を備え、
   前記第１および第２の所定画像はそれぞれ、複数の要素から構成される画像であり、
   前記第１の右側画像は、前記複数の要素のうち一部の第１の要素から構成され、
   前記第１の左側画像は、前記複数の要素のうち前記第１の要素以外の第２の要素から構成され、
   前記第２の右側画像は、前記複数の要素のうち一部、かつ、前記第１の要素と異なる第３の要素から構成され、
   前記第２の左側画像は、前記複数の要素のうち前記第３の要素以外の第４の要素から構成される、
   表示制御装置。
3. 前記第１のタイミングと前記第２のタイミングとの間の時間間隔は、臨界融合周波数以上の周波数の逆数である、
   請求項２に記載の表示制御装置。
4. 前記所定の対象物は、前記乗員が注視している対象物であり、
   前記認識部は、前記乗員の視点方向情報を取得し、取得した当該視点方向情報に基づいて、前記所定の対象物を認識する、
   請求項２または３に記載の表示制御装置。