Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6933189B2 - 表示制御装置、及び表示制御プログラム - Google Patents
[go: Go Back, main page]

JP6933189B2 - 表示制御装置、及び表示制御プログラム - Google Patents

表示制御装置、及び表示制御プログラム Download PDF

Info

Publication number
JP6933189B2
JP6933189B2 JP2018102455A JP2018102455A JP6933189B2 JP 6933189 B2 JP6933189 B2 JP 6933189B2 JP 2018102455 A JP2018102455 A JP 2018102455A JP 2018102455 A JP2018102455 A JP 2018102455A JP 6933189 B2 JP6933189 B2 JP 6933189B2
Authority
JP
Japan
Prior art keywords
display
condition
display control
satisfied
virtual image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018102455A
Other languages
English (en)
Other versions
JP2019206255A5 (ja
JP2019206255A (ja
Inventor
智 堀畑
智 堀畑
靖 作間
靖 作間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2018102455A priority Critical patent/JP6933189B2/ja
Priority to PCT/JP2019/017326 priority patent/WO2019230270A1/ja
Publication of JP2019206255A publication Critical patent/JP2019206255A/ja
Publication of JP2019206255A5 publication Critical patent/JP2019206255A5/ja
Priority to US17/092,586 priority patent/US11367417B2/en
Application granted granted Critical
Publication of JP6933189B2 publication Critical patent/JP6933189B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50Instruments characterised by their means of attachment to or integration in the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/167Vehicle dynamics information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

この明細書による開示は、虚像の表示を制御する技術に関する。
従来、例えば特許文献1には、経路案内等の情報提示に用いられる情報伝達子を、ヘッドアップディスプレイによって乗員の前景に虚像表示させる車両用ナビゲーションシステムが開示されている。特許文献1のヘッドアップディスプレイは、フロントガラスの広範囲に虚像となる光を投影可能である。故に、先行車等の障害物に情報伝達子が重なるような状況では、情報伝達子は、障害物と重ならない表示位置まで移動される。
特開2005−69799号公報
特許文献1のように、障害物と重ならない位置まで虚像の表示位置を移動させてしまうと、例えば経路案内等の情報伝達子は、右左折等を行うべき交差点とは異なった場所に重畳表示されてしまう。このように、正しく重畳できないシーンでも継続されてしまう虚像表示は、乗員の誤解の要因となり得た。
本開示は、乗員に誤解を与え難い虚像表示が可能な表示制御装置及び表示制御プログラムの提供を目的とする。
上記目的を達成するため、開示された一つの態様は、車両(A)において用いられ、乗員の前景に重畳される表示を制御する表示制御装置であって、予め設定された中断条件と、中断条件の成立後に判定される再開条件と、の成立を判定する条件判定部(74)と、前景中にある重畳対象に重畳されるAR表示像と、AR表示像と実質的に同種の意味を示し且つ重畳対象に重畳されない非AR表示像と、の表示を制御する表示制御部(76)と、を備え、表示制御部は、条件判定部にて中断条件が成立していると判定された場合に、AR表示像の表示を中断し、条件判定部にて再開条件が成立していると判定された場合に、中断していたAR表示像の表示を再開し、条件判定部にて中断条件が成立していると判定された場合及び再開条件が成立していると判定された場合において、非AR表示像を継続表示し、AR表示像の表示が中断されている場合に、AR表示像の表示の中断を非AR表示像によって通知する表示制御装置とされる
また開示された一つの態様は、車両(A)において用いられ、乗員の前景に重畳される表示を制御する表示制御プログラムであって、少なくとも一つの処理部(61)を、予め設定された中断条件と、中断条件の成立後に判定される再開条件と、の成立を判定する条件判定部(74)、前景中にある重畳対象に重畳されるAR表示像と、AR表示像と実質的に同種の意味を示し且つ重畳対象に重畳されない非AR表示像と、の表示を制御する表示制御部(76)、として機能させ、表示制御部は、条件判定部にて中断条件が成立していると判定された場合に、AR表示像の表示を中断し、条件判定部にて再開条件が成立していると判定された場合に、中断していたAR表示像の表示を再開し、条件判定部にて中断条件が成立していると判定された場合及び再開条件が成立していると判定された場合において、非AR表示像を継続表示し、AR表示像の表示が中断されている場合に、AR表示像の表示の中断を非AR表示像によって通知する表示制御プログラムとされる
これらの態様では、重畳対象に正しくAR表示像を重畳できないようなシーンが、中断条件として設定可能となる。故に、中断条件の成立判定に基づきAR表示像の表示を停止する制御によれば、正しい重畳表示が困難なシーンにおいては、AR表示像による虚像表示は中断され得る。したがって、乗員に誤解を与え難い虚像表示が可能になる。
尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。
虚像表示システムに関連する車載構成の全体像を示すブロック図である。 遠虚像及び近虚像を用いた情報提示の一例を示す図である。 中断条件の成立に基づき遠虚像によるAR表示が中断された状態を示す図である。 表示制御装置にて実施される表示制御処理の詳細を図5と共に示すフローチャートである。 表示制御処理の詳細を図4と共に示すフローチャートである。 表示制御装置にて実施されるオフ制御処理の詳細を示すフローチャートである。 表示制御装置にて実施されるオン制御処理の詳細を示すフローチャートである。 表示制御装置にて実施される緊急表示処理の詳細を示すフローチャートである。 停車判定を中断条件に用いた変形例1の表示制御処理の詳細を示すフローチャートである。 走行経路の再検索実施判定を中断条件に用いた変形例2の表示制御処理の詳細を示すフローチャートである。 後退判定を中断条件に用いた変形例3の表示制御処理の詳細を示すフローチャートである。 位置情報の低信頼度判定を中断条件に用いた変形例4の表示制御処理の詳細を示すフローチャートである。
本開示の一実施形態による表示制御装置100は、車両Aにおいて用いられる虚像表示システム10を、ヘッドアップディスプレイ(Head Up Display,以下、「HUD」)装置30等と共に構成している。虚像表示システム10は、車両Aの乗員(例えばドライバ)の前景の重畳対象、例えば他車両、歩行者及びサイクリスト等に重畳される虚像Viを表示する。虚像表示システム10は、虚像Viを用いた拡張現実(Augmented Reality,以下「AR」)表示により、車両Aに関連する種々の情報をドライバに提示する。
表示制御装置100は、車載ネットワークの通信バスを介して、他の車載構成と相互に通信可能である。通信バスには、例えばナビ情報提供部21、ADAS情報提供部22、自車情報提供部26、ドライバ情報提供部27及び車載装置40等が直接的又は間接的に電気接続されている。
ナビ情報提供部21は、車両Aに搭載されたナビゲーション装置を少なくとも含む構成であり、地図データベース及びGNSS(Global Navigation Satellite System)受信器を有している。地図データベースは、ナビゲーション装置による経路案内のための地図データを大量に記憶している。GNSS受信器は、複数の人工衛星から送信された測位信号を受信する。
ナビ情報提供部21は、GNSS受信器で受信した測位信号に基づき、車両Aの現在位置を測位する。ナビ情報提供部21は、車両Aの現在位置と測位信号の受信状況とを示すGNSS受信情報を、通信バスに逐次出力し、表示制御装置100に提供する。GNSS受信情報には、測位信号の受信状況を示す情報として、測位信号を受信している衛星数、測位信号の信号レベル(強度)、及び所定のアルゴリズムに基づく位置情報の信頼度等が含まれている。
ナビ情報提供部21は、ナビゲーション装置に目的地が設定されている場合、地図データベースから読み出した車両Aの周囲及び進行方向の地図データと、目的地までのルート情報とを、地図経路情報として表示制御装置100に提供する。加えてナビ情報提供部21は、ナビゲーション装置に設定されたルートから車両Aが逸脱し、ルートの再検索(以下、「リルート」)が実施される場合に、リルートの実施中及び完了を示すリルート情報を表示制御装置100に提供する。
ADAS情報提供部22は、ロケータ23、外界センサ24及び運転支援制御システム25等を少なくとも含む構成である。ロケータ23は、ナビ情報提供部21から提供されるGNSS受信情報に、慣性センサ及び外界センサ24等の計測情報を組み合わせた複合測位により、車両Aが走行するレーンを示すような高精度な位置情報を生成する。ロケータ23は、高精度な位置情報を、運転支援制御システム25及び表示制御装置100等に提供する。
外界センサ24は、フロントカメラ、ミリ波及び準ミリ波レーダ、ライダ並びにソナー等を含む構成である。外界センサ24は、車両Aの周囲、特に車両Aの前方範囲から、静止物体及び移動物体を検出する。外界センサ24は、物体の検出結果を示す外界センシング情報を、ロケータ23、運転支援制御システム25及び表示制御装置100に提供する。
運転支援制御システム25は、ロケータ23による高精度な位置情報及び外界センサ24による外界センシング情報を用いて、ドライバの運転操作を支援する。運転支援制御システム25は、ACC(Adaptive Cruise Control)、LTC(lane trace control)、LKA(Lane Keeping Assist)等の自動運転機能を実現する機能部を有している。加えて運転支援制御システム25は、FCW(Forward collision warning)及びAEB(Automatic emergency braking)等の衝突回避機能を実現する機能部を有している。運転支援制御システム25は、各機能部による運転支援制御情報を、表示制御装置100に提供する。
自車情報提供部26は、車両Aの状態を計測する複数の車載センサを含む構成である。自車情報提供部26は、車両Aの現在の車速、加速度、角速度及び車両姿勢等に加えて、車両Aの変速機のシフトポジション等の情報を、自車運動情報として表示制御装置100に提供する。
ドライバ情報提供部27は、車両Aに搭載されたドライバステータスモニタ(Driver Status Monitor,以下、「DSM」)を少なくとも含む構成であり、近赤外光源、近赤外カメラ及び画像解析部を有している。ドライバ情報提供部27は、近赤外カメラを用いて撮像した顔画像の解析により、ドライバのアイポイントEP、視線方向及び開眼度等の情報を取得する。ドライバ情報提供部27は、取得したドライバのセンシング情報を表示制御装置100に提供する。
車載装置40は、車両Aに搭載された電子制御ユニットであり、コンビネーションメータ41、マルチインフォメーションディスプレイ(MID)42及びセンターインフォメーションディスプレイ(CID)43等の車載表示器と電気的に接続されている。例えばCID43の表示画面には、地図データ及び目的地へ向けたルート情報等がナビゲーション装置によって表示される。CID43の表示画面は、ドライバ等によるタッチ操作が可能なタッチパネルとされている。車載装置40は、各車載表示器への制御要求により、ドライバへの情報提示を統合的に制御する。加えて車載装置40は、虚像表示による情報提示を必要とするシーンにおいて、重畳表示の制御要求を表示制御装置100へ向けて出力する。
HUD装置30は、表示制御装置100と電気的に接続されており、表示制御装置100にて生成された映像データを取得する。HUD装置30は、プロジェクタ、スクリーン及び拡大光学系等によって構成されている。HUD装置30は、ウィンドシールドWSの下方にて、インスツルメントパネル内の収容空間に収容されている。
HUD装置30は、虚像Viとして結像される表示像の光を、ウィンドシールドWSの投影範囲PAへ向けて投影する。ウィンドシールドWSへ向けて投影された光は、投影範囲PAにおいて運転席側へ反射され、ドライバによって知覚される。ドライバは、投影範囲PAを通して見える前景中の重畳対象に、虚像Viが重畳された表示を視認する。
HUD装置30によって光を投影される投影範囲PAは、ウィンドシールドWS全面のうちの限られた一部の領域であり、ドライバの見た目上で虚像Viが表示される領域である。投影範囲PAには、図2に示すように、近虚像表示エリアPA2及び遠虚像表示エリアPA1が含まれている。近虚像表示エリアPA2は、遠虚像表示エリアPA1よりも狭く、例えば遠虚像表示エリアPA1の左下又は右下に位置している。近虚像表示エリアPA2に投影された光は、近虚像Vi2として結像される。一方で、遠虚像表示エリアPA1に投影された光は、遠虚像Vi1として結像される。
図1及び図2に示す近虚像Vi2及び遠虚像Vi1は、車両Aの前後方向及び上下方向のそれぞれにおいて、互いに異なる位置に結像される。近虚像Vi2は、遠虚像Vi1よりもドライバの近傍に結像され、具体的には、ドライバのアイポイントEPから車両Aの前方向に2〜3メートル程度の空間中に結像される。近虚像Vi2は、主に車両Aの状態を示す情報等を、非AR表示によってドライバに提示する。一例として、右左折の実施を指示するターンバイターンアイコン11及び車速を示すスピード表示12等が、近虚像Vi2として表示される。
遠虚像Vi1は、近虚像Vi2よりもウィンドシールドWSから遠い位置、具体的には、アイポイントEPから車両Aの前方向に10〜20メートル程度の空間中に結像される。遠虚像Vi1は、ドライバの見かけ上にて、前景中の重畳対象(例えば路面や前走車等)に重畳され、上述のAR表示を実現する。一例として、ナビゲーション装置に設定された走行経路を示すARルート13等が、遠虚像Vi1として表示される。
図1に示す表示制御装置100は、HUD装置30による虚像Viの表示を制御する電子制御ユニットである。表示制御装置100の制御回路は、処理部61、RAM62、メモリ装置63及び入出力インターフェースを有するコンピュータを主体に構成されている。処理部61は、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)等を少なくとも一つを含む構成である。
メモリ装置63には、処理部61によって実行される種々のプログラムが格納されている。メモリ装置63には、虚像表示されるARコンテンツを生成する複数のアプリケーションプログラム(50a〜50e)、及び虚像表示を統合的に制御する提示管理プログラム等が、表示制御プログラムとして記憶されている。表示制御装置100は、提示管理プログラムに基づく機能ブロックとして、共通情報生成ブロック71及び統合表示制御ブロック73を有する。
共通情報生成ブロック71は、各重畳表示アプリケーション50a〜50e及び統合表示制御ブロック73にて共通で使用される情報を、通信バスから取得する。具体的には、GNSS受信情報、地図経路情報、リルート情報、高精度な位置情報、外界センシング情報、運転支援制御情報、自車運動情報、ドライバのセンシング情報及び重畳表示の制御要求等が、共通情報生成ブロック71によって取得される。共通情報生成ブロック71は、取得した情報に基づき、重畳表示の補正に必要なパラメータを算出する。加えて共通情報生成ブロック71は、取得した情報の抽象化等を実施する。
共通情報生成ブロック71にて取得される情報の中には、緊急性の高い緊急情報が含まれている。例えば、運転支援制御情報のうちで、FCW及びAEBの作動に関連する制御情報、並びにLKAの作動に関連する制御情報(車線逸脱通知)等が緊急情報として予め設定されている。さらに、外界センシング情報のうちで、自車両(車両A)の直前への車線変更車両の進入検知情報、合流車両の検知情報等も、緊急情報として予め設定されている。
共通情報生成ブロック71によって提供される情報に基づき、重畳表示アプリケーション50a〜50eは、ADAS機能及びコクピット機能に関連したARコンテンツの生成と、その表示フラグの設定とを実施する。各重畳表示アプリケーション50a〜50eは、運転支援制御システムのACC機能、LKA機能及びFCW機能、さらにナビゲーション装置等と関連付けられている。各重畳表示アプリケーション50a〜50eは、提供された情報に応じて、虚像表示させるARコンテンツ及び非ARコンテンツを個別に決定し、統合表示制御ブロック73に対して表示要求を行う。
統合表示制御ブロック73は、各重畳表示アプリケーション50a〜50eからの表示要求に基づき、共通情報生成ブロック71から提供される情報を用いて、遠虚像Vi1及び近虚像Vi2それぞれの映像データを生成する。統合表示制御ブロック73は、表示調停部74、重畳表示補正部75及び描画出力部76を有している。
表示調停部74は、遠虚像Vi1及び近虚像Vi2として表示するARコンテンツ及び非ARコンテンツを調整する機能部である。表示調停部74は、取得した表示要求の中から、優先度の高いARコンテンツ及び非ARコンテンツを選別し、虚像表示の対象とする。上述の緊急情報には、最も高い優先度が予め割り振られている。こうした設定により、緊急情報を通知するARコンテンツは、実質必ず表示対象とされ、迅速に表示される。
表示調停部74は、共通情報生成ブロック71から提供される種々の情報に基づき、中断条件及び再開条件の各成立判定を行い、遠虚像Vi1を用いたAR表示の中断と再開とを決定する。中断条件は、重畳対象への正確な重畳が困難であるシーン、AR表示が不要なシーン、AR表示がドライバの邪魔になるシーン等と紐づくように、予め設定されている。具体的には、後述する車両Aの停車及び後退、測位信号の受信状況悪化に伴う自車位置情報の信頼度の低下、予定走行経路からの離脱に伴うリルートの実施、並びにドライバのオフ操作等が、中断条件として設定されている。一方で、再開条件は、中断条件の成立後に判定される。表示調停部74は、直前に成立した中断条件に関連付く内容を、再開条件に設定する。以上の中断条件及び再開条件には、それぞれ除外条件及び制限条件が設けられている。表示調停部74は、除外条件に該当する場合、中断条件を成立させない。同様に、表示調停部74は、制限条件に該当する場合には、再開条件を成立させない。
重畳表示補正部75は、共通情報生成ブロック71にて算出された重畳表示補正のためのパラメータ等を取得し、遠虚像Vi1の映像データの補正情報を生成する。補正情報は、重畳対象とアイポイントEPとを3次元的に結ぶ仮想線上に、遠虚像Vi1の結像位置を調整し、遠虚像Vi1を重畳対象に正しく重畳させるための情報である。重畳表示補正部75は、重畳対象の相対位置、アイポイントEPの位置及び車両姿勢等を考慮した補正情報を逐次生成する。
描画出力部76は、遠虚像Vi1及び近虚像Vi2のそれぞれについて、表示調停部74によって選別されたコンテンツの元画像を描画してなる映像データを生成する。描画出力部76は、遠虚像Vi1の映像データについて、重畳表示補正部75による補正情報に基づき、各フレームにおける元画像の描画位置及び描画形状を調整する。描画出力部76は、生成した各映像データを、予め規定された映像フォーマットにて、HUD装置30へ逐次出力する。
描画出力部76は、各映像データの制御により、表示調停部74にて中断条件が成立していると判定された場合に、虚像Viのうちで遠虚像Vi1の表示を中断する。一方で、描画出力部76は、近虚像Vi2の表示を継続する。描画出力部76は、遠虚像Vi1の表示を中断している場合に、遠虚像Vi1の表示中断を近虚像Vi2によってドライバに通知する。一例として、描画出力部76は、遠虚像Vi1の表示中断を示す中断通知アイコン15(図3参照)を、近虚像Vi2として表示する。さらに描画出力部76は、表示調停部74にて再開条件が成立していると判定された場合に、中断していた遠虚像Vi1の表示を再開する。
描画出力部76は、中断条件の成立に基づいて遠虚像Vi1の表示を中断していても、共通情報生成ブロック71にて緊急情報の取得があった場合には、緊急情報に対応する内容のARコンテンツを、遠虚像Vi1によって通知する。例えば、ワインディングロード等での車線逸脱通知、車線変更車両の進入通知、及び車両合流通知等が、AR表示のオンオフ設定に関係なく、緊急性の高いARコンテンツとして虚像表示される。
次に、中断条件の成立に基づき遠虚像Vi1によるAR表示を中断する複数の走行シーンを、図1及び図2に基づき具体的に説明する。
<停車時>
統合表示制御ブロック73は、停車中又は停車後に一定時間が経過した場合に、中断条件の成立を判定する。例えば右左折の案内を行う交差点にて遠虚像Vi1によるAR表示が継続された場合、ドライバによる周辺状況の視認が遠虚像Vi1によって妨げられる虞がある。こうしたドライバの注意力低下を回避するために、統合表示制御ブロック73は、停車判定に基づき中断条件を成立させて、遠虚像Vi1の表示を停止する。
停車判定は、例えばシフトポジションがパーキング「P」であること、車速がゼロ又は一定値以下であること、前方直近の信号機が「赤」であること、一時停止線の検知、前走車のブレーキランプの点灯、及び前走車の停止等に基づく。加えて、停車判定は、例えば一定時間(X秒以上)の停止に基づいてもよい。この一定時間は、先行車の有無、即ち、交差点にて停車した車両群の先頭車両か否かに基づき、変更可能である。例えば、自車が先頭車両の場合、AR表示の違和感は少ない。一方で、先頭車両ではない場合、先行車にAR表示が重畳されるため、ドライバの違和感が生じ易い。故に、先行車が検知されている場合、先行車が検知されていない場合よりも、停車判定に用いる一定時間は、短く調整される。
ここで、交通に関連する法規は、国及び地域によって異なっている。例えば米国であれば、赤信号であっても一旦停止後に右折が可能である。故に、統合表示制御ブロック73は、直近の信号機が「赤」である場合でも、車両Aが右折予定であれば中断条件を成立させない。このように、中断条件には、除外条件が設定可能である。車両Aを使用する国及び地域に応じた除外条件の設定によれば、好ましくないタイミングでの遠虚像Vi1の表示停止が回避される。
統合表示制御ブロック73は、停車判定を中断条件とした場合、走行判定を再開条件として設定する。走行判定は、例えばシフトポジションがドライブ「D」であること、車速がゼロでない又は一定値以上であること等に基づく。こうした再開条件の設定によれば、例えば交通量が多く、右左折予定の交差点から離れた位置で停車し、交差点までの残距離が一定距離以上あるシーンにおいて、一旦消去された遠虚像Vi1のAR表示は、停車状況の解除タイミングにて再開される。
<リルート実施予定時>
統合表示制御ブロック73は、ナビゲーション装置におけるリルート実施に伴い、中断条件の成立を判定する。例えばドライバが意図的に経路案内を無視し、案内中の経路とは異なるルートを走行する場合、遠虚像Vi1として表示されるARルート13は、ドライバに煩わしさを感じさせ易く、早期に消去されることが望ましい。故に、統合表示制御ブロック73は、ナビゲーション装置でのリルート実施を推定した場合に、再検索実施判定を行い、遠虚像Vi1の表示を停止する。リルート実施の推定(再検索実施判定)は、ルート情報の示す経路から外れる兆候を検知した場合に行われる。
具体的に、統合表示制御ブロック73は、高精度な位置情報に基づき、交差点手前での車両Aの走行レーンを認識し、ルート情報の示す右左折情報と比較することで、交差点における車両Aの動きを予測する。そして、走行レーンから予測される経路と、ルート情報の示す経路とが異なる場合、統合表示制御ブロック73は、リルート実施を推定する。また別の例として、統合表示制御ブロック73は、方向指示器の作動状態と、ルート情報の示す経路との比較に基づき、リルート実施を推定できる。以上により、統合表示制御ブロック73は、リルート実施推定に基づき中断条件を成立させて、遠虚像Vi1の表示を交差点進入前に停止する。
統合表示制御ブロック73は、リルート実施推定を中断条件とした場合、リルートによって探索された新たなルート情報の取得を再開条件として設定する。こうした再開条件の設定によれば、ナビ情報提供部21から新たなルート情報を取得したタイミングで、ARルート13の表示が再開される。尚、統合表示制御ブロック73は、リルート実施推定に替えて、リルート実施を通知する地図ルート情報の取得を、中断条件として用いてもよい。
<後退時>
統合表示制御ブロック73は、車両Aが後退中である場合に、中断条件の成立を判定する。ドライバが車両Aを後退させている状況では、前方の虚像表示は不要である。統合表示制御ブロック73は、シフトポジションがリバース「R」である場合に、後退判定に基づき中断条件を成立させて、遠虚像Vi1の表示を停止する。
統合表示制御ブロック73は、後退判定を中断条件とした場合、停車判定と同様に走行判定を再開条件として設定する。こうした再開条件の設定によれば、車両Aの通常走行が開始されたタイミングで、遠虚像Vi1の表示が再開される。尚、例えばリアウィンドへの重畳表示が可能な車両Aにおいては、後退中もリアウィンドへの虚像の投影は、継続されてよい。こうした制御によれば、ドライバは、ルームミラー越しにリアウィンドに投影された虚像を視認できる。
<GNSS受信状況の不良時>
統合表示制御ブロック73は、測位信号の受信状況が良好でない場合に、中断条件の成立を判定する。測位信号の受信状況が悪く、自車位置の精度が確保できない場合、特に都市部等において、ARルート13は、交差点位置に正しく重畳されなくなる。こうした事態を回避するために、統合表示制御ブロック73は、受信状況判定に基づき中断条件を成立させて、遠虚像Vi1の表示を停止する。受信状況判定は、ナビ情報提供部21によって提供されるGNSS受信情報に基づいて判定される。具体的に、低信頼度判定には、所定アルゴリズムに基づく信頼度「低」の情報を取得していること、測位信号を受信している衛星数が一定数未満であること、及び測位信号の信号レベルが一定値未満であること、等の条件が用いられる。統合表示制御ブロック73は、これら複数の条件を適宜組み合わせて、受信状況の不良による位置情報の低信頼度判定を行う。
統合表示制御ブロック73は、位置情報の低信頼度判定を中断条件とした場合、受信状況の回復による位置情報の信頼度確保判定を再開条件として設定する。信頼度確保判定は、位置情報の信頼度が「低」でなくなったこと、測位信号を受信している衛星数が一定数以上になったこと、及び測位信号の信号レベルが一定値以上になったこと等に基づく。こうした再開条件の設定によれば、遠虚像Vi1によるAR表示は、位置情報の精度が確保されたタイミングで再開される。
ここで、交差点の直前(例えば100m以内等)でARルート13の表示が急に再開された場合、ドライバは、ARルート13の指示への即座の対応を迫られてしまい、戸惑いを覚え易い。故に、統合表示制御ブロック73は、信頼度確保判定を行っても、交差点等の案内地点までの距離が一定値未満である場合には、再開条件を成立させない。このように、再開条件には、制限条件が設定可能である。制限条件の設定によれば、好ましくないタイミングでの遠虚像Vi1の表示再開が回避される。
<オフ操作の入力時>
統合表示制御ブロック73は、ドライバ等の車両乗員によるオフ操作の入力があった場合に、中断条件の成立を判定する。オフ操作の入力対象は、例えばステイリングホイールのスポーク部に設けられたステアリングスイッチ45、及びナビゲーション装置の地図表示を行うCID43表示画面等である。ステアリングスイッチ45は、例えば押圧スイッチである。CID43の表示画面は、例えば交差点拡大図の表示を終了するための拡大解除ボタン44を表示している。こうした拡大解除ボタン44を押すタッチ操作が、オフ操作とされる。統合表示制御ブロック73は、オフ操作に基づき中断条件を成立させて、遠虚像Vi1の表示を停止する。
統合表示制御ブロック73は、オン操作を再開条件として設定する。オン操作の入力対象は、オン操作と同様にステアリングスイッチ45である。統合表示制御ブロック73は、ステアリングスイッチ45へのオン操作に基づき再開条件を成立させて、遠虚像Vi1の表示を再開する。
以上のようなマニュアル入力であるオフ操作及びオン操作は、システム側の判断に基づくAR表示のオン制御(緊急時を除く)及びオフ制御に対して優先される。例えば、オフ操作の入力があった場合、統合表示制御ブロック73は、システム側でオン判定されたARコンテンツの表示を消去する。
加えて、オフ操作として、一時オフ操作と永久オフ操作とが設定されている。一時オフ操作は、例えば拡大解除ボタン44のタッチ操作、及びステアリングスイッチ45の押し下げ操作等である。一時オフ操作によれば、例えば一つの案内交差点におけるARルート13の表示が消去され、次の案内交差点でのARルート13の表示は、通常実施される。
対して、永久オフ操作は、ステアリングスイッチ45を連続して2回押下する操作、又はステアリングスイッチ45を長押しする操作等である。永久オフ操作によれば、遠虚像Vi1を用いたAR表示は、オン操作の入力があるまで、又は表示制御装置100が再起動されるまで停止された状態となる。
以上説明したAR表示の中断及び再開を実現するために表示制御装置100によって実施される複数の処理の詳細を、図4〜図8に基づき、図1を参照しつつ説明する。
図4及び図5に示す表示制御処理は、例えば経路案内を必要とする交差点の接近等、各重畳表示アプリケーション50a〜50eによるイベント発生のフラグ設定、又は車載装置40による表示要求等に基づき開始される。
S101では、遠虚像Vi1として表示するARコンテンツの有無を判定する。S101にて、ARコンテンツが無いと判定した場合、S101の判定を繰り返す。そして、S101にて、ARコンテンツがあると判定した場合に、S102に進む。S102では、ARコンテンツを遠虚像Vi1として表示し(AR表示オン)、S103に進む。
S103では、停車判定を実施する。S103にて、停車中であると判定した場合、S105に進む。一方で、S103にて、停車中でないと判定した場合、S104に進み、後退判定を実施する。S104にて、シフトポジションが「R」であると判定した場合、S105に進む。
S105では、S102にて開始した遠虚像Vi1の表示を中断し(AR表示オフ)、S106に進む。S106では、走行判定を実施する。S106にて、走行中でないと判定した場合、S106の走行判定を繰り返す。そして、S106にて、走行中であると判定した場合、S107に進む。S107では、S105にて中断した遠虚像Vi1の表示を再開し(AR表示オン)、S103に戻る。
一方、S104にて、シフトポジションが「R」でないと判定した場合、S108に進む。S108では、測位信号の受信状況判定を実施する。S108にて、測位信号の受信状況が良好であると判定した場合、S112に進む。一方で、S108にて、測位信号の受信状況が良好でないと判定した場合、S109に進む。
S109では、遠虚像Vi1の表示を中断し(AR表示オフ)、S110に進む。S110では、受信状況判定を再び実施する。S110にて、測位信号の受信状況が回復していないと判定した場合、S110の受信状況判定を繰り返す。S110にて、受信状況が回復したと判定した場合、S111に進む。S111では、S109にて中断した遠虚像Vi1の表示を再開し(AR表示オン)、S112に進む。
S112では、リルートの実施予定を推定する。S112にて、リルート実施を推定しない場合、S116に進む。一方で、S112にて、リルート実施を推定した場合、S113に進む。S113では、遠虚像Vi1の表示を中断し(AR表示オフ)、S114に進む。S114では、リルートの完了を待機し、リルートの完了に基づき、S115に進む。S115では、S113にて中断した遠虚像Vi1の表示を再開し(AR表示オン)、S116に進む。
S116では、遠虚像Vi1の消去条件が成立しているか否かを判定する。消去条件は、予め設定された条件であり、例えばルート案内を行う案内交差点を通過した、又は案内交差点までの残距離が10m未満となった等である。S116にて消去条件が成立したと判定した場合、S117に進む。S117では、遠虚像Vi1の表示を完了し(AR表示オフ)、一連の表示制御処理を終了する。
一方、S116にて、消去条件が成立していないと判定した場合、S118に進む。S118では、遠虚像Vi1の表示を継続し(AR表示オン)、S103に戻る。以上により、消去条件の成立まで、複数種類の中断条件及び再開条件の判定を繰り返し、AR表示の開始及び停止を状況に応じて実施する。
図6に示すオフ制御処理は、表示制御処理と共に開始され、表示制御処理と併行実施される。オフ制御処理のS131では、遠虚像Vi1として表示するARコンテンツの有無を判定する。S131にて、ARコンテンツが無いと判定した場合、S131の判定を繰り返す。そして、S131にて、ARコンテンツがあると判定した場合に、S132に進む。S132では、ARコンテンツを遠虚像Vi1として表示し(AR表示オン)、S133に進む。
S133では、拡大解除ボタン44又はステアリングスイッチ45へのオフ操作の有無を判定する。S133にて、オフ操作が無いと判定した場合、S134に進む。S134では、消去条件が成立しているか否かを判定する。S134にて消去条件が成立したと判定した場合、S135に進み、遠虚像Vi1の表示を完了し(AR表示オフ)、一連のオフ制御処理を終了する。一方で、S134にて、消去条件が成立していないと判定した場合、S133に戻る。
S133にて、オフ操作があると判定した場合、S136に進む。S136では、オフ操作の種類を判別する。S136にて、永久オフ操作が入力されたと判定した場合、S137に進む。S137では、遠虚像Vi1の表示を実施しない基本設定に切り替え(AR表示永久オフ)、オフ制御処理を終了する。
一方、S136にて、一時オフ操作が入力されたと判定した場合、S138に進む。S138では、表示中の遠虚像Vi1を消去し(AR表示一時オフ)、S131に戻る。以上により、ARコンテンツの表示を指示する信号が再び取得されると、遠虚像Vi1の表示が再開される。尚、表示制御処理と重複するS131,S132,S134,S135の各実施は適宜省略されてもよい。
図7に示すオン制御処理は、表示制御処理又はオフ制御処理によるAR表示オフの実施に基づき開始される。オフ制御処理のS141では、遠虚像Vi1の表示を停止させた状態とし(AR表示オフ)、S142に進む。S142では、ステアリングスイッチ45へのオン操作の有無を判定する。S143にて、オン操作が無いと判定した場合、S142の処理を繰り返す。S142にて、オン操作があったと判定した場合、S143に進む。S143では、停止していたARコンテンツの表示を再開し(AR表示オン)、オン制御処理を終了する。
図8に示す緊急表示処理は、表示制御装置100の作動時において、繰り返し実施される。緊急表示処理のS161では、緊急度の高いARコンテンツの有無の判定により、緊急情報の取得を待機する。そして、S161にて、緊急情報を取得し、緊急度の高いARコンテンツが発生したと判定した場合、S162に進む。S162では、緊急度が「高」となるARコンテンツを遠虚像Vi1として表示し(AR表示オン)、S163に進む。S163では、例えば表示開始からの一定時間の経過及び注意喚起地点の通過等、所定条件の成立に基づき、S162にて開始したARコンテンツの表示を完了し、緊急表示処理を終了する。
ここまで説明した本実施形態では、重畳対象に正しく遠虚像Vi1を重畳できないようなシーンが、中断条件として設定可能となる。故に、中断条件の成立判定に基づきAR表示を中断する制御によれば、正しい重畳表示が困難なシーンにおいては、遠虚像Vi1の表示は中断され得る。したがって、ドライバに誤解を与え難い虚像表示が可能になる。
加えて本実施形態では、車両Aの停車判定、後退判定、測位信号の受信状況の悪化、及びリルートの実施等が中断条件として用いられている。これらのシーンでのAR表示は、正確性を欠いていたり、不要であったりする。故に、これらを中断条件として用いれば、AR表示に対するドライバの不快感及び煩わしさ等が低減され得る。
また本実施形態では、ドライバがAR表示を好まないようなシーンでは、ドライバのオフ操作によって遠虚像Vi1によるAR表示が停止される。故に、AR表示に起因したドライバの不快感及び煩わしさは、いっそう抑制可能となる。
さらに本実施形態では、中断条件に基づくAR表示の中断後、再開条件の成立に基づき、中断されていたAR表示が再開される。こうした表示制御であれば、正しく重畳表示可能な状況への復帰により、遠虚像Vi1を用いたAR表示による情報提示が、適切に再開され得る。以上によれば、表示制御装置100は、AR表示の中断期間を短縮させて、AR表示を用いた理解容易な情報提示を多くのシーンにおいて実施できる。
加えて本実施形態では、ドライバによって停止されたAR表示は、ドライバ判断に基づくオン操作により、再開可能となっている。こうした表示設定であれば、遠虚像Vi1を用いたAR表示は、高いユーザビリティを獲得できる。
また本実施形態では、緊急情報を提示する遠虚像Vi1は、中断条件の成立下においても、実質強制的に表示される。故に、緊急度の高い情報は、ドライバに迅速に認知され得る。以上によれば、システム判断及びドライバ判断によってAR表示を中断させる表示制御装置100であっても、緊急情報の発生時においては、視点移動を抑えてドライバの情報取得速度を高める虚像表示の利点は、十分に発揮可能となる。
さらに本実施形態では、中断条件の成立によって遠虚像Vi1によるAR表示が中断された場合でも、近虚像Vi2による非AR表示は、継続される。こうした近虚像Vi2による非AR表示は、重畳対象への正しい重畳を要求されないため、中断条件の成立期間に表示され続けても、ドライバへの違和感を惹起し難い。そして、近虚像Vi2の表示継続によれば、例えば車速等の情報は、ドライバにとって取得容易な状態に維持される。したがって、遠虚像Vi1を消去し、近虚像Vi2を消去しない表示制御は、ドライバの誤解の低減と、ドライバのユーザビリティの確保との両立に好適となる。
加えて本実施形態では、遠虚像Vi1を用いたAR表示の中断が、近虚像Vi2である中断通知アイコン15によってドライバに通知される。故に、AR表示の意図的な中断が、ドライバに認知され得る。したがって、中断条件の成立に基づくAR表示の中断が虚像表示システム10の故障と誤認される事態は、回避される。
尚、第一実施形態では、共通情報生成ブロック71が「情報取得部」に相当し、表示調停部74が「条件判定部」に相当し、描画出力部76が「表示制御部」に相当する。
(他の実施形態)
以上、本開示の一実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
上記実施形態では、複数の中断条件及び再開条件が一連の表示制御処理(図4及び図5参照)によって判定されていた。しかし、表示制御装置は、複数の中断条件及び再開条件の成立を個別の表示制御処理(図9〜図12参照)で判定してもよい。或いは、表示制御装置は、一つの中断条件及び再開条件のみを判定する形態であってもよい。
例えば上記実施形態の変形例1では、図9に示す表示制御処理が実施される。図9に示す表示制御処理では、中断条件として停車判定(S103)を実施し、再開条件として走行判定(S105)を実施する。統合表示制御ブロックは、停車中である旨の判定に基づきARコンテンツの表示を停止し、走行中である旨の判定に基づき、一旦消去したARコンテンツを再表示する。
また変形例2では、図10に示す表示制御処理が実施される。図10に示す表示制御処理では、中断条件としてリルートの実施予定を推定し(S112)、再開条件としてリルートの完了を判定する(S114)。統合表示制御ブロックは、リルートの実施を推定した場合にARコンテンツの表示を停止し、新たなルート情報の取得に基づき、一旦消去したARコンテンツを再表示する。
さらに変形例3では、図11に示す表示制御処理が実施される。図11に示す表示制御処理では、中断条件として後退判定(S104)を実施し、再開条件として走行判定(S106)を実施する。統合表示制御ブロックは、シフトポジションが「R」である旨の判定に基づきARコンテンツの表示を停止し、シフトポジションが「D」である旨の判定に基づき、一旦消去したARコンテンツを再表示する。
また変形例4では、図12に示す表示制御処理が実施される。図12に示す表示制御処理では、中断条件及び再開条件として、測位信号の受信状況を判定する(S108及びS110)。統合表示制御ブロックは、受信状況の悪化に基づきARコンテンツの表示を停止し、受信状況の回復に基づき、一旦消去したARコンテンツを再表示する。
上記実施形態の変形例5では、音声認識機能及びジェスチャー認識機能の少なくとも一方が、例えば車載装置等に設けられている。表示制御装置の統合表示制御ブロックは、音声及びジェスチャーの少なくとも一方によるオフ操作及びオン操作を受け付け可能であり、音声又はジェスチャーによる入力に基づき、ARコンテンツの表示停止と表示再開とを実施する。
上記実施形態のHUD装置30(図1参照)は、遠虚像及び近虚像を全く異なる位置に結像可能な二焦点方式の投影装置であった。しかし、上記実施形態の変形例6のHUD装置は、単焦点方式の投影装置である。詳記すると、変形例6のHUD装置によって投影される虚像光の結像面は、上方向へ向かうに従って車両の前方向に傾斜した姿勢である。結像面のうちで下縁近傍に結像される虚像が「近虚像」とされ、非AR表示を行う。一方で、結像面の中央から上方に結像される虚像が「遠虚像」とされ、AR表示を行う。こうした変形例6でも、中断条件の成立判定に基づき、遠虚像の表示が中断され、中断通知アイコン15(図3参照)が、近虚像によって表示される。尚、中断通知アイコン15の形状は、円形状又は楕円形状の発光スポットに限定されず、適宜変更されてよい。
さらに、上記実施形態の変形例7では、遠虚像及び近虚像が区別されていない。変形例7では、中断条件の成立判定に基づき、複数の虚像のうちで、AR表示を行うAR虚像の表示が中断される。一方で、非AR表示を行う非AR虚像の表示は、継続される。そして、非AR虚像により、AR虚像の表示中断を通知する。
また、上記実施形態の変形例8では、中断条件の成立判定に基づき、全ての虚像の表示が中断される。尚、非AR表示又は近虚像によるAR表示の中断の通知は、実施されなくてもよい。例えば、AR表示の中断は、音声及びCID43(図1参照)による表示等によって実施されてもよい。
オン操作及びオフ操作に関連するステアリングスイッチは、上記実施形態のような押圧スイッチでなくてもよい。ステアリングスイッチの構成、及び当該スイッチへの操作入力に基づく表示設定の切替ロジックは、適宜変更可能である。例えば、ステアリングスイッチの押圧操作により、AR表示及び非AR表示の両方のオン、AR表示のオフ及び非AR表示のオフ、並びにAR表示及び非AR表示の両方のオフが、サイクリックに切り替えられてもよい。以上によれば、ステアリングスイッチを一度押す操作によってAR表示のみが消去され、ステアリングスイッチをさらに押す(二度押す)操作により、AR表示及び非AR表示の両方が消去される。そして、ステイリングスイッチをさらに押す操作により、R表示及び非AR表示の両方が再び表示される。
またステイリングスイッチは、複数の切替ポジションを有する構成であってもよい。こうした構成であれば、ステイリングスイッチのポジションの変更により、AR表示及び非AR表示の両方のオン、AR表示のオフ及び非AR表示のオフ、並びにAR表示及び非AR表示の両方のオフが切り替え可能となる。
上記実施形態では、再開条件の成立判定に基づき、一旦非表示とされた遠虚像(AR虚像)が自動的に再表示された。しかし、再開条件は、設定されなくてもよい。又は、オン操作の入力があるまで、遠虚像(AR虚像)の再表示は、実施されなくてもよい。
緊急情報を通知するARコンテンツは、上記実施形態にて例示した情報に限定されない。さらに、緊急情報を通知するARコンテンツの虚像表示を実施させない設置が、統合表示制御ブロックにおいて可能であってもよい。
HUD装置の光学的な構成は、適宜変更可能である。例えばプロジェクタには、レーザ光源及びMEMSスキャナ等を含む構成が採用されていてもよい。或いは、DMD(Digital Micromirror Device)を用いたDLP(Digital Light Processing,登録商標)が、プロジェクタに採用されてもよい。さらに、LCOS(Liquid Crystal On Silicon)等を用いたプロジェクタ、液晶パネル及びLED光源を有する液晶プロジェクタ等が、HUD装置に採用可能である。
上記実施形態の表示制御装置は、HUD装置とは別体の電子制御ユニットとして設けられていた。しかし、上記表示制御装置の各機能は、例えばHUD装置に設けられた制御回路に実装されていてもよく、又はコンビネーションメータに設けられた制御回路等に実装されていてもよい。
さらに、上記実施形態にて表示制御装置の制御回路により提供された各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組合せによっても提供可能である。こうした機能がハードウェアである電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。
表示制御プログラム等を記憶するメモリ装置等には、フラッシュメモリ及びハードディスク等の種々の非遷移的実体的記憶媒体(non-transitory tangible storage medium)が採用可能である。こうした記憶媒体の形態も、適宜変更されてよい。例えば記憶媒体は、メモリカード等の形態であり、表示制御装置に設けられたスロット部に挿入されて、制御回路に電気的に接続される構成であってよい。さらに記憶媒体は、上述のような車載装置のメモリ装置に限定されず、当該メモリ装置へのプログラムのコピー基となる光学ディスク及び汎用コンピュータのハードディスクドライブ等であってもよい。
A 車両、Vi 虚像、Vi1 遠虚像、Vi2 近虚像、61 処理部、71 共通情報生成ブロック(情報取得部)、74 表示調停部(条件判定部)、76 描画出力部(表示制御部)、100 表示制御装置

Claims (6)

  1. 車両(A)において用いられ、乗員の前景に重畳される表示を制御する表示制御装置であって、
    予め設定された中断条件と、前記中断条件の成立後に判定される再開条件と、の成立を判定する条件判定部(74)と、
    前記前景中にある重畳対象に重畳されるAR表示像と、前記AR表示像と実質的に同種の意味を示し且つ前記重畳対象に重畳されない非AR表示像と、の表示を制御する表示制御部(76)と、を備え、
    前記表示制御部は、
    前記条件判定部にて前記中断条件が成立していると判定された場合に、前記AR表示像の表示を中断し、前記条件判定部にて前記再開条件が成立していると判定された場合に、中断していた前記AR表示像の表示を再開し、
    前記条件判定部にて前記中断条件が成立していると判定された場合及び前記再開条件が成立していると判定された場合において、前記非AR表示像を継続表示し、
    前記AR表示像の表示が中断されている場合に、前記AR表示像の表示の中断を前記非AR表示像によって通知する表示制御装置。
  2. 前記条件判定部は、消去条件の成立をさらに判定し、
    前記表示制御部は、前記条件判定部にて前記消去条件が成立していると判定された場合に、前記AR表示像及び前記非AR表示像を実質的に同時に非表示とする請求項1に記載の表示制御装置。
  3. 前記条件判定部は、前記車両の停車判定、前記車両の後退判定、前記車両の位置情報の低信頼度判定、及び前記車両の走行経路の再検索実施判定、の少なくとも一つに基づき、前記中断条件が成立したと判定する請求項1又は2に記載の表示制御装置。
  4. 前記条件判定部は、前記乗員による操作の入力に基づき、前記中断条件が成立したと判定する請求項1〜のいずれか一項に記載の表示制御装置。
  5. 緊急性が高いとして予め規定された緊急情報を取得する情報取得部(71)、をさらに備え、
    前記表示制御部は、前記中断条件の成立に基づき前記AR表示像の表示を中断していても、前記情報取得部による前記緊急情報の取得があった場合には、前記緊急情報を表示によって通知する請求項1〜のいずれか一項に記載の表示制御装置。
  6. 車両(A)において用いられ、乗員の前景に重畳される表示を制御する表示制御プログラムであって、
    少なくとも一つの処理部(61)を、
    予め設定された中断条件と、前記中断条件の成立後に判定される再開条件と、の成立を判定する条件判定部(74)、
    前記前景中にある重畳対象に重畳されるAR表示像と、前記AR表示像と実質的に同種の意味を示し且つ前記重畳対象に重畳されない非AR表示像と、の表示を制御する表示制御部(76)、として機能させ、
    前記表示制御部は、
    前記条件判定部にて前記中断条件が成立していると判定された場合に、前記AR表示像の表示を中断し、前記条件判定部にて前記再開条件が成立していると判定された場合に、中断していた前記AR表示像の表示を再開し、
    前記条件判定部にて前記中断条件が成立していると判定された場合及び前記再開条件が成立していると判定された場合において、前記非AR表示像を継続表示し、
    前記AR表示像の表示が中断されている場合に、前記AR表示像の表示の中断を前記非AR表示像によって通知する表示制御プログラム。
JP2018102455A 2018-05-29 2018-05-29 表示制御装置、及び表示制御プログラム Active JP6933189B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018102455A JP6933189B2 (ja) 2018-05-29 2018-05-29 表示制御装置、及び表示制御プログラム
PCT/JP2019/017326 WO2019230270A1 (ja) 2018-05-29 2019-04-24 表示制御装置、表示制御プログラム、およびその持続的有形コンピュータ読み取り媒体
US17/092,586 US11367417B2 (en) 2018-05-29 2020-11-09 Display control device and non-transitory tangible computer-readable medium therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018102455A JP6933189B2 (ja) 2018-05-29 2018-05-29 表示制御装置、及び表示制御プログラム

Publications (3)

Publication Number Publication Date
JP2019206255A JP2019206255A (ja) 2019-12-05
JP2019206255A5 JP2019206255A5 (ja) 2020-08-13
JP6933189B2 true JP6933189B2 (ja) 2021-09-08

Family

ID=68697613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018102455A Active JP6933189B2 (ja) 2018-05-29 2018-05-29 表示制御装置、及び表示制御プログラム

Country Status (3)

Country Link
US (1) US11367417B2 (ja)
JP (1) JP6933189B2 (ja)
WO (1) WO2019230270A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7423341B2 (ja) 2020-02-19 2024-01-29 本田技研工業株式会社 制御装置、車両、プログラム、及び制御方法
US11555711B2 (en) * 2020-04-11 2023-01-17 Harman Becker Automotive Systems Gmbh Systems and methods for augmented reality in a vehicle
JP7456329B2 (ja) * 2020-08-21 2024-03-27 株式会社デンソー 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法
JP7753732B2 (ja) 2021-08-31 2025-10-15 トヨタ自動車株式会社 車両用表示制御装置、車両用表示制御方法及び車両用表示制御プログラム
DE102021126195A1 (de) 2021-10-08 2023-04-13 Bayerische Motoren Werke Aktiengesellschaft Projektionsanzeigevorrichtung für zusätzliche Fahrerinformationen im Innenspiegel über Reflexion an der Heckscheibe
CN116206083A (zh) * 2021-11-30 2023-06-02 未来(北京)黑科技有限公司 显示方法、显示设备、交通工具、存储介质及电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2964491B2 (ja) * 1989-08-08 1999-10-18 株式会社デンソー 車両用表示装置
JPH10100739A (ja) * 1996-09-27 1998-04-21 Fujitsu Ten Ltd ヘッドアップディスプレイ装置
JP4085928B2 (ja) 2003-08-22 2008-05-14 株式会社デンソー 車両用ナビゲーションシステム
JP2005297810A (ja) * 2004-04-13 2005-10-27 Denso Corp 車両用表示システム及びプログラム
JP2009190520A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 車両用表示装置
JP6176478B2 (ja) 2013-04-26 2017-08-09 日本精機株式会社 車両情報投影システム
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
JP5983547B2 (ja) * 2013-07-02 2016-08-31 株式会社デンソー ヘッドアップディスプレイ及びプログラム
KR101510050B1 (ko) * 2014-04-15 2015-04-07 현대자동차주식회사 차량 주행 제어 장치 및 방법
JP6372402B2 (ja) * 2015-03-16 2018-08-15 株式会社デンソー 画像生成装置
KR20170015112A (ko) * 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량 및 그의 동작 방법
JP6519435B2 (ja) * 2015-10-16 2019-05-29 株式会社デンソー 報知管理装置及び報知管理方法
US10191541B2 (en) * 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content
US10082869B2 (en) * 2017-02-03 2018-09-25 Qualcomm Incorporated Maintaining occupant awareness in vehicles
JP6601441B2 (ja) * 2017-02-28 2019-11-06 株式会社デンソー 表示制御装置及び表示制御方法
JP6953539B2 (ja) * 2017-09-21 2021-10-27 マクセル株式会社 ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
US20210056934A1 (en) 2021-02-25
WO2019230270A1 (ja) 2019-12-05
JP2019206255A (ja) 2019-12-05
US11367417B2 (en) 2022-06-21

Similar Documents

Publication Publication Date Title
JP6933189B2 (ja) 表示制御装置、及び表示制御プログラム
US11803053B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
JP7658472B2 (ja) 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法
JP6836206B2 (ja) 表示制御装置、及び表示制御プログラム
US20210372810A1 (en) Display control device, display control method, and non-transitory tangible computer-readable medium therefor
EP3061642B1 (en) Vehicle information projection system, and projection device
US11850940B2 (en) Display control device and non-transitory computer-readable storage medium for display control on head-up display
WO2020261781A1 (ja) 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
JP5555526B2 (ja) 車両用ディスプレイ装置
WO2020241003A1 (ja) 表示制御装置、及び表示制御プログラム
JP5327025B2 (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
WO2020166252A1 (ja) 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
CN110462699B (zh) 车辆用显示控制装置以及车辆用显示单元
JP6825433B2 (ja) 虚像表示装置及びコンピュータプログラム
JP2022186340A (ja) 情報処理装置および車両
JP6873350B2 (ja) 表示制御装置及び表示制御方法
JP7173078B2 (ja) 表示制御装置及び表示制御プログラム
WO2020003750A1 (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
US20200158521A1 (en) Automatic driving device
US20210323403A1 (en) Image control apparatus, display apparatus, movable body, and image control method
JP2021037916A (ja) 表示制御装置及び表示制御プログラム
JP2015074391A (ja) ヘッドアップディスプレイ装置
JP7302311B2 (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
JP2021037895A (ja) 表示制御システム、表示制御装置、および表示制御プログラム
JP6939147B2 (ja) 走行情報案内装置及びコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200702

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210802

R151 Written notification of patent or utility model registration

Ref document number: 6933189

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250