Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7585285B2 - 表示制御装置、撮像装置、及び移動装置 - Google Patents
[go: Go Back, main page]

JP7585285B2 - 表示制御装置、撮像装置、及び移動装置 - Google Patents

表示制御装置、撮像装置、及び移動装置 Download PDF

Info

Publication number
JP7585285B2
JP7585285B2 JP2022190102A JP2022190102A JP7585285B2 JP 7585285 B2 JP7585285 B2 JP 7585285B2 JP 2022190102 A JP2022190102 A JP 2022190102A JP 2022190102 A JP2022190102 A JP 2022190102A JP 7585285 B2 JP7585285 B2 JP 7585285B2
Authority
JP
Japan
Prior art keywords
vehicle
display control
display
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022190102A
Other languages
English (en)
Other versions
JP2024077888A (ja
Inventor
淳 川田
安弘 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022190102A priority Critical patent/JP7585285B2/ja
Priority to US18/497,263 priority patent/US20240174179A1/en
Publication of JP2024077888A publication Critical patent/JP2024077888A/ja
Priority to JP2024193249A priority patent/JP7838056B2/ja
Application granted granted Critical
Publication of JP7585285B2 publication Critical patent/JP7585285B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、表示制御装置、撮像装置、及び移動装置に関する。
従来、車載カメラが撮影した自車両の周囲の画像を表示デバイスに表示する構成が提案されている(特許文献1参照)。
特開2020-88606号公報
上記構成において、車載カメラに広角レンズを搭載した場合、広範囲の画像を取得可能であるが、情報量が多くなり、ユーザ(運転手)の認識性を低下させてしまうため、画像の一部を切り出して表示する必要がある。しかしながら、画角が変更された場合、ユーザは自車両に対してどの範囲の画像を見ているかを認識することができなくなってしまう。特許文献1には、モードに応じてカメラの撮影領域が変更したことを示すアイコンを表示デバイスに表示させる記載があるものの、ユーザに撮影領域のどの範囲の画像を見ているかを認識させる構成については開示されていない。
本発明は、ユーザに自車両に対してどの範囲の画像を見ているかを認識させることが可能な表示制御装置を提供することを目的とする。
本発明の一側面としての表示制御装置は、自車両の周辺領域に関する情報を表示する表示部を制御するための表示制御装置であって、周辺領域を撮影する撮像部の撮影領域から一部の領域を選択する選択部と、撮像部により撮影された画像から一部の領域に対応する切り出し画像を切り出す画像生成部と、切り出し画像、及び自車両一部の領域の位置関係を示す位置画像を前記表示部に表示させる表示制御部とを有することを特徴とする。
本発明によれば、ユーザに自車両に対してどの範囲の画像を見ているかを認識させることが可能な表示制御装置を提供することができる。
本発明の実施形態に係る移動体の一例である自動車を示す図である。 本発明の実施形態に係る移動体の一例である自動車の構成を示す図である。 車載カメラが備える撮像光学系の説明図である。 実施例1の表示制御装置の動作の説明図である。 実施例1の表示デバイスの表示面に表示される内容の一例を示す図である。 実施例1の表示デバイスの表示面に表示されるアイコンの例を示す図である。 実施例1の表示デバイスの表示面に表示されるアイコンの例を示す図である。 実施例1の表示制御装置の動作を示すフローチャートである。 実施例2の表示制御装置の動作の説明図である。 実施例2の表示デバイスの表示面に表示される内容の一例を示す図である。 実施例3の表示制御装置の動作の説明図である。 実施例3の表示デバイスの表示面に表示される内容の一例を示す図である。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
[実施例1]
図1は、本実施例の撮像部を備える移動体(移動装置)の一例である自動車(以下、自車両)を示す図である。図1に示されるように、自車両100は、自車両100の周囲を撮影する側方カメラである車載カメラ(撮像部)20,21を備える。本実施例では、車載カメラ(第1撮像部)20は自車両100の右側の周辺領域を撮影し、車載カメラ21(第2撮像部)は自車両100の左側の周辺領域を撮影する。車載カメラ20,21は同様の構成であり、車載カメラ20を例に撮像領域(全画角)について説明する。
車載カメラ20は、本実施例では画角180度程度の撮像範囲を有する。車載カメラ20による撮像範囲は撮像範囲30a,30bに分けられ、特に撮像範囲30bは車載カメラ20の光学系の特性によって高解像度で画像を取得できる領域を模式的に示している。図示されているように側方カメラである車載カメラ20は、撮像範囲30bで表される画角中央の光軸から離れた画角周辺領域が撮像範囲30aよりも高解像度で取得できる。そのため、ドアミラーを用いて確認する自車両100の左右後方を高解像度で撮像することが可能である。撮像された画像(撮像画像)は自車両100に設けられた表示デバイス40に表示され、自車両100の運転者は表示される画像を確認することで左右及び左右後方を確認することが可能である。
なお、車載カメラ20,21は、本実施例では自車両100の左右の周辺領域を撮影するように設けられているが、本発明はこれに限定されない。車載カメラ20,21は例えば、自車両100の前側や後側の周辺領域を撮影するように設けられてもよい。
図2は、自車両100の構成を示す図である。自車両100は、表示制御装置10、車載カメラ20,21、移動体検出センサ(検出部)30、及び表示デバイス(表示部)40を有する。なお、本実施例では、表示制御装置10と表示デバイス40は別々に構成されているが、一体的に構成されてもよい。また、表示制御装置10は、車載カメラ20,21に搭載されていてもよい。
車載カメラ20,21は、撮像光学系と該撮像光学系により形成された像を撮像する撮像素子とを備え、自車両100と共に移動して自車両100の周辺領域を撮影する。車載カメラ20,21は、撮影した画像を表示制御装置10に送信する。本実施例では、撮像光学系として広角レンズが使用される。広角レンズについては後述する。
移動体検出センサ30は、自動車や自動二輪車等の移動体を検出可能に構成される。移動体検出センサ30は、検出結果を表示制御装置10に送信する。
表示デバイス40は、自車両100の周辺領域に関する情報を表示するためのディスプレイである。表示デバイス40は、例えば、液晶ディスプレイや有機ELディスプレイである。自車両100の周辺領域に関する情報とは例えば、車載カメラ20,21により撮影された画像や、移動体検出センサ30により検出された移動体に関する情報である。表示デバイス40は本実施例では、自車両100の右側の周辺領域に関する情報を表示する表示デバイス(第1表示部)と自車両100の左側の周辺領域に関する情報を表示する表示デバイス(第2表示部)とを備える。なお、表示デバイス40は、本実施例では自車両100の左右の周辺領域に関する情報を表示するが、本発明はこれに限定されない。表示デバイス40は例えば、自車両100の前側や後側の周辺領域に関する情報を表示してもよい。
表示制御装置10は、少なくとも一つのプロセッサやメモリ等を含むコンピュータ(例えばECU:Electronic Control Unit)により構成される。表示制御装置10は、選択部10a、画像生成部10b、及び表示制御部10cを備え、表示デバイス40を制御する。選択部10aは、車載カメラ20,21の撮影領域から一部の領域(画角)である選択領域を選択する。画像生成部10bは、車載カメラ20,21により撮影された画像から選択部10aにより選択された選択領域に対応する切り出し画像を切り出す。表示制御部10cは、切り出し画像、及び自車両100に対する選択領域の位置を示す切り出し範囲(第1範囲)を表示デバイス40に表示させる。撮像光学系として広角レンズを使用した場合、広範囲の画像を取得可能であるが、広範囲の画像は情報量が多く、ユーザの認識性を低下させてしまう。また、画角が変更された場合、ユーザは自車両100に対してどの範囲の画像を見ているかを認識することができなくなってしまう。そこで、本実施例では、画像生成部10bが車載カメラ20,21により撮影された画像から切り出した切り出し画像を表示デバイス40に表示させることで、ユーザの認識性を向上させることができる。また、自車両100に対する選択領域の位置を示す切り出し範囲を表示デバイス40に表示させることで、ユーザに自車両100に対してどの範囲の画像を見ているかを認識させることができる。
また、本実施例では、移動体検出センサ30が選択領域の外側の領域において自車両100に接近する移動体(第1移動体)を検出した場合、表示制御部10cは該移動体の接近を示す情報を表示デバイス40に表示させる。例えば、表示制御部10cは、切り出し範囲の移動体202が自車両100に接近する方向の側の表示(切り出し範囲の一部や、切り出し範囲の近傍の領域)を変化させる。これにより、ユーザは、画角外から接近する移動体を認識可能である。
以下、図3を参照して、車載カメラ20,21が備える撮像光学系について説明する。なお、車載カメラ20,21が備える撮像光学系の特性は必ずしも同じでなくてもよいが、本実施例においては、車載カメラ20,21が備える撮像光学系は略同じ特性を有するものとし、車載カメラ20が備える撮像光学系について例示的に説明する。
図3(a)は、車載カメラ20が備える撮像光学系の光学特性を説明するための図であり、車載カメラ20が備える撮像素子の撮像面上(像面上)での結像高さ(像高)yと半画角(光軸と入射光線とがなす角度)θとの関係を表す射影特性y(θ)を表している。図3(a)では、半画角θを横軸とし、像高yを縦軸として示している。
車載カメラ20が備える撮像光学系は、図3(a)に示されるように、半画角θの単位量に対する像高yの増加量である解像度が領域によって異なる。局所的な解像度は、射影特性y(θ)の半画角θでの微分値dy(θ)/dθで表される。すなわち、図3(a)の射影特性y(θ)の傾きが大きいほど解像度が高いといえる。
本実施例では、車載カメラ20,21は、以下の条件式(1)を満たす射影特性y(θ)を有する撮像光学系を備える。該撮像光学系では、中心寄りの領域が撮像範囲30aに相当し、半画角θが所定の半画角θa以上の外寄りの領域が撮像範囲30bに相当する。このような撮像光学系を逆異画角レンズと呼ぶ場合がある。
0.20<2×f×tan(θmax/2)/y(θmax)<0.95 (1)
ここで、fは、撮像光学系の焦点距離である。θmaxは、撮像光学系が有する最大の半画角である。
また、車載カメラ20,21は、撮像素子の撮像面の周辺領域に関して、以下の条件式(2),(3)を満足することが好ましい。
0.35Lh≦Lb≦0.5Lh (2)
0.35Lh≦Lf≦0.5Lh (3)
ここで、Lbは、自車両100後方の被写体の撮像面上での像位置と撮像面の中心との距離である。Lfは、自車両100前方の被写体の撮像面上での像位置と撮像面の中心との距離である。Lhは、撮像面上にて上記2つの像位置が離れる方向に延びる辺の長さである。
条件式(2),(3)は、図3(b)に示されるように、撮像面11aの最周辺領域R3を有効に使用するための条件を示している。条件式(2),(3)を満足しないと、高解像度の最周辺領域R3で撮像することができず、撮像画像から詳細な情報を得ることが困難になるため、好ましくない。言い換えれば、条件式(2),(3)を満足することで、最周辺領域R3で高解像度撮像を行うことができる。そして、最周辺領域R3で得られた高解像度の部分画像を切り出して表示デバイス40に出力して表示させることで、運転者は前方及び後方の詳細な情報を得ることができる。ただし、最周辺領域R3ではない低解像度の部分画像を切り出して表示デバイス40に出力して表示した場合、運転者は少なくとも光軸方向に被写体が存在するか否かを把握することは可能である。
本実施例では、車載カメラ20,21は、上述した構成を有するため、最周辺領域R3が自車両100の前方及び後方を撮像できるように、自車両100に設置される。例えば、車載カメラ20,21の光軸は自車両100の側方に地面(水平面)とほぼ平行となるように、最周辺領域R3が自車両100の前方及び後方を撮像できる角度となるように設置される。
以下、表示制御装置10の動作について説明する。図4は、表示制御装置10の動作の説明図である。本実施例では、選択部10aは、移動体検出センサ30の検出結果に基づいて、撮影領域から選択領域を選択する。具体的には、選択部10aは、移動体検出センサ30から自車両100に接近する移動体のうち自車両100に最も近い移動体に関する情報を取得する。次に、選択部10aは、自車両100に接近する移動体のうち自車両100に最も近い移動体が切り出し画像に含まれるように、選択領域を選択する。なお、本実施例では、車線が2である(車線が片側2車線である)場合について説明するが、車線が1や3以上の場合であっても本発明を適用可能である。
図4(a)は、移動体201,202が走行中の自車両100に接近している状況を示している。図4(a)では、移動体201が自車両100に最も近く、移動体202が移動体201の次に自車両100に近いものとする。図4(a)の状況において、選択部10aは、移動体検出センサ30から検出結果を取得する。検出結果は例えば、移動体201,202が走行中の自車両100に接近していることや、移動体201が自車両100に最も近く、移動体202が移動体201の次に自車両100に近いことである。選択部10aは、自車両100に最も近い移動体201が切り出し画像に含まれるように、車載カメラ20の撮影領域から選択領域301を選択する。画像生成部10bは、車載カメラ20により撮影された画像から選択領域301に対応し、移動体201を含む切り出し画像を切り出す。表示制御部10cは、図5(a)に示されるように、画像生成部10bにより切り出された切り出し画像41aを表示デバイス40に表示させる。また、表示制御部10cは、自車両100を示すアイコン42a及び自車両100に対する選択領域301の位置を示す切り出し範囲42bを含むアイコン42を表示デバイス40に表示させる。
また、表示制御部10cは、ユーザに画角外から接近する移動体202を認識させるために、切り出し範囲42bの移動体202が自車両100に接近する方向の側の表示を変化させる。表示制御部10cは、本実施例では、図5(a)に示されるように、切り出し範囲42bの移動体202が自車両100に接近する方向の側の一部42cの色を変化させる。なお、ユーザに画角外から接近する移動体202を認識させることが可能であれば、表示方法はこれに限定されない。例えば、切り出し範囲42bの移動体202が自車両100に接近する方向の側の表示を点滅させてもよいし、切り出し範囲42bの移動体202が自車両100に接近する方向の側の枠線を太くしてもよい。
また、表示制御部10cは、自車両100と移動体202との距離に応じて切り出し範囲42bの移動体202が自車両100に接近する方向の側の表示を異ならせてもよい。例えば、表示制御部10cは、図6(a)に示されるように、アイコン42bに自車両100と移動体202との距離に関する情報を追加してもよい。また、表示制御部10cは、図6(b)に示されるように、自車両100と移動体202との距離が近づくにつれて切り出し範囲42bの移動体202が自車両100に接近する方向の側の一部42cを太くしてもよい。更に、表示制御部10cは、図6(c)に示されるように、自車両100と移動体202との距離が近づくにつれて切り出し範囲42bの移動体202が自車両100に接近する方向の側の表示の点滅の間隔を短くしてもよい。
また、表示制御部10cは、図7に示されるように、自車両100に対する撮影領域の位置を示す撮影範囲(第2範囲)42eをアイコン42に含ませてもよい。また、表示制御部10cは、撮影範囲42eの移動体202が自車両100に接近する方向の側の表示を変化させてもよい。図7では、撮影範囲42eの移動体202が自車両100に接近する方向の側の一部42fの色を変化させている。
図4(b)は、図4(a)の状況から移動体201が自車両100を追い越し、自車両100から離れ、移動体202が自車両100に接近している状況を示している。図4(b)では、移動体201が自車両100に最も近く、移動体202が移動体201の次に自車両100に近いものとする。図4(b)の状況において、選択部10aは、移動体検出センサ30から検出結果を取得する。検出結果は例えば、移動体201が自車両100から離れ、移動体202が自車両100に接近していることや、移動体201が自車両100に最も近く、移動体202が移動体201の次に自車両100に近いことである。選択部10aは、自車両100に接近している移動体のうち自車両100に最も近い移動体202が切り出し画像に含まれるように、車載カメラ20の撮影領域から選択領域302を選択する。画像生成部10bは、車載カメラ20により撮影された画像から選択領域302に対応し、移動体202が含まれる切り出し画像を切り出す。表示制御部10cは、図5(b)に示されるように、画像生成部10bにより切り出された切り出し画像41bを表示デバイス40に表示させる。このとき、表示制御部10cは、自車両100を示すアイコン42a及び自車両に対する選択領域302の位置を示す切り出し範囲42dを含むアイコン42を表示デバイス40に表示させる。なお、図4(b)の状況では、画角外から接近する移動体が存在しないため、表示制御部10cは自車両100に接近する移動体を示す情報を表示デバイス40に表示させない。
以下、上述した表示制御装置10の動作の流れについて説明する。図8は、本実施例の表示制御装置10の動作を示すフローチャートである。本フローは、表示制御装置10に電力が供給されると、開始される。なお、本実施例では、表示制御装置10に電力が供給される場合は、例えば、自車両100のイグニッションスイッチ(スタートスイッチ)がONされた場合や、自車両100のシフトレバーがパーキング以外に変更された場合である。
ステップS101では、表示制御部10cは、予め選択されている選択領域(初期状態で設定されている選択領域)に対応する切り出し画像、及び自車両100に対する選択領域の位置を示す切り出し範囲を含むアイコンを表示デバイス40に表示させる。
ステップS102では、表示制御部10cは、移動体検出センサ30の検出結果を用いて、自車両100の背後(後側)から自車両100に移動体が接近しているかどうかを判定する。表示制御部10cが自車両100の背後から自車両100に移動体が接近していると判定した場合、ステップS103の処理が実行される。また、表示制御部10cが自車両100の背後から自車両100に移動体が接近していないと判定した場合、ステップS101の処理が実行される。
ステップS103では、選択部10aは、自車両100の背後から自車両100に接近している移動体のうち自車両100に最も近い移動体が切り出し画像に含まれるように、車載カメラ20の撮影領域から選択領域を選択する。また、画像生成部10bは、車載カメラ20により撮影された画像から選択領域に対応する切り出し画像を切り出す。
ステップS104では、表示制御部10cは、移動体検出センサ30の検出結果を用いて、自車両100の背後から自車両100に接近している移動体のうち自車両100に2番目以降に近い移動体の向きを取得する。取得された情報は、ユーザに画角外から接近する移動体を認識させるために使用される。
ステップS105では、表示制御部10cは、画像生成部10bにより切り出された切り出し画像、及び自車両100に対する選択領域の位置を示す切り出し範囲を含むアイコンを表示デバイス40に表示させる。
ステップS106では、表示制御装置10は、本フローを終了するかどうかを判定する。表示制御装置10は、電力の供給が終了したり、ユーザによる操作で終了を指示されたりすることで本フローを終了すると判定する。表示制御装置10が本フローを終了すると判定した場合、本フローを終了する。また、表示制御装置10が本フローを終了しないと判定した場合、ステップS102の処理が実行される。
以上説明したように、本実施例の構成によれば、ユーザに自車両に対してどの範囲の画像を見ているかを認識させることが可能である。更に、表示していない範囲についても移動体があることをアイコン等で表示することで、ユーザは表示範囲外にも移動体が存在することを把握することができる。
[実施例2]
実施例1では車線が片側2車線である場合について説明したが、本実施例では車線が片側3車線である場合について説明する。本実施例の移動体の一例である自動車(以下、自車両)100は、実施例1で説明した自車両100と同様の構成を有する。本実施例では、実施例1と異なる構成についてのみ説明し、共通の構成については説明を省略する。
本実施例では、選択部10aは、自車両100に接近し、かつ自車両100からの距離が所定の範囲内である移動体のうち自車両100に最も近い移動体が切り出し画像に含まれるように、選択領域を選択する。自車両100からの距離とは、自車両100の中心位置からの距離であってもよいし、移動体検出センサ30からの距離であってもよい。例えば、自車両100の右側に設けられた移動体検出センサ30を基準とする場合、自車両100の右側に向かう方向(自車両100の進行方向及び重力方向に直交する方向)からの距離を車線の幅(3.5m)よりも短い2m以内に設定すればよい。このように設定することで、自車両100が走行する車線から離れた車線を走行する移動体が切り出し画像に含まれるように選択領域が選択されることを抑制することができる。
ここで、自車両100が走行している第1車線に隣接する車線を走行している第1移動体と第1車線から離れた車線を走行している第2移動体が存在し、第2移動体が第1移動体よりも自車両100に近い場合について説明する。第1移動体と第2移動体は共に、自車両100に接近しているものとする。このような場合、ユーザは、自車両100に近い第2移動体ではなく、第1車線に隣接する車線を走行している第1移動体を認識したいと考える。しかしながら、実施例1の構成では、自車両100に最も近い第2移動体が切り出し画像に含まれるように、選択領域が選択される。一方、本実施例の構成では、移動体は自車両100からの距離が所定の範囲内であるという条件を満足する必要があるため、自車両100に最も近い第2移動体ではなく、第1移動体が切り出し画像に含まれるように、選択領域が選択される。すなわち、自車両100から最も近い移動体が自車両100から離れた車線を走行している移動体である場合に該移動体が切り出し画像に含まれるように選択領域が選択されることを抑制することができる。これにより、表示制御装置10は、自車両100の周辺の移動体のうち、ユーザが最も気にかける(知りたい)移動体を表示することが可能になる。
図9は、表示制御装置10の動作の説明図である。図9では、自車両100、移動体203,204はそれぞれ、車線500,501,502を走行している。また、移動体204が自車両100に最も近く、移動体203が移動体204の次に自車両100に近いものとする。図9(a)の状況において、選択部10aは、自車両100に接近し、かつ自車両100からの距離が所定の範囲内である移動体のうち自車両100に最も近い移動体203が切り出し画像に含まれるように、選択領域303を選択する。所定範囲は、自車両100の右側に設けられた移動体検出センサ30を基準として、自車両100の右側に向かう方向において2m、自車両100の前側に向かう方向において0m、自車両100の後側に向かう方向において20mで設定されている。画像生成部10bは、車載カメラ20により撮影された画像から選択領域303に対応し、移動体203が含まれる切り出し画像を切り出す。表示制御部10cは、図10に示されるように、画像生成部10bにより切り出された切り出し画像41cを表示デバイス40に表示させる。このとき、表示制御部10cは、自車両100を示すアイコン43a、自車両100に対する選択領域303の位置を示す切り出し範囲43b、及び上述した所定の範囲を示すアイコン43cを含むアイコン43を表示デバイス40に表示させる。
また、表示制御部10cは、ユーザに画角外から接近する移動体204を認識させるために、切り出し範囲43bの移動体204が自車両100に接近する方向の側の表示を変化させてもよい。表示制御部10cは、本実施例では、図10に示されるように、切り出し範囲43bの移動体204が自車両100に接近する方向の側の一部43dの色を変化させる。
[実施例3]
実施例1,2では、車両の片側について、1つの選択領域に対応する切り出し画像と切り出し範囲を1つの表示デバイスに表示させる場合について説明した。本実施例では車両の片側について、複数の選択領域ごとに対応する切り出し画像と切り出し範囲を複数の表示デバイスに表示させる場合について説明する。すなわち、表示デバイス40は、本実施例では、自車両100の右側の周辺領域に関する情報を表示する表示デバイス(第1表示部)を複数有する。また、表示デバイス40は、本実施例では、自車両100の左側の周辺領域に関する情報を表示する表示デバイス(第2表示部)を複数有する。なお、表示デバイス40は、第1表示部及び第2表示部をそれぞれ複数有してもよい。本実施例の移動体の一例である自動車(以下、自車両)100は、実施例1で説明した自車両100と同様の構成を有する。本実施例では、実施例1,2と異なる構成についてのみ説明し、共通の構成については説明を省略する。
図11は、表示制御装置10の動作の説明図である。図11では、自車両100の右側前方を移動体205が走行し、右側後方を移動体206が走行している。図11では、移動体205が自車両100に最も近く、移動体206が移動体205の次に自車両100に近いものとする。図11の状況において、選択部10aは、移動体205が切り出し画像に含まれるように、選択領域304を選択すると共に、移動体206が切り出し画像に含まれるように、選択領域305を選択する。画像生成部10bは、車載カメラ20により撮影された画像から選択領域304に対応し、移動体205を含む切り出し画像と、選択領域305に対応し、移動体206を含む切り出し画像を切り出す。表示制御部10cは、図12(a)に示されるように、画像生成部10bにより切り出された切り出し画像41dを表示デバイス40のうち一つの表示デバイスに表示させる。このとき、表示制御部10cは、自車両100を示すアイコン44a及び自車両100に対する選択領域304の位置を示す切り出し範囲44bを含むアイコン44を表示デバイス40に表示させる。また、表示制御部10cは、図12(b)に示されるように、画像生成部10bにより切り出された切り出し画像41eを、切り出し画像41dを表示していないほうの表示デバイスに表示させる。このとき、表示制御部10cは、自車両100を示すアイコン45a及び自車両100に対する選択領域305の位置を示す切り出し範囲45bを含むアイコン45を表示デバイス40に表示させる。
なお、全ての切り出し画像と切り出し範囲を1つの表示デバイスに表示させてもよい。この場合、表示デバイス40は1つでもよい。この場合、例えば、図12(a)及び図12(b)の画像が一つの表示デバイスに表示されることになる。
[その他の実施例]
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記各実施例では、車載カメラ20,21に広角レンズを用いたが、必ずしも広角レンズでなくともよい。例えば、自車両100の前方、側方、及び後方それぞれを撮影するために3台の撮像装置を用いてもよい。
本実施形態の開示は、以下の構成及び方法を含む。
(構成1)
自車両の周辺領域に関する情報を表示する表示部を制御するための表示制御装置であって、
前記周辺領域を撮影する撮像部の撮影領域から一部の領域を選択する選択部と、
前記撮像部により撮影された画像から前記一部の領域に対応する切り出し画像を切り出す画像生成部と、
前記切り出し画像、及び前記自車両前記一部の領域の位置関係を示す位置画像を前記表示部に表示させる表示制御部とを有することを特徴とする表示制御装置。
(構成2)
前記選択部は、移動体を検出可能な検出部の検出結果に基づいて、前記一部の領域を選択することを特徴とする構成1に記載の表示制御装置。
(構成3)
前記選択部は、前記自車両に接近する移動体のうち前記自車両に最も近い移動体が前記切り出し画像に含まれるように、前記一部の領域を選択することを特徴とする構成2に記載の表示制御装置。
(構成4)
前記選択部は、前記自車両に接近し、かつ前記自車両からの距離が所定の範囲内である移動体のうち前記自車両に最も近い移動体が前記切り出し画像に含まれるように、前記一部の領域を選択することを特徴とする構成2又は3に記載の表示制御装置。
(構成5)
前記選択部は、前記撮影領域から複数の一部の領域を選択し、
前記画像生成部は、前記画像から前記複数の一部の領域ごとに対応する複数の切り出し画像を生成し、
前記表示制御部は、前記複数の切り出し画像、及び前記自車両前記複数の一部の領域の各領域との位置関係を示す複数の位置画像を前記表示部に表示させることを特徴とする構成1乃至4の何れか一つの構成に記載の表示制御装置。
(構成6)
移動体を検出可能な検出部が前記一部の領域の外側の領域において前記自車両に接近する第1移動体を検出した場合、前記表示制御部は前記第1移動体の接近を示す情報を前記表示部に表示させることを特徴とする構成1乃至5の何れか一つの構成に記載の表示制御装置。
(構成7)
前記表示制御部は、前記位置画像の前記第1移動体が前記自車両に接近する方向の側の表示を変化させることを特徴とする構成6に記載の表示制御装置。
(構成8)
前記表示制御部は、前記自車両と前記第1移動体との距離に応じて前記表示を異ならせることを特徴とする構成7に記載の表示制御装置。
(構成9)
前記表示制御部は、前記自車両に対する前記撮影領域の位置を示す第2範囲の前記第1移動体が前記自車両に接近する方向の側の表示を変化させることを特徴とする構成6に記載の表示制御装置。
(構成10)
前記位置画像は、アイコンであることを特徴とする構成1乃至9の何れか一つの構成に記載の表示制御装置。
(構成11
構成1乃至10の何れか一つの構成に記載の表示制御装置と、
撮像素子とを有することを特徴とする撮像装置。
(構成12
構成1乃至10の何れか一つの構成に記載の表示制御装置と、
自車両の周辺領域を撮影する撮像部と、
移動体を検出可能な検出部と、
前記周辺領域に関する情報を表示する表示部とを有することを特徴とする移動装置。
(構成13
前記撮像部は、第1の周辺領域を撮影する第1撮像部と、前記第1の周辺領域とは異なる第2の周辺領域を撮影する第2撮像部とを備えることを特徴とする構成12に記載の移動装置。
(構成14
前記表示部は、第1の周辺領域に関する情報を表示する第1表示部と、前記第1の周辺領域とは異なる第2の周辺領域に関する情報を表示する第2表示部とを備えることを特徴とする構成12又は13に記載の移動装置。
(方法1)
自車両の周辺領域に関する情報を表示する表示部を制御するための表示制御方法であって、
前記周辺領域を撮影する撮像部の撮影領域から一部の領域を選択するステップと、
前記撮像部により撮影された画像から前記一部の領域に対応する切り出し画像を切り出すステップと、
前記切り出し画像、及び前記自車両前記一部の領域の位置関係を示す位置画像を前記表示部に表示させるステップとを有することを特徴とする表示制御方法。
(構成15
方法1に記載の表示制御方法をコンピュータに実行させることを特徴とするプログラム。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
100 自動車(自車両)
10 表示制御装置
10a 選択部
10b 画像生成部
10c 表示制御部
20 車載カメラ(撮像部)
40 表示デバイス(表示部)

Claims (16)

  1. 自車両の周辺領域に関する情報を表示する表示部を制御するための表示制御装置であって、
    前記周辺領域を撮影する撮像部の撮影領域から一部の領域を選択する選択部と、
    前記撮像部により撮影された画像から前記一部の領域に対応する切り出し画像を切り出す画像生成部と、
    前記切り出し画像、及び前記自車両前記一部の領域の位置関係を示す位置画像を前記表示部に表示させる表示制御部とを有することを特徴とする表示制御装置。
  2. 前記選択部は、移動体を検出可能な検出部の検出結果に基づいて、前記一部の領域を選択することを特徴とする請求項1に記載の表示制御装置。
  3. 前記選択部は、前記自車両に接近する移動体のうち前記自車両に最も近い移動体が前記切り出し画像に含まれるように、前記一部の領域を選択することを特徴とする請求項2に記載の表示制御装置。
  4. 前記選択部は、前記自車両に接近し、かつ前記自車両からの距離が所定の範囲内である移動体のうち前記自車両に最も近い移動体が前記切り出し画像に含まれるように、前記一部の領域を選択することを特徴とする請求項2に記載の表示制御装置。
  5. 前記選択部は、前記撮影領域から複数の一部の領域を選択し、
    前記画像生成部は、前記画像から前記複数の一部の領域ごとに対応する複数の切り出し画像を生成し、
    前記表示制御部は、前記複数の切り出し画像、及び前記自車両前記複数の一部の領域の各領域との位置関係を示す複数の位置画像を前記表示部に表示させることを特徴とする請求項1又は2に記載の表示制御装置。
  6. 移動体を検出可能な検出部が前記一部の領域の外側の領域において前記自車両に接近する第1移動体を検出した場合、前記表示制御部は前記第1移動体の接近を示す情報を前記表示部に表示させることを特徴とする請求項1又は2に記載の表示制御装置。
  7. 前記表示制御部は、前記位置画像の前記第1移動体が前記自車両に接近する方向の側の表示を変化させることを特徴とする請求項6に記載の表示制御装置。
  8. 前記表示制御部は、前記自車両と前記第1移動体との距離に応じて前記表示を異ならせることを特徴とする請求項7に記載の表示制御装置。
  9. 前記表示制御部は、前記自車両に対する前記撮影領域の位置を示す第2範囲の前記第1移動体が前記自車両に接近する方向の側の表示を変化させることを特徴とする請求項6に記載の表示制御装置。
  10. 前記位置画像は、アイコンであることを特徴とする請求項1又は2に記載の表示制御装置。
  11. 請求項1又は2に記載の表示制御装置と、
    撮像素子とを有することを特徴とする撮像装置。
  12. 請求項1又は2に記載の表示制御装置と、
    自車両の周辺領域を撮影する撮像部と、
    移動体を検出可能な検出部と、
    前記周辺領域に関する情報を表示する表示部とを有することを特徴とする移動装置。
  13. 前記撮像部は、第1の周辺領域を撮影する第1撮像部と、前記第1の周辺領域とは異なる第2の周辺領域を撮影する第2撮像部とを備えることを特徴とする請求項12に記載の移動装置。
  14. 前記表示部は、第1の周辺領域に関する情報を表示する第1表示部と、前記第1の周辺領域とは異なる第2の周辺領域に関する情報を表示する第2表示部とを備えることを特徴とする請求項12に記載の移動装置。
  15. 自車両の周辺領域に関する情報を表示する表示部を制御するための表示制御方法であって、
    前記周辺領域を撮影する撮像部の撮影領域から一部の領域を選択するステップと、
    前記撮像部により撮影された画像から前記一部の領域に対応する切り出し画像を切り出すステップと、
    前記切り出し画像、及び前記自車両前記一部の領域の位置関係を示す位置画像を前記表示部に表示させるステップとを有することを特徴とする表示制御方法。
  16. 請求項15に記載の表示制御方法をコンピュータに実行させることを特徴とするプログラム。
JP2022190102A 2022-11-29 2022-11-29 表示制御装置、撮像装置、及び移動装置 Active JP7585285B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022190102A JP7585285B2 (ja) 2022-11-29 2022-11-29 表示制御装置、撮像装置、及び移動装置
US18/497,263 US20240174179A1 (en) 2022-11-29 2023-10-30 Display control apparatus, image pickup apparatus, movable apparatus, and storage medium
JP2024193249A JP7838056B2 (ja) 2022-11-29 2024-11-01 表示制御装置、撮像装置、及び移動装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022190102A JP7585285B2 (ja) 2022-11-29 2022-11-29 表示制御装置、撮像装置、及び移動装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024193249A Division JP7838056B2 (ja) 2022-11-29 2024-11-01 表示制御装置、撮像装置、及び移動装置

Publications (2)

Publication Number Publication Date
JP2024077888A JP2024077888A (ja) 2024-06-10
JP7585285B2 true JP7585285B2 (ja) 2024-11-18

Family

ID=91192294

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022190102A Active JP7585285B2 (ja) 2022-11-29 2022-11-29 表示制御装置、撮像装置、及び移動装置
JP2024193249A Active JP7838056B2 (ja) 2022-11-29 2024-11-01 表示制御装置、撮像装置、及び移動装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024193249A Active JP7838056B2 (ja) 2022-11-29 2024-11-01 表示制御装置、撮像装置、及び移動装置

Country Status (2)

Country Link
US (1) US20240174179A1 (ja)
JP (2) JP7585285B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7575636B1 (ja) * 2024-08-08 2024-10-29 日立Astemo株式会社 撮像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005123968A (ja) 2003-10-17 2005-05-12 Mitsubishi Motors Corp ノーズビューモニタ装置
JP2016213759A (ja) 2015-05-12 2016-12-15 萩原電気株式会社 後方モニタ
US20220067394A1 (en) 2020-08-25 2022-03-03 Axon Enterprise, Inc. Systems and Methods for Rapid License Plate Reading

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118483A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
JP6311646B2 (ja) 2015-05-20 2018-04-18 株式会社デンソー 画像処理装置、電子ミラーシステム、及び画像処理方法
US10999559B1 (en) 2015-09-11 2021-05-04 Ambarella International Lp Electronic side-mirror with multiple fields of view
JP2017073040A (ja) 2015-10-08 2017-04-13 株式会社東海理化電機製作所 車両用視認装置及び車両用視認制御プログラム
JP7128096B2 (ja) * 2018-11-26 2022-08-30 本田技研工業株式会社 映像表示装置
TW202027031A (zh) * 2019-01-07 2020-07-16 先進光電科技股份有限公司 行動載具輔助系統
DE102020135098B4 (de) * 2020-01-08 2023-07-20 Denso Corporation Fahrzeuganzeigesteuervorrichtung, fahrzeuganzeigesteuersystem und fahrzeuganzeigesteuerverfahren
US12272150B2 (en) * 2022-08-08 2025-04-08 GM Global Technology Operations LLC Identification of objects by color with ARHUD

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005123968A (ja) 2003-10-17 2005-05-12 Mitsubishi Motors Corp ノーズビューモニタ装置
JP2016213759A (ja) 2015-05-12 2016-12-15 萩原電気株式会社 後方モニタ
US20220067394A1 (en) 2020-08-25 2022-03-03 Axon Enterprise, Inc. Systems and Methods for Rapid License Plate Reading

Also Published As

Publication number Publication date
JP2024077888A (ja) 2024-06-10
JP7838056B2 (ja) 2026-03-31
JP2025013475A (ja) 2025-01-24
US20240174179A1 (en) 2024-05-30

Similar Documents

Publication Publication Date Title
JP5347257B2 (ja) 車両用周辺監視装置および映像表示方法
CN103988499B (zh) 车辆周边监视装置
JP5099451B2 (ja) 車両周辺確認装置
CN102474597B (zh) 车辆周围图像生成装置
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP5262976B2 (ja) 車載表示装置
US8477191B2 (en) On-vehicle image pickup apparatus
KR20150052148A (ko) 차량용 후방 촬상 시스템
JP2005110207A (ja) カメラ装置及び車両周辺監視装置
WO2011001794A1 (ja) 画像生成装置及び画像表示システム
CN112272829B (zh) 用于汽车或监控应用具有扫描光路折叠元件的相机
JP2013183298A (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
CN109429042B (zh) 一种周围视野监控系统及其盲点视野监控图像提供方法
JP5064201B2 (ja) 画像表示システム及びカメラ出力制御方法
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2005186648A (ja) 車両用周囲視認装置および表示制御装置
JP7467402B2 (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
JP2019014286A (ja) 車載用撮像装置及び車両
JP7838056B2 (ja) 表示制御装置、撮像装置、及び移動装置
JP4948115B2 (ja) 後方視認装置
EP4408006A1 (en) Image processing system, movable apparatus, image processing method, and storage medium
JP2024007203A (ja) カメラシステムおよびその制御方法、プログラム
WO2016072300A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2005182305A (ja) 車両走行支援装置
CN119452672A (zh) 用于在机动车中协调地显示摄像头图像的方法和相应设置的机动车

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241106

R150 Certificate of patent or registration of utility model

Ref document number: 7585285

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150