JP6874066B2 - Imaging equipment, control methods, programs and storage media - Google Patents
Imaging equipment, control methods, programs and storage media Download PDFInfo
- Publication number
- JP6874066B2 JP6874066B2 JP2019134448A JP2019134448A JP6874066B2 JP 6874066 B2 JP6874066 B2 JP 6874066B2 JP 2019134448 A JP2019134448 A JP 2019134448A JP 2019134448 A JP2019134448 A JP 2019134448A JP 6874066 B2 JP6874066 B2 JP 6874066B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- cut
- driver
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、車両から撮影した前方画像を切り出して表示する技術に関する。 The present invention relates to a technique for cutting out and displaying a front image taken from a vehicle.
従来から、ルームミラー等に取り付け可能なドライブレコーダが知られている。例えば、特許文献1には、ハーフミラー、液晶ディスプレイ、及び車両前方を撮影するカメラユニットを備え、ルームミラーに対して取り付け自在なドライブレコーダが開示されている。
Conventionally, a drive recorder that can be attached to a rearview mirror or the like has been known. For example,
特許文献1では、運転者が変わる等の理由によりルームミラーの角度が変更されると、カメラの撮影方向も変化してしまうため、ルームミラーの角度調整を行った場合には、カメラの角度についても調整する必要がある。
In
本発明は、上記のような課題を解決するためになされたものであり、撮影方向が変更された場合であっても、カメラの角度調整をすることなく適切な範囲を映した画像を取得することが可能な撮影装置を提供することを主な目的とする。 The present invention has been made to solve the above problems, and even when the shooting direction is changed, an image showing an appropriate range is acquired without adjusting the angle of the camera. The main purpose is to provide an imaging device capable of this.
請求項に記載の発明は、車両のルームミラーに内蔵されて、又は取り付けられて、当該ルームミラーと共に方向を変える撮影装置であって、前記ルームミラーに対して撮影方向が固定され、且つ前記車両の前方風景を撮影する第1撮影手段と、前記ルームミラーに対して撮影方向が固定され、且つ前記車両の運転者を撮影する第2撮影手段と、前記第1撮影手段により撮影された第1画像の一部の範囲を切り出し画像として切り出す画像制御手段と、を備え、前記画像制御手段は、前記第2撮影手段により撮影された第2画像中の前記運転者の位置に基づいて、前記切り出し画像を前記第1画像から切り出す位置を、前記車両の正面方向の前方風景が前記切り出し画像の中心に近づくように変更することを特徴とする。
The invention according to the claim is an imaging device that is built in or attached to a rear-view mirror of a vehicle and changes its direction together with the rear-view mirror, and the imaging direction is fixed with respect to the rear-view mirror and the vehicle. A first photographing means for photographing the front scenery of the vehicle, a second photographing means for photographing the driver of the vehicle whose shooting direction is fixed with respect to the rearview mirror, and a first photographing means photographed by the first photographing means. An image control means for cutting out a part of a range of an image as a cutout image is provided, and the image control means cuts out based on the position of the driver in a second image taken by the second shooting means. The position at which the image is cut out from the first image is changed so that the front view of the vehicle in the front direction approaches the center of the cut-out image.
また、請求項に記載の発明は、車両のルームミラーに内蔵されて、又は取り付けられて、当該ルームミラーと共に方向を変える撮影装置が実行する制御方法であって、前記ルームミラーに対して撮影方向が固定され、且つ前記車両の前方風景を撮影する第1撮影手段により撮影された第1画像の一部の範囲を切り出し画像として切り出す画像制御工程を有し、前記画像制御工程は、前記ルームミラーに対して撮影方向が固定され、且つ前記車両の運転者を撮影する第2撮影手段により撮影された第2画像中の前記運転者の位置に基づいて、前記切り出し画像を前記第1画像から切り出す位置を、前記車両の正面方向の前方風景が前記切り出し画像の中心に近づくように変更することを特徴とする。
Further, the invention according to the claim is a control method executed by a photographing device which is built in or attached to a rear-view mirror of a vehicle and changes the direction together with the room mirror, and the photographing direction with respect to the room mirror. Has an image control step of cutting out a part of a range of the first image taken by the first shooting means for taking a picture of the front scenery of the vehicle as a cutout image, and the image control step is the rearview mirror. The cutout image is cut out from the first image based on the position of the driver in the second image taken by the second shooting means for taking a picture of the driver of the vehicle. The position is changed so that the front view of the vehicle in the front direction approaches the center of the cutout image.
また、請求項に記載の発明は、車両のルームミラーに内蔵されて、又は取り付けられて、当該ルームミラーと共に方向を変える撮影装置のコンピュータが実行するプログラムであって、前記ルームミラーに対して撮影方向が固定され、且つ前記車両の前方風景を撮影する第1撮影手段により撮影された第1画像の一部の範囲を切り出し画像として切り出す画像制御手段として前記コンピュータを機能させ、前記画像制御手段は、前記ルームミラーに対して撮影方向が固定され、且つ前記車両の運転者を撮影する第2撮影手段により撮影された第2画像中の前記運転者の位置に基づいて、前記切り出し画像を前記第1画像から切り出す位置を、前記車両の正面方向の前方風景が前記切り出し画像の中心に近づくように変更することを特徴とする。
Further, the invention described in the claim is a program executed by a computer of a photographing device that is built in or attached to a rear-view mirror of a vehicle and changes the direction together with the room mirror, and photographs the room mirror. The computer is made to function as an image control means for cutting out a part of a range of the first image taken by the first shooting means for shooting the front view of the vehicle in a fixed direction as a cutout image, and the image control means Based on the position of the driver in the second image taken by the second shooting means for taking a picture of the driver of the vehicle while the shooting direction is fixed with respect to the rearview mirror, the cutout image is taken as the first image. One feature is that the position to be cut out from one image is changed so that the front view of the vehicle in the front direction approaches the center of the cut out image.
本発明の1つの好適な実施形態では、車両に搭載されて前方風景を撮影する撮影装置であって、前記前方風景を撮影する第1撮影手段と、前記車両の運転者を撮影する第2撮影手段と、前記第1撮影手段により撮影された第1画像の一部の範囲を切り出し画像として切り出す画像制御手段と、を備え、前記画像制御手段は、前記第2撮影手段により撮影された第2画像中の前記運転者の位置に応じて、前記切り出し画像を前記第1画像から切り出す位置を変更する。 In one preferred embodiment of the present invention, there is a photographing device mounted on a vehicle for photographing the front scenery, the first photographing means for photographing the front scenery and the second photographing for photographing the driver of the vehicle. The second imaging means includes means and an image control means for cropping a part of a range of the first image captured by the first imaging means as a cropped image, and the image control means is captured by the second imaging means. The position at which the cut-out image is cut out from the first image is changed according to the position of the driver in the image.
上記撮影装置は、車両の前方風景を撮影する第1撮影手段と、車両の運転者を撮影する第2撮影手段と、画像制御手段とを備える。画像制御手段は、第1撮影手段により撮影された第1画像の一部の範囲を切り出し画像として切り出す。このとき、画像制御手段は、第2撮影手段により撮影された第2画像中の運転者の位置に応じて、切り出し画像を第1画像から切り出す位置を変更する。このようにすることで、撮影装置は、第1撮影手段の撮影方向が変更された場合であっても、カメラの角度調整をすることなく適切な範囲を映した画像を切り出し画像として取得することができる。 The photographing device includes a first photographing means for photographing the scenery in front of the vehicle, a second photographing means for photographing the driver of the vehicle, and an image control means. The image control means cuts out a part of a range of the first image taken by the first shooting means as a cut-out image. At this time, the image control means changes the position of cutting out the cut-out image from the first image according to the position of the driver in the second image taken by the second shooting means. By doing so, even if the shooting direction of the first shooting means is changed, the shooting device can acquire an image showing an appropriate range as a cutout image without adjusting the angle of the camera. Can be done.
上記撮影装置の一態様では、前記車両のルームミラーに内蔵され、またはルームミラーに取り付けられる。この場合、ルームミラーの角度調整操作により第1撮影手段の撮影方向が変更される。この場合であっても、撮影装置は、第2画像における運転者の位置を基準にして切り出し位置を調整することで、適切な範囲を映した画像を切り出し画像として取得することができる。 In one aspect of the photographing device, it is built in the rearview mirror of the vehicle or attached to the rearview mirror. In this case, the shooting direction of the first shooting means is changed by the angle adjustment operation of the rearview mirror. Even in this case, the photographing device can acquire an image showing an appropriate range as a cutout image by adjusting the cutout position with reference to the position of the driver in the second image.
上記撮影装置の他の一態様では、前記画像制御手段は、前記第2画像の中心からの前記運転者の位置のずれ量に応じて、前記切り出し画像を前記第1画像から切り出す位置の移動量を変更する。このようにすることで、撮影装置は、切り出し画像の切り出し位置を適切に決定することができる。 In another aspect of the photographing device, the image control means moves the position of cutting out the cut-out image from the first image according to the amount of deviation of the position of the driver from the center of the second image. To change. By doing so, the photographing apparatus can appropriately determine the cropping position of the cropped image.
上記撮影装置の他の一態様では、前記画像制御手段は、前記運転者の位置が前記第2画像の中心から右にずれている場合は、前記切り出し画像を前記第1画像から切り出す位置を左にずらし、前記運転者の位置が前記第2画像の中心から左にずれている場合は、前記切り出し画像を前記第1画像から切り出す位置を右にずらす。このようにすることで、撮影装置は、切り出し画像の切り出し位置を適切に決定することができる。 In another aspect of the photographing device, when the position of the driver is deviated to the right from the center of the second image, the image control means sets the position at which the cutout image is cut out from the first image to the left. If the driver's position is shifted to the left from the center of the second image, the position at which the cutout image is cut out from the first image is shifted to the right. By doing so, the photographing apparatus can appropriately determine the cropping position of the cropped image.
上記撮影装置の他の一態様では、前記第2撮影手段の撮影方向は、前記第1撮影手段の撮影方向と同一直線上の逆方向である。この態様により、撮影装置は、第2画像における運転者の位置に基づき、切り出し画像の切り出し位置を好適に決定することができる。 In another aspect of the photographing apparatus, the photographing direction of the second photographing means is the opposite direction on the same straight line as the photographing direction of the first photographing means. According to this aspect, the photographing device can suitably determine the cutout position of the cutout image based on the position of the driver in the second image.
上記撮影装置の他の一態様では、前記画像制御手段は、前記第2画像中の運転者の顔、または目の位置に応じて前記切り出し画像を前記第1画像から切り出す位置を変更する。この態様により、撮影装置は、運転者の位置を的確に検出し、切り出し位置を好適に決定することができる。 In another aspect of the photographing device, the image control means changes the position of cutting out the cutout image from the first image according to the position of the driver's face or eyes in the second image. According to this aspect, the photographing apparatus can accurately detect the position of the driver and preferably determine the cutting position.
本発明に係る他の実施形態では、車両に搭載され、前方風景を撮影する第1撮影手段と、前記車両の運転者を撮影する第2撮影手段と、を有する撮影装置が実行する制御方法であって、前記第1撮影手段により撮影された第1画像の一部の範囲を切り出し画像として切り出す画像制御工程を有し、前記画像制御工程は、前記第2撮影手段により撮影された第2画像中の前記運転者の位置に応じて、前記切り出し画像を前記第1画像から切り出す位置を変更する。撮影装置は、この制御方法を実行することで、第1撮影手段の撮影方向が変更された場合であっても、カメラの角度調整をすることなく適切な範囲を映した画像を切り出し画像として取得することができる。 In another embodiment of the present invention, the control method is executed by a photographing device mounted on a vehicle and having a first photographing means for photographing a front landscape and a second photographing means for photographing the driver of the vehicle. Therefore, it has an image control step of cutting out a part of a range of the first image taken by the first shooting means as a cutout image, and the image control step is a second image taken by the second shooting means. The position where the cut-out image is cut out from the first image is changed according to the position of the driver inside. By executing this control method, the photographing device acquires an image showing an appropriate range as a cutout image without adjusting the angle of the camera even when the photographing direction of the first photographing means is changed. can do.
本発明に係る他の実施形態では、車両に搭載され、前方風景を撮影する第1撮影手段と、前記車両の運転者を撮影する第2撮影手段と、を有する撮影装置のコンピュータが実行するプログラムであって、前記第1撮影手段により撮影された第1画像の一部の範囲を切り出し画像として切り出す画像制御手段として前記コンピュータを機能させ、前記画像制御手段は、前記第2撮影手段により撮影された第2画像中の前記運転者の位置に応じて、前記切り出し画像を前記第1画像から切り出す位置を変更する。コンピュータは、このプログラムを実行することで、第1撮影手段の撮影方向が変更された場合であっても、カメラの角度調整をすることなく適切な範囲を映した画像を切り出し画像として取得することができる。好適には、上記プログラムは、記憶媒体に記憶される。 In another embodiment of the present invention, a program executed by a computer of a photographing device, which is mounted on a vehicle and has a first photographing means for photographing a front landscape and a second photographing means for photographing the driver of the vehicle. The computer is made to function as an image control means for cutting out a part of a range of the first image taken by the first shooting means as a cutout image, and the image control means is shot by the second shooting means. The position at which the cut-out image is cut out from the first image is changed according to the position of the driver in the second image. By executing this program, the computer can acquire an image showing an appropriate range as a cropped image without adjusting the angle of the camera even if the shooting direction of the first shooting means is changed. Can be done. Preferably, the program is stored in a storage medium.
以下、図面を参照して本発明の好適な実施例について説明する。以後において、「撮影方向」とは、カメラの正面となる方向であって、カメラの視野(撮影範囲)の中心を通る方向を指すものとする。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. Hereinafter, the "shooting direction" is a direction that is in front of the camera and refers to a direction that passes through the center of the field of view (shooting range) of the camera.
[ドライブレコーダ装置の構成]
図1及び図2は、実施例に係るドライブレコーダ1の構成を示す。具体的には、図1は、ドライブレコーダ1が車室内のルームミラー12に装着された状態(単に「装着状態」とも呼ぶ。)における正面図を示す。また、図2(A)は、装着状態におけるドライブレコーダ1の背面図を示し、図2(B)は、装着状態におけるドライブレコーダ1の上面図を示す。以後では、ドライブレコーダ1の長手方向を「Y軸方向」、ドライブレコーダ1の短手方向を「X軸方向」、Y軸及びX軸と垂直な方向を「Z軸方向」とし、各正方向を図のように定める。
[Configuration of drive recorder device]
1 and 2 show the configuration of the
ドライブレコーダ1は、内蔵二次電池により駆動され、主に、ミラー部13と、前方撮影カメラ4Fと、後方撮影カメラ4Rと、ミラー部13の背面に存在するディスプレイ(表示手段)10と、挟持部14A〜14Dとを有する。そして、ドライブレコーダ1は、装着状態において、挟持部14A〜14Dがルームミラー12を挟持することでルームミラー12に対して固定される。そして、ドライブレコーダ1の装着状態では、ルームミラー12の鏡面と、ドライブレコーダ1の背面とが重なる。ドライブレコーダ1は、本発明における「撮影装置」の一例である。
The
前方撮影カメラ4Fは、車両の前方を撮影した画像(「前方画像Imf」とも呼ぶ。)を生成するためのカメラであり、ドライブレコーダ1の装着状態において、ルームミラー12と重ならないドライブレコーダ1の背面部分に配置される。前方撮影カメラ4Fは、後述する後方撮影カメラ4Rよりも水平方向において広い画角「θf」を有する広角カメラである。前方撮影カメラ4Fの撮影方向(矢印8F参照)は、ルームミラー12に対して略垂直な方向(即ちZ軸方向)に向けられた状態で固定されている。前方撮影カメラ4Fは、本発明における「第1撮影手段」の一例であり、前方画像Imfは、本発明における「第1画像」の一例である。
The rear-
後方撮影カメラ4Rは、運転者の位置を含む車室内を撮影した画像(「車室内画像Imr」とも呼ぶ。)を生成するためのカメラであり、一般的なカメラの画角「θr」を有する。図1及び図2では、後方撮影カメラ4Rは、ドライブレコーダ1の長手方向の中心かつ短手方向の下端位置に設けられている。後方撮影カメラ4Rの撮影方向(矢印8R参照)は、ルームミラー12に対して略垂直な方向(即ちZ軸方向)に向けられた状態で固定されている。そして、後方撮影カメラ4Rの撮影方向(即ちZ軸正方向)は、前方撮影カメラ4Fの撮影方向(即ちZ軸負方向)と逆方向となっている。後方撮影カメラ4Rは、本発明における「第2撮影手段」の一例であり、車室内画像Imrは、本発明における「第2画像」の一例である。
The rear-
ミラー部13は、例えばハーフミラーであって、入射した一部の光を透過させ、その他の光を反射させる。これにより、ミラー部13は、背面にあるディスプレイ10が非発光状態では車両の後方風景を映す通常のミラーとして機能し、ディスプレイ10が発光状態では、ディスプレイ10から出射された光を透過させることで、運転者にディスプレイ10の表示内容を視認させる。
The
ディスプレイ10は、前方画像Imfから切り出された画像(「切り出し画像Imc」とも呼ぶ。)を表示する。切り出し画像Imcは、後述するように、車両の正面方向にある前方風景が画像の中心になるように前方画像Imfから切り出された画像であり、前方画像Imfよりも縦横の画素数が少ない。また、ディスプレイ10は、切り出し画像Imcに、運転者を案内するための文字や図形などを表す画像(「案内画像」とも呼ぶ。)を重畳させて表示する。図1では、ディスプレイ10は、車速を表す案内画像と、点灯した信号灯を強調した四角枠の案内画像とを、切り出し画像Imcに重畳して表示している。
The
図3は、ドライブレコーダ1の機能ブロック図である。図3に示すように、ドライブレコーダ1は、前方撮影カメラ4Fと、後方撮影カメラ4Rと、加速度センサ6と、ディスプレイ10と、RAM11と、不揮発性メモリ15と、制御部19とを備える。
FIG. 3 is a functional block diagram of the
RAM11は、制御部19により前方画像Imfから切り出された切り出し画像Imcを一時的に記憶する画像バッファ等として機能する記憶領域である。不揮発性メモリ15は、例えばSDカードなどの記憶媒体であり、事故等に起因した衝撃が発生した場合に、制御部19により、RAM11に記憶された衝撃発生前の所定時間分の画像が書き込まれる。
The RAM 11 is a storage area that functions as an image buffer or the like that temporarily stores the cut-out image Imc cut out from the front image Imf by the
制御部19は、CPUなどであり、前方画像Imfから一部を切り出して切り出し画像Imcを生成し、切り出し画像Imcをディスプレイ10に表示させると共に、当該切り出し画像ImcをRAM11に書き込むことで、所定時間分の切り出し画像ImcをRAM11に記憶させる。また、制御部19は、加速度センサ6により基準値以上の加速度(即ち衝撃)を検出した場合に、RAM11に保存した所定時間分(概ね10〜100秒程度)の切り出し画像Imcを不揮発性メモリ15に書き込む。さらに、本実施例では、制御部19は、車室内画像Imr中の運転者の顔の位置に基づいて、前方画像Imfから切り出し画像Imcを切り出す位置(単に「切り出し位置」とも呼ぶ。)を決定する。制御部19は、本発明における「画像制御手段」及びプログラムを実行する「コンピュータ」の一例である。
The
[切り出し位置の決定方法]
次に、前方画像Imfにおける切り出し位置の決定方法について説明する。概略的には、制御部19は、車室内画像Imrの中心を基準点として、運転者の顔が基準点から水平方向に離れた距離に応じて、前方画像Imfにおける切り出し位置を逆方向にずらす。
[How to determine the cutout position]
Next, a method of determining the cutout position in the forward image Imf will be described. Generally, the
(1)概要説明
図4は、ドライブレコーダ1が設置された車室内の俯瞰図である。図4において、線「L1」及び「L2」は、ドライブレコーダ1を介して車両の後方(即ち車両の進行方向と逆方向)を運転者が観察する際に運転者の目に入射する光の光軸を示す。また、線「L3」は、前方撮影カメラ4Fを始点として車両の進行方向に延びた線を示す。
(1) Outline Explanation FIG. 4 is a bird's-eye view of the vehicle interior in which the
図4の例では、運転者は、ミラー部13により車両後方が確認できるように、ドライブレコーダ1(即ちルームミラー12)の水平方向における角度を調整している。これにより、矢印8Rが示す後方撮影カメラ4Rの撮影方向は、車両後方に延在する線L2に対して角度「θin」だけ右に傾いている。ここで、角度θinは、ドライブレコーダ1と運転者の顔とを結ぶ線L1と後方撮影カメラ4Rの撮影方向を示す矢印8Rとがなす角度に等しい。
In the example of FIG. 4, the driver adjusts the angle of the drive recorder 1 (that is, the rearview mirror 12) in the horizontal direction so that the rear view of the vehicle can be confirmed by the
一方、この場合、矢印8Fが示す前方撮影カメラ4Fの撮影方向は、線L3が延在する車両の進行方向に対して左方向に角度「θout」だけずれることになる。ここで、角度θinと角度θoutとは錯角の関係にあり、かつ、線L2と線L3とは平行であることから、角度θinと角度θoutとは等しい。よって、後方撮影カメラ4Rの撮影方向に対する運転者の顔の水平方向での角度差は、前方撮影カメラ4Fの撮影方向に対する車両の進行方向の水平方向での角度差と等しくなる。
On the other hand, in this case, the shooting direction of the
図5(A)は、図4の例において後方撮影カメラ4Rが撮影した車室内画像Imrを示す。ここで、線70v、70hは、車室内画像Imrの縦横の中心線を示す。
FIG. 5A shows an interior image Imr taken by the rear-
図5(A)に示す車室内画像Imrでは、運転者の顔の位置(詳しくは運転者の目の位置)は、車室内画像Imrの中心に対して所定画素数(「画素数Nin」とも呼ぶ。)だけ左方向にずれている。ここで、画素数Ninは、図4の角度θinが大きいほど大きくなり、画素数Ninと角度θinとの関係は、後方撮影カメラ4Rの仕様に応じて定まる。よって、制御部19は、公知の顔認識技術により車室内画像Imrから運転者の顔の位置を検出して画素数Ninを算出後、画素数Ninと角度θinとの関係を示す情報を参照することで、画素数Ninから角度θin(即ち角度θout)を算出することができる。画素数Ninと角度θinとの関係を示す情報は、例えば、実験又は理論計算により予め算出されて制御部19に記憶される。
In the vehicle interior image Imr shown in FIG. 5 (A), the position of the driver's face (specifically, the position of the driver's eyes) is a predetermined number of pixels (also referred to as "number of pixels Nin") with respect to the center of the vehicle interior image Imr. Call.) Is shifted to the left. Here, the number of pixels Nin increases as the angle θin in FIG. 4 increases, and the relationship between the number of pixels Nin and the angle θin is determined according to the specifications of the rear-
図5(B)は、図4の例において前方撮影カメラ4Fが撮影した前方画像Imfを示す。図5(B)において、線71v、71hは前方画像Imfの縦横の中心線を示し、線72vは切り出し画像Imcの縦の中心線を示す。
FIG. 5B shows the front image Imf taken by the
図5(B)の例では、車両の略進行方向上にある消失点は、前方画像Imfの中心に対して所定画素数(「画素数Nout」とも呼ぶ。)だけ右方向にずれている。ここで、画素数Noutは、図4の角度θoutが大きいほど大きくなり、画素数Noutと角度θoutとの関係は、前方撮影カメラ4Fの仕様に応じて定まる。よって、制御部19は、実験又は理論計算により算出した画素数Noutと角度θoutとの関係を予め記憶しておき、角度θoutから画素数Noutを算出する。そして、制御部19は、前方画像Imfの中心から画素数Noutだけ右にずれた位置が切り出し画像Imcの中心となるように前方画像Imfにおける切り出し位置を決定する。
In the example of FIG. 5B, the vanishing point in the substantially traveling direction of the vehicle is shifted to the right by a predetermined number of pixels (also referred to as “pixel number Now”) with respect to the center of the front image Imf. Here, the number of pixels Nout increases as the angle θout in FIG. 4 increases, and the relationship between the number of pixels Nout and the angle θout is determined according to the specifications of the
図6(A)は、図5(A)の例よりも角度θin(即ち角度θout)が小さい場合の車室内画像Imrを示す。また、図6(B)は、図6(A)の例における前方画像Imfを示す。 FIG. 6A shows a vehicle interior image Imr when the angle θin (that is, the angle θout) is smaller than that of the example of FIG. 5A. Further, FIG. 6 (B) shows the forward image Imf in the example of FIG. 6 (A).
画素数Ninは角度θinと正の相関を有するため、図6(A)の例では、図5(A)の例と比較して、画素数Ninは小さくなっている。また、画素数Noutは角度θout(=θin)と正の相関を有するため、図6(B)の例では、図5(B)の例と比較して、画素数Noutは小さくなっている。 Since the number of pixels Nin has a positive correlation with the angle θin, the number of pixels Nin in the example of FIG. 6 (A) is smaller than that of the example of FIG. 5 (A). Further, since the number of pixels Nout has a positive correlation with the angle θout (= θin), the number of pixels Nout is smaller in the example of FIG. 6 (B) than in the example of FIG. 5 (B).
図7(A)は、運転席が車室内の左側に存在する場合に撮影された車室内画像Imrを示し、図7(B)は、図7(A)の例における前方画像Imfを示す。 FIG. 7 (A) shows the vehicle interior image Imr taken when the driver's seat is on the left side of the vehicle interior, and FIG. 7 (B) shows the front image Imf in the example of FIG. 7 (A).
図7の例では、ドライブレコーダ1が搭載される車両は左ハンドル車であり、この場合の前方撮影カメラ4Fの撮影方向は、車両の進行方向に対して右にずれる。よって、図7(A)に示す車室内画像Imrでは、車室内画像Imrの縦中心線70vに対して、運転者の顔の位置が図5(A)及び図6(A)の例と逆の右にずれている。同様に、図7(B)に示す前方画像Imfでは、前方画像Imfの縦の中心線71vに対して車両の正面方向の位置が図5(B)及び図6(B)の例と逆の左にずれている。従って、制御部19は、車室内画像Imrにおいて運転者の顔の位置が縦中心線70vよりも右に存在すると判断した場合には、画素数Noutだけ前方画像Imfの中心に対して左にずれた位置を切り出し画像Imcの中心に定める。
In the example of FIG. 7, the vehicle on which the
(2)処理フロー
図8は、前方画像Imfにおける切り出し位置の決定処理の手順を示すフローチャートである。制御部19は、図8に示すフローチャートの処理を繰り返し実行する。
(2) Processing Flow FIG. 8 is a flowchart showing a procedure for determining a cutting position in the front image Imf. The
まず、制御部19は、車室内画像Imrから公知の画像認識技術により運転者の顔を検出する(ステップS101)。この場合、制御部19は、例えば運転者の両目の中心を運転者の顔の位置として検出する。
First, the
次に、制御部19は、車室内画像Imrの中心を基準点として、運転者の顔が基準点から水平方向に離れている画素数Ninを算出する(ステップS102)。そして、制御部19は、算出した画素数Ninから、前方撮影カメラ4Fの撮影方向が車両の進行方向と水平方向においてずれている角度θout(即ち角度θin)を算出する(ステップS103)。
Next, the
次に、制御部19は、ステップS103で算出した角度θoutに応じた画素数Noutだけ前方画像Imfの中心から水平方向にずれた位置を、切り出し画像Imcの中心に設定する(ステップS104)。この場合、制御部19は、車室内画像Imrの中心から運転者の顔の位置がずれていた方向と逆方向に、画素数Noutだけ切り出し画像Imcの中心を前方画像Imfの中心からずらす。これにより、制御部19は、車両の正面方向を映した切り出し画像Imcを好適に取得することができる。
Next, the
以上説明したように、本実施例に係るドライブレコーダ1は、車両の前方風景を撮影する前方撮影カメラ4Fと、車両の運転者を撮影する後方撮影カメラ4Rと、制御部19とを備える。制御部19は、前方撮影カメラ4Fが撮影した前方画像Imfの一部の範囲を切り出し画像Imcとして切り出す。このとき、制御部19は、後方撮影カメラ4Rが撮影した車室内画像Imr中の運転者の位置に応じて、切り出し画像Imcを前方画像Imfから切り出す位置を変更する。このようにすることで、ドライブレコーダ1は、ルームミラー12の角度が変更された場合であっても、前方撮影カメラ4Fの撮影方向を調整することなく、適切な方向を撮影した切り出し画像Imcをディスプレイ10に表示したり不揮発性メモリ15に記憶したりすることができる。
As described above, the
[変形例]
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。
[Modification example]
Hereinafter, a modification suitable for the above-described embodiment will be described. The following modifications may be applied to the above-described embodiment in any combination.
(変形例1)
実施例では、前方撮影カメラ4Fの撮影方向が水平方向において車両の進行方向とずれている場合について説明した。これに代えて、又はこれに加えて、制御部19は、前方撮影カメラ4Fの撮影方向が車両の進行方向と垂直方向にずれている場合に、切り出し画像Imcの垂直方向での前方画像Imf内の位置を調整してもよい。
(Modification example 1)
In the embodiment, a case where the shooting direction of the
この場合、制御部19は、図8のステップS102において、車室内画像Imrの中心と運転者の顔の位置との垂直方向での距離に相当する画素数を算出する。その後、ステップS103において、制御部19は、算出した画素数に基づき前方撮影カメラ4Fの撮影方向が垂直方向において車両の進行方向とずれている角度を実施例と同様に算出する。そして、制御部19は、ステップS104において、ステップS103で算出した角度に応じた画素数だけ前方画像Imfの中心から垂直方向にずれた位置を、切り出し画像Imcの中心に設定する。この場合、実施例と同様、制御部19は、車室内画像Imrの中心から運転者の顔の位置がずれていた方向と逆方向に切り出し画像Imcの中心を前方画像Imfの中心からずらす。
In this case, in step S102 of FIG. 8, the
これにより、ドライブレコーダ1は、座高等に応じて運転者がドライブレコーダ1(即ちルームミラー12)のY軸回りの角度を調整した場合であっても、好適に切り出し画像Imcの中心が車両の進行方向上の位置と重なるように切り出し位置を決定することができる。
As a result, even when the driver adjusts the angle of the drive recorder 1 (that is, the rear-view mirror 12) around the Y-axis according to the sitting height and the like, the
(変形例2)
制御部19は、図8のステップS101において、統計的手法に基づき、所定期間における顔の平均的な位置を検出することで、ステップS102で画素数Ninを算出してもよい。これにより、ルームミラー12の角度を変更することなく運転者が顔を一時的に動かした場合に、切り出し画像Imcの前方画像Imf内での位置が過敏に移動するのを好適に抑制することができる。
(Modification 2)
The
(変形例3)
上記実施例では、ドライブレコーダ1は、車両に付属する純正のルームミラー12にドライブレコーダ1を挟み込んで保持するための挟持部14A〜14Dを備えた。これに代えて、ドライブレコーダ1は、挟持部14A〜14Dを備えず、ルームミラーに内蔵され、車両に付属する純正のルームミラーと交換できるものであってもよい。
(Modification example 3)
In the above embodiment, the
別の例では、ドライブレコーダ1は、事故発生時の切り出し画像Imcを不揮発性メモリ15に記憶する機能を有しないナビゲーション装置であってもよい。この場合、ナビゲーション装置は、切り出し画像Imcを対象とした画像認識処理により、車線、信号機の点灯状態、先行車両などを検知し、検知結果に基づくテキスト画像や図形画像などを切り出し画像Imcに重ねてディスプレイ10に表示したり、音声情報を出力したりする。
In another example, the
(変形例4)
図8のステップS103及びステップS104に代えて、制御部19は、ステップS102で画素数Ninの算出後、角度θoutを算出することなく、画素数Noutを画素数Ninから直接算出してもよい。
(Modification example 4)
Instead of step S103 and step S104 of FIG. 8, the
ここで、角度θinと画素数Nin、及び、角度θoutと画素数Noutはそれぞれ正の相関があるため、画素数Noutと画素数Ninとについても正の相関がある。よって、制御部19は、画素数Ninと画素Noutとの関係を示す式等を予め実験又は理論計算により求めて記憶しておくことで、画素数Ninから画素数Noutを好適に算出することができる。
Here, since the angle θin and the number of pixels Nin and the angle θout and the number of pixels Nout have a positive correlation, the number of pixels Nout and the number of pixels Nin also have a positive correlation. Therefore, the
1 ドライブレコーダ
4F 前方撮影カメラ
4R 後方撮影カメラ
10 ディスプレイ
11 RAM
12 ルームミラー
15 不揮発性メモリ
19 制御
1 Drive
12
Claims (8)
前記ルームミラーに対して撮影方向が固定され、且つ前記車両の前方風景を撮影する第1撮影手段と、
前記ルームミラーに対して撮影方向が固定され、且つ前記車両の運転者を撮影する第2撮影手段と、
前記第1撮影手段により撮影された第1画像の一部の範囲を切り出し画像として切り出す画像制御手段と、
を備え、
前記画像制御手段は、前記第2撮影手段により撮影された第2画像中の前記運転者の位置に基づいて、前記切り出し画像を前記第1画像から切り出す位置を、前記車両の正面方向の前方風景が前記切り出し画像の中心に近づくように変更することを特徴とする撮影装置。 An imaging device that is built into or attached to a vehicle rear-view mirror and changes direction with the rear-view mirror.
A first photographing means in which the photographing direction is fixed with respect to the rearview mirror and the front scenery of the vehicle is photographed.
A second photographing means in which the photographing direction is fixed with respect to the rearview mirror and the driver of the vehicle is photographed.
An image control means that cuts out a part of a range of the first image taken by the first shooting means as a cutout image, and
With
The image control means sets a position at which the cut-out image is cut out from the first image based on the position of the driver in the second image taken by the second shooting means, as a front view in the front direction of the vehicle. Is changed so as to approach the center of the cutout image.
前記ルームミラーに対して撮影方向が固定され、且つ前記車両の前方風景を撮影する第1撮影手段により撮影された第1画像の一部の範囲を切り出し画像として切り出す画像制御工程を有し、
前記画像制御工程は、前記ルームミラーに対して撮影方向が固定され、且つ前記車両の運転者を撮影する第2撮影手段により撮影された第2画像中の前記運転者の位置に基づいて、前記切り出し画像を前記第1画像から切り出す位置を、前記車両の正面方向の前方風景が前記切り出し画像の中心に近づくように変更する
ことを特徴とする制御方法。 A control method performed by a photographing device that is built in or attached to a vehicle rear-view mirror and changes direction together with the rear-view mirror.
It has an image control step in which the shooting direction is fixed with respect to the rearview mirror, and a part of a range of the first image shot by the first shooting means for shooting the scenery in front of the vehicle is cut out as a cutout image.
In the image control step, the shooting direction is fixed with respect to the rearview mirror, and the image control step is based on the position of the driver in the second image shot by the second shooting means for shooting the driver of the vehicle. A control method characterized in that the position at which the cut-out image is cut out from the first image is changed so that the front view of the vehicle in the front direction approaches the center of the cut-out image.
前記ルームミラーに対して撮影方向が固定され、且つ前記車両の前方風景を撮影する第1撮影手段により撮影された第1画像の一部の範囲を切り出し画像として切り出す画像制御手段
として前記コンピュータを機能させ、
前記画像制御手段は、前記ルームミラーに対して撮影方向が固定され、且つ前記車両の運転者を撮影する第2撮影手段により撮影された第2画像中の前記運転者の位置に基づいて、前記切り出し画像を前記第1画像から切り出す位置を、前記車両の正面方向の前方風景が前記切り出し画像の中心に近づくように変更することを特徴とするプログラム。 A program that is built into or attached to the rear-view mirror of a vehicle and executed by the computer of the imaging device that changes direction with the rear-view mirror.
The computer functions as an image control means that cuts out a part of a range of the first image taken by the first shooting means that shoots the scenery in front of the vehicle while the shooting direction is fixed with respect to the rearview mirror. Let me
The image control means is based on the position of the driver in the second image taken by the second image taking means for taking a picture of the driver of the vehicle and the shooting direction is fixed with respect to the rearview mirror. A program characterized in that the position at which the cut-out image is cut out from the first image is changed so that the front view of the vehicle in the front direction approaches the center of the cut-out image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019134448A JP6874066B2 (en) | 2019-07-22 | 2019-07-22 | Imaging equipment, control methods, programs and storage media |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019134448A JP6874066B2 (en) | 2019-07-22 | 2019-07-22 | Imaging equipment, control methods, programs and storage media |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015025121A Division JP2016149628A (en) | 2015-02-12 | 2015-02-12 | Imaging apparatus, control method, program, and storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019213205A JP2019213205A (en) | 2019-12-12 |
| JP6874066B2 true JP6874066B2 (en) | 2021-05-19 |
Family
ID=68845664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019134448A Active JP6874066B2 (en) | 2019-07-22 | 2019-07-22 | Imaging equipment, control methods, programs and storage media |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6874066B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112702527A (en) * | 2020-12-28 | 2021-04-23 | 维沃移动通信(杭州)有限公司 | Image shooting method and device and electronic equipment |
| DE102023119793A1 (en) | 2023-07-26 | 2025-01-30 | Valeo Schalter Und Sensoren Gmbh | Method for operating a rearview mirror device in a motor vehicle |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006157748A (en) * | 2004-12-01 | 2006-06-15 | Nippon Seiki Co Ltd | Indicating unit for vehicle |
| JP5874920B2 (en) * | 2012-04-12 | 2016-03-02 | スズキ株式会社 | Monitoring device for vehicle surroundings |
| JP6072470B2 (en) * | 2012-08-24 | 2017-02-01 | 京セラ株式会社 | In-vehicle imaging system |
-
2019
- 2019-07-22 JP JP2019134448A patent/JP6874066B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019213205A (en) | 2019-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110573369B (en) | Head-up display device and display control method thereof | |
| USRE50732E1 (en) | Head up display apparatus and display control method thereof | |
| JP6731644B2 (en) | Display position correction device, display device including display position correction device, and moving body including display device | |
| JP4935571B2 (en) | Driving assistance device | |
| EP3330117B1 (en) | Vehicle display device | |
| JP5353734B2 (en) | Imaging device | |
| KR20180022374A (en) | Lane markings hud for driver and assistant and same method thereof | |
| JP2010095202A (en) | Room mirror position rear-view camera image display | |
| WO2018179786A1 (en) | Information display device | |
| JP6874066B2 (en) | Imaging equipment, control methods, programs and storage media | |
| US11491872B2 (en) | Vehicle and method for displaying an image onto a windshield | |
| JP2015182646A (en) | imaging apparatus | |
| JP6384138B2 (en) | Vehicle display device | |
| JP2025168437A (en) | Photographing device, control method, program, and storage medium | |
| JP2020006954A (en) | Drive recorder, captured image display device, captured image display method, captured image display program and storage medium | |
| KR101209796B1 (en) | Display device for vehicle with foreground penetration function and display method of the same | |
| JP3968720B2 (en) | Image display device for vehicle | |
| JPWO2020090187A1 (en) | Virtual image display device and head-up display device | |
| JP2016149628A (en) | Imaging apparatus, control method, program, and storage medium | |
| JP3932127B2 (en) | Image display device for vehicle | |
| JP6728868B2 (en) | Display device, display method, and display device program | |
| JP4857159B2 (en) | Vehicle driving support device | |
| JP2005182305A (en) | Vehicle travel support device | |
| JP2018084767A (en) | Display control device, control method, program, and storage medium | |
| JP3864418B2 (en) | Image display device for vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190722 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200515 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200727 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210413 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210421 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6874066 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |