Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6973590B2 - Video control device for vehicles and video control method - Google Patents
[go: Go Back, main page]

JP6973590B2 - Video control device for vehicles and video control method - Google Patents

Video control device for vehicles and video control method Download PDF

Info

Publication number
JP6973590B2
JP6973590B2 JP2020156240A JP2020156240A JP6973590B2 JP 6973590 B2 JP6973590 B2 JP 6973590B2 JP 2020156240 A JP2020156240 A JP 2020156240A JP 2020156240 A JP2020156240 A JP 2020156240A JP 6973590 B2 JP6973590 B2 JP 6973590B2
Authority
JP
Japan
Prior art keywords
vehicle
camera
image
pickup device
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020156240A
Other languages
Japanese (ja)
Other versions
JP2021007227A (en
Inventor
豊 ▲高▼倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019023319A external-priority patent/JP6769500B2/en
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2020156240A priority Critical patent/JP6973590B2/en
Publication of JP2021007227A publication Critical patent/JP2021007227A/en
Application granted granted Critical
Publication of JP6973590B2 publication Critical patent/JP6973590B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、車両用映像制御装置、車両用映像システム、映像制御方法、及びプログラムに関し、特にカメラを搭載した車両の車両用映像制御装置、車両用映像システム、映像制御方法、及びプログラムに関する。 The present invention relates to a vehicle image control device, a vehicle image system, an image control method, and a program, and more particularly to a vehicle image control device for a vehicle equipped with a camera, a vehicle image system, an image control method, and a program.

一般的にドライブレコーダは、車両の進行方向である前後方向を重点的に撮影するように構成されている。 Generally, the drive recorder is configured to focus on the front-rear direction, which is the traveling direction of the vehicle.

駐車監視モードにおいては、車両の横方向で発生したイベントの原因等も記録できるように、特許文献1においては、半天球カメラを備えたドライブレコーダが開示されている。また、近年において、車両のサイドミラーに代えて車両の側後方を撮影するカメラの映像を表示する電子ミラーが備えられている。 In the parking monitoring mode, a drive recorder provided with a hemispherical camera is disclosed in Patent Document 1 so that the cause of an event occurring in the lateral direction of the vehicle can be recorded. Further, in recent years, instead of the side mirror of the vehicle, an electronic mirror for displaying an image of a camera for photographing the side rear of the vehicle is provided.

特開2018−196066号公報Japanese Unexamined Patent Publication No. 2018-196066

ドライブレコーダは、車両の走行中を含む車両の使用中、車両の前後方向を撮像し、その撮像した映像を記録することが期待される。一方、ドライブレコーダは、駐車中に、前後方向に限らず、車両の前後方向に加えて左右方向を監視することが要求されているが、特許文献1に開示の半天球カメラは、車室外の映像を適切に記録することが困難である。さらに、左右方向を監視するためのカメラを車両に取り付けると、コストが増大するおそれがあった。 The drive recorder is expected to capture the front-rear direction of the vehicle and record the captured image while the vehicle is in use, including while the vehicle is running. On the other hand, the drive recorder is required to monitor not only the front-rear direction but also the left-right direction in addition to the front-rear direction of the vehicle while parking, but the hemispherical camera disclosed in Patent Document 1 is outside the vehicle interior. It is difficult to properly record the image. Further, if a camera for monitoring the left-right direction is attached to the vehicle, the cost may increase.

本発明は、コスト増大を抑制して適切な駐車監視を行うことができる、車両用映像制御装置、車両用映像システム、映像制御方法、及びプログラムを提供する。 The present invention provides a vehicle image control device, a vehicle image system, an image control method, and a program capable of suppressing cost increase and performing appropriate parking monitoring.

本発明に係る車両用映像制御装置は、車両の左側に備えられ前記車両の左側および左後方を撮影可能な左撮像装置と、前記車両の右側に備えられ前記車両の右側および右後方を撮影可能な右撮像装置と、前記左撮像装置および前記右撮像装置が撮影した映像を、前記車両の運転者が視認可能なモニタに表示させる表示制御部と、前記左撮像装置および前記右撮像装置が撮影した映像を、前記車両を監視する監視情報として利用する記録制御部と、前記左撮像装置が撮影した映像および前記右撮像装置が撮影した映像を、電子ミラーモードとして用いる場合、前記表示制御部に、前記左撮像装置が撮影した前記車両の左後方の映像および前記右撮像装置が撮影した前記車両の右後方の映像を、前記車両の運転者が視認可能なモニタに表示させ、前記左撮像装置が撮影した映像および前記右撮像装置が撮影した映像を、ドライブレコーダモードとして用いる場合、前記記録制御部に、前記左撮像装置が撮影した前記車両の左側の映像および前記右撮像装置が撮影した前記車両の右側の映像を、前記車両を監視する監視情報として利用させるモード変更部と、を備える。 The vehicle image control device according to the present invention is a left image pickup device provided on the left side of the vehicle and capable of photographing the left side and the left rear of the vehicle, and a left image pickup device provided on the right side of the vehicle and capable of photographing the right side and the right rear of the vehicle. The right image pickup device, the display control unit for displaying the images taken by the left image pickup device and the right image pickup device on a monitor visible to the driver of the vehicle, and the left image pickup device and the right image pickup device take pictures. When the recording control unit that uses the recorded image as monitoring information for monitoring the vehicle, and the image taken by the left image pickup device and the image taken by the right image pickup device are used as the electronic mirror mode, the display control unit is used. The left rear image of the vehicle taken by the left image pickup device and the right rear image of the vehicle taken by the right image pickup device are displayed on a monitor visible to the driver of the vehicle, and the left image pickup device is displayed. When the image taken by the vehicle and the image taken by the right image pickup device are used as the drive recorder mode, the image on the left side of the vehicle taken by the left image pickup device and the image taken by the right image pickup device are taken by the recording control unit. It is provided with a mode changing unit that allows the image on the right side of the vehicle to be used as monitoring information for monitoring the vehicle.

また、本発明に係る車両用映像制御装置は、前記左撮像装置および前記右撮像装置と、を備える車両用映像システムとして構成されてもよい。 Further, the vehicle image control device according to the present invention may be configured as a vehicle image system including the left image pickup device and the right image pickup device.

また、本発明に係る映像制御方法は、車両の左側に備えられ前記車両の左側および左後方を撮影可能な左撮像装置および前記車両の右側に備えられ前記車両の右側および右後方を撮影可能な右撮像装置が撮影した映像を電子ミラーモードとして用いる場合、前記左撮像装置が撮影した前記車両の左後方の映像および前記右撮像装置が撮影した前記車両の右後方の映像を、前記車両の運転者が視認可能なモニタに表示させるステップと、前記左撮像装置が撮影した映像および前記右撮像装置が撮影した映像を、ドライブレコーダモードとして用いる場合、前記左撮像装置が撮影した前記車両の左側の映像および前記右撮像装置が撮影した前記車両の右側の映像を、前記車両を監視する監視情報として利用させるステップと、を、車両用映像制御装置が実行する。 Further, the image control method according to the present invention is provided on the left side of the vehicle and can photograph the left side and the left rear of the vehicle, and is provided on the right side of the vehicle and can photograph the right side and the right rear of the vehicle. When the image taken by the right image pickup device is used as the electronic mirror mode, the image taken by the left image pickup device on the left rear side of the vehicle and the image taken by the right image pickup device on the right rear side of the vehicle are used to drive the vehicle. When the step of displaying on a monitor visible to a person and the image taken by the left image pickup device and the image taken by the right image pickup device are used as the drive recorder mode, the left side of the vehicle taken by the left image pickup device is used. The vehicle image control device executes a step of using the image and the image on the right side of the vehicle taken by the right image pickup device as monitoring information for monitoring the vehicle.

また、本発明に係る映像制御方法を、車両用映像制御装置を動作させるコンピュータが映像制御プログラムとして実行してもよい。 Further, the video control method according to the present invention may be executed as a video control program by a computer that operates a vehicle video control device.

本発明によれば、コスト増大を抑制して適切な駐車監視を行うことができる、車両用映像制御装置、車両用映像システム、映像制御方法、及びプログラムを提供することができる。 According to the present invention, it is possible to provide a vehicle image control device, a vehicle image system, an image control method, and a program capable of suppressing an increase in cost and performing appropriate parking monitoring.

実施の形態1に係る車両用映像システムの一構成例を示すブロック図である。It is a block diagram which shows one configuration example of the vehicle image system which concerns on Embodiment 1. FIG. 実施の形態1に係る車両用映像システムが搭載された車両の運転席前方の一構成例を示す模式図である。It is a schematic diagram which shows one configuration example in front of the driver's seat of the vehicle which mounted the vehicle image system which concerns on Embodiment 1. FIG. 実施の形態1に係る車両用映像システムの一動作例を示す模式図である。It is a schematic diagram which shows one operation example of the vehicle image system which concerns on Embodiment 1. FIG. 実施の形態1に係る車両用映像システムの一動作例を示すフローチャートである。It is a flowchart which shows one operation example of the video system for a vehicle which concerns on Embodiment 1. FIG. 実施の形態2に係る車両用映像システムの一構成例を示すブロック図である。It is a block diagram which shows one configuration example of the video system for a vehicle which concerns on Embodiment 2. FIG. 実施の形態2に係る車両用映像システムの一動作例を示す模式図である。It is a schematic diagram which shows one operation example of the vehicle image system which concerns on Embodiment 2. FIG. 実施の形態2に係る車両用映像システムの一変形例の一動作例を示す模式図である。It is a schematic diagram which shows one operation example of one modification of the vehicle image system which concerns on Embodiment 2. FIG. 車両用映像システムに含まれるハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition included in the video system for a vehicle.

(実施の形態1)
以下、図1〜図4を参照して実施の形態1について説明する。図1は、実施の形態1に係る車両用映像システムの一構成例を示すブロック図である。図2は、実施の形態1に係る車両用映像システムが搭載された車両の運転席前方の一構成例を示す模式図である。図3は、実施の形態1に係る車両用映像システムの一動作例を示す模式図である。図4は、実施の形態1に係る車両用映像システムの一動作例を示すフローチャートである。
(Embodiment 1)
Hereinafter, the first embodiment will be described with reference to FIGS. 1 to 4. FIG. 1 is a block diagram showing a configuration example of a vehicle video system according to the first embodiment. FIG. 2 is a schematic diagram showing a configuration example in front of the driver's seat of a vehicle equipped with the vehicle video system according to the first embodiment. FIG. 3 is a schematic diagram showing an operation example of the vehicle video system according to the first embodiment. FIG. 4 is a flowchart showing an operation example of the vehicle video system according to the first embodiment.

なお、当然のことながら、図2及びその他の図面に示した三次元直交座標は、上下方向、左右方向、及び前後方向を示し、構成要素の位置関係を説明するための便宜的なものである。通常、上が鉛直上向き、前後左右方向に延びる平面が水平面であり、図面間で共通である。図2は、車両50の車室内からその前方を視た図である。図3は、車両50の左側面50aをその上側から視た図である。 As a matter of course, the three-dimensional Cartesian coordinates shown in FIG. 2 and other drawings indicate the vertical direction, the horizontal direction, and the front-back direction, and are for convenience to explain the positional relationship of the components. .. Usually, the top is vertically upward, and the plane extending in the front-back and left-right directions is a horizontal plane, which is common between drawings. FIG. 2 is a view of the front of the vehicle 50 from the passenger compartment. FIG. 3 is a view of the left side surface 50a of the vehicle 50 as viewed from above.

図1に示すように、車両用映像システム100は、車両用映像制御装置20と、前カメラ31と、後カメラ32と、左カメラ33と、右カメラ34と、左支持部35と、右支持部36と、操作部37と、GPS受信部38と、記録部41と、センサ42と、左サイドモニタ43と、右サイドモニタ44と、インフォティンメントモニタ45とを備える。車両用映像システム100は、図2に示す車両50に搭載されている。 As shown in FIG. 1, the vehicle image system 100 includes a vehicle image control device 20, a front camera 31, a rear camera 32, a left camera 33, a right camera 34, a left support portion 35, and a right support. It includes a unit 36, an operation unit 37, a GPS receiving unit 38, a recording unit 41, a sensor 42, a left side monitor 43, a right side monitor 44, and an infotinment monitor 45. The vehicle video system 100 is mounted on the vehicle 50 shown in FIG.

前カメラ31と、後カメラ32と、左カメラ33と、右カメラ34とは、撮像装置であればよい。つまり、前カメラ31は前撮像装置であり、後カメラ32は後撮像装置であり、左カメラ33は、左撮像装置であり、右カメラ34は右撮像装置である。前カメラ31及び後カメラ32は、一般的なドライブレコーダに利用されるカメラであってもよい。また、左カメラ33と、右カメラ34とは、一般的な電子ミラーに利用されるカメラであってもよい。 The front camera 31, the rear camera 32, the left camera 33, and the right camera 34 may be an image pickup device. That is, the front camera 31 is a front image pickup device, the rear camera 32 is a rear image pickup device, the left camera 33 is a left image pickup device, and the right camera 34 is a right image pickup device. The front camera 31 and the rear camera 32 may be cameras used in a general drive recorder. Further, the left camera 33 and the right camera 34 may be cameras used for a general electronic mirror.

前カメラ31は、車両50の前方を向くように車両50の前側に配置され、車両50の前方を撮影する。後カメラ32は、車両50の後方を向くように車両50の後側に配置され、車両50の後方を撮影する。前カメラ31及び後カメラ32は、撮影した映像データを撮影データ取得部1へ出力する。 The front camera 31 is arranged on the front side of the vehicle 50 so as to face the front of the vehicle 50, and photographs the front of the vehicle 50. The rear camera 32 is arranged on the rear side of the vehicle 50 so as to face the rear of the vehicle 50, and photographs the rear of the vehicle 50. The front camera 31 and the rear camera 32 output the shot video data to the shooting data acquisition unit 1.

図3に示すように、左支持部35は、ベース35aと、アーム35bとを備える。ベース35aは、車両50の左側面50aに設けられている。アーム35bは、ベース35aに軸35c周りに回動可能に設けられている。軸35cは、車両50の上下方向に直線上に延びる。よって、アーム35bは、軸35c周りに回動すると、車両50の水平面上を回転移動する。左支持部35は、支持制御部2から受信した制御信号に基づいて、アーム35bを回転移動させる。 As shown in FIG. 3, the left support portion 35 includes a base 35a and an arm 35b. The base 35a is provided on the left side surface 50a of the vehicle 50. The arm 35b is rotatably provided on the base 35a around the shaft 35c. The shaft 35c extends in a straight line in the vertical direction of the vehicle 50. Therefore, when the arm 35b rotates around the shaft 35c, the arm 35b rotates and moves on the horizontal plane of the vehicle 50. The left support unit 35 rotates and moves the arm 35b based on the control signal received from the support control unit 2.

左カメラ33は、アーム35bの先端部の後側に設けられている。左カメラ33は、車両50の水平面において、アーム35bの長手方向に対して略直交する方向に向く。 The left camera 33 is provided on the rear side of the tip end portion of the arm 35b. The left camera 33 faces in a direction substantially orthogonal to the longitudinal direction of the arm 35b in the horizontal plane of the vehicle 50.

アーム35bは、軸35c周りに回動することによって、左カメラ33は、第1の位置又は第2の位置に配置される。アーム35bが、アーム35bの長手方向が車両50の左側面50aに対して略直交する場合、左カメラ33は、第1の位置に存在する。左カメラ33は、車両50の左後方を撮像する。左カメラ33が、第1の位置に存在する場合、車両50は、多くの場合、運転者によって運転されており、左カメラ33は、電子ミラーとして機能する。 The left camera 33 is placed in the first position or the second position by rotating the arm 35b around the axis 35c. When the arm 35b is substantially orthogonal to the left side surface 50a of the vehicle 50 in the longitudinal direction of the arm 35b, the left camera 33 is in the first position. The left camera 33 images the left rear of the vehicle 50. When the left camera 33 is present in the first position, the vehicle 50 is often driven by the driver, and the left camera 33 functions as an electronic mirror.

アーム35bの先端部の前側と、車両50の左側面50aとが対向する場合、左カメラ33は、第2の位置に存在する。左カメラ33は、車両50の左側方を撮像する。左カメラ33は、撮影した映像データを撮影データ取得部1へ出力する。左カメラ33が、第2の位置に存在する場合、車両50は、多くの場合、駐車しており、左カメラ33は、ドライブレコーダとして機能する。 When the front side of the tip end portion of the arm 35b and the left side surface 50a of the vehicle 50 face each other, the left camera 33 exists at the second position. The left camera 33 captures the left side of the vehicle 50. The left camera 33 outputs the captured video data to the capture data acquisition unit 1. When the left camera 33 is present in the second position, the vehicle 50 is often parked and the left camera 33 functions as a drive recorder.

図1に示す右支持部36は、左支持部35と同じ構成を備え、左支持部35と車両50の前後方向に延びる中心線に対して左右対称である。右支持部36の詳細は図示しないが、具体的には、右支持部36は、図3における符号35を36に置き換え、左右対称とした構造である。右支持部36は、左支持部35と同様にベース36aと、アーム36bとを備える。ベース36aは、車両50の右側面に設けられている。アーム36bは、ベース36aに軸36c周りに回動可能に設けられている。軸36cは、車両50の上下方向に直線上に延びる。よって、アーム36bは、軸36c周りに回動すると、車両50の水平面上を回転移動する。右支持部36は、支持制御部2から受信した制御信号に基づいて、アーム36bを回転移動させる。 The right support portion 36 shown in FIG. 1 has the same configuration as the left support portion 35, and is symmetrical with respect to the center line extending in the front-rear direction of the left support portion 35 and the vehicle 50. The details of the right support portion 36 are not shown, but specifically, the right support portion 36 has a symmetrical structure in which the reference numeral 35 in FIG. 3 is replaced with 36. The right support portion 36 includes a base 36a and an arm 36b, similarly to the left support portion 35. The base 36a is provided on the right side surface of the vehicle 50. The arm 36b is rotatably provided on the base 36a around the shaft 36c. The shaft 36c extends in a straight line in the vertical direction of the vehicle 50. Therefore, when the arm 36b rotates around the shaft 36c, the arm 36b rotates and moves on the horizontal plane of the vehicle 50. The right support unit 36 rotates and moves the arm 36b based on the control signal received from the support control unit 2.

右カメラ34は、右支持部36のアーム36bの先端部の後側に設けられている。右カメラ34は、車両50の水平面において、アーム36bの長手方向に対して略直交する方向に向く。 The right camera 34 is provided on the rear side of the tip end portion of the arm 36b of the right support portion 36. The right camera 34 faces in a direction substantially orthogonal to the longitudinal direction of the arm 36b in the horizontal plane of the vehicle 50.

アーム35bおよびアーム36bは、軸35cおよび軸36c周りに回動することによって、右カメラ34は、左カメラ33とともに、第1の位置又は第2の位置に配置される。アーム35bおよびアーム36bが、アーム35bおよびアーム36bの長手方向が車両50の右側面に対して略直交する場合、右カメラ34は、第1の位置に存在する。右カメラ34は、車両50の右後方を撮像する。 The arm 35b and the arm 36b rotate around the shaft 35c and the shaft 36c so that the right camera 34 and the left camera 33 are placed in a first position or a second position. When the arm 35b and the arm 36b are substantially orthogonal to the right side surface of the vehicle 50 in the longitudinal direction of the arm 35b and the arm 36b, the right camera 34 is in the first position. The right camera 34 takes an image of the rear right of the vehicle 50.

アーム36bの先端部の前側と、車両50の右側面とが対向する場合、右カメラ34は、第2の位置に存在する。右カメラ34は、車両50の右側方を撮像する。右カメラ34は、撮影した映像データを撮影データ取得部1へ出力する。 When the front side of the tip end portion of the arm 36b and the right side surface of the vehicle 50 face each other, the right camera 34 exists at the second position. The right camera 34 captures the right side of the vehicle 50. The right camera 34 outputs the captured video data to the capture data acquisition unit 1.

操作部37は、インタフェースであり、運転者等の操作者からの操作入力を受け付けて、操作を示す信号を生成し、操作制御部3へ出力する。 The operation unit 37 is an interface, receives an operation input from an operator such as a driver, generates a signal indicating the operation, and outputs the signal to the operation control unit 3.

GPS受信部38は、GPS(Global Positioning System)から信号を受信して、この受信した信号を位置情報取得部4へ出力する。 The GPS receiving unit 38 receives a signal from the GPS (Global Positioning System) and outputs the received signal to the position information acquisition unit 4.

記録部41は、記録制御部7が撮影データ取得部1から取得した撮影データを記憶する。記録部41は、例えば、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク、メモリカード、若しくはネットワークを介した外部記憶装置などの記憶装置である。記録部41は、図示しない通信装置を介して無線接続された外部記憶装置であってもよい。記録部41は、記録制御部7及び再生制御部8に記録を読み出されたり、追加されたりする。 The recording unit 41 stores the shooting data acquired by the recording control unit 7 from the shooting data acquisition unit 1. The recording unit 41 is, for example, a semiconductor memory element such as an EPROM (Erasable PROM), a flash ROM, or a RAM (Random Access Memory), or a storage device such as a hard disk, an optical disk, a memory card, or an external storage device via a network. be. The recording unit 41 may be an external storage device wirelessly connected via a communication device (not shown). The recording unit 41 reads or adds records to the recording control unit 7 and the reproduction control unit 8.

センサ42は、適宜、多種多様な測定対象を測定するセンサであり、例えば加速度を測定する加速度センサである。センサ42は、測定した測定結果をイベント検出部9へ出力する。 The sensor 42 is a sensor that appropriately measures a wide variety of measurement targets, for example, an acceleration sensor that measures acceleration. The sensor 42 outputs the measured measurement result to the event detection unit 9.

左サイドモニタ43は、例えば、液晶ディスプレイや有機ELディスプレイ等を含む表示装置である。左サイドモニタ43は、表示制御部10から出力された映像信号に基づいて、車両50の左カメラ33が撮像した映像を表示する。 The left side monitor 43 is a display device including, for example, a liquid crystal display, an organic EL display, and the like. The left side monitor 43 displays the image captured by the left camera 33 of the vehicle 50 based on the image signal output from the display control unit 10.

右サイドモニタ44は、例えば、液晶ディスプレイや有機ELディスプレイ等を含む表示装置である。右サイドモニタ44は、表示制御部10から出力された映像信号に基づいて、車両50の右カメラ34が撮像した映像を表示する。 The right side monitor 44 is a display device including, for example, a liquid crystal display, an organic EL display, and the like. The right side monitor 44 displays the image captured by the right camera 34 of the vehicle 50 based on the image signal output from the display control unit 10.

インフォティンメントモニタ45は、例えば、液晶ディスプレイや有機ELディスプレイ等を含む表示装置である。インフォティンメントモニタ45は、表示制御部10から出力された映像信号に基づいて、多種多様な映像を表示する。インフォティンメントモニタ45は、車両用映像システム100に専用のものであってもよいし、例えばナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。 The infotinment monitor 45 is a display device including, for example, a liquid crystal display, an organic EL display, and the like. The infotinment monitor 45 displays a wide variety of images based on the image signals output from the display control unit 10. The infotinment monitor 45 may be dedicated to the vehicle video system 100, or may be used jointly with other systems including, for example, a navigation system.

図1に示すように、車両用映像制御装置20は、撮影データ取得部1と、支持制御部2と、操作制御部3と、位置情報取得部4と、バッファメモリ5と、撮影データ処理部6と、記録制御部7と、再生制御部8と、イベント検出部9と、表示制御部10と、モード変更部11とを備える。 As shown in FIG. 1, the vehicle image control device 20 includes a shooting data acquisition unit 1, a support control unit 2, an operation control unit 3, a position information acquisition unit 4, a buffer memory 5, and a shooting data processing unit. 6, a recording control unit 7, a reproduction control unit 8, an event detection unit 9, a display control unit 10, and a mode change unit 11.

車両用映像制御装置20は、CPU(Central Processing Unit)等のプロセッサによって構成されることができる。つまり、車両用映像制御装置20は、コンピュータとしての機能を備えることができる。車両用映像制御装置20は、記憶装置に記憶されたプログラムを実行させ、各種処理を行うことができる。また、車両用映像制御装置20は、このプログラムを実行することによって、撮影データ取得部1、支持制御部2、操作制御部3、位置情報取得部4、撮影データ処理部6、記録制御部7、再生制御部8、イベント検出部9、表示制御部10、及びモード変更部11を実現する。 The vehicle video control device 20 can be configured by a processor such as a CPU (Central Processing Unit). That is, the vehicle video control device 20 can be provided with a function as a computer. The vehicle image control device 20 can execute a program stored in the storage device and perform various processes. Further, by executing this program, the vehicle video control device 20 has a shooting data acquisition unit 1, a support control unit 2, an operation control unit 3, a position information acquisition unit 4, a shooting data processing unit 6, and a recording control unit 7. , A reproduction control unit 8, an event detection unit 9, a display control unit 10, and a mode change unit 11.

記憶装置は、例えば、車両用映像制御装置20の一部として又は車両用映像制御装置20の外部に、DDR(Double Data Rate)メモリ、Flashメモリ(フラッシュメモリ)などを備えることができる。また、車両用映像システム100は、車両用映像制御装置20の一部として又は車両用映像制御装置20の外部に、EEPROMを備えることができる。記憶装置は、記録部41であってもよい。 The storage device may include, for example, a DDR (Double Data Rate) memory, a Flash memory (flash memory), or the like as a part of the vehicle image control device 20 or outside the vehicle image control device 20. Further, the vehicle video system 100 may include an EEPROM as a part of the vehicle video control device 20 or outside the vehicle video control device 20. The storage device may be the recording unit 41.

なお、車両用映像システム100の各構成要素は、プログラムで実現することに限ることなく、ハードウェア、或いはハードウェアとプログラムとの組み合わせ等により実現することもできる。また、車両用映像制御装置20の各構成要素は、例えばFPGA(field-programmable gate array)又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。このように、車両用映像制御装置20は、この集積回路を用いて車両用映像制御装置20の各構成要素の機能を実現してもよい。 It should be noted that each component of the vehicle video system 100 is not limited to being realized by a program, but can also be realized by hardware or a combination of hardware and a program. Further, each component of the vehicle video control device 20 may be realized by using a user-programmable integrated circuit such as an FPGA (field-programmable gate array) or a microcomputer. As described above, the vehicle video control device 20 may realize the functions of each component of the vehicle video control device 20 by using this integrated circuit.

撮影データ取得部1と、支持制御部2と、操作制御部3と、位置情報取得部4と、撮影データ処理部6と、記録制御部7と、再生制御部8と、イベント検出部9と、表示制御部10と、モード変更部11等の車両用映像制御装置20を構成する各構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、車両用映像制御装置20を構成する各構成要素は、回路もしくはチップ等のハードウェアであってもよい。 The shooting data acquisition unit 1, the support control unit 2, the operation control unit 3, the position information acquisition unit 4, the shooting data processing unit 6, the recording control unit 7, the reproduction control unit 8, and the event detection unit 9. Each component constituting the vehicle image control device 20 such as the display control unit 10 and the mode change unit 11 is software or a module whose processing is executed by the processor executing a program stored in the memory. You may. Alternatively, each component constituting the vehicle image control device 20 may be hardware such as a circuit or a chip.

撮影データ取得部1は、前カメラ31、後カメラ32、左カメラ33、及び右カメラ34において生成された映像データを取得する。映像データを含むデータは、撮影データと称されてもよい。言い換えると、撮影データ取得部1は、前カメラ31、後カメラ32、左カメラ33、及び右カメラ34から撮影データを取得してもよい。撮影データは、映像データに加えて音声データを含んでもよい。 The shooting data acquisition unit 1 acquires video data generated by the front camera 31, the rear camera 32, the left camera 33, and the right camera 34. Data including video data may be referred to as shooting data. In other words, the shooting data acquisition unit 1 may acquire shooting data from the front camera 31, the rear camera 32, the left camera 33, and the right camera 34. The shooting data may include audio data in addition to the video data.

操作制御部3は、操作部37からの信号に基づいて操作入力情報を生成し、支持制御部2に出力する。操作制御部3が生成する操作入力情報は、例えば、左支持部35および右支持部36が、第1の位置および第2の位置のいずれかの配置となるように切り替える操作などを示す。 The operation control unit 3 generates operation input information based on the signal from the operation unit 37 and outputs the operation input information to the support control unit 2. The operation input information generated by the operation control unit 3 indicates, for example, an operation in which the left support unit 35 and the right support unit 36 are switched so as to be arranged in either the first position or the second position.

支持制御部2は、操作制御部3からの操作入力情報を取得する。また、支持制御部2は、車両50の動力がONしているか、OFFしているかを示す動力ON/OFF情報を取得する。支持制御部2は、例えば、CAN(Controller Area Network)を介して、車両50の動力ON/OFF情報を取得してもよい。また、支持制御部2は、例えば、加速度センサなどの各種のセンサ42からの各種検出情報を取得し、取得した各種検出情報を演算して、車両50の動力ON/OFF情報を導出してもよい。操作入力情報、及び動力ON/OFF情報が車両50の動力がONしていることを示す場合、車両50は、運転者によって運転されている状態である。操作入力情報、及び動力ON/OFF情報が車両50の動力がOFFしていることを示す場合、車両50は、駐車している状態である。 The support control unit 2 acquires the operation input information from the operation control unit 3. Further, the support control unit 2 acquires power ON / OFF information indicating whether the power of the vehicle 50 is ON or OFF. The support control unit 2 may acquire power ON / OFF information of the vehicle 50 via, for example, CAN (Controller Area Network). Further, the support control unit 2 may acquire various detection information from various sensors 42 such as an acceleration sensor, calculate the acquired various detection information, and derive the power ON / OFF information of the vehicle 50. good. When the operation input information and the power ON / OFF information indicate that the power of the vehicle 50 is ON, the vehicle 50 is in a state of being driven by the driver. When the operation input information and the power ON / OFF information indicate that the power of the vehicle 50 is OFF, the vehicle 50 is in a parked state.

支持制御部2は、操作制御部3からの操作入力情報や動力ON/OFF情報に応じた制御信号を、左支持部35及び右支持部36に送る。操作入力情報、及び動力ON/OFF情報が車両50の動力がONしていることを示す場合、支持制御部2は、左支持部35及び右支持部36が第1の位置に配置する制御信号を送る。操作入力情報、及び動力ON/OFF情報が車両50の動力がOFFしていることを示す場合、支持制御部2は、左支持部35及び右支持部36が第2の位置に配置する制御信号を送る。 The support control unit 2 sends control signals according to the operation input information and the power ON / OFF information from the operation control unit 3 to the left support unit 35 and the right support unit 36. When the operation input information and the power ON / OFF information indicate that the power of the vehicle 50 is ON, the support control unit 2 is a control signal in which the left support unit 35 and the right support unit 36 are arranged at the first positions. To send. When the operation input information and the power ON / OFF information indicate that the power of the vehicle 50 is OFF, the support control unit 2 is a control signal in which the left support unit 35 and the right support unit 36 are arranged at the second positions. To send.

位置情報取得部4は、GPS受信部38が受信した信号を取得し、車両50の現在位置情報を生成する。バッファメモリ5は、例えば、出力された撮影データを一時的に記憶する。 The position information acquisition unit 4 acquires the signal received by the GPS receiving unit 38 and generates the current position information of the vehicle 50. The buffer memory 5 temporarily stores, for example, the output shooting data.

撮影データ処理部6は、バッファメモリ5に一時的に記憶された撮影データを、例えば、H.264やMPEG−4(Moving Picture Experts Group)等の任意の方式を用いて一定期間分のデータファイルとしての撮影データを生成する。 The shooting data processing unit 6 uses, for example, H.A., for shooting data temporarily stored in the buffer memory 5. Shooting data as a data file for a certain period is generated by using an arbitrary method such as 264 or MPEG-4 (Moving Picture Experts Group).

記録制御部7は、撮影データ処理部6が生成した撮影データを上書き可能のデータ、又は上書き禁止のデータとして記録部41へ記録する。例えば、記録制御部7は、記録部41のデータの上書き可能または上書き禁止とするメモリ領域のアドレスを指定して、撮影データを記録部41へ記録してもよい。もしくは、記録制御部7は、撮影データのヘッダもしくはペイロードに上書き可能または上書き禁止を示すフラグ情報を設定してもよい。イベント検出部9が、イベントが発生したことを示す情報を記録制御部7へ出力した場合、記録制御部7は、イベントが発生した時刻の前後所定の期間の撮影データを、上書き禁止のデータとして記録部41へ記録する。 The recording control unit 7 records the shooting data generated by the shooting data processing unit 6 in the recording unit 41 as overwriteable data or overwrite-prohibited data. For example, the recording control unit 7 may record the shooting data in the recording unit 41 by designating the address of the memory area in which the data in the recording unit 41 can be overwritten or cannot be overwritten. Alternatively, the recording control unit 7 may set flag information indicating overwriting enable or overwrite prohibition in the header or payload of the shooting data. When the event detection unit 9 outputs information indicating that an event has occurred to the recording control unit 7, the recording control unit 7 uses the shooting data for a predetermined period before and after the time when the event occurs as overwrite-prohibited data. Record in the recording unit 41.

再生制御部8は、記録部41に記録されている撮影データを取得し、取得した撮影データに基づく映像データを表示制御部10へ出力する。 The reproduction control unit 8 acquires the shooting data recorded in the recording unit 41, and outputs the video data based on the acquired shooting data to the display control unit 10.

イベント検出部9は、センサ42から出力された情報を用いてイベント発生を検出する。例えば、加速度センサとして動作するセンサ42おいて検出した加速度が所定値を超えている場合に、イベント検出部9は、イベントが発生したことを検出する。加速度が所定値を超えるとは、車両50に事故に相当する衝撃が加わったと言い換えてもよい。また、イベント検出部9は、車両50が駐車している間は、加速度に基づくイベント検出に加えて、撮影データ取得部が取得する映像データから動体を検出し、動体を検出したことをイベントの発生としてもよい。イベント検出部9は、イベントの発生を検出した場合、イベントが発生したことを示す情報を記録制御部7へ出力する。イベントが発生したことを示す情報には、イベントが発生した時刻が含まれる。さらに、イベントが発生したことを示す情報には、発生したイベントの内容が含まれてもよい。 The event detection unit 9 detects the occurrence of an event using the information output from the sensor 42. For example, when the acceleration detected by the sensor 42 operating as an acceleration sensor exceeds a predetermined value, the event detection unit 9 detects that an event has occurred. When the acceleration exceeds a predetermined value, it may be said that the vehicle 50 is subjected to an impact corresponding to an accident. Further, while the vehicle 50 is parked, the event detection unit 9 detects a moving object from the video data acquired by the shooting data acquisition unit in addition to the event detection based on the acceleration, and detects the moving object. It may occur. When the event detection unit 9 detects the occurrence of an event, the event detection unit 9 outputs information indicating that the event has occurred to the recording control unit 7. The information indicating that an event has occurred includes the time when the event occurred. Further, the information indicating that the event has occurred may include the content of the event that has occurred.

表示制御部10は、再生制御部8やバッファメモリ5等から取得した映像データに基づく映像を、左サイドモニタ43、右サイドモニタ44、インフォティンメントモニタ45等に表示する。 The display control unit 10 displays an image based on the image data acquired from the reproduction control unit 8, the buffer memory 5, and the like on the left side monitor 43, the right side monitor 44, the infotinment monitor 45, and the like.

表示制御部10は、左カメラ33及び右カメラ34が撮影した映像データから、所定の領域を切り出して、左サイドモニタ43および右サイドモニタ44に表示するための映像データを生成する。例えば、左カメラ33及び右カメラ34が撮影する画角が、水平方向150度から180度、垂直方向90度から120度などである場合、表示制御部10は、左カメラ33及び右カメラ34が撮影した映像データから、水平方向60度から90度、垂直方向45度から60度などの範囲を切り出して左サイドモニタ43、及び右サイドモニタ44にそれぞれ表示する。 The display control unit 10 cuts out a predetermined area from the video data captured by the left camera 33 and the right camera 34, and generates video data to be displayed on the left side monitor 43 and the right side monitor 44. For example, when the image angles taken by the left camera 33 and the right camera 34 are 150 degrees to 180 degrees in the horizontal direction, 90 degrees to 120 degrees in the vertical direction, and the like, the display control unit 10 is used by the left camera 33 and the right camera 34. A range of 60 to 90 degrees in the horizontal direction and 45 to 60 degrees in the vertical direction is cut out from the captured video data and displayed on the left side monitor 43 and the right side monitor 44, respectively.

モード変更部11は、支持制御部2が左支持部35及び右支持部36を第1の位置に配置させた場合、表示制御部10に、左カメラ33及び右カメラ34が撮影した映像データを、左サイドモニタ43及び右サイドモニタ44に表示させる。また、モード変更部11は、支持制御部2が左支持部35及び右支持部36を第2の位置に配置させた場合、記録制御部7に、左カメラ33及び右カメラ34が撮影した映像データを、車両50を監視する監視情報として利用させる。言い換えると、モード変更部11は、左支持部35及び右支持部36を第1の位置に配置している場合は、電子ミラーである左サイドモニタ43及び右サイドモニタ44で、車両50の左右側後方を確認するための映像を表示させる。左支持部35及び右支持部36を第2の位置に配置している場合は、ドライブレコーダとして車両50の左右方向の映像を記録させる。つまり、モード変更部11は、電子ミラーモードとドライブレコーダモードとを切り替える。 When the support control unit 2 arranges the left support unit 35 and the right support unit 36 at the first position, the mode change unit 11 outputs the video data captured by the left camera 33 and the right camera 34 to the display control unit 10. , Left side monitor 43 and right side monitor 44. Further, in the mode changing unit 11, when the support control unit 2 arranges the left support unit 35 and the right support unit 36 at the second position, the image captured by the left camera 33 and the right camera 34 is captured by the recording control unit 7. The data is used as monitoring information for monitoring the vehicle 50. In other words, when the left support portion 35 and the right support portion 36 are arranged at the first position, the mode change unit 11 is a left side monitor 43 and a right side monitor 44, which are electronic mirrors, on the left and right sides of the vehicle 50. Display an image to check the rear side. When the left support portion 35 and the right support portion 36 are arranged at the second position, a drive recorder is used to record an image of the vehicle 50 in the left-right direction. That is, the mode changing unit 11 switches between the electronic mirror mode and the drive recorder mode.

図2は、実施の形態1に係る車両用映像システム100が搭載された車両の運転席前方の一構成例を示す模式図である。図2に示される車両50において、センターコンソール54に配置された横長形状のインフォティンメントモニタ45に映像を表示する。また、図2に示される車両内の運転席の前方には、インフォティンメントモニタ45及びセンターコンソール54の他、左サイドモニタ43、右サイドモニタ44、ダッシュボード51、インストルメントパネル52、ステアリングホイール53、ウィンドシールド55、及びリヤビューモニタ56等が配置されている。 FIG. 2 is a schematic diagram showing a configuration example in front of the driver's seat of a vehicle on which the vehicle video system 100 according to the first embodiment is mounted. In the vehicle 50 shown in FIG. 2, an image is displayed on a horizontally long infotinment monitor 45 arranged on the center console 54. Further, in front of the driver's seat in the vehicle shown in FIG. 2, in addition to the infotinment monitor 45 and the center console 54, the left side monitor 43, the right side monitor 44, the dashboard 51, the instrument panel 52, and the steering wheel 53, a windshield 55, a rear view monitor 56, and the like are arranged.

左サイドモニタ43、右サイドモニタ44、及びインフォティンメントモニタ45は、運転者が視認可能な位置に配置されている。図2に示す一例では、左サイドモニタ43は、車両50のダッシュボード51の左右方向における左側に配置されている。右サイドモニタ44は、車両50のダッシュボード51の左右方向における右側に配置されている。インフォティンメントモニタ45は、ダッシュボード51の左右方向における中央近傍に位置するセンターコンソール54に配置されている。 The left side monitor 43, the right side monitor 44, and the infotinment monitor 45 are arranged at positions visible to the driver. In the example shown in FIG. 2, the left side monitor 43 is arranged on the left side of the dashboard 51 of the vehicle 50 in the left-right direction. The right side monitor 44 is arranged on the right side of the dashboard 51 of the vehicle 50 in the left-right direction. The infotinment monitor 45 is arranged on the center console 54 located near the center in the left-right direction of the dashboard 51.

インストルメントパネル52は、ウィンドシールド55の下側のダッシュボード51に配置されており、速度計やエンジン回転計等が表示される。 The instrument panel 52 is arranged on the dashboard 51 below the windshield 55, and displays a speedometer, an engine tachometer, and the like.

ステアリングホイール53は、運転者がステアリング操作を行うものである。ステアリングホイール53によるステアリング操作に応じて、車両のステアリング向きが変更される。 The steering wheel 53 is operated by the driver. The steering direction of the vehicle is changed according to the steering operation by the steering wheel 53.

リヤビューモニタ56は、運転者が車両の後方を確認するためのモニタであり、例えば、電子ルームミラー、又は、液晶ディスプレイや有機ELディスプレイ等を含む表示装置である。リヤビューモニタ56は、表示制御部10からの映像信号に基づいて、車両50の後方を撮像した映像を表示してもよい。リヤビューモニタ56は、運転者が視認可能な位置に配置されている。本実施形態にかかるリヤビューモニタ56は、ウィンドシールド55の左右方向の中央上側に配置されている。
(動作)
図3及び4を参照して、車両用映像システム100の一動作例について説明する。
The rear view monitor 56 is a monitor for the driver to check the rear of the vehicle, and is, for example, an electronic rearview mirror, or a display device including a liquid crystal display, an organic EL display, and the like. The rear view monitor 56 may display an image of the rear of the vehicle 50 based on the image signal from the display control unit 10. The rear view monitor 56 is arranged at a position visible to the driver. The rear view monitor 56 according to the present embodiment is arranged on the upper center side in the left-right direction of the windshield 55.
(motion)
An operation example of the vehicle video system 100 will be described with reference to FIGS. 3 and 4.

モード変更部11は、操作制御部3において左支持部35及び右支持部36を操作する指示が受け付けられたか否かを判定する(支持部操作指示判定ステップST1)。 The mode changing unit 11 determines whether or not the operation control unit 3 has received an instruction to operate the left support unit 35 and the right support unit 36 (support unit operation instruction determination step ST1).

左支持部35及び右支持部36を操作する指示が受け付けられた場合(支持部操作指示判定ステップST1:YES)、受け付けられた指示が、左支持部35及び右支持部36を第1の位置から第2の位置に配置させることを示す指示であるか否かを判定する(第2の位置配置指示判定ステップST2)。 When an instruction to operate the left support portion 35 and the right support portion 36 is received (support portion operation instruction determination step ST1: YES), the received instruction places the left support portion 35 and the right support portion 36 in the first position. It is determined whether or not the instruction indicates that the device is to be placed at the second position (second position placement instruction determination step ST2).

ステップST1で受け付けられた指示が、左支持部35及び右支持部36を第1の位置から第2の位置に配置させることを示す場合(第2の位置配置指示判定ステップST2:YES)、電子ミラーモードからドライブレコーダモードに切り替える(ドライブレコーダモード切替ステップST3)。 When the instruction received in step ST1 indicates that the left support portion 35 and the right support portion 36 are arranged from the first position to the second position (second position arrangement instruction determination step ST2: YES), the electron. Switch from the mirror mode to the drive recorder mode (drive recorder mode switching step ST3).

ドライブレコーダモードに切り替えた場合、支持制御部2が左支持部35及び右支持部36に制御信号を送り、左支持部35及び右支持部36を第1の位置から車両50の車両の左側面50a側に回動させることで、近接するように移動させ、第2の位置に配置する。左支持部35及び右支持部36を第2の位置に配置すると、左カメラ33、右カメラ34、前カメラ31、後カメラ32が撮影している映像は、ドライブレコーダの機能として、記録部41に記録される。記録制御部7は、左カメラ33および右カメラ34が撮影している映像を画角α1の映像データとして記録部41に記録する。画角α1は、左カメラ33および右カメラ34が撮影している映像がドライブレコーダの記録映像として好適な広さであればよく、左カメラ33および右カメラ34の最大画角であってもよい。画角α1は、例えば、水平方向150度から180度であり、垂直方向が90度から120度などである。記録部41に記録された映像は、監視情報として利用することができる。 When the drive recorder mode is switched, the support control unit 2 sends a control signal to the left support unit 35 and the right support unit 36, and the left support unit 35 and the right support unit 36 are moved from the first position to the left side surface of the vehicle of the vehicle 50. By rotating it to the 50a side, it is moved so as to be close to each other and placed in the second position. When the left support portion 35 and the right support portion 36 are arranged at the second position, the images captured by the left camera 33, the right camera 34, the front camera 31, and the rear camera 32 can be recorded by the recording unit 41 as a function of the drive recorder. Recorded in. The recording control unit 7 records the images captured by the left camera 33 and the right camera 34 in the recording unit 41 as image data having an angle of view α1. The angle of view α1 may be the maximum angle of view of the left camera 33 and the right camera 34 as long as the image captured by the left camera 33 and the right camera 34 has a width suitable for the recorded image of the drive recorder. .. The angle of view α1 is, for example, 150 to 180 degrees in the horizontal direction and 90 to 120 degrees in the vertical direction. The video recorded in the recording unit 41 can be used as monitoring information.

一方、受け付けられた指示が、左支持部35及び右支持部36を第1の位置から第2の位置に配置させることを示さない場合、つまり受け付けられた指示が、左支持部35及び右支持部36を第2の位置から第1の位置に配置させることを示す場合(第2の位置配置指示判定ステップST2:NO)、ドライブレコーダモードから電子ミラーモードに切り替える(電子ミラーモード切替ステップST4)。 On the other hand, if the accepted instruction does not indicate that the left support 35 and the right support 36 are to be placed from the first position to the second position, that is, the accepted instruction is the left support 35 and the right support. When indicating that the unit 36 is to be arranged from the second position to the first position (second position arrangement instruction determination step ST2: NO), the drive recorder mode is switched to the electronic mirror mode (electronic mirror mode switching step ST4). ..

電子ミラーモードに切り替えた場合、左支持部35及び右支持部36は第1の位置に配置する。第1の位置において、左カメラ33が撮影している映像は、左サイドモニタ43に表示され、右カメラ34が撮影している映像は、右サイドモニタ44に表示される。 When switching to the electronic mirror mode, the left support portion 35 and the right support portion 36 are arranged at the first position. At the first position, the image captured by the left camera 33 is displayed on the left side monitor 43, and the image captured by the right camera 34 is displayed on the right side monitor 44.

詳細には、左カメラ33および右カメラ34が撮影している映像を、撮影データ取得部1が取得し、表示制御部10が左サイドモニタ43および右サイドモニタ44に表示させる。この場合、表示制御部10は、左カメラ33および右カメラ34が撮影している映像の画角α1の一部を切り取った映像を、左サイドモニタ43および右サイドモニタ44に表示させる。左サイドモニタ43および右サイドモニタ44に表示させた表示映像の画角α2は、例えば水平方向60度以上90度以下である。画角α2は、画角α1よりも狭いとよい。画角α2は、表示映像が電子ミラーに利用されると好適な広さであるとよい。画角α2は、例えば、水平方向60度から90度、垂直方向45度から60度などである。 Specifically, the image captured by the left camera 33 and the right camera 34 is acquired by the photographing data acquisition unit 1, and the display control unit 10 displays the images on the left side monitor 43 and the right side monitor 44. In this case, the display control unit 10 causes the left side monitor 43 and the right side monitor 44 to display an image obtained by cutting out a part of the angle of view α1 of the image captured by the left camera 33 and the right camera 34. The angle of view α2 of the displayed image displayed on the left side monitor 43 and the right side monitor 44 is, for example, 60 degrees or more and 90 degrees or less in the horizontal direction. The angle of view α2 is preferably narrower than the angle of view α1. The angle of view α2 is preferably wide when the displayed image is used for an electronic mirror. The angle of view α2 is, for example, 60 to 90 degrees in the horizontal direction, 45 to 60 degrees in the vertical direction, and the like.

また、左支持部35及び右支持部36が第1の位置に配置しているときは、前カメラ31及び後カメラ32が撮影している映像は、ドライブレコーダの機能として、記録部41に記録される。詳細には、前カメラ31、及び後カメラ32が撮影している映像に基づく撮影データを、バッファメモリ5に一時的に蓄え、撮影データ処理部6に処理し、所定のファイルを生成する。撮影データ処理部6は、取得した撮影データを、例えばH.264やMPEG−4などの任意の方式のコーデックで符号化して処理する。所定のファイルは、例えばMP4形式などの任意のファイル形式であり、所定のファイルが示す撮影映像の時間は、例えば、60秒などの任意の長さである。記録制御部7は、撮影データ処理部6が生成したファイルを、記録部41に上書き可能に記録する。 Further, when the left support portion 35 and the right support portion 36 are arranged at the first positions, the images captured by the front camera 31 and the rear camera 32 are recorded in the recording unit 41 as a function of the drive recorder. Will be done. Specifically, the shooting data based on the images taken by the front camera 31 and the rear camera 32 are temporarily stored in the buffer memory 5 and processed by the shooting data processing unit 6 to generate a predetermined file. The shooting data processing unit 6 uses the acquired shooting data, for example, as H.D. It is encoded and processed by an arbitrary codec such as 264 or MPEG-4. The predetermined file is in an arbitrary file format such as MP4 format, and the time of the captured image indicated by the predetermined file is an arbitrary length such as 60 seconds. The recording control unit 7 records the file generated by the shooting data processing unit 6 in the recording unit 41 so as to be overwhelming.

なお、イベント検出部9が、イベントとして判断できるセンサ42の出力を取得した場合、記録制御部7は、イベント検出の前後所定期間の映像を、上書き禁止のデータとして記録部41に保存する。 When the event detection unit 9 acquires the output of the sensor 42 that can be determined as an event, the recording control unit 7 saves the video for a predetermined period before and after the event detection in the recording unit 41 as overwrite-prohibited data.

つまり、左支持部35及び右支持部36が第1の位置に配置しているときは、左カメラ33及び右カメラ34が撮影している映像は、電子ミラーとして用いられるとともに、前カメラ31及び後カメラ32が撮影している映像は、ドライブレコーダの映像として用いられる。さらに、左支持部35及び右支持部36が第2の位置に配置しているときは、左カメラ33及び右カメラ34が撮影している映像に加えて、前カメラ31及び後カメラ32が撮影している映像も、ドライブレコーダの映像として用いられる。 That is, when the left support portion 35 and the right support portion 36 are arranged at the first position, the images captured by the left camera 33 and the right camera 34 are used as an electronic mirror, and the front camera 31 and the front camera 31 and the image are taken. The image captured by the rear camera 32 is used as the image of the drive recorder. Further, when the left support portion 35 and the right support portion 36 are arranged at the second position, the front camera 31 and the rear camera 32 take pictures in addition to the images taken by the left camera 33 and the right camera 34. The video being used is also used as the video of the drive recorder.

以上より、車両用映像システム100によれば、車両50の使用中、又は走行中に、車両50の前後方向を撮像し、その撮像した映像を記録することができる。一方、駐車中に、前後方向に限らず、車両50の前後方向に加えて左右方向を撮像し、その撮像した映像を記録することができる。記録した映像を監視情報として利用し、駐車中の車両50の左右方向を監視することができる。さらに、車両用映像システム100は、一般的なドライブレコーダに利用される前カメラ31、後カメラ32等と、一般的な電子ミラーに利用される左カメラ33、右カメラ34等とを用いて、上記した効果を発揮することができる。すなわち、車両用映像システム100は、他のハードウェア構成を用いることなく、一般的なドライブレコーダ及び電子ミラーに利用されるハードウェア構成を用いて上記した効果を発揮することができ、コスト増大を抑制することができる。
(実施の形態2)
以下、図5及び図6を参照して実施の形態2について説明する。図5は、実施の形態2に係る車両用映像システムの一構成例を示すブロック図である。図6は、実施の形態2に係る車両用映像システムの一動作例を示す模式図であり、車両50の左側面50aをその上側から視た図である。実施の形態2に係る車両用映像システム200は、左支持部と、右支持部と、左カメラと、右カメラとを除いて、図1に示す車両用映像システム100と同じ構成を備える。
From the above, according to the vehicle image system 100, it is possible to image the front-rear direction of the vehicle 50 and record the captured image while the vehicle 50 is in use or running. On the other hand, while parking, not only the front-rear direction but also the left-right direction can be imaged in addition to the front-rear direction of the vehicle 50, and the captured image can be recorded. The recorded video can be used as monitoring information to monitor the left-right direction of the parked vehicle 50. Further, the vehicle video system 100 uses a front camera 31, a rear camera 32 and the like used for a general drive recorder, and a left camera 33, a right camera 34 and the like used for a general electronic mirror. The above-mentioned effects can be exhibited. That is, the vehicle video system 100 can exert the above-mentioned effect by using the hardware configuration used for a general drive recorder and an electronic mirror without using another hardware configuration, which increases the cost. It can be suppressed.
(Embodiment 2)
Hereinafter, the second embodiment will be described with reference to FIGS. 5 and 6. FIG. 5 is a block diagram showing a configuration example of a vehicle video system according to the second embodiment. FIG. 6 is a schematic view showing an operation example of the vehicle video system according to the second embodiment, and is a view of the left side surface 50a of the vehicle 50 as viewed from above. The vehicle video system 200 according to the second embodiment has the same configuration as the vehicle video system 100 shown in FIG. 1, except for the left support portion, the right support portion, the left camera, and the right camera.

図5に示すように、車両用映像システム200は、左第1のカメラ33aと、左第2のカメラ33bと、右第1のカメラ34aと、右第2のカメラ34bと、左支持部235と、右支持部236とを備える。 As shown in FIG. 5, the vehicle video system 200 includes a left first camera 33a, a left second camera 33b, a right first camera 34a, a right second camera 34b, and a left support portion 235. And a right support portion 236.

左第1のカメラ33aと、左第2のカメラ33bと、右第1のカメラ34aと、右第2のカメラ34bとは、撮像装置であればよい。つまり、左第1のカメラ33aと左第2のカメラ33bとで左撮像装置を構成し、右第1のカメラ34aと右第2のカメラ34bとで右撮像装置を構成する。左第1のカメラ33aと、左第2のカメラ33bと、右第1のカメラ34aと、右第2のカメラ34bとは、一般的な電子ミラーに利用されるカメラであってもよい。 The left first camera 33a, the left second camera 33b, the right first camera 34a, and the right second camera 34b may be an image pickup device. That is, the left first camera 33a and the left second camera 33b form a left image pickup device, and the right first camera 34a and the right second camera 34b form a right image pickup device. The left first camera 33a, the left second camera 33b, the right first camera 34a, and the right second camera 34b may be cameras used for a general electronic mirror.

左支持部235は、アーム35bの動作を除いて、図1及び図3に示す左支持部35と同じ構成を備える。左第1のカメラ33aは、アーム35bの先端部の後側に設けられている。左第2のカメラ33bは、アーム35bの先端部の前側に設けられている。左第1のカメラ33aは、車両50の水平面において、アーム35bの長手方向に対して略直交する方向に向いており、左第2のカメラ33bは、左第1のカメラ33aが向いた方向と逆方向に向いている。 The left support portion 235 has the same configuration as the left support portion 35 shown in FIGS. 1 and 3 except for the operation of the arm 35b. The left first camera 33a is provided on the rear side of the tip end portion of the arm 35b. The left second camera 33b is provided on the front side of the tip end portion of the arm 35b. The left first camera 33a faces in a direction substantially orthogonal to the longitudinal direction of the arm 35b in the horizontal plane of the vehicle 50, and the left second camera 33b faces the direction in which the left first camera 33a faces. It faces in the opposite direction.

図6に示すアーム35bは、軸35c周りに回動することによって、左第1のカメラ33aと、左第2のカメラ33bとは、第1の位置又は第2の位置に配置される。 The arm 35b shown in FIG. 6 is rotated around the axis 35c so that the left first camera 33a and the left second camera 33b are arranged at the first position or the second position.

アーム35bが、アーム35bの長手方向が車両50の左側面50aに対して略直交する場合、左第1のカメラ33aと、左第2のカメラ33bとは、第1の位置に存在する。この場合、左第1のカメラ33aは、車両50の左後方を撮像する。左第1のカメラ33aは、撮影した映像データを撮影データ取得部1へ出力する。 When the longitudinal direction of the arm 35b is substantially orthogonal to the left side surface 50a of the vehicle 50, the left first camera 33a and the left second camera 33b are present at the first positions. In this case, the left first camera 33a images the left rear of the vehicle 50. The left first camera 33a outputs the captured video data to the captured data acquisition unit 1.

アーム35bの先端部の後側と、車両50の左側面50aとが対向する場合、左第1のカメラ33aと、左第2のカメラ33bとは、第2の位置に存在する。この場合、左第2のカメラ33bは、車両50の左側方を撮像する。左第2のカメラ33bは、撮影した映像データを撮影データ取得部1へ出力する。 When the rear side of the tip end portion of the arm 35b and the left side surface 50a of the vehicle 50 face each other, the left first camera 33a and the left second camera 33b are present at the second position. In this case, the second left camera 33b images the left side of the vehicle 50. The second left camera 33b outputs the captured video data to the captured data acquisition unit 1.

左第2のカメラ33bおよび右第2のカメラ34bは、左第1のカメラ33aおよび右第1のカメラ34aと比較して、大きな画角の映像を撮影することができるとよい。左第2のカメラ33bおよび右第2のカメラ34bは、例えば水平方向150度から180度、垂直方向90度から120度などの画角α4を撮影するカメラである。左第1のカメラ33aおよび右第1のカメラ34aは、例えば、水平方向60度から90度、垂直方向45度から60度などの画角α3を撮影するカメラである。画角α3は、画角α4よりも狭いとよい。画角α3は、左第1のカメラ33aおよび右第1のカメラ34aが撮影した映像が電子ミラーに利用されると好適な広さであるとよい。画角α4は、左第2のカメラ33bおよび右第2のカメラ34bの撮影している映像はドライブレコーダが記録する映像として好適な大きさであるとよい。 It is preferable that the left second camera 33b and the right second camera 34b can capture an image having a larger angle of view than the left first camera 33a and the right first camera 34a. The left second camera 33b and the right second camera 34b are cameras that capture an angle of view α4 such as, for example, 150 to 180 degrees in the horizontal direction and 90 to 120 degrees in the vertical direction. The left first camera 33a and the right first camera 34a are cameras that capture an angle of view α3 such as, for example, 60 to 90 degrees in the horizontal direction and 45 to 60 degrees in the vertical direction. The angle of view α3 is preferably narrower than the angle of view α4. The angle of view α3 is preferably such that the images taken by the left first camera 33a and the right first camera 34a are used for the electronic mirror. The angle of view α4 is preferably such that the images captured by the left second camera 33b and the right second camera 34b are suitable for recording by the drive recorder.

図5に示す右支持部236は、左支持部235と同じ構成であり、車両50の前後方向に延びる中心線に対して左右対称となるように設けられている。同様に、右第1のカメラ34aは、左第1のカメラ33aと同じ構成であり、車両50の前後方向に延びる中心線に対して左右対称となるように設けられている。同様に、右第2のカメラ34bは、左第2のカメラ33bと同じ構成であり、車両50の前後方向に延びる中心線に対して左右対称となるように設けられている。
(動作)
図4及び図6を参照して、車両用映像システム200の動作の一動作例について説明する。車両用映像システム200の動作の一動作例は、ドライブレコーダモード切替ステップST3と電子ミラーモード切替ステップST4とを除いて、上記した車両用映像システム100の動作の一動作例と同じ構成を備える。
The right support portion 236 shown in FIG. 5 has the same configuration as the left support portion 235, and is provided so as to be symmetrical with respect to the center line extending in the front-rear direction of the vehicle 50. Similarly, the right first camera 34a has the same configuration as the left first camera 33a, and is provided so as to be symmetrical with respect to the center line extending in the front-rear direction of the vehicle 50. Similarly, the right second camera 34b has the same configuration as the left second camera 33b, and is provided so as to be symmetrical with respect to the center line extending in the front-rear direction of the vehicle 50.
(motion)
An operation example of the operation of the vehicle video system 200 will be described with reference to FIGS. 4 and 6. An operation example of the operation of the vehicle video system 200 has the same configuration as the operation example of the vehicle video system 100 described above, except for the drive recorder mode switching step ST3 and the electronic mirror mode switching step ST4.

図4に示す支持部操作指示判定ステップST1と、第2の位置配置指示判定ステップST2とを実施し、ドライブレコーダモード切替ステップST3、又は電子ミラーモード切替ステップST4に進む。 The support unit operation instruction determination step ST1 and the second position arrangement instruction determination step ST2 shown in FIG. 4 are performed, and the process proceeds to the drive recorder mode switching step ST3 or the electronic mirror mode switching step ST4.

ドライブレコーダモード切替ステップST3に進み、ドライブレコーダモードに切り替えた場合、支持制御部2が左支持部235及び右支持部236に制御信号を送り、左第1のカメラ33a、左第2のカメラ33b、右第1のカメラ34a、及び右第2のカメラ34bを第2の位置に配置する。 When the drive recorder mode switching step ST3 is performed and the drive recorder mode is switched, the support control unit 2 sends a control signal to the left support unit 235 and the right support unit 236, and the left first camera 33a and the left second camera 33b. , The right first camera 34a and the right second camera 34b are arranged at the second position.

左第2のカメラ33b、右第2のカメラ34b、前カメラ31、及び後カメラ32が撮影している映像は、ドライブレコーダの機能として記録部41に記録される。表示制御部10は、左第2のカメラ33b及び右第2のカメラ34bが撮影している映像を、記録部41に記録する。 The images captured by the left second camera 33b, the right second camera 34b, the front camera 31, and the rear camera 32 are recorded in the recording unit 41 as a function of the drive recorder. The display control unit 10 records the images captured by the left second camera 33b and the right second camera 34b in the recording unit 41.

一方、電子ミラーモード切替ステップST4に進み、電子ミラーモードに切り替えた場合、支持制御部2が左支持部235及び右支持部236に制御信号を送る。左支持部235及び右支持部236は、左第1のカメラ33a、左第2のカメラ33b、右第1のカメラ34a、及び右第2のカメラ34bを第1の位置に配置する。 On the other hand, when the process proceeds to the electronic mirror mode switching step ST4 and the electronic mirror mode is switched, the support control unit 2 sends a control signal to the left support unit 235 and the right support unit 236. The left support portion 235 and the right support portion 236 arrange the left first camera 33a, the left second camera 33b, the right first camera 34a, and the right second camera 34b at the first position.

左第1のカメラ33a、左第2のカメラ33b、右第1のカメラ34a、及び右第2のカメラ34bが第1の位置に配置された場合、左第1のカメラ33aが撮影している映像は、左サイドモニタ43に表示される。また、このような場合、右第1のカメラ34aが撮影している映像も、右サイドモニタ44に表示される。左第1のカメラ33a及び右第1のカメラ34aが撮影している映像は、画角α3であり、電子ミラーとして利用されるものとして好適である。よって、車両用映像システム200の表示制御部10は、左第1のカメラ33a及び右第1のカメラ34aが撮影している映像から、所定の範囲を切り出して表示映像データを生成する必要が無い。車両用映像システム200の表示制御部10は、図1に示す車両用映像システム200と異なり、簡易な構成であってもよい。 When the left first camera 33a, the left second camera 33b, the right first camera 34a, and the right second camera 34b are arranged in the first position, the left first camera 33a is shooting. The image is displayed on the left side monitor 43. Further, in such a case, the image captured by the first right camera 34a is also displayed on the right side monitor 44. The images captured by the left first camera 33a and the right first camera 34a have an angle of view α3 and are suitable for use as an electronic mirror. Therefore, the display control unit 10 of the vehicle video system 200 does not need to cut out a predetermined range from the video captured by the left first camera 33a and the right first camera 34a to generate display video data. .. Unlike the vehicle video system 200 shown in FIG. 1, the display control unit 10 of the vehicle video system 200 may have a simple configuration.

電子ミラーモードで動作しているときは、左第2のカメラ33b及び右第2のカメラ34bは、撮影していなくてもよい。また、電子ミラーモードで動作しているときは左第2のカメラ33b及び右第2のカメラ34bを動作させ、この映像に対して人物や他車両を認識する処理を行ってもよい。車両用映像システム200は、この処理によって得られた情報に基づいて、車両50の前方障害物等を監視し、適宜、運転者に左サイドモニタ43、右サイドモニタ44、又はインフォティンメントモニタ45を用いて通知してもよい。左第2のカメラ33b及び右第2のカメラ34bが撮影した映像は、適宜、記録部41に記録してもよい。前カメラ31、左第2のカメラ33b及び右第2のカメラ34bが撮影した映像は、前カメラ31のみが撮影した映像と比較して、画角が広い。よって、前カメラ31、左第2のカメラ33b及び右第2のカメラ34bが撮影した映像を用いて、車両50の前方における大きい領域を監視することができる。 When operating in the electronic mirror mode, the left second camera 33b and the right second camera 34b do not have to take a picture. Further, when operating in the electronic mirror mode, the left second camera 33b and the right second camera 34b may be operated to perform a process of recognizing a person or another vehicle for this image. The vehicle video system 200 monitors obstacles in front of the vehicle 50 based on the information obtained by this processing, and gives the driver the left side monitor 43, the right side monitor 44, or the infotinment monitor 45 as appropriate. May be notified using. The images taken by the left second camera 33b and the right second camera 34b may be appropriately recorded in the recording unit 41. The images taken by the front camera 31, the left second camera 33b, and the right second camera 34b have a wider angle of view than the images taken only by the front camera 31. Therefore, it is possible to monitor a large area in front of the vehicle 50 by using the images taken by the front camera 31, the left second camera 33b, and the right second camera 34b.

以上より、車両用映像システム200によれば、車両用映像システム100と同様に、車両50の使用中、又は走行中に、車両50の前後方向を撮像し、その撮像した映像を記録することができる。一方、駐車中に、前後方向に限らず、車両50の前後方向に加えて左右方向を撮像し、その撮像した映像を記録することができる。記録した映像を監視情報として利用し、駐車中の車両50の左右方向を監視することができる。さらに、車両用映像システム200は、一般的なドライブレコーダに利用される前カメラ31、後カメラ32等と、一般的な電子ミラーに利用される左第1のカメラ33a、左第2のカメラ33b、右第1のカメラ34a、及び右第2のカメラ34b等とを用いて、上記した効果を発揮することができる。すなわち、車両用映像システム200は、他のハードウェア構成を用いることなく、一般的なドライブレコーダ及び電子ミラーに利用されるハードウェア構成を用いて上記した効果を発揮することができ、コスト増大を抑制することができる。
(変形例1)
次に、図7を参照して、車両用映像システム200の一変形例である車両用映像システム201について説明する。図7は、実施の形態2に係る車両用映像システムの要部の一変形例の一動作例を示す模式図であり、車両50の左側面50aをその上側から視た図である。車両用映像システム201は、左カメラ33c、図示しない右カメラを除いて、図5に示す車両用映像システム200と同じ構成を備える。
From the above, according to the vehicle video system 200, similarly to the vehicle video system 100, it is possible to capture the front-rear direction of the vehicle 50 and record the captured video while the vehicle 50 is in use or running. can. On the other hand, while parking, not only the front-rear direction but also the left-right direction can be imaged in addition to the front-rear direction of the vehicle 50, and the captured image can be recorded. The recorded video can be used as monitoring information to monitor the left-right direction of the parked vehicle 50. Further, the vehicle video system 200 includes a front camera 31, a rear camera 32 and the like used for a general drive recorder, a left first camera 33a and a left second camera 33b used for a general electronic mirror. , The right first camera 34a, the right second camera 34b, and the like can be used to exert the above-mentioned effects. That is, the vehicle video system 200 can exert the above-mentioned effect by using the hardware configuration used for a general drive recorder and an electronic mirror without using another hardware configuration, which increases the cost. It can be suppressed.
(Modification 1)
Next, the vehicle video system 201, which is a modification of the vehicle video system 200, will be described with reference to FIG. 7. FIG. 7 is a schematic view showing an operation example of a modification of a main part of the vehicle image system according to the second embodiment, and is a view of the left side surface 50a of the vehicle 50 as viewed from above. The vehicle video system 201 has the same configuration as the vehicle video system 200 shown in FIG. 5, except for the left camera 33c and the right camera (not shown).

図7に示すように、左カメラ33cは、撮像装置であればよい。左カメラ33cは、一般的な電子ミラー又はドライブレコーダに利用されるカメラであってもよい。 As shown in FIG. 7, the left camera 33c may be an image pickup device. The left camera 33c may be a camera used for a general electronic mirror or a drive recorder.

左カメラ33cは、軸33d周りに回動可能にアーム35bの先端部に設けられている。軸33dは、鉛直方向に延びる。左カメラ33cは、例えば、モータ等の動力源を備えてもよく、この動力源によって、軸33d周りに所定の向きを向くよう回動する。 The left camera 33c is provided at the tip of the arm 35b so as to be rotatable around the shaft 33d. The shaft 33d extends in the vertical direction. The left camera 33c may be provided with a power source such as a motor, and the power source rotates the left camera 33c around the shaft 33d so as to face a predetermined direction.

図7に示すアーム35bは、軸35c周りに回動することによって、左カメラ33cは、第1の位置又は第2の位置に配置される。アーム35bは、軸35c周りに回動すると、左カメラ33cは、軸35c周りに回動して、アーム35bに対して別の方向を向く。 The arm 35b shown in FIG. 7 rotates around the axis 35c, so that the left camera 33c is arranged at the first position or the second position. When the arm 35b rotates around the shaft 35c, the left camera 33c rotates around the shaft 35c and points in a different direction with respect to the arm 35b.

アーム35bが、アーム35bの長手方向が車両50の左側面50aに対して略直交する場合、左カメラ33cは、第1の位置に存在する。この場合、左カメラ33cは、車両50の左後方を撮像する。左カメラ33cは、撮影した映像データを撮影データ取得部1へ出力する。 When the arm 35b is substantially orthogonal to the left side surface 50a of the vehicle 50 in the longitudinal direction of the arm 35b, the left camera 33c is in the first position. In this case, the left camera 33c images the left rear of the vehicle 50. The left camera 33c outputs the captured video data to the capture data acquisition unit 1.

アーム35bの先端部の後側と、車両50の左側面50aとが対向する場合、左カメラ33cは、第2の位置に存在する。この場合、左カメラ33cは、車両50の左側方を撮像する。左カメラ33は、撮影した映像データを撮影データ取得部1へ出力する。 When the rear side of the tip end portion of the arm 35b and the left side surface 50a of the vehicle 50 face each other, the left camera 33c is in the second position. In this case, the left camera 33c images the left side of the vehicle 50. The left camera 33 outputs the captured video data to the capture data acquisition unit 1.

図示しない右カメラは、左カメラ33cと同じ構成であり、車両50の前後方向に延びる中心線に対して左右対称となるように設けられている。
(動作)
次に、車両用映像システム201の動作の一動作例について説明する。車両用映像システム201の動作の一動作例は、ドライブレコーダモード切替ステップST3と電子ミラーモード切替ステップST4とを除いて、上記した車両用映像システム200の動作の一動作例と同じ構成を備える。
The right camera (not shown) has the same configuration as the left camera 33c, and is provided so as to be symmetrical with respect to the center line extending in the front-rear direction of the vehicle 50.
(motion)
Next, an operation example of the operation of the vehicle video system 201 will be described. An operation example of the operation of the vehicle video system 201 has the same configuration as the operation example of the vehicle video system 200 described above, except for the drive recorder mode switching step ST3 and the electronic mirror mode switching step ST4.

図4に示す支持部操作指示判定ステップST1と、第2の位置配置指示判定ステップST2とを実施し、ドライブレコーダモード切替ステップST3、又は電子ミラーモード切替ステップST4に進む。 The support unit operation instruction determination step ST1 and the second position arrangement instruction determination step ST2 shown in FIG. 4 are performed, and the process proceeds to the drive recorder mode switching step ST3 or the electronic mirror mode switching step ST4.

ドライブレコーダモード切替ステップST3に進み、ドライブレコーダモードに切り替えた場合、支持制御部2が左支持部235及び右支持部236に制御信号を送り、左カメラ33c、及び図示しない右カメラを第2の位置に配置する。また、適宜、左カメラ33cは軸33d周りに回動し、アーム35bの先端部の後側を向く。図示しない右カメラも左カメラ33cと同様に回動し、向きを変更する。 When the drive recorder mode switching step ST3 is performed and the drive recorder mode is switched, the support control unit 2 sends a control signal to the left support unit 235 and the right support unit 236, and the left camera 33c and the right camera (not shown) are second. Place in position. Further, the left camera 33c rotates around the shaft 33d and faces the rear side of the tip end portion of the arm 35b as appropriate. The right camera (not shown) also rotates in the same manner as the left camera 33c to change its orientation.

左カメラ33c、図示しない右カメラ、前カメラ31、及び後カメラ32が撮影している映像は、ドライブレコーダの機能として記録部41に記録される。表示制御部10は、左カメラ33c、及び、図示しない右カメラが撮影している映像を、記録部41に記録する。左カメラ33c、及び、図示しない右カメラが撮影している映像は、画角α1を有する。画角α1は、左カメラ33c、及び、図示しない右カメラの撮影している映像がドライブレコーダの記録する映像として好適な広さを有するとよい。 The images captured by the left camera 33c, the right camera (not shown), the front camera 31, and the rear camera 32 are recorded in the recording unit 41 as a function of the drive recorder. The display control unit 10 records the video captured by the left camera 33c and the right camera (not shown) in the recording unit 41. The images taken by the left camera 33c and the right camera (not shown) have an angle of view α1. The angle of view α1 is preferably wide enough for the images captured by the left camera 33c and the right camera (not shown) to be recorded by the drive recorder.

一方、電子ミラーモード切替ステップST4に進み、電子ミラーモードに切り替えた場合、支持制御部2が左支持部235及び右支持部236に制御信号を送る。左支持部235及び右支持部236は、左カメラ33c、及び、図示しない右カメラを第1の位置に配置する。また、適宜、左カメラ33cは軸33d周りに回動し、アーム35bの先端部の前側を向く。図示しない右カメラも左カメラ33cと同様に回動し、向きを変更する。 On the other hand, when the process proceeds to the electronic mirror mode switching step ST4 and the electronic mirror mode is switched, the support control unit 2 sends a control signal to the left support unit 235 and the right support unit 236. The left support portion 235 and the right support portion 236 arrange the left camera 33c and the right camera (not shown) at the first position. Further, the left camera 33c rotates around the shaft 33d and faces the front side of the tip end portion of the arm 35b as appropriate. The right camera (not shown) also rotates in the same manner as the left camera 33c to change its orientation.

左カメラ33c、及び、図示しない右カメラが第1の位置に配置された場合、左カメラ33cが撮影している映像は、左サイドモニタ43に表示される。また、このような場合、図示しない右カメラが撮影している映像も、右サイドモニタ44に表示される。この場合、表示制御部10は、左カメラ33cおよび図示しない右カメラが撮影している映像の画角α1から所定の範囲を切り出した映像を、左サイドモニタ43および右サイドモニタ44に表示させる。左サイドモニタ43および右サイドモニタ44に表示させた表示映像の画角α2は、例えば水平方向60度以上90度以下である。画角α2は、画角α1よりも狭いとよい。画角α2は、表示映像が電子ミラーに利用されると好適な広さであるとよい。 When the left camera 33c and the right camera (not shown) are arranged at the first position, the image captured by the left camera 33c is displayed on the left side monitor 43. Further, in such a case, an image taken by a right camera (not shown) is also displayed on the right side monitor 44. In this case, the display control unit 10 causes the left side monitor 43 and the right side monitor 44 to display an image obtained by cutting out a predetermined range from the angle of view α1 of the image captured by the left camera 33c and the right camera (not shown). The angle of view α2 of the displayed image displayed on the left side monitor 43 and the right side monitor 44 is, for example, 60 degrees or more and 90 degrees or less in the horizontal direction. The angle of view α2 is preferably narrower than the angle of view α1. The angle of view α2 is preferably wide when the displayed image is used for an electronic mirror.

以上より、車両用映像システム201によれば、車両用映像システム200と同様に、車両50の使用中、又は走行中に、車両50の前後方向を撮像し、その撮像した映像を記録することができる。一方、駐車中に、前後方向に限らず、車両50の前後方向に加えて左右方向を撮像し、その撮像した映像を記録することができる。記録した映像を監視情報として利用し、駐車中の車両50の左右方向を監視することができる。さらに、車両用映像システム201は、一般的なドライブレコーダに利用される前カメラ31、後カメラ32等と、一般的な電子ミラー又はドライブレコーダに利用されるカメラ等とを用いて、上記した効果を発揮することができる。すなわち、車両用映像システム201は、他のハードウェア構成を用いることなく、一般的なドライブレコーダ及び電子ミラーに利用されるハードウェア構成を用いて上記した効果を発揮することができ、コスト増大を抑制することができる。 From the above, according to the vehicle video system 201, similarly to the vehicle video system 200, it is possible to capture the front-rear direction of the vehicle 50 and record the captured video while the vehicle 50 is in use or running. can. On the other hand, while parking, not only the front-rear direction but also the left-right direction can be imaged in addition to the front-rear direction of the vehicle 50, and the captured image can be recorded. The recorded video can be used as monitoring information to monitor the left-right direction of the parked vehicle 50. Further, the vehicle video system 201 uses the front camera 31, rear camera 32 and the like used for a general drive recorder, and the camera and the like used for a general electronic mirror or drive recorder to achieve the above-mentioned effects. Can be demonstrated. That is, the vehicle video system 201 can exert the above-mentioned effect by using the hardware configuration used for a general drive recorder and an electronic mirror without using another hardware configuration, which increases the cost. It can be suppressed.

車両用映像システム201によれば、車両用映像システム200と比較して、左カメラと、右カメラとが少ない。車両用映像システム201は、車両用映像システム200と比較して、左カメラと、右カメラとの構成が簡易である。
(他の実施の形態等)
上記実施の形態では、図1〜7に示す車両用映像システム100、200、201の各部位の機能について説明したが、車両用映像システム100、200、201としてこれらの機能が実現できればよい。
According to the vehicle video system 201, the number of left cameras and right cameras is smaller than that of the vehicle video system 200. The vehicle video system 201 has a simpler configuration of the left camera and the right camera than the vehicle video system 200.
(Other embodiments, etc.)
In the above embodiment, the functions of the respective parts of the vehicle video systems 100, 200, and 201 shown in FIGS. 1 to 7 have been described, but it is sufficient that these functions can be realized as the vehicle video systems 100, 200, and 201.

また、上記実施の形態に係る車両用映像システム100、200、201は、次のようなハードウェア構成を備えることができる。図8は、車両用映像システム100、200、201に含まれるハードウェア構成の一例を示す図である。 Further, the vehicle video systems 100, 200, and 201 according to the above embodiment can be provided with the following hardware configurations. FIG. 8 is a diagram showing an example of a hardware configuration included in the vehicle video systems 100, 200, and 201.

図8に示す車両用映像システム110は、操作部37用のインタフェース等のインタフェース103とともに、プロセッサ101及びメモリ102を備える。上述した実施の形態で説明した車両用映像制御装置20は、プロセッサ101がメモリ102に記憶された制御プログラムを読み込んで実行することにより実現される。つまり、この制御プログラムは、プロセッサ101を図1の車両用映像制御装置20又はその一部として機能させるためのプログラムである。この制御プログラムは、図1の車両用映像システム100に、車両用映像制御装置20又はその一部における処理を実行させるためのプログラムであると言える。 The vehicle video system 110 shown in FIG. 8 includes a processor 101 and a memory 102 together with an interface 103 such as an interface for the operation unit 37. The vehicle video control device 20 described in the above-described embodiment is realized by the processor 101 reading and executing the control program stored in the memory 102. That is, this control program is a program for making the processor 101 function as the vehicle video control device 20 of FIG. 1 or a part thereof. It can be said that this control program is a program for causing the vehicle video system 100 of FIG. 1 to execute processing in the vehicle video control device 20 or a part thereof.

上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータ(情報通知装置を含むコンピュータ)に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)を含む。さらに、この例は、CD−ROM(Read Only Memory)、CD−R、CD−R/Wを含む。さらに、この例は、半導体メモリ(例えば、マスクROM、PROM、EPROM、フラッシュROM、RAM)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 The programs described above are stored using various types of non-transitory computer readable medium and can be supplied to a computer (a computer including an information notification device). Non-temporary computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks). Further, this example includes a CD-ROM (Read Only Memory), a CD-R, and a CD-R / W. Further, this example includes semiconductor memories (eg, mask ROM, PROM, EPROM, flash ROM, RAM). The program may also be supplied to the computer by various types of transient computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

さらに、上述した様々な実施の形態において、車両用映像システム100、200、201における処理の手順を説明したように、本発明は映像制御方法としての形態も採り得る。この映像制御方法は、次の第1、及び第2のステップを含む。 Further, as described in the processing procedure in the vehicle video systems 100, 200, 201 in the various embodiments described above, the present invention may also take a form as a video control method. This video control method includes the following first and second steps.

第1のステップは、車両の左側に備えられ前記車両の左側を撮影する左撮像装置を支持する左支持部および前記車両の右側に備えられ前記車両の右側を撮影する右撮像装置を支持する右支持部を、前記左撮像装置が前記車両の左側後方を向き、前記右撮像装置が前記車両の右側後方を向く第1の位置と、前記左撮像装置が前記車両の左方向を向き、前記右撮像装置が前記車両の右方向を向く第2の位置に配置可能に制御する支持制御ステップである。 The first step is a left support portion provided on the left side of the vehicle to support a left image pickup device for photographing the left side of the vehicle and a right support for a right image pickup device provided on the right side of the vehicle for photographing the right side of the vehicle. The support portion has a first position in which the left image pickup device faces the left rear side of the vehicle and the right image pickup device faces the right rear side of the vehicle, and the left image pickup device faces the left direction of the vehicle and the right side. This is a support control step for controlling the image pickup device so that it can be arranged at a second position facing the right side of the vehicle.

第2のステップは、前記支持制御ステップによって前記左支持部および前記右支持部が前記第1の位置に配置された場合、前記左撮像装置および前記右撮像装置が撮影した映像を、前記車両の運転者が視認可能なモニタに表示させ、前記左支持部および前記右支持部が前記第2の位置に配置された場合、前記左撮像装置および前記右撮像装置が撮影した映像を、前記車両を監視する監視情報として利用させるモード変更ステップである。 In the second step, when the left support portion and the right support portion are arranged at the first position by the support control step, the images taken by the left image pickup device and the right image pickup device are captured by the vehicle. When the left support portion and the right support portion are arranged at the second position by displaying them on a monitor that can be visually recognized by the driver, the images taken by the left image pickup device and the right image pickup device are displayed on the vehicle. This is a mode change step to be used as monitoring information to be monitored.

なお、その他の例については、上述した様々な実施の形態で説明した通りである。また、上述の制御プログラムは、車両用映像システムにこのような映像制御方法を実行させるための映像制御プログラムであると言える。 Other examples are as described in the various embodiments described above. Further, it can be said that the above-mentioned control program is a video control program for causing the vehicle video system to execute such a video control method.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本発明は、実施の形態やその一例を適宜組み合わせて実施してもよい。 The present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit. Further, the present invention may be carried out by appropriately combining embodiments and examples thereof.

100、110、200、201 車両用映像システム
1 撮影データ取得部 2 支持制御部
3 操作制御部 4 位置情報取得部
5 バッファメモリ 6 撮影データ処理部
7 記録制御部 8 再生制御部
9 イベント検出部 10 表示制御部
11 モード変更部
21 撮影データ取得部
31 前カメラ 32 後カメラ
33、33c 左カメラ
33a 左第1のカメラ 33b 左第2のカメラ
33d 軸
34 右カメラ
34a 右第1のカメラ 34b 右第2のカメラ
35、235 左支持部
35a ベース 35b アーム
35c 軸
36、236 右支持部 37 操作部
38 GPS受信部
41 記録部 42 センサ
43 左サイドモニタ 44 右サイドモニタ
45 インフォティンメントモニタ
50 車両 50a 左側面
51 ダッシュボード 52 インストルメントパネル
53 ステアリングホイール 54 センターコンソール
55 ウィンドシールド 56 リヤビューモニタ
101 プロセッサ 102 メモリ
103 インタフェース
ST1 支持部操作指示判定ステップ ST2 位置配置指示判定ステップ
ST3 ドライブレコーダモード切替ステップ ST4 電子ミラーモード切替ステップ
α1、α2、α3、α4 画角
100, 110, 200, 201 Vehicle video system 1 Camera data acquisition unit 2 Support control unit 3 Operation control unit 4 Position information acquisition unit 5 Buffer memory 6 Camera data processing unit 7 Recording control unit 8 Playback control unit 9 Event detection unit 10 Display control unit 11 Mode change unit 21 Shooting data acquisition unit 31 Front camera 32 Rear camera 33, 33c Left camera 33a Left first camera 33b Left second camera 33d Axis 34 Right camera 34a Right first camera 34b Right second Camera 35, 235 Left support 35a Base 35b Arm 35c Axis 36, 236 Right support 37 Operation unit 38 GPS receiver 41 Recording unit 42 Sensor 43 Left side monitor 44 Right side monitor 45 Infotinment monitor 50 Vehicle 50a Left side 51 Dashboard 52 Instrument panel 53 Steering wheel 54 Center console 55 Windshield 56 Rear view monitor 101 Processor 102 Memory 103 Interface ST1 Support part operation instruction judgment step ST2 Position placement instruction judgment step ST3 Drive recorder mode switching step ST4 Electronic mirror mode switching step α1, α2, α3, α4 angle of view

Claims (4)

車両の左側に備えられ前記車両の左側および左後方を撮影可能な左撮像装置と、
前記車両の右側に備えられ前記車両の右側および右後方を撮影可能な右撮像装置と、
前記左撮像装置および前記右撮像装置が撮影した映像を、前記車両の運転者が視認可能なモニタに表示させる表示制御部と、
前記左撮像装置および前記右撮像装置が撮影した映像を、前記車両を監視する監視情報として利用する記録制御部と、
前記左撮像装置が撮影した映像および前記右撮像装置が撮影した映像を、電子ミラーモードとして用いる場合、前記表示制御部に、前記左撮像装置が撮影した前記車両の左後方の映像および前記右撮像装置が撮影した前記車両の右後方の映像を、前記車両の運転者が視認可能なモニタに表示させ、前記左撮像装置が撮影した映像および前記右撮像装置が撮影した映像を、ドライブレコーダモードとして用いる場合、前記記録制御部に、前記左撮像装置が撮影した前記車両の左側の映像および前記右撮像装置が撮影した前記車両の右側の映像を、前記車両を監視する監視情報として利用させるモード変更部と、
を備える、車両用映像制御装置。
A left image pickup device installed on the left side of the vehicle and capable of photographing the left side and the left rear of the vehicle,
A right image pickup device provided on the right side of the vehicle and capable of photographing the right side and the rear right of the vehicle,
A display control unit that displays images taken by the left image pickup device and the right image pickup device on a monitor that can be visually recognized by the driver of the vehicle.
A recording control unit that uses the images taken by the left image pickup device and the right image pickup device as monitoring information for monitoring the vehicle.
When the image taken by the left image pickup device and the image taken by the right image pickup device are used as the electronic mirror mode, the left rear image of the vehicle and the right image pickup taken by the left image pickup device are sent to the display control unit. The image of the rear right of the vehicle taken by the device is displayed on a monitor visible to the driver of the vehicle, and the image taken by the left image pickup device and the image taken by the right image pickup device are set as the drive recorder mode. When used, the mode is changed so that the recording control unit uses the image on the left side of the vehicle taken by the left image pickup device and the image on the right side of the vehicle taken by the right image pickup device as monitoring information for monitoring the vehicle. Department and
A video control device for vehicles.
前記モード変更部は、前記車両の動力がオン状態のときは、前記左撮像装置が撮影した映像および前記右撮像装置が撮影した映像を、前記電子ミラーモードとして用い、前記車両の動力がオフ状態のときは、前記左撮像装置が撮影した映像および前記右撮像装置が撮影した映像を、前記ドライブレコーダモードとして用いる、
請求項1に記載の車両用映像制御装置。
When the power of the vehicle is on, the mode changing unit uses the image taken by the left image pickup device and the image taken by the right image pickup device as the electronic mirror mode, and the power of the vehicle is off. In this case, the image taken by the left image pickup device and the image taken by the right image pickup device are used as the drive recorder mode.
The vehicle image control device according to claim 1.
前記車両の前方を撮影する前方撮像装置および前記車両の後方を撮影する後方撮影装置をさらに備え、
前記モード変更部は、前記ドライブレコーダモードのときは、前記記録制御部に前記左撮像装置および前記右撮像装置が撮影した映像に加えて、前記前方撮像装置が撮影した映像および前記後方撮影装置が撮影した映像を、前記車両を監視する監視情報として利用させる、
請求項1または2に記載の車両用映像制御装置。
Further provided with a front imaging device for photographing the front of the vehicle and a rear photographing device for photographing the rear of the vehicle.
In the drive recorder mode, the mode changing unit includes, in addition to the images captured by the left image pickup device and the right image pickup device, the images captured by the front image pickup device and the rear image pickup device in the recording control unit. The captured image is used as monitoring information for monitoring the vehicle.
The vehicle image control device according to claim 1 or 2.
車両の左側に備えられ前記車両の左側および左後方を撮影可能な左撮像装置および前記車両の右側に備えられ前記車両の右側および右後方を撮影可能な右撮像装置が撮影した映像を電子ミラーモードとして用いる場合、前記左撮像装置が撮影した前記車両の左後方の映像および前記右撮像装置が撮影した前記車両の右後方の映像を、前記車両の運転者が視認可能なモニタに表示させるステップと、
前記左撮像装置が撮影した映像および前記右撮像装置が撮影した映像を、ドライブレコーダモードとして用いる場合、前記左撮像装置が撮影した前記車両の左側の映像および前記右撮像装置が撮影した前記車両の右側の映像を、前記車両を監視する監視情報として利用させるステップと、
を、車両用映像制御装置が実行する映像制御方法。
The electronic mirror mode captures images taken by the left image pickup device provided on the left side of the vehicle and capable of photographing the left side and the left rear of the vehicle and the right image pickup device provided on the right side of the vehicle and capable of photographing the right side and the right rear of the vehicle. When used as a step of displaying the image of the left rear of the vehicle taken by the left image pickup device and the image of the right rear of the vehicle taken by the right image pickup device on a monitor visible to the driver of the vehicle. ,
When the image taken by the left image pickup device and the image taken by the right image pickup device are used as the drive recorder mode, the image on the left side of the vehicle taken by the left image pickup device and the image of the vehicle taken by the right image pickup device The step of using the image on the right side as monitoring information for monitoring the vehicle,
The video control method executed by the vehicle video control device.
JP2020156240A 2019-02-13 2020-09-17 Video control device for vehicles and video control method Active JP6973590B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020156240A JP6973590B2 (en) 2019-02-13 2020-09-17 Video control device for vehicles and video control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019023319A JP6769500B2 (en) 2019-02-13 2019-02-13 Vehicle video control device, vehicle video system, video control method, and program
JP2020156240A JP6973590B2 (en) 2019-02-13 2020-09-17 Video control device for vehicles and video control method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019023319A Division JP6769500B2 (en) 2019-02-13 2019-02-13 Vehicle video control device, vehicle video system, video control method, and program

Publications (2)

Publication Number Publication Date
JP2021007227A JP2021007227A (en) 2021-01-21
JP6973590B2 true JP6973590B2 (en) 2021-12-01

Family

ID=74165471

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020156240A Active JP6973590B2 (en) 2019-02-13 2020-09-17 Video control device for vehicles and video control method

Country Status (1)

Country Link
JP (1) JP6973590B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3133352A1 (en) * 2022-03-09 2023-09-15 Psa Automobiles Sa Method and device for controlling the field of vision of at least one camera of a digital rearview system of a parked vehicle
WO2024024148A1 (en) * 2022-07-26 2024-02-01 ソニーセミコンダクタソリューションズ株式会社 On-vehicle monitoring device, information processing device, and on-vehicle monitoring system
JP2024091160A (en) * 2022-12-23 2024-07-04 株式会社東海理化電機製作所 Video Processing System
JP2024091161A (en) * 2022-12-23 2024-07-04 株式会社東海理化電機製作所 Video Display System

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09193711A (en) * 1996-01-19 1997-07-29 Sharp Corp Vehicle anti-theft device
JP2009280109A (en) * 2008-05-22 2009-12-03 Toyota Industries Corp Vehicle vicinity monitoring system
JP5370334B2 (en) * 2010-10-25 2013-12-18 株式会社デンソー In-vehicle camera system
JP6131431B2 (en) * 2013-02-28 2017-05-24 市光工業株式会社 Video display system for vehicles
JP6020507B2 (en) * 2014-04-14 2016-11-02 トヨタ自動車株式会社 Vehicle image display device and vehicle image display method
JP2018039471A (en) * 2016-09-09 2018-03-15 株式会社オートネットワーク技術研究所 Door mirror control device

Also Published As

Publication number Publication date
JP2021007227A (en) 2021-01-21

Similar Documents

Publication Publication Date Title
JP6769500B2 (en) Vehicle video control device, vehicle video system, video control method, and program
JP6973590B2 (en) Video control device for vehicles and video control method
JP4631026B2 (en) In-vehicle image recording system
JP5249259B2 (en) On-vehicle shooting and recording device
US11917326B2 (en) Recording reproduction apparatus, recording reproduction method, and non-transitory computer readable medium
EP3806045B1 (en) Record/play device, record/play method, and program
JP7736156B2 (en) Vehicle recording device and recording control method
CN112639893A (en) Vehicle recording control device, vehicle imaging device, vehicle recording control method, and program
JP2021034975A (en) Recording control device, recording control method, and program
JP7736127B2 (en) Vehicle recording control device and vehicle recording control method
JP7626281B2 (en) Vehicle recording device and recording control method
KR101880659B1 (en) vehicle viewing system
US10999532B2 (en) Vehicle recording device, vehicle recording method and non-transitory computer readable medium
JP2021043685A (en) Vehicle record controller, vehicle recorder, vehicle record control method, and program
JP2021096597A (en) Vehicle recording controller, vehicle recording control method, and program
JP7447455B2 (en) Vehicle recording control device and vehicle recording control method
EP3352450A1 (en) Vehicle image recording apparatus and method of recording image data of an environment proximate to a vehicle
JP2020145657A (en) Vehicle display control device, vehicle photography device, vehicle display control method and program
JP7452169B2 (en) Vehicle recording control device, vehicle recording device, vehicle recording control method and program
JP2021157290A (en) Vehicle record controller, vehicle recording device, method for controlling vehicle record, and program
JP7218787B2 (en) Recording/playback device
JP2020036332A (en) VEHICLE RECORDING DEVICE, VEHICLE RECORDING METHOD, AND PROGRAM
JP2020109572A (en) Imaging information storage device, imaging information storage method, and program
JP2017183901A (en) Drive recorder

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211018

R150 Certificate of patent or registration of utility model

Ref document number: 6973590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150