JP7600836B2 - Vehicle-mounted camera control device - Google Patents
Vehicle-mounted camera control device Download PDFInfo
- Publication number
- JP7600836B2 JP7600836B2 JP2021064656A JP2021064656A JP7600836B2 JP 7600836 B2 JP7600836 B2 JP 7600836B2 JP 2021064656 A JP2021064656 A JP 2021064656A JP 2021064656 A JP2021064656 A JP 2021064656A JP 7600836 B2 JP7600836 B2 JP 7600836B2
- Authority
- JP
- Japan
- Prior art keywords
- temperature
- illuminance
- camera
- image sensor
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、車載カメラを冷却する冷却制御を実行可能な車載カメラ制御装置に関する。 The present invention relates to an in-vehicle camera control device capable of executing cooling control for cooling an in-vehicle camera.
従来から、車載カメラを用いて車両の周辺を撮像し、撮像して得られた画像データに基づいて種々の運転支援制御(自動運転制御を含む)を実行することが行われている(以下、車載カメラを単に「カメラ」と称する場合がある。)。カメラが高温になると、正常に動作しなくなったり、カメラの認識性能が低下したりするなどして運転支援制御の信頼性が低下する可能性があるため、カメラ(特に、カメラが備える画像センサ)が高温状態で動作することを抑制する様々な技術が開発されている。 Conventionally, on-board cameras are used to capture images of the vehicle's surroundings, and various driving assistance controls (including autonomous driving controls) are performed based on the image data obtained by capturing the images (hereinafter, on-board cameras may be simply referred to as "cameras"). If the camera becomes too hot, it may not operate properly or its recognition performance may deteriorate, reducing the reliability of the driving assistance control. Therefore, various technologies have been developed to prevent the camera (especially the image sensor equipped in the camera) from operating at high temperatures.
例えば、特許文献1には、画像センサへの通電を開始する前に、画像センサ近傍の温度を測定し、当該測定温度が予め設定された第1閾値以下の場合に画像センサへの通電を開始する車載カメラ制御装置が記載されている。特許文献1によれば、撮像中だけではなく、通電開始前にも画像センサ近傍の測定温度に基づいて画像センサへの通電開始の可否を判定することにより、「電源投入時に画像センサの周囲が異常な高温であるにも関わらず画像センサへの通電がなされてしまう」という事態が発生し難くなり、画像センサが損傷したり熱ノイズが発生したりする可能性を低減できる旨が記載されている。
For example,
カメラが高温状態で動作することを抑制する技術として、上述した通電抑制に加え、カメラの温度(典型的には画像センサ近傍の温度)に基づいてカメラを冷却する冷却制御が知られている。カメラが高温になると、暗電流による熱ノイズが画像センサ上にランダムに発生してカメラの認識性能が低下する。このため、冷却制御を実行可能な従来の車載カメラ制御装置(以下、「従来装置」とも称する。)は、温度閾値を予め設定しておき、カメラの温度がこの温度閾値を超えた場合には冷却制御を開始し、これにより熱ノイズの発生を抑制するように構成されている。 As a technology for preventing the camera from operating at a high temperature, in addition to the above-mentioned power suppression, cooling control is known, which cools the camera based on the camera's temperature (typically the temperature near the image sensor). When the camera becomes too hot, thermal noise caused by dark current occurs randomly on the image sensor, reducing the camera's recognition performance. For this reason, conventional vehicle-mounted camera control devices (hereinafter also referred to as "conventional devices") capable of executing cooling control are configured to preset a temperature threshold and initiate cooling control when the camera temperature exceeds this temperature threshold, thereby preventing the generation of thermal noise.
ところで、熱ノイズの許容量(即ち、カメラの認識性能に直接的な影響を与えることがない熱ノイズの最大量)は、カメラの周辺の照度によって変化し、具体的には、周辺の照度が高くなるほど大きくなる(以下、周辺の照度を「環境照度」とも称する。)。このため、従来装置は、通常、「熱ノイズの発生量が熱ノイズの許容量の最小値以下に抑えられるような温度」を温度閾値として設定し、これにより、熱ノイズに起因する認識性能の低下を抑制している。 The tolerance for thermal noise (i.e., the maximum amount of thermal noise that does not directly affect the recognition performance of the camera) varies depending on the illuminance around the camera; specifically, the higher the illuminance around it is, the greater the tolerance becomes (hereinafter, the illuminance around it is also referred to as "ambient illuminance"). For this reason, conventional devices typically set a temperature threshold value that is "a temperature at which the amount of thermal noise generated is kept below the minimum tolerance for thermal noise," thereby suppressing the degradation of recognition performance caused by thermal noise.
しかしながら、従来装置による温度閾値の設定方法では、カメラを冷却する必要がない場合にも冷却制御が実行されることになる。即ち、上述したように、環境照度が高い場合は熱ノイズの許容量が増加するため、カメラの温度が上記温度閾値より高くても、熱ノイズの発生量が許容量以下であれば、カメラを冷却する必要はない。このような場合にまで冷却制御が実行されると、消費電力が不要に増大し、問題となる。また、冷却制御が例えばファン等を用いて機械的に行われる場合、冷却時に発生する音が車両の乗員に煩わしさを与える可能性がある。 However, with the method of setting the temperature threshold in the conventional device, cooling control is performed even when there is no need to cool the camera. That is, as described above, when the ambient illuminance is high, the tolerance for thermal noise increases, so even if the temperature of the camera is higher than the temperature threshold, there is no need to cool the camera if the amount of thermal noise generated is below the tolerance. If cooling control is performed even in such a case, power consumption will increase unnecessarily, which will be problematic. In addition, if cooling control is performed mechanically, for example using a fan, the sound generated during cooling may be annoying to the vehicle occupants.
本発明は、上述した問題に対処するためになされたものである。即ち、本発明の目的の一つは、熱ノイズに起因したカメラの認識性能の低下を抑制することと、冷却制御の不要作動に起因した消費電力の増大を抑制することと、を両立することが可能な車載カメラ制御装置を提供することにある。 The present invention has been made to address the above-mentioned problems. That is, one of the objectives of the present invention is to provide an in-vehicle camera control device that can simultaneously suppress the deterioration of the camera's recognition performance caused by thermal noise and suppress the increase in power consumption caused by unnecessary operation of the cooling control.
本発明による車載カメラ制御装置(以下、「本発明装置」と称する。)は、
車両に搭載され、
画像センサ(11a)を備え、前記車両の周辺を撮像して画像データを取得するように構成されたカメラ(11)と、
前記画像センサの温度(T)を測定するように構成された温度センサ(12)と、
前記カメラの撮像範囲の環境照度(L)を測定するように構成された照度センサ(13)と、
前記画像センサを冷却するように構成された冷却装置(14)と、
前記画像データに基づいて運転支援制御を行い、
前記温度センサから取得した前記画像センサの温度が所定の温度閾値(Tth)を超える場合、前記冷却装置を作動させて前記画像センサを冷却する冷却制御を実行する、
ように構成された制御ユニット(10)と、
を備える。
前記制御ユニットは、
前記照度センサ(13)から取得した環境照度(L)が所定の照度閾値(Lth)以下の場合、前記温度閾値(Tth)を第1温度(T1)に設定し、
前記照度センサから取得した環境照度が前記照度閾値を超える場合、前記温度閾値を前記第1温度よりも高い第2温度(T2)に設定する。
The vehicle-mounted camera control device according to the present invention (hereinafter referred to as the "device of the present invention") comprises:
Mounted on the vehicle,
a camera (11) including an image sensor (11a) and configured to capture an image of the surroundings of the vehicle and acquire image data;
a temperature sensor (12) configured to measure a temperature (T) of the image sensor;
An illuminance sensor (13) configured to measure an environmental illuminance (L) in an imaging range of the camera;
a cooling device (14) configured to cool the image sensor;
Carry out driving assistance control based on the image data;
when the temperature of the image sensor acquired from the temperature sensor exceeds a predetermined temperature threshold (Tth), a cooling control is executed to operate the cooling device and cool the image sensor.
A control unit (10) configured as described above;
Equipped with.
The control unit
When the environmental illuminance (L) acquired from the illuminance sensor (13) is equal to or lower than a predetermined illuminance threshold (Lth), the temperature threshold (Tth) is set to a first temperature (T1);
When the environmental illuminance acquired from the illuminance sensor exceeds the illuminance threshold, the temperature threshold is set to a second temperature (T2) higher than the first temperature.
熱ノイズ(カメラ高温時に画像センサ上に発生するノイズ)の許容量は、カメラの撮像範囲の環境照度が高くなるほど大きくなる。即ち、環境照度が高くなるほど、画像センサの温度が比較的に高くなっても(熱ノイズの発生量が増加しても)熱ノイズに起因したカメラの認識性能の低下が発生し難くなる。本発明装置では、環境照度と照度閾値との大小関係に基づいて、温度閾値(画像センサの冷却制御の要否判定に用いられる温度)を2通りの値に変更するように構成されている。温度閾値は、「熱ノイズの発生量が、取得した環境照度に応じた熱ノイズの許容量以下となるような温度」に設定され得る。この構成によれば、冷却制御が実行されることにより、画像センサの温度が「環境照度に応じた熱ノイズの許容量に基づいて設定される温度閾値」を超え難くなるため、熱ノイズに起因してカメラの認識性能が低下することを抑制できる。また、温度閾値が一意的な値ではなく、環境照度に応じた熱ノイズの許容量に基づいて2通りの値に変更され得るため、冷却制御の不要作動の頻度を低減でき、不要作動に起因した消費電力の増大を抑制できる。加えて、冷却制御が例えばファン等を用いて機械的に行われる場合、不要作動の頻度が低減することにより、冷却時に発生する音が車両の乗員に煩わしさを与える頻度も低減できる。
なお、「画像センサの温度」には、「画像センサ近傍の温度」も含まれ得る。
The tolerance of thermal noise (noise generated on the image sensor when the camera is at a high temperature) increases as the environmental illuminance of the camera's imaging range increases. That is, the higher the environmental illuminance, the less likely the deterioration of the recognition performance of the camera due to thermal noise will occur even if the temperature of the image sensor becomes relatively high (even if the amount of thermal noise generated increases). In the device of the present invention, the temperature threshold (temperature used to determine whether or not cooling control of the image sensor is required) is configured to be changed to two values based on the magnitude relationship between the environmental illuminance and the illuminance threshold. The temperature threshold can be set to "a temperature at which the amount of thermal noise generated is equal to or less than the allowable amount of thermal noise according to the acquired environmental illuminance." According to this configuration, by performing the cooling control, the temperature of the image sensor is less likely to exceed the "temperature threshold set based on the allowable amount of thermal noise according to the environmental illuminance," so that the deterioration of the recognition performance of the camera due to thermal noise can be suppressed. In addition, since the temperature threshold is not a unique value but can be changed to two values based on the allowable amount of thermal noise according to the environmental illuminance, the frequency of unnecessary operation of the cooling control can be reduced, and the increase in power consumption due to unnecessary operation can be suppressed. In addition, when cooling control is performed mechanically, for example using a fan, the frequency of unnecessary operation is reduced, and the frequency with which noise generated during cooling annoys vehicle occupants.
It should be noted that the "temperature of the image sensor" may also include the "temperature in the vicinity of the image sensor."
上記説明においては、発明の理解を助けるために、実施形態に対応する発明の構成要件に対して、実施形態で用いた符号を括弧書きで添えているが、発明の各構成要件は、前記符号によって規定される実施形態に限定されるものではない。 In the above explanation, to aid in understanding the invention, the symbols used in the embodiments are enclosed in parentheses with respect to the constituent elements of the invention corresponding to the embodiments, but each constituent element of the invention is not limited to the embodiment defined by the symbols.
(構成)
以下、本発明の実施形態に係る車載カメラ制御装置(以下、「本実施装置」とも称する。)について図面を参照しながら説明する。本実施装置は、車両に搭載される。図1に示すように、本実施装置は、カメラ制御ECU10を備える。カメラ制御ECU10は、マイクロコンピュータを主要部として備える。ECUは、Electronic Control Unitの略である。マイクロコンピュータは、CPU、ROM、RAM及びインターフェース(I/F)等を含み、CPUはROMに格納されたインストラクション(プログラム、ルーチン)を実行することにより各種機能を実現するようになっている。以下では、本実施装置が搭載された車両を「自車両」と称する。
(composition)
Hereinafter, an in-vehicle camera control device (hereinafter also referred to as "the embodiment device") according to an embodiment of the present invention will be described with reference to the drawings. The embodiment device is mounted on a vehicle. As shown in FIG. 1, the embodiment device includes a
カメラ制御ECU10は、カメラ11、温度センサ12、照度センサ13、及び、冷却装置14に接続されている。カメラ制御ECU10は、これらセンサ11乃至13が発生/出力する信号を所定の演算周期が経過する毎に取得し、取得した信号に基づいて冷却装置14の作動を制御するようになっている。以下では、カメラ制御ECU10を単に「ECU10」とも称する。
The
カメラ11は、自車両のルームミラー(インナーミラー/リアビューミラー)の裏面に設置されており、自車両の前方を撮像して画像データを取得するように構成されている。具体的には、カメラ11は、光学系(図示省略)と、画像センサ11aと、信号処理回路(図示省略)と、を備える。光学系は、自車両の前方に存在する被写体からの光を後述する撮像面に結像させる。画像センサ11aは、複数の画素が水平方向及び垂直方向に(即ち、二次元状に)等間隔で配列された撮像面(図示省略)を含む。画像センサ11aの各画素は、光学系を介して受けた光を電気信号に変換して出力するように構成されている。信号処理回路は、画像センサ11aから出力された電気信号に対してガンマ補正及び歪曲補正等の処理を行うことにより被写体の画像データを生成する。
The
カメラ11は、画像データに基づいて、自車両の前方に存在する立体物を認識(検出)し、自車両と立体物との相対関係を演算する。ここで、「自車両と立体物との相対関係」とは、自車両から立体物までの距離、自車両に対する立体物の方位及び相対速度等を含む。立体物は、静止物(例えば、トンネル、高架及び街路樹)及び移動物(例えば、他車両及び歩行者)を含む。なお、移動物は、移動可能な立体物を意味しており、移動中の立体物のみを意味するものではない。
加えて、カメラ11は、画像データに基づいて、自車両の前方に延在する区画線を認識(検出)する。カメラ11は、認識した区画線に基づいて車線(隣接する2つの区画線の間の領域)の形状を演算する。
以下では、これらの演算結果を「物標情報」と称する。カメラ11は、物標情報をECU10に出力する。なお、カメラ11は、画像データをECU10に出力するように構成されてもよい。この場合、ECU10が画像データに基づいて物標情報を取得するように構成され得る。
The
In addition, the
Hereinafter, these calculation results are referred to as "target information". The
温度センサ12は、画像センサ11aの近傍に設置されており、画像センサ11a近傍の温度T(以下、単に「画像センサ11aの温度T」と称する。)を測定するように構成されている。具体的には、温度センサ12は、画像センサ11aの温度Tに応じた信号を発生する。ECU10は、温度センサ12が発生した信号を取得し、当該信号に基づいて画像センサ11aの温度Tを演算する。
The
照度センサ13は、カメラ11の近傍に設置されており、自車両の前方(即ち、カメラ11の撮像範囲)の環境照度Lを測定するように構成されている。具体的には、照度センサ13は、自車両の前方の環境照度Lに応じた信号を発生する。ECU10は、照度センサ13が発生した信号を取得し、当該信号に基づいて照度センサ13の環境照度Lを演算する。
The
冷却装置14は、カメラ11の近傍に設置されており、カメラ11(より詳細には、画像センサ11a)を冷却するように構成されている。具体的には、冷却装置14はファンを備えており、ECU10から駆動指令を受信すると、ファンを駆動してカメラ11を冷却する。
The
(作動の詳細)
続いて、ECU10の作動の詳細について説明する。ECU10は、物標情報に基づいて種々の運転支援制御(自動運転制御を含む)を実行するように構成されている(但し、図示しない他のECUが物標情報に基づいてこれらの制御を行うように構成されてもよい。)。カメラ11が高温になると、暗電流による熱ノイズが画像センサ11a上にランダムに発生してカメラ11の認識性能が低下し、これにより運転支援制御の信頼性が低下する可能性がある。このため、従来から、カメラ(厳密には、画像センサ)に温度閾値を予め設定しておき、カメラの温度がこの温度閾値を超えた場合には冷却制御を開始して熱ノイズの発生を抑制することが行われている。ここで、熱ノイズの許容量(即ち、カメラの認識性能に直接的な影響を与えることがない熱ノイズの最大量)は、環境照度によって変化する(具体的には、環境照度が高くなるほど大きくなる)。しかしながら、従来装置では、温度閾値を設定するに際して環境照度が考慮されていなかったため、「熱ノイズの発生量が熱ノイズの許容量の最小値以下に抑えられるような温度」が温度閾値として設定され、この結果、カメラを冷却する必要がない場合にも冷却制御が実行され、消費電力が不要に増大したり、冷却時に発生する音が車両の乗員に煩わしさを与えたりする可能性があった。
(Details of operation)
Next, the operation of the
そこで、ECU10は、環境照度に基づいて、温度閾値を2通りの値に設定するように構成されている。具体的には、ECU10は、照度センサ13から取得した環境照度Lが所定の照度閾値Lth以下の場合、画像センサ11aの温度閾値Tthを第1温度T1に設定し、環境照度Lが照度閾値Lthを超える場合、温度閾値Tthを第1温度T1よりも高い第2温度T2に設定する。ここで、照度閾値Lthは、自車両の前方の明るさを「比較的に明るい場合」と「比較的に暗い場合」とに区別するための閾値であり、実験又はシミュレーションにより予め決定され得る。第1温度T1は、「熱ノイズの発生量が、照度閾値Lthに応じた熱ノイズの許容量よりも少ない任意の温度」であり、第2温度T2は、「熱ノイズの発生量が、照度閾値Lthに応じた熱ノイズの許容量よりも多い任意の温度」である。第1温度T1及び第2温度T2は、何れも実験又はシミュレーションにより予め決定され得る。なお、上記の説明から明らかなように、第1温度T1は、「熱ノイズの発生量が熱ノイズの許容量の最小値以下に抑えられるような温度」に設定されてもよい。
Therefore, the
ECU10は、画像センサ11aの温度Tが温度閾値Tthより高い場合は冷却装置14のファンを駆動して冷却制御を実行し、冷却制御により温度Tが目標温度Ttgt以下になった時点で冷却制御を終了する。ここで、目標温度Ttgtは、温度閾値Tthから所定の差分ΔTを減算した値に設定され得る。即ち、ECU10は、L≦Lthが成立する場合、画像センサ11aの温度Tが第1温度T1より高いときは冷却制御を実行し、冷却制御により温度Tが目標温度Ttgt(=T1-ΔT)に到達した時点で冷却制御を終了する。一方、L>Lthが成立する場合、ECU10は、画像センサ11aの温度Tが第2温度T2(>T1)より高いときは冷却制御を実行し、冷却制御により温度Tが目標温度Ttgt(=T2-ΔT)に到達した時点で冷却制御を終了する。なお、実際には、ハンチングを抑制するため、冷却制御は温度Tが温度閾値Tthを超えた状態が所定の継続時間だけ継続した時点で実行されるが、本実施形態では、説明の便宜上、継続時間を省略して記載している。
When the temperature T of the
この構成によれば、L≦Lthが成立する場合(即ち、熱ノイズの許容量が比較的に小さい場合)、温度閾値Tth(=T1)は比較的に低く設定されるため、画像センサ11aの温度Tが温度閾値Tthを超える頻度が多くなり、冷却制御がこまめに実行される。従って、熱ノイズの許容量が比較的に小さい場合であっても、熱ノイズの発生量が許容量を上回る事態が発生し難くなり、結果として、熱ノイズに起因したカメラ11の認識性能の低下を抑制できる。
一方、L>Lthが成立する場合(即ち、熱ノイズの許容量が比較的に大きい場合)、温度閾値Tth(=T2)は比較的に高く設定されるものの、熱ノイズの許容量が比較的に大きいため、熱ノイズの発生量が許容量を上回る事態が発生し難くなる。また、温度閾値Tthが比較的に高めに設定されることにより、画像センサ11aの温度Tが温度閾値Tthを超え難くなり、不要な冷却制御の作動を抑制できる。即ち、熱ノイズに起因したカメラ11の認識性能の低下を抑制しながら、冷却制御の不要作動の頻度を低減することができる。
According to this configuration, when L≦Lth holds (i.e., when the tolerance for thermal noise is relatively small), the temperature threshold Tth (=T1) is set relatively low, so that the temperature T of the
On the other hand, when L>Lth holds (i.e., when the tolerance for thermal noise is relatively large), the temperature threshold Tth (=T2) is set relatively high, but since the tolerance for thermal noise is relatively large, it is difficult for the amount of thermal noise generated to exceed the tolerance. Also, by setting the temperature threshold Tth relatively high, it is difficult for the temperature T of the
図2を参照して具体的に説明する。図2は、L>Lthが成立する場合(即ち、自車両の前方が比較的に明るい場合)における画像センサ11aの温度Tの推移を、本実施装置と、比較例1に係る車載カメラ制御装置(以下、「第1比較装置」と称する。)と、で比較した図を示す。図2では、本実施装置の画像センサ11aの温度Tの推移を実線で示し、第1比較装置の画像センサ11aの温度Tc1の推移を破線で示している。図2の例ではL>Lthが成立しているため、本実施装置は、温度閾値Tthを第2温度T2に設定している。これに対し、第1比較装置は、従来通り環境照度Lを考慮せずに温度閾値Tthを設定しており、この例では、温度閾値Tthを第1温度T1に設定している。なお、本実施装置と第1比較装置とは、温度閾値Tthの設定が相違している点を除いて同一の構成を有する(これは、後述する第2比較装置及び第3比較装置でも同様とする。)。また、温度Tmは、カメラ11の正常な動作を保証し得る最高温度である。この例では、温度Tmは、第2温度T2よりも高くなっている。
Specific explanation will be given with reference to FIG. 2. FIG. 2 shows a comparison of the transition of the temperature T of the
図2に示すように、本実施装置の画像センサ11aの温度Tは、例えば日射又はカメラ11の自己発熱等により時点t0から緩やかに上昇し、時点t1にて第1温度T1に到達している。本実施装置は温度閾値Tthを第2温度T2に設定しているため、温度Tは時点t1以降も上昇を続け、時点t3以降は、例えば日陰に進入したり空調により冷却されたりするなどして、第2温度T2未満の温度で平衡状態に維持されている。これに対し、第1比較装置の画像センサ11aの温度Tc1は、同様に時点t0から緩やかに上昇している。第1比較装置は温度閾値Tthを第1温度T1に設定しているため、時点t1にて第1温度T1に到達すると、当該時点で冷却制御が開始される。冷却制御により温度Tc1が低下して時点t2にて目標温度Ttgtに到達すると、当該時点にて冷却制御が終了される。時点t2以降は、同様に日陰に進入したり空調により冷却されたりするなどして、目標温度Ttgtで平衡状態に維持されている。
2, the temperature T of the
このように、第1比較装置は、環境照度Lに関わらず温度閾値Tthを一意的な値として設定するため、熱ノイズに起因した認識性能の低下を抑制するには必然的に温度閾値Tthを低めに設定せざるを得ず、従って、図2の例のように実際には冷却制御が不要な場面であっても冷却制御が実行されてしまう。これに対し、本実施装置は、環境照度Lが照度閾値Lthより高い場合には温度閾値Tthを第1温度T1から第2温度T2に引き上げることにより、熱ノイズに起因した認識性能の低下を抑制しつつ、冷却制御が不要に作動してしまう頻度を低減している。なお、環境照度Lは、「環境照度関連情報」の一例に相当する。 In this way, since the first comparison device sets the temperature threshold Tth as a unique value regardless of the environmental illuminance L, it is necessary to set the temperature threshold Tth low in order to suppress the deterioration of recognition performance caused by thermal noise, and therefore, as in the example of Figure 2, cooling control is executed even in situations where cooling control is not actually required. In contrast, the present implementation device raises the temperature threshold Tth from the first temperature T1 to the second temperature T2 when the environmental illuminance L is higher than the illuminance threshold Lth, thereby suppressing the deterioration of recognition performance caused by thermal noise while reducing the frequency with which cooling control is unnecessarily activated. Note that the environmental illuminance L corresponds to an example of "environmental illuminance related information".
加えて、ECU10は、L>Lthが成立する場合、物標情報に基づいて、自車両の現在位置から進行方向(即ち、前方)において距離D以内に、「環境照度Lが照度閾値Lth以下に低下する要因(即ち、L≦Lthが成立する要因)」が存在するか否かを判定する。当該要因が存在しない場合、ECU10は、温度閾値Tthを第2温度T2に設定する。一方、当該要因が存在する場合、ECU10は、温度閾値Tthを第1温度T1に設定する。ここで、「環境照度Lが照度閾値Lth以下に低下する要因」とは、トンネル、高架及び森林等である。即ち、自車両がトンネル、高架及び森林等の内部に進入すると、自車両の前方が急激に暗くなるため、環境照度Lが急激に低下して照度閾値Lth以下となる。なお、距離Dは、「最大の冷却能力で冷却制御が実行された場合に画像センサ11aの温度TをT2-T1の温度幅だけ低下させるのに必要な時間」に「平均車速(例えば、50[km/h])」を乗算した値に設定される。
In addition, when L>Lth is established,
この構成によれば、L≦Lthが成立する要因が距離Dだけ前方に検出された時点にて、現時点における環境照度Lが照度閾値Lthを超えているにも関わらず、温度閾値Tthは第2温度T2から第1温度T1に引き下げられる。このため、現時点の画像センサ11aの温度TがT1<T<T2を満たしている場合、当該時点にて冷却制御が開始される。上述したように、距離Dは、「平均的な車速で温度TをT2-T1の温度幅だけ低下させるのに必要な時間だけ走行したときに進む距離」に設定されているため、自車両が距離Dだけ走行した時点では、画像センサ11aが冷却されてその温度Tは第1温度T1を確実に下回ることになる。このため、距離Dだけ走行して実際にL≦Lthが成立し、その結果、熱ノイズの許容量が急激に減少しても、画像センサ11aは予め冷却されることによりその温度TはT≦T1を満たしているため、当該温度Tにおける熱ノイズの発生量が熱ノイズの許容量を上回る事態が発生し難くなり、停止制御が実行される頻度を低減したり、実行される期間を短縮したりすることが可能となる。ここで、停止制御とは、認識性能を担保するためにカメラ11の動作を一時的に停止する制御であり、温度Tが温度閾値Tthを超えている期間中に実行される(別言すれば、本実施形態では、冷却制御により温度Tが温度閾値Tthまで低下した時点で終了される。)。
According to this configuration, when the factor that establishes L≦Lth is detected a distance D ahead, the temperature threshold Tth is lowered from the second temperature T2 to the first temperature T1, even though the current environmental illuminance L exceeds the illuminance threshold Lth. Therefore, if the temperature T of the
図3を参照して具体的に説明する。図3は、L>Lthが成立している(即ち、自車両の前方が比較的に明るい)状態から時点t5にてトンネルに進入し、時点t5以降はトンネル内を走行する状況における画像センサ11aの温度Tの推移を、本実施装置と、比較例2に係る車載カメラ制御装置(以下、「第2比較装置」と称する。)と、で比較した図を示す。図3では、本実施装置の画像センサ11aの温度Tの推移を実線で示し、第2比較装置の画像センサ11aの温度Tc2の推移を破線で示している。第2比較装置は、第1比較装置とは異なり、環境照度Lと照度閾値Lthとの大小関係に基づいて温度閾値Tthを第1温度T1又は第2温度T2に変更可能となっている。即ち、本実施装置は、L>Lthが成立する場合において自車両の現在位置から距離D以内に「L≦Lthが成立する要因」が存在するときは温度閾値Tthを第1温度T1に設定するように構成されている点で第2比較装置と相違している。
A specific description will be given with reference to FIG. 3. FIG. 3 shows a comparison of the transition of the temperature T of the
図3に示すように、第2比較装置の画像センサ11aの温度Tc2は、時点t0以降は平衡状態にあり、T1<Tc2<T2を満たしている。このとき、温度閾値Tthは第2温度T2に設定されている(L>Lthが成立しているため)ため、冷却制御は行われない。その後、時点t5にてトンネルに進入すると、L≦Lthが成立するため、温度閾値Tthは時点t5にて第2温度T2から第1温度T1に引き下げられる。すると、温度Tc2が温度閾値Tth(=T1)を上回ることになるため、時点t5にて冷却制御が開始されるとともに停止制御が実行される。停止制御は、冷却制御により温度Tc2が温度閾値Tthに到達するまで(即ち、時点t7まで)継続される。これにより、時点t5から時点t7までの期間は、カメラ11の動作が一時的に停止される。なお、冷却制御は、温度Tc2が目標温度Ttgtに到達した時点(時点t8)にて終了される。これに対し、本実施装置の画像センサ11aの温度Tは、同様に時点t0以降は平衡状態にあり、T1<T<T2を満たしているため、冷却制御は実行されていない。その後、時点t4にて距離Dだけ前方にトンネルを認識すると、現時点ではL>Lthであっても、温度閾値Tthが第2温度T2から第1温度T1に引き下げられる。すると、温度Tが度閾値Tth(=T1)を上回ることになるため、時点t4にて冷却制御が開始される。これにより、時点t5にてトンネルに進入した時点では温度Tは確実に温度閾値Tth(=T1)以下になっているため、停止制御は行われない。なお、冷却制御は、時点t6にて目標温度Ttgtに到達するまで継続される。
As shown in FIG. 3, the temperature Tc2 of the
このように、第2比較装置は、環境照度Lに応じて温度閾値Tthを2通りの値に設定可能であるため、カメラ11の認識性能の低下を抑制しつつ冷却制御の不要作動を抑制できるという利点があるものの、トンネル等のように環境照度Lが急激に低下する状況下では、温度閾値Tthが急に変更されることに伴い、冷却制御を行っても温度Tc2が温度閾値Tthを上回る期間が発生してしまうため、認識性能を担保するためには停止制御を行わざるを得ず、不都合が生じていた。これに対し、本実施装置は、L>Lthが成立している場合であっても、トンネル等のように環境照度Lが急激に低下する(即ち、照度閾値Lth以下になる)要因が前方に存在するときには、温度閾値Tthを引き下げることにより冷却制御を前もって実行できるように構成されている。この構成によれば、トンネル等に進入した時点で環境照度Lが急激に低下して熱ノイズの許容量が急激に低下しても、進入時点の温度Tにおける熱ノイズの発生量が熱ノイズの許容量を超え難くなるため、停止制御を実行しなくても認識性能を担保することができる。「自車両の現在位置から進行方向(即ち、前方)において距離D以内に、環境照度Lが照度閾値Lth以下に低下する要因が存在するか否か」についての情報は、「環境照度関連情報」の一例に相当する。
In this way, the second comparison device has the advantage that unnecessary operation of cooling control can be suppressed while suppressing deterioration of the recognition performance of the
なお、本実施形態では、「距離D以内にL≦Lthが成立する要因が存在するか否か」をカメラ11によって取得された物標情報に基づいて判定したが、この構成に限られず、例えば、図示しないナビゲーションシステムを用いて上記判定を行ってもよい。即ち、本実施装置は、地図情報が格納されたメモリを備えており、GPS受信機にて取得したGPS信号から自車両の現在位置を特定し、地図情報にマッピングすることにより上記判定を行ってもよい。
In this embodiment, the determination of "whether or not there is a factor that makes L≦Lth true within the distance D" is based on the target information acquired by the
(具体的作動)
次いで、ECU10の作動の詳細について説明する。ECU10のCPUは、イグニッションスイッチがオン位置にある期間中、所定時間が経過する毎に図4及び図5にフローチャートにより示したルーチン(温度閾値Tth設定処理及び冷却制御処理)を並行して繰り返し実行するように構成されている。
(Specific operation)
Next, a detailed description will be given of the operation of the
所定のタイミングになると、CPUは、図4のステップ400から処理を開始してステップ410に進み、照度センサ13から環境照度Lを取得する。続いて、CPUは、ステップ420に進んで環境照度Lが照度閾値Lthを超えているか否かを判定する。L≦Lthである場合、CPUは、ステップ420にて「No」と判定し、ステップ430に進んで温度閾値Tthを第1温度T1に設定する。その後、CPUは、ステップ495に進んで本ルーチンを一旦終了する。一方、L>Lthである場合、CPUは、ステップ420にて「Yes」と判定し、ステップ440に進む。
At a predetermined timing, the CPU starts processing from
ステップ440では、CPUは、物標情報に基づいて、自車両の現在位置から距離D以内にL≦Lthが成立する要因が存在するか否かを判定する。当該要因が存在しない場合、CPUは、ステップ440にて「No」と判定し、ステップ450に進んで温度閾値Tthを第2温度T2(>T1)に設定する。その後、CPUは、ステップ495に進んで本ルーチンを一旦終了する。一方、当該要因が存在する場合、CPUは、ステップ440にて「Yes」と判定し、ステップ430に進んで(現時点ではL>Lthが成立しているにも関わらず)温度閾値Tthを第1温度T1に設定する。その後、CPUは、ステップ495に進んで本ルーチンを一旦終了する。以上が温度閾値Tth設定処理についての説明である。
In
これと並行して、所定のタイミングになると、CPUは、図5のステップ500から処理を開始してステップ510に進み、冷却中であるか(即ち、冷却制御が実行されているか)否かを判定する。冷却制御が実行されていない場合、CPUは、ステップ510にて「No」と判定し、ステップ520に進む。
In parallel with this, at a predetermined timing, the CPU starts processing from
ステップ520では、CPUは、温度閾値Tth設定処理(図4参照)により設定された温度閾値Tthを取得し、ステップ530に進む。
ステップ530では、CPUは、温度センサ12から画像センサ11aの温度Tを取得し、ステップ540に進む。
In
In
ステップ540では、CPUは、温度Tが温度閾値Tthを超えているか否かを判定する。T≦Tthの場合、CPUは、ステップ540にて「No」と判定し、ステップ595に進んで本ルーチンを一旦終了する。即ち、冷却制御を実行しない。一方、T>Tthの場合、CPUは、ステップ540にて「Yes」と判定し、ステップ550に進んで冷却を開始する(即ち、冷却制御を開始する)。
In
続いて、CPUは、ステップ560に進み、温度Tが目標温度Ttgt(=Tth-ΔT)に到達したか否かを判定する。T>Ttgtの場合、CPUは、ステップ560にて「No」と判定し、ステップ595に進んで本ルーチンを一旦終了する。この場合、CPUは、ステップ595を経由し、次の周期のステップ510にて「Yes」と判定し、ステップ560の判定を行う。この処理を繰り返す途中で温度Tが目標温度Ttgtに到達した場合、CPUはステップ560にて「Yes」と判定し、ステップ570に進んで冷却を停止する(即ち、冷却制御を終了する)。その後、CPUは、ステップ595に進んで本ルーチンを一旦終了する。以上が冷却制御処理についての説明である。
Then, the CPU proceeds to step 560 to determine whether the temperature T has reached the target temperature Ttgt (= Tth - ΔT). If T > Ttgt, the CPU determines "No" at
(変形例)
次に、図6を参照して本発明の変形例に係る車載カメラ制御装置(以下、「変形装置」とも称する。)について説明する。変形装置は、画像センサ11aの温度Tが停止温度閾値Tsthを超えている場合は当該停止温度閾値Tsth以下となるまで停止制御を実行する。なお、本変形例では、冷却制御は実行されない。変形装置は、停止温度閾値Tsthを、環境照度Lに基づいて2通りの値に設定可能となっている。具体的には、変形装置は、L≦Lthが成立している場合、停止温度閾値Tsthを第3温度T3に設定し、L>Lthが成立している場合、停止温度閾値Tsthを第3温度T3よりも高い第4温度T4に設定する。
(Modification)
Next, an in-vehicle camera control device (hereinafter, also referred to as a "modification device") according to a modification of the present invention will be described with reference to FIG. 6. When the temperature T of the
図6は、L>Lthが成立する場合における画像センサ11aの温度Tの推移を、変形装置と、比較例3に係る車載カメラ制御装置(以下、「第3比較装置」と称する。)と、で比較した図を示す。図6では、変形装置の画像センサ11aの温度Tの推移を実線で示し、第3比較装置の画像センサ11aの温度Tc3の推移を破線で示している。図6の例ではL>Lthが成立しているため、変形装置は、停止温度閾値Tsthを第4温度T4に設定している。これに対し、第3比較装置は、従来通り環境照度Lを考慮せずに停止温度閾値Tsthを設定しており、この例では、第3温度T3に設定している。
Figure 6 shows a comparison of the change in temperature T of the
図6に示すように、時点t0から時点t9まではイグニッションスイッチがオフされている(即ち、カメラ11は動作していない。)。この期間中、第3比較装置の画像センサ11aの温度T3cは日射等に起因して比較的に高くなっており、T3<T3c<T4が成立している。この状態で時点9にてイグニッションスイッチがオンされてカメラ11が動作を開始しようとすると、温度T3cが停止温度閾値Tsth(=T3)を上回っているため、停止制御が実行されてカメラ11は動作を停止する。この時点で空調によりカメラ11が冷却されたり、自車両が日陰に進入したりするなどして温度T3cが低下して時点10にて第3温度T3に到達すると、停止制御が終了してカメラ11は動作を開始する。なお、この例では、温度T3cは時点11にて平衡状態となっている。これに対し、変形装置の画像センサ11aの温度Tは、時点t9にてイグニッションスイッチがオンされた時点で比較的に高い温度(T3<T<T4)であっても、停止温度閾値Tsthが第4温度T4に設定されている(L>Lthであるため)ため、停止制御は実行されない。
As shown in FIG. 6, the ignition switch is off from time t0 to time t9 (i.e., the
この構成によれば、カメラ11の認識性能を担保しつつ、停止制御の不要作動を抑制することができる。
This configuration ensures the recognition performance of the
以上、本実施形態及び変形例に係る車載カメラ制御装置について説明したが、本発明は上記実施形態及び変形例に限定されるものではなく、本発明の目的を逸脱しない限り、種々の変更が可能である。 The above describes the vehicle-mounted camera control device according to the present embodiment and its modified examples, but the present invention is not limited to the above embodiment and modified examples, and various modifications are possible without departing from the purpose of the present invention.
例えば、温度閾値Tthは、環境照度Lの関数であってもよい。即ち、2通りの値(第1温度T1、第2温度T2)に限定される構成に限られない。これは、停止温度閾値Tsthについても同様である。 For example, the temperature threshold Tth may be a function of the ambient illuminance L. In other words, the temperature threshold Tth is not limited to a configuration that is limited to two values (first temperature T1, second temperature T2). The same applies to the stop temperature threshold Tsth.
10:カメラ制御ECU、11:カメラ、11a:画像センサ、12:温度センサ、13:照度センサ、14:冷却装置 10: Camera control ECU, 11: Camera, 11a: Image sensor, 12: Temperature sensor, 13: Illuminance sensor, 14: Cooling device
Claims (1)
画像センサを備え、前記車両の周辺を撮像して画像データを取得するように構成されたカメラと、
前記画像センサの温度を測定するように構成された温度センサと、
前記カメラの撮像範囲の環境照度を測定するように構成された照度センサと、
前記画像センサを冷却するように構成された冷却装置と、
前記画像データに基づいて運転支援制御を行い、
前記温度センサから取得した前記画像センサの温度が所定の温度閾値を超える場合、前記冷却装置を作動させて前記画像センサを冷却する冷却制御を実行する、
ように構成された制御ユニットと、
を備え、
前記制御ユニットは、
前記照度センサから取得した環境照度が所定の照度閾値以下の場合、前記温度閾値を第1温度に設定し、
前記照度センサから取得した環境照度が前記照度閾値を超える場合、前記温度閾値を前記第1温度よりも高い第2温度に設定する、
ように構成された、
車載カメラ制御装置。 Mounted on the vehicle,
a camera having an image sensor and configured to capture an image of the surroundings of the vehicle and acquire image data;
a temperature sensor configured to measure a temperature of the image sensor;
an illuminance sensor configured to measure an ambient illuminance in an imaging range of the camera;
a cooling device configured to cool the image sensor;
Carry out driving assistance control based on the image data;
when the temperature of the image sensor acquired from the temperature sensor exceeds a predetermined temperature threshold, a cooling control is executed to operate the cooling device to cool the image sensor.
A control unit configured as described above.
Equipped with
The control unit
When the environmental illuminance acquired from the illuminance sensor is equal to or lower than a predetermined illuminance threshold, the temperature threshold is set to a first temperature;
When the environmental illuminance acquired from the illuminance sensor exceeds the illuminance threshold, the temperature threshold is set to a second temperature higher than the first temperature.
It was configured as follows:
In-vehicle camera control device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021064656A JP7600836B2 (en) | 2021-04-06 | 2021-04-06 | Vehicle-mounted camera control device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021064656A JP7600836B2 (en) | 2021-04-06 | 2021-04-06 | Vehicle-mounted camera control device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022160117A JP2022160117A (en) | 2022-10-19 |
| JP7600836B2 true JP7600836B2 (en) | 2024-12-17 |
Family
ID=83657816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021064656A Active JP7600836B2 (en) | 2021-04-06 | 2021-04-06 | Vehicle-mounted camera control device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7600836B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002320126A (en) | 2001-04-23 | 2002-10-31 | Mitsubishi Electric Corp | In-vehicle imaging system |
| KR100846576B1 (en) | 2007-02-28 | 2008-07-16 | (주)한비젼 | Car Side Mirrors with Thermal Infrared Camera |
| DE102018103352A1 (en) | 2017-02-16 | 2018-08-16 | GM Global Technology Operations LLC | Vehicle Environment Imaging Systems and Methods |
| JP2020011635A (en) | 2018-07-19 | 2020-01-23 | 株式会社デンソー | In-vehicle camera |
-
2021
- 2021-04-06 JP JP2021064656A patent/JP7600836B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002320126A (en) | 2001-04-23 | 2002-10-31 | Mitsubishi Electric Corp | In-vehicle imaging system |
| KR100846576B1 (en) | 2007-02-28 | 2008-07-16 | (주)한비젼 | Car Side Mirrors with Thermal Infrared Camera |
| US20080203308A1 (en) | 2007-02-28 | 2008-08-28 | Yoo Sang Keun | Car side mirror equipped with thermal infrared camera |
| DE102018103352A1 (en) | 2017-02-16 | 2018-08-16 | GM Global Technology Operations LLC | Vehicle Environment Imaging Systems and Methods |
| JP2020011635A (en) | 2018-07-19 | 2020-01-23 | 株式会社デンソー | In-vehicle camera |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022160117A (en) | 2022-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10196041B2 (en) | Imaging system | |
| EP3481059B1 (en) | Object detection and display apparatus, moving body, and object detection and display method | |
| JP2007172035A (en) | Onboard image recognition device, onboard imaging device, onboard imaging controller, warning processor, image recognition method, imaging method and imaging control method | |
| CN110167813B (en) | Travel route recognition device and travel route recognition method | |
| JP6844568B2 (en) | Extra findings determination device, extra findings determination system, extra findings determination method, program | |
| KR102519662B1 (en) | Method and apparatus for obtaining image | |
| JP7434730B2 (en) | Vehicle information display device and vehicle control device | |
| KR102621552B1 (en) | Operation Apparatus for Active Hood linked with ADAS and the Method thereof | |
| US12184959B2 (en) | Imaging device | |
| JP7124935B2 (en) | Looking away determination device, looking away determination system, looking away determination method, program | |
| KR20220152823A (en) | Apparatus for recording drive video of vehicle and method thereof | |
| JP2010239479A (en) | Imaging part control device, imaging part control method, and imaging part control program | |
| US20150232017A1 (en) | Axial direction control device and program thereof | |
| US11039078B2 (en) | Method and device for predictable exposure control of at least one first vehicle camera | |
| JP2016171509A (en) | Calibration device | |
| CN111469808A (en) | Control device for moving body | |
| JP7600836B2 (en) | Vehicle-mounted camera control device | |
| US10227038B2 (en) | Regulation speed display apparatus of vehicle | |
| JP2023174682A (en) | Vehicle video processing device and vehicle video processing method | |
| US12483767B2 (en) | Vehicle video record system, vehicle, and camera module for the same | |
| WO2026025837A1 (en) | Electronic rearview mirror and control method, vehicle, storage medium, and program product | |
| JP7066650B2 (en) | Anti-fog device and its control method | |
| WO2020138088A1 (en) | Inattentiveness determination device, inattentiveness determination system, inattentiveness determination method, and storage medium for storing program | |
| WO2020084950A1 (en) | Control device for vehicle optical device | |
| JP2009038463A (en) | Exposure adjustment method, vehicle imaging device, and automobile |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240815 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240820 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240829 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7600836 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |