JP6581482B2

JP6581482B2 - Image recognition device

Info

Publication number: JP6581482B2
Application number: JP2015228897A
Authority: JP
Inventors: 督之市原; 久貴加藤; 泰典川口
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 2015-11-24
Filing date: 2015-11-24
Publication date: 2019-09-25
Anticipated expiration: 2035-11-24
Also published as: JP2017097607A

Description

本発明は、撮影対象の３次元認識が可能な距離画像センサから入力される信号に基づいて人間の挙動を認識する画像認識装置に関する。 The present invention relates to an image recognition apparatus for recognizing human behavior based on a signal input from a distance image sensor capable of three-dimensional recognition of an imaging target.

例えば、車両上に搭載された様々な車載機器を運転者が操作する場合には、通常は、各々の車載機器を操作するために様々な箇所に設けられた専用のボタンを操作する必要がある。しかし、操作の度に目的のボタンが存在する位置を探して、その位置に指を位置合わせしなければならないので、この操作のために運転者は視線を前方から一時的にずらしたり、自分の手や指の動きに格別な注意を払う必要があり、安全運転の妨げになる。 For example, when a driver operates various in-vehicle devices mounted on a vehicle, it is usually necessary to operate dedicated buttons provided at various locations in order to operate each in-vehicle device. . However, every time an operation is performed, the position where the target button exists must be searched, and the finger must be aligned to that position. For this operation, the driver temporarily shifts his / her line of sight from the front, Special attention must be paid to the movement of hands and fingers, which hinders safe driving.

そこで、従来より運転者のボタン操作を不要にするための技術が開発されている。例えば、車両の室内に設けられたカメラによって運転者の挙動を画像認識し、所定の挙動を検出すると、その挙動に応じて車両に搭載された装置が動作する操作入力装置が知られている（特許文献１）。 Therefore, techniques for eliminating the need for driver's button operation have been developed. For example, an operation input device is known in which when a driver's behavior is image-recognized by a camera provided in a vehicle interior and a predetermined behavior is detected, a device mounted on the vehicle operates according to the behavior ( Patent Document 1).

特開２０１３−２１８３９１号公報JP 2013-218391 A

特許文献１のようにカメラで撮影した画像を認識して人間の挙動を検出する場合に、一般的なカメラでは二次元画像しか撮影できないので、奥行き方向の位置や挙動を検出することができず、操作パターン（ジェスチャー）の自由度を上げることができないし、検出が不要な時に挙動を検出してしまう可能性もある。 When a human behavior is detected by recognizing an image captured by a camera as in Patent Document 1, a general camera can only capture a two-dimensional image, so that the position and behavior in the depth direction cannot be detected. The degree of freedom of the operation pattern (gesture) cannot be increased, and the behavior may be detected when the detection is unnecessary.

近年では、撮影対象の３次元認識が可能なＴＯＦ（Time Of Flight）距離画像センサ（以下、ＴＯＦカメラと称する）が市販されている。また、ＴＯＦカメラの他にも、撮影対象の３次元認識が可能なカメラが存在する。ＴＯＦカメラは、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出できるので、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。 In recent years, a TOF (Time Of Flight) distance image sensor (hereinafter referred to as a TOF camera) capable of three-dimensional recognition of an imaging target is commercially available. In addition to the TOF camera, there is a camera capable of three-dimensional recognition of an imaging target. Since the TOF camera can detect the time until the light from the light source hits the measurement target and returns for each pixel, it can capture a stereoscopic image including position information corresponding to the distance in the depth direction.

しかしながら、ＴＯＦカメラが計測する距離には誤差が発生することがある。特に、高温の環境下においては光源からの照射角度が温度により変化して誤差が増大する傾向がある。したがって、温度変化の激しい車室内などにＴＯＦカメラを設置する場合にはＴＯＦカメラが計測する距離の誤差の影響が懸念される。 However, an error may occur in the distance measured by the TOF camera. In particular, in a high-temperature environment, there is a tendency that the angle of irradiation from the light source varies with temperature and the error increases. Therefore, when the TOF camera is installed in a vehicle room where the temperature changes rapidly, there is a concern about the influence of the error in the distance measured by the TOF camera.

特許文献１のような操作入力装置においては、事前に定めた特定の３次元空間（以下、挙動検出空間と称する）でのみ運転者の挙動を検出し、車載機器の動作に反映することが想定される。例えば、通常の運転状態のように、運転者の手がステアリングホイール（ハンドル）の近傍にある状況でのみ、運転者の手や指の挙動に応じて車載機器を操作するように制御すれば、運転者が無意識に手を動かしたような状況では車載機器が作動することはなくなる。 In the operation input device as disclosed in Patent Document 1, it is assumed that the behavior of the driver is detected only in a predetermined three-dimensional space (hereinafter referred to as behavior detection space) and reflected in the operation of the in-vehicle device. Is done. For example, if the driver's hand is in the vicinity of the steering wheel (handle) as in a normal driving state, and control is performed so that the in-vehicle device is operated according to the behavior of the driver's hand or finger, In a situation where the driver moves his / her hand unconsciously, the in-vehicle device will not operate.

しかし、ＴＯＦカメラが計測する距離の誤差が大きくなると、挙動検出空間が、拡大、縮小、または変位してしまう。その結果、挙動検出空間の外側に運転者の手が存在する場合であっても、無意識のうちに行われる手の挙動に反応し、車載機器が動作してしまう可能性がある。つまり、運転者が意図していない操作が勝手に行われてしまう。このような誤動作は、運転者の想定外の動作であるため運転者の思考に混乱を招き運転に支障を来す可能性がある。 However, when the error of the distance measured by the TOF camera becomes large, the behavior detection space is enlarged, reduced, or displaced. As a result, even when the driver's hand is present outside the behavior detection space, there is a possibility that the in-vehicle device may operate in response to the behavior of the hand performed unconsciously. That is, an operation unintended by the driver is performed without permission. Since such a malfunction is an operation that is not expected by the driver, the driver's thinking may be confused and the driving may be hindered.

本発明は、上述した事情に鑑みてなされたものであり、その目的は、距離検出誤差の影響を低減して操作検出精度を向上することが可能な画像認識装置を提供することにある。 The present invention has been made in view of the above-described circumstances, and an object of the present invention is to provide an image recognition apparatus capable of reducing the influence of a distance detection error and improving operation detection accuracy.

前述した目的を達成するために、本発明に係る画像認識装置は、下記（１）〜（３）を特徴としている。
（１）撮影対象の３次元認識が可能な距離画像センサから入力される信号に基づいて人間の挙動を認識する画像認識装置であって、
前記距離画像センサから入力される信号に基づき認識される事前に定めた特定の撮影対象までの第１の計測距離と、前記距離画像センサから前記特定の撮影対象までの距離を事前に実測して得られた参照距離との比率を算出し、
人間の挙動を認識する空間として定められた挙動検出空間を特定するパラメータまたは前記距離画像センサから入力される信号に基づき認識される挙動監視対象の任意の点までの第２の計測距離を、前記比率に基づく補正量により補正する、
画像認識装置。 In order to achieve the above-described object, an image recognition apparatus according to the present invention is characterized by the following (1) to (3).
(1) An image recognition device for recognizing human behavior based on a signal input from a distance image sensor capable of three-dimensional recognition of an imaging target,
A first measurement distance to a predetermined specific photographing target recognized based on a signal input from the distance image sensor and a distance from the distance image sensor to the specific photographing target are measured in advance. Calculate the ratio with the obtained reference distance,
A parameter for specifying a behavior detection space defined as a space for recognizing a human behavior or a second measurement distance to an arbitrary point of a behavior monitoring target recognized based on a signal input from the distance image sensor, Correct by the correction amount based on the ratio,
Image recognition device.

上記（１）の構成の画像認識装置によれば、前記距離画像センサの計測距離を前記比率を用いて補正するので、計測誤差の増大を抑制できる。したがって、前記挙動検出空間の位置精度を高めることができ、運転者が必要とする時だけ挙動を検出できる。 According to the image recognition apparatus having the configuration (1), the measurement distance of the distance image sensor is corrected using the ratio, so that an increase in measurement error can be suppressed. Therefore, the position accuracy of the behavior detection space can be increased, and the behavior can be detected only when the driver needs it.

（２）前記比率は、前記特定の撮影対象における所定の箇所までの計測距離と、前記距離画像センサから前記特定の撮影対象における所定の箇所までの距離を事前に実測して得られた参照距離との比率である、
前記（１）に記載の画像認識装置。 (2) The ratio is a reference distance obtained by measuring in advance a measurement distance to a predetermined location in the specific imaging target and a distance from the distance image sensor to the predetermined location in the specific imaging target. The ratio of
The image recognition apparatus according to (1).

上記（２）の構成の画像認識装置によれば、前記比率の精度を高めることができる。例えば、前記特定の撮影対象をステアリングホイールとし、前記所定の箇所を前記ステアリングホイール上に設けられた特定の目印とすることにより、計測位置の特定が容易になる。 According to the image recognition apparatus having the configuration (2), the accuracy of the ratio can be increased. For example, the measurement position can be easily specified by setting the specific photographing object as a steering wheel and setting the predetermined portion as a specific mark provided on the steering wheel.

（３）前記比率は、認識される前記特定の撮影対象の少なくとも一部の形状が事前に定めた参照形状とほぼ一致する場合に、前記特定の撮影対象における当該一部の寸法を事前に実測して得られた参照寸法と、前記距離画像センサが認識した該当部位の計測寸法との比率に基づき算出される、
前記（１）に記載の画像認識装置。 (3) The ratio is measured in advance when the at least a part of the specific imaging target to be recognized substantially matches a predetermined reference shape. Calculated based on the ratio of the reference dimension obtained by the above and the measurement dimension of the corresponding part recognized by the distance image sensor,
The image recognition apparatus according to (1).

上記（３）の構成の画像認識装置によれば、前記距離画像センサにおける奥行き方向の距離計測精度が比較的低い場合であっても、横方向または縦方向の計測寸法を利用して前記比率を算出できるので、精度を向上することができる。 According to the image recognition device having the configuration of (3) above, even if the distance measurement accuracy in the depth direction of the distance image sensor is relatively low, the ratio is calculated using the measurement dimension in the horizontal direction or the vertical direction. Since it can be calculated, the accuracy can be improved.

本発明の画像認識装置によれば、距離検出誤差の影響により挙動検出空間が変動するのを抑制し、運転者の意図しない誤動作を防止することが可能になる。 According to the image recognition device of the present invention, it is possible to suppress the behavior detection space from fluctuating due to the influence of the distance detection error, and to prevent a malfunction that is not intended by the driver.

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。 The present invention has been briefly described above. Further, the details of the present invention will be further clarified by reading through a mode for carrying out the invention described below (hereinafter referred to as “embodiment”) with reference to the accompanying drawings. .

図１は、本発明の実施形態における画像認識装置の主要な動作例（１）を示すフローチャートである。FIG. 1 is a flowchart showing a main operation example (1) of the image recognition apparatus according to the embodiment of the present invention. 図２は、本発明の画像認識装置を含む車載システムの構成例を示すブロック図である。FIG. 2 is a block diagram showing a configuration example of an in-vehicle system including the image recognition apparatus of the present invention. 図３は、車両の室内における運転席近傍の主要な構成要素の配置例を示す正面図である。FIG. 3 is a front view showing an arrangement example of main components in the vicinity of the driver's seat in the vehicle interior. 図４は、運転席に着座した運転者およびその近傍を右側から視た状態における主要な構成要素の配置例（１）を示す側面図である。FIG. 4 is a side view showing an arrangement example (1) of main components in a state where the driver seated in the driver's seat and the vicinity thereof are viewed from the right side. 図５は、図４の一部分を拡大した状態を示す部分拡大側面図である。FIG. 5 is a partially enlarged side view showing a state in which a part of FIG. 4 is enlarged. 図６（Ａ）および図６（Ｂ）は、それぞれステアリングホイール上で運転者がジェスチャーの操作を行う場合の手とステアリングホイールとの位置関係の例を示す正面図である。FIGS. 6A and 6B are front views showing examples of the positional relationship between the hand and the steering wheel when the driver performs a gesture operation on the steering wheel, respectively. 図７は、本発明の実施形態における画像認識装置の主要な動作例（２）を示すフローチャートである。FIG. 7 is a flowchart showing a main operation example (2) of the image recognition apparatus according to the embodiment of the present invention. 図８は、運転席に着座した運転者およびその近傍を右側から視た状態における主要な構成要素の配置例（２）を示す側面図である。FIG. 8 is a side view showing an arrangement example (2) of main components in a state where the driver seated in the driver's seat and the vicinity thereof are viewed from the right side. 図９は、図８の一部分を拡大した状態を示す部分拡大側面図である。FIG. 9 is a partially enlarged side view showing a state in which a part of FIG. 8 is enlarged.

本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。 Specific embodiments relating to the present invention will be described below with reference to the drawings.

＜各実施形態に共通の説明＞
＜画像認識装置を使用する環境の具体例＞
＜車室内の構成例＞
車両の室内における運転席近傍の主要な構成要素の配置例を図３に示す。本発明の画像認識装置は、例えば図３に示したような車両に搭載した状態で使用される。 <Description common to each embodiment>
<Specific example of environment using image recognition device>
<Example of vehicle interior configuration>
FIG. 3 shows an example of the arrangement of main components in the vicinity of the driver's seat in the vehicle interior. The image recognition apparatus of the present invention is used in a state where it is mounted on a vehicle as shown in FIG. 3, for example.

図３に示すように車両の室内には、運転席シート３４および助手席シート３５が設けてあり、運転席シート３４の前方にステアリングホイール３１が配置されている。また、前方のダッシュボード３３の中央付近には矩形の表示画面を有するディスプレイユニット３２が設置されている。このディスプレイユニット３２は、カーナビゲーション装置やカーオーディオ装置の表示部として利用することができる。 As shown in FIG. 3, a driver seat 34 and a passenger seat 35 are provided in the vehicle interior, and a steering wheel 31 is disposed in front of the driver seat 34. A display unit 32 having a rectangular display screen is installed near the center of the front dashboard 33. The display unit 32 can be used as a display unit of a car navigation device or a car audio device.

また、ディスプレイユニット３２を使用しない表示装置として、ヘッドアップディスプレイ（ＨＵＤ）の本体がダッシュボード３３の下方に格納されている。このヘッドアップディスプレイを使用する際には、表示光を反射する透明なコンバイナ（反射板）がダッシュボード３３の内側から上昇してダッシュボード３３上に現れ、運転者が視認できる位置に位置決めされる。 As a display device that does not use the display unit 32, the main body of a head-up display (HUD) is stored below the dashboard 33. When this head-up display is used, a transparent combiner (reflecting plate) that reflects display light rises from the inside of the dashboard 33 and appears on the dashboard 33, and is positioned at a position where the driver can visually recognize it. .

運転席シート３４の左前方の運転者が操作可能な位置に、可動構造の操作レバー３６が配置されている。この操作レバー３６は、車両のトランスミッションの変速モードを切り替えるために利用される。 An operation lever 36 having a movable structure is arranged at a position where the driver on the left front side of the driver seat 34 can operate. The operation lever 36 is used to switch the transmission mode of the vehicle transmission.

また、ステアリングホイール３１よりも少し前方のダッシュボード３３上にＴＯＦカメラ２１が固定した状態で設置されている。このＴＯＦカメラ２１は、撮影対象の３次元認識が可能なＴＯＦ（Time Of Flight）距離画像センサである。すなわち、ＴＯＦカメラ２１は、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出し、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。 Further, the TOF camera 21 is installed on a dashboard 33 slightly ahead of the steering wheel 31 in a fixed state. The TOF camera 21 is a TOF (Time Of Flight) distance image sensor capable of three-dimensional recognition of an imaging target. That is, the TOF camera 21 can detect the time until the light from the light source hits the measurement target and returns for each pixel, and can capture a stereoscopic image including position information corresponding to the distance in the depth direction.

図３に示したＴＯＦカメラ２１は、ステアリングホイール３１と対向する位置に設置してあり、ステアリングホイール３１の全体と、ステアリングホイール３１を操作する運転者の手との両方が同時に映る範囲を撮影できるように撮影方向および画角を事前に調整してある。 The TOF camera 21 shown in FIG. 3 is installed at a position facing the steering wheel 31, and can capture a range in which both the entire steering wheel 31 and the driver's hand operating the steering wheel 31 are reflected simultaneously. As described above, the shooting direction and the angle of view are adjusted in advance.

＜車載システムの構成例＞
本発明の実施形態における画像認識装置１０を含む車載システムの構成例を図２に示す。図２の車載システムは、図３に示した車両に搭載されている。 <In-vehicle system configuration example>
A configuration example of an in-vehicle system including the image recognition device 10 according to the embodiment of the present invention is shown in FIG. The in-vehicle system shown in FIG. 2 is mounted on the vehicle shown in FIG.

図２に示す画像認識装置１０は、運転者の所定のジェスチャー、すなわち身振り、手振りのような挙動から車載機器に対する操作の指示を自動的に認識し、該当する車載機器を制御することができる。 The image recognition apparatus 10 shown in FIG. 2 can automatically recognize an operation instruction for the in-vehicle device from a predetermined gesture of the driver, that is, a gesture or a gesture, and can control the corresponding in-vehicle device.

実際には、ＴＯＦカメラ２１により運転者の手および指やステアリングホイール３１を撮影し、この撮影により得られる三次元画像から、手や指の挙動をジェスチャーとして認識する。したがって、運転者は特別なボタン等を操作しなくてもジェスチャーにより車載機器を操作することができる。そのため、運転者が車載機器を操作する際に、目的のボタンを探したり、操作のためにステアリングホイール３１から手を離したりする必要がなくなり、安全運転の向上に役立つ機能を提供できる。 Actually, the driver's hand and fingers and the steering wheel 31 are photographed by the TOF camera 21, and the behavior of the hands and fingers is recognized as a gesture from the three-dimensional image obtained by the photographing. Therefore, the driver can operate the in-vehicle device by a gesture without operating a special button or the like. Therefore, when the driver operates the in-vehicle device, it is not necessary to search for a target button or to release the hand from the steering wheel 31 for the operation, and a function useful for improving safe driving can be provided.

但し、本実施形態では、画像認識装置１０が手や指の挙動を検出するのは、手や指が事前に定めた挙動検出空間（後述する）の内側に存在する場合のみに限定してある。これにより、例えば運転者が無意識のうちに動かした手の動きを特定のジェスチャーとして誤認識するのを防止し、車載機器が想定外の動作をするのを避けることができる。 However, in the present embodiment, the image recognition apparatus 10 detects the behavior of the hand or finger only when the hand or finger exists inside a predetermined behavior detection space (described later). . As a result, for example, it is possible to prevent the driver from unintentionally recognizing the movement of the hand moved unconsciously as a specific gesture, and to prevent the in-vehicle device from performing an unexpected operation.

図２に示すように、ＴＯＦカメラ２１は光源部２１ａおよび受光部２１ｂを備えている。光源部２１ａは、パルス状の光を撮影対象物に照射することができる。受光部２１ｂは、ＣＭＯＳなどで構成される二次元イメージセンサを備えている。また、受光部２１ｂが検出した二次元画像を構成する画素毎に、光源部２１ａの光が手などの撮影対象物にあたり受光部２１ｂに戻るまでの時間（Time Of Flight）に応じた距離情報を検出する回路がＴＯＦカメラ２１に内蔵されている。したがって、ＴＯＦカメラ２１は三次元画像を撮影できる。 As shown in FIG. 2, the TOF camera 21 includes a light source unit 21a and a light receiving unit 21b. The light source unit 21a can irradiate the object to be imaged with pulsed light. The light receiving unit 21b includes a two-dimensional image sensor formed of a CMOS or the like. In addition, for each pixel constituting the two-dimensional image detected by the light receiving unit 21b, distance information corresponding to the time (Time Of Flight) until the light from the light source unit 21a hits a photographing object such as a hand and returns to the light receiving unit 21b is obtained. A circuit for detection is built in the TOF camera 21. Therefore, the TOF camera 21 can capture a three-dimensional image.

ＴＯＦカメラ２１が撮影した三次元画像の情報は、画像認識装置１０の入力に印加される。図２に示すように、画像認識装置１０は画像認識処理部１１およびジェスチャー監視制御部１２を備えている。 Information on the three-dimensional image captured by the TOF camera 21 is applied to the input of the image recognition apparatus 10. As shown in FIG. 2, the image recognition device 10 includes an image recognition processing unit 11 and a gesture monitoring control unit 12.

画像認識処理部１１は、ＴＯＦカメラ２１から出力される画像情報に対する情報処理を高速で実行し、事前に登録した特定形状のパターンを認識したり、認識したパターンの三次元座標上の位置、寸法、色、動き、形状変化などを計測する機能を有している。 The image recognition processing unit 11 executes information processing on the image information output from the TOF camera 21 at high speed, recognizes a pattern of a specific shape registered in advance, and positions and dimensions of the recognized pattern on the three-dimensional coordinates. It has the function to measure color, movement, shape change and so on.

ジェスチャー監視制御部１２は、運転者の手が事前に定めた挙動検出空間の内側に存在するか否かを識別する。また、運転者の手が事前に定めた挙動検出空間の内側に存在する場合には、画像認識処理部１１の認識結果に基づき運転者の手や指の挙動を監視して、事前に登録したジェスチャーのパターンと一致するか否かを識別する。特定のジェスチャーと一致する挙動を検知した場合には、事前に定めた制御を実施する。 The gesture monitoring control unit 12 identifies whether or not the driver's hand exists inside the predetermined behavior detection space. In addition, when the driver's hand exists inside the predetermined behavior detection space, the driver's hand or finger behavior is monitored based on the recognition result of the image recognition processing unit 11 and registered in advance. Identify if it matches the gesture pattern. When a behavior matching a specific gesture is detected, predetermined control is performed.

上位ＥＣＵ（電子制御ユニット）２２は、ステアリングホイール３１の位置や姿勢を表す情報や、車両のイグニッションオンオフを示す情報などをジェスチャー監視制御部１２に与えることができる。 The host ECU (electronic control unit) 22 can provide the gesture monitoring control unit 12 with information indicating the position and orientation of the steering wheel 31, information indicating ignition on / off of the vehicle, and the like.

図２に示した車載システムにおいては、画像認識装置１０の出力にＨＵＤユニット２３、カーナビゲーション装置２４、およびカーオーディオ装置２６が接続されている。画像認識装置１０は、運転者のジェスチャーに基づいて、ＨＵＤユニット２３、カーナビゲーション装置２４、およびカーオーディオ装置２６のそれぞれを制御することができる。 In the in-vehicle system shown in FIG. 2, the HUD unit 23, the car navigation device 24, and the car audio device 26 are connected to the output of the image recognition device 10. The image recognition device 10 can control each of the HUD unit 23, the car navigation device 24, and the car audio device 26 based on a driver's gesture.

例えば、特定のジェスチャーによりＨＵＤユニット２３の動作を起動する時には、ＨＵＤユニット２３に含まれる図示しない透明なコンバイナが、図３に示したダッシュボード３３の下方から上昇してダッシュボード３３上に現れ、運転者が視認可能な状態になる。その状態で、ＨＵＤユニット２３から投射された表示光がコンバイナで反射され、運転者の目の位置で視認可能な虚像が結像される。また、特定のジェスチャーによりＨＵＤユニット２３の動作を終了する時には、前記コンバイナが下降してダッシュボード３３の下方に収納される。 For example, when the operation of the HUD unit 23 is activated by a specific gesture, a transparent combiner (not shown) included in the HUD unit 23 rises from below the dashboard 33 shown in FIG. 3 and appears on the dashboard 33. The driver can see the vehicle. In this state, the display light projected from the HUD unit 23 is reflected by the combiner, and a virtual image visible at the position of the driver's eyes is formed. When the operation of the HUD unit 23 is ended by a specific gesture, the combiner is lowered and stored below the dashboard 33.

また、カーナビゲーション装置２４を操作するための様々なボタンや、カーオーディオ装置２６を操作するための様々なボタンと同様の機能を、画像認識装置１０が認識可能な各種のジェスチャーに割り当てることが可能である。 In addition, various buttons for operating the car navigation device 24 and functions similar to various buttons for operating the car audio device 26 can be assigned to various gestures that can be recognized by the image recognition device 10. It is.

＜挙動検出空間の説明＞
運転席に着座した運転者およびその近傍を車両右側から視た状態における主要な構成要素の配置例（１）を図４に示す。また、図４の一部分を拡大した状態を図５に示す。 <Description of behavior detection space>
FIG. 4 shows an arrangement example (1) of main components in a state where the driver seated in the driver's seat and the vicinity thereof are viewed from the right side of the vehicle. Moreover, the state which expanded a part of FIG. 4 is shown in FIG.

通常の運転状態においては、図４に示すように、運転者３０が運転席シート３４上に着座した状態で、運転者３０が右手ＲＨおよび左手（ＬＨ）をステアリングホイール３１に沿わせた状態でステアリングホイール３１の回動角度を調整し、車両の進行方向の変更を行っている。 In a normal driving state, as shown in FIG. 4, with the driver 30 seated on the driver's seat 34, the driver 30 places the right hand RH and the left hand (LH) along the steering wheel 31. The turning angle of the steering wheel 31 is adjusted to change the traveling direction of the vehicle.

ＴＯＦカメラ２１は、図４の例では、ダッシュボード３３上に配置されており、ステアリングホイール３１および運転者３０の手の両方が含まれる撮影範囲２５Ａの内側を撮影できるように調整されている。この撮影範囲２５Ａの中には、図５に示す挙動検出空間ＳＰ１およびＳＰ２も含まれている。 In the example of FIG. 4, the TOF camera 21 is disposed on the dashboard 33 and is adjusted so that the inside of the imaging range 25 A including both the steering wheel 31 and the driver 30 can be imaged. The photographing range 25A includes behavior detection spaces SP1 and SP2 shown in FIG.

挙動検出空間ＳＰ１およびＳＰ２のそれぞれは、位置、形状、および大きさが事前に決定された直方体形状の三次元空間であり、画像認識装置１０にジェスチャーの検出が許可された空間を意味している。すなわち、運転者３０の手や指が挙動検出空間ＳＰ１およびＳＰ２のいずれか１つの内側に存在する場合に限り、画像認識装置１０は手や指を認識してその挙動を監視し、登録されたジェスチャーと一致するか否かを識別する。 Each of the behavior detection spaces SP1 and SP2 is a rectangular parallelepiped three-dimensional space whose position, shape, and size are determined in advance, and means a space in which the image recognition apparatus 10 is permitted to detect gestures. . That is, only when the driver's 30 hand or finger exists inside one of the behavior detection spaces SP1 and SP2, the image recognition device 10 recognizes the hand and finger, monitors the behavior, and is registered. Identify if it matches the gesture.

図５に示した例では、挙動検出空間ＳＰ１は、ステアリングホイール３１の頂部と隣接する上方の位置に配置してある。また、挙動検出空間ＳＰ２は、ステアリングホイール３１よりもダッシュボード３３に近い位置にステアリングホイール３１と隣接する状態で配置してある。なお、挙動検出空間の数や各挙動検出空間を配置する位置については必要に応じて変更できる。但し、運転者３０が意識的に行うジェスチャー以外の手の挙動を誤検出することがないように、各挙動検出空間は適切に定めておく必要がある。 In the example shown in FIG. 5, the behavior detection space SP 1 is arranged at an upper position adjacent to the top of the steering wheel 31. In addition, the behavior detection space SP 2 is arranged in a state adjacent to the steering wheel 31 at a position closer to the dashboard 33 than the steering wheel 31. The number of behavior detection spaces and the positions where the behavior detection spaces are arranged can be changed as necessary. However, each behavior detection space needs to be appropriately determined so that the behavior of the hand other than the gesture consciously performed by the driver 30 is not erroneously detected.

＜ジェスチャーの具体例＞
ステアリングホイール３１上で運転者３０がジェスチャーの操作を行う場合の手とステアリングホイールとの位置関係の具体例を図６（Ａ）および図６（Ｂ）にそれぞれ示す。 <Specific examples of gestures>
Specific examples of the positional relationship between the hand and the steering wheel when the driver 30 performs a gesture operation on the steering wheel 31 are shown in FIGS. 6 (A) and 6 (B), respectively.

例えば、ＨＵＤユニット２３の動作を起動するためのジェスチャーの操作を行う場合には、運転者３０は左手ＬＨおよび右手ＲＨを図６（Ａ）に示すようにステアリングホイール３１に触れた状態のまま、左手ＬＨを下から上に向かってなぞるように移動する。また、この時の左手ＬＨおよび右手ＲＨの位置は、例えば図５に示した挙動検出空間ＳＰ１およびＳＰ２のいずれかの領域内に位置するように合わせる。この操作をＴＯＦカメラ２１の撮影した画像に基づき画像認識装置１０が特定のジェスチャーとして認識し、画像認識装置１０はＨＵＤユニット２３に起動のための制御信号を送る。 For example, when performing a gesture operation for activating the operation of the HUD unit 23, the driver 30 keeps the left hand LH and the right hand RH touching the steering wheel 31 as shown in FIG. Move the left hand LH to trace from the bottom to the top. Further, the positions of the left hand LH and the right hand RH at this time are adjusted so as to be located in any one of the behavior detection spaces SP1 and SP2 shown in FIG. 5, for example. This operation is recognized as a specific gesture by the image recognition device 10 based on the image captured by the TOF camera 21, and the image recognition device 10 sends a control signal for activation to the HUD unit 23.

また、ＨＵＤユニット２３の動作を終了するためのジェスチャーの操作を行う場合には、運転者３０は左手ＬＨおよび右手ＲＨを図６（Ｂ）に示すようにステアリングホイール３１に触れた状態のまま、左手ＬＨを上から下に向かってなぞるように移動する。また、この時の左手ＬＨおよび右手ＲＨの位置は、例えば図５に示した挙動検出空間ＳＰ１およびＳＰ２のいずれかの領域内に位置するように合わせる。この操作をＴＯＦカメラ２１の撮影した画像に基づき画像認識装置１０が特定のジェスチャーとして認識し、画像認識装置１０はＨＵＤユニット２３に動作終了のための制御信号を送る。 Further, when performing a gesture operation to end the operation of the HUD unit 23, the driver 30 keeps the left hand LH and the right hand RH touching the steering wheel 31 as shown in FIG. Move to trace the left hand LH from top to bottom. Further, the positions of the left hand LH and the right hand RH at this time are adjusted so as to be located in any one of the behavior detection spaces SP1 and SP2 shown in FIG. 5, for example. This operation is recognized as a specific gesture by the image recognition device 10 based on the image captured by the TOF camera 21, and the image recognition device 10 sends a control signal for ending the operation to the HUD unit 23.

なお、通常の運転操作とジェスチャーとの区別を容易にするために、図６（Ａ）、図６（Ｂ）よりももっと複雑な操作を行うようにしてもよい。例えば、特定の指の曲げ伸ばし等により特別な手の形状を表現したり、なぞる操作を複数回繰り返すようなジェスチャーパターンを採用してもよい。 In order to easily distinguish between a normal driving operation and a gesture, a more complicated operation than that shown in FIGS. 6A and 6B may be performed. For example, a gesture pattern that expresses a special hand shape by bending or stretching a specific finger or repeating a tracing operation a plurality of times may be employed.

＜計測誤差の説明＞
図２に示した画像認識装置１０は、ＴＯＦカメラ２１の撮影により得られる三次元画像を認識するので、認識対象の手の位置が事前に定めた挙動検出空間ＳＰ１、ＳＰ２の範囲内に存在するか否かを識別できる。 <Explanation of measurement error>
Since the image recognition apparatus 10 shown in FIG. 2 recognizes a three-dimensional image obtained by photographing with the TOF camera 21, the position of the hand to be recognized exists within the range of the behavior detection spaces SP1 and SP2 determined in advance. Or not.

しかし、ＴＯＦカメラ２１から認識対象までの計測距離に比較的大きな誤差が発生する場合がある。実際には、高温の環境下で、光源部２１ａからの光の照射角度が大きく変動するため、計測距離に誤差が発生する。車両においては、車室内の環境温度が大きく変動する可能性があるため、ＴＯＦカメラ２１の計測誤差は無視できない程度に大きくなる。 However, a relatively large error may occur in the measurement distance from the TOF camera 21 to the recognition target. Actually, since the irradiation angle of light from the light source unit 21a varies greatly in a high temperature environment, an error occurs in the measurement distance. In a vehicle, the environmental temperature in the passenger compartment may fluctuate greatly, so the measurement error of the TOF camera 21 becomes so large that it cannot be ignored.

ＴＯＦカメラ２１の計測した距離に大きな誤差が発生すると、三次元画像に基づいて認識される認識対象の手の位置が実際の位置に対して大きくずれてしまう。そして、実際の手の位置が挙動検出空間ＳＰ１、ＳＰ２の範囲外にある時であっても、画像認識装置１０が手の挙動に反応してジェスチャーを検出する可能性がある。つまり、運転者がジェスチャーを行う意図がない状況で画像認識装置１０がジェスチャーを誤検出してしまうので、ＨＵＤユニット２３等の車載機器が運転者の想定外の動作を行うことになる。このような誤動作を防止するために、後述するように画像認識装置１０は三次元画像に基づいて認識される認識対象の位置を自動的に補正する機能を搭載している。 When a large error occurs in the distance measured by the TOF camera 21, the position of the hand to be recognized that is recognized based on the three-dimensional image is greatly deviated from the actual position. Even when the actual hand position is outside the range of the behavior detection spaces SP1 and SP2, the image recognition device 10 may detect a gesture in response to the hand behavior. That is, since the image recognition apparatus 10 erroneously detects a gesture in a situation where the driver does not intend to perform a gesture, an in-vehicle device such as the HUD unit 23 performs an operation that is not expected by the driver. In order to prevent such a malfunction, the image recognition apparatus 10 has a function of automatically correcting the position of the recognition target recognized based on the three-dimensional image, as will be described later.

＜画像認識装置１０の動作＞
＜第１実施形態＞
＜処理手順の概要＞
本発明の実施形態における画像認識装置１０の主要な動作例（１）を図１に示す。すなわち、図２に示した画像認識装置１０のジェスチャー監視制御部１２に内蔵されるコンピュータ（図示せず）または画像認識処理部１１が、図１に示した手順に従って運転者のジェスチャーに対応するための制御を実施する。 <Operation of Image Recognition Device 10>
<First Embodiment>
<Outline of processing procedure>
FIG. 1 shows a main operation example (1) of the image recognition apparatus 10 according to the embodiment of the present invention. That is, the computer (not shown) or the image recognition processing unit 11 built in the gesture monitoring control unit 12 of the image recognition apparatus 10 shown in FIG. 2 responds to the driver's gesture according to the procedure shown in FIG. Implement the control.

図１に示した手順には、ＴＯＦカメラ２１の出力する三次元画像に基づいて認識される認識対象の手の位置を補正するための処理が含まれている。具体的には、ステアリングホイール３１の位置を基準として、認識された手の位置を補正する。 The procedure shown in FIG. 1 includes a process for correcting the position of the hand to be recognized that is recognized based on the three-dimensional image output from the TOF camera 21. Specifically, the recognized hand position is corrected using the position of the steering wheel 31 as a reference.

ステアリングホイール３１は、基本的には車体に固定されているので、ＴＯＦカメラ２１からステアリングホイール３１上の特定位置までの距離は既知として扱うことができる。そこで、この距離を事前に実測して距離参照値Ｌｒｅｆとして画像認識装置１０上の定数テーブルＴＢ１に登録しておく。 Since the steering wheel 31 is basically fixed to the vehicle body, the distance from the TOF camera 21 to a specific position on the steering wheel 31 can be treated as known. Therefore, this distance is measured in advance and registered in the constant table TB1 on the image recognition apparatus 10 as a distance reference value Lref.

但し、実際の車両においてステアリングホイール３１はティルト角度や操舵軸の長さを変更するための姿勢調整機能を搭載している場合が多く、ＴＯＦカメラ２１からステアリングホイール３１上の特定位置までの距離も可変である。そこで、ステアリングホイール３１の複数の姿勢のそれぞれの状態で実測した複数の距離参照値Ｌｒｅｆを定数テーブルＴＢ１に登録しておき、ステアリングホイール３１の実際の姿勢に応じて最適な距離参照値Ｌｒｅｆを選択的に使用する。 However, in an actual vehicle, the steering wheel 31 often has a posture adjustment function for changing the tilt angle and the length of the steering shaft, and the distance from the TOF camera 21 to a specific position on the steering wheel 31 is also large. It is variable. Therefore, a plurality of distance reference values Lref actually measured in each of a plurality of postures of the steering wheel 31 are registered in the constant table TB1, and an optimum distance reference value Lref is selected according to the actual posture of the steering wheel 31. Use it.

ＴＯＦカメラ２１が撮影した三次元画像に基づいて認識されるステアリングホイール３１上の特定位置の三次元座標に基づいて、ＴＯＦカメラ２１から前記特定位置までの距離計測値Ｌ１を算出できる。ここで、計測誤差が発生していると、距離参照値Ｌｒｅｆと距離計測値Ｌ１との間に差異が現れる。そこで、これらの比率Ｒ１を算出し、これを距離の誤差を補正するための補正係数として使用する。
Ｒ１＝Ｌ１／Ｌｒｅｆ・・・（１） A distance measurement value L1 from the TOF camera 21 to the specific position can be calculated based on the three-dimensional coordinates of the specific position on the steering wheel 31 recognized based on the three-dimensional image captured by the TOF camera 21. Here, if a measurement error occurs, a difference appears between the distance reference value Lref and the distance measurement value L1. Therefore, the ratio R1 is calculated and used as a correction coefficient for correcting a distance error.
R1 = L1 / Lref (1)

つまり、ＴＯＦカメラ２１の位置からこれが撮影した三次元画像に基づいて認識される監視対象の手の位置までの距離計測値Ｌ２は、ＴＯＦカメラ２１の特性により生じる距離の計測誤差を含んでいるので、この計測誤差を減らすために前記比率Ｒ１を用いて距離計測値Ｌ２を補正する。 That is, the distance measurement value L2 from the position of the TOF camera 21 to the position of the monitored hand recognized based on the three-dimensional image captured by the TOF camera 21 includes a distance measurement error caused by the characteristics of the TOF camera 21. In order to reduce this measurement error, the distance measurement value L2 is corrected using the ratio R1.

補正後の距離計測値Ｌ２１を用いて、監視対象の手の位置と挙動検出空間ＳＰ１、ＳＰ２の各範囲の閾値とを比較することにより、手の位置が各挙動検出空間の範囲内か否かを正しく識別できる。 Whether the position of the hand is within the range of each behavior detection space by comparing the position of the hand to be monitored with the threshold value of each range of the behavior detection spaces SP1, SP2 using the corrected distance measurement value L21. Can be correctly identified.

＜処理手順の詳細＞
車両のイグニッションがオンになると、ジェスチャー監視制御部１２が実行する処理は図１のステップＳ１１からＳ１２に進む。ステップＳ１２では、ジェスチャー監視制御部１２は上位ＥＣＵ２２から取得可能な情報に基づき、ステアリングホイール３１のティルト角度（高さの違いに相当）などの姿勢情報を取得する。 <Details of processing procedure>
When the ignition of the vehicle is turned on, the process executed by the gesture monitoring control unit 12 proceeds from step S11 to S12 in FIG. In step S 12, the gesture monitoring control unit 12 acquires posture information such as a tilt angle (corresponding to a difference in height) of the steering wheel 31 based on information that can be acquired from the host ECU 22.

次のステップＳ１３では、ジェスチャー監視制御部１２は、Ｓ１２で取得した姿勢の情報をパラメータとして、これに対応付けられた１つの距離参照値Ｌｒｅｆを定数テーブルＴＢ１から取得する。つまり、ＴＯＦカメラ２１の位置から固定されたステアリングホイール３１上の特定位置までの実際の距離を表す値を距離参照値Ｌｒｅｆとして取得する。 In next step S13, the gesture monitoring control unit 12 uses the posture information acquired in S12 as a parameter, and acquires one distance reference value Lref associated therewith from the constant table TB1. That is, a value representing an actual distance from the position of the TOF camera 21 to a specific position on the fixed steering wheel 31 is acquired as the distance reference value Lref.

次のステップＳ１４で、ジェスチャー監視制御部１２はＴＯＦカメラ２１が撮影を開始するように制御する。この後で、ＴＯＦカメラ２１の撮影により得られる三次元画像のデータが画像のフレーム毎に順次に画像認識処理部１１およびジェスチャー監視制御部１２に入力される。 In the next step S14, the gesture monitoring control unit 12 controls the TOF camera 21 to start photographing. Thereafter, data of a three-dimensional image obtained by photographing with the TOF camera 21 is sequentially input to the image recognition processing unit 11 and the gesture monitoring control unit 12 for each frame of the image.

ステップＳ１５では、画像認識処理部１１が入力される三次元画像のデータを処理して所定の画像認識を実行する。すなわち、入力された三次元画像から抽出される様々な特徴量と、事前に登録してあるステアリングホイール３１の形状、手の形状、指の形状などの参照データとを比較することにより、ステアリングホイール３１、手、指などのそれぞれの認識対象物を認識する。 In step S15, the image recognition processing unit 11 processes the input three-dimensional image data and executes predetermined image recognition. That is, by comparing various feature amounts extracted from the inputted three-dimensional image with reference data such as the shape of the steering wheel 31 registered in advance, the shape of the hand, and the shape of the finger, the steering wheel 31, Recognize each recognition object such as a hand or a finger.

ステップＳ１６では、ジェスチャー監視制御部１２は、Ｓ１５における画像認識処理部１１の認識結果に基づき、基準位置として事前に定めたステアリングホイール３１上の特定位置の位置座標を特定し、ＴＯＦカメラ２１から前記特定位置までの距離計測値Ｌ１を算出する。なお、前記「特定位置」については、例えば突起などの特別な形状、着色やマークなどの特徴的な目印を利用することにより容易に特定できる。 In step S 16, the gesture monitoring control unit 12 specifies the position coordinates of the specific position on the steering wheel 31 that is determined in advance as the reference position based on the recognition result of the image recognition processing unit 11 in S 15, and A distance measurement value L1 to the specific position is calculated. The “specific position” can be easily specified by using, for example, a special shape such as a protrusion, or a characteristic mark such as coloring or a mark.

ステップＳ１７では、ジェスチャー監視制御部１２は、Ｓ１３で取得した距離参照値ＬｒｅｆとＳ１６で算出した距離計測値Ｌ１とに基づき、前記第（１）式の比率Ｒ１を算出する。 In step S17, the gesture monitoring control unit 12 calculates the ratio R1 of the expression (1) based on the distance reference value Lref acquired in S13 and the distance measurement value L1 calculated in S16.

例えば、ＴＯＦカメラ２１からステアリングホイール３１までの実際の距離が３０ｃｍである場合には、距離参照値Ｌｒｅｆが３０ｃｍになる。また、画像認識により得られた距離計測値Ｌ１が５０ｃｍの場合には、距離参照値Ｌｒｅｆと異なるので誤差が含まれていることになる。そこで、比率Ｒ１（５０／３０）を補正値として利用すれば、距離計測値Ｌ１と距離参照値Ｌｒｅｆの誤差がなくなるように補正することができる。 For example, when the actual distance from the TOF camera 21 to the steering wheel 31 is 30 cm, the distance reference value Lref is 30 cm. Further, when the distance measurement value L1 obtained by the image recognition is 50 cm, an error is included since it is different from the distance reference value Lref. Therefore, if the ratio R1 (50/30) is used as a correction value, it is possible to correct the error between the distance measurement value L1 and the distance reference value Lref.

ステップＳ１８では、ジェスチャー監視制御部１２は、画像認識処理部１１の認識結果に基づき、手の位置座標を取得し、ＴＯＦカメラ２１の位置から手の位置までの奥行き方向の距離を表す距離計測値Ｌ２を算出する。 In step S 18, the gesture monitoring control unit 12 acquires the hand position coordinates based on the recognition result of the image recognition processing unit 11, and the distance measurement value representing the distance in the depth direction from the position of the TOF camera 21 to the hand position. L2 is calculated.

ステップＳ１９では、ジェスチャー監視制御部１２は、Ｓ１８で取得した手の位置までの距離計測値Ｌ２をＳ１７で得た比率Ｒ１を用いて補正し、補正後の距離計測値Ｌ２１を取得する。
Ｌ２１＝Ｌ２／Ｒ１・・・（２） In step S19, the gesture monitoring control unit 12 corrects the distance measurement value L2 to the hand position acquired in S18 using the ratio R1 obtained in S17, and acquires the corrected distance measurement value L21.
L21 = L2 / R1 (2)

ステップＳ２０では、ジェスチャー監視制御部１２は、補正後の距離計測値Ｌ２１を含む運転者の手の位置の三次元座標を、前記挙動検出空間ＳＰ１、ＳＰ２の各々の範囲を特定する閾値と比較して、手が各々の挙動検出空間の範囲内か否かを識別する。 In step S20, the gesture monitoring control unit 12 compares the three-dimensional coordinates of the position of the driver's hand including the corrected distance measurement value L21 with a threshold value that specifies the respective ranges of the behavior detection spaces SP1 and SP2. Thus, it is identified whether or not the hand is within the range of each behavior detection space.

ここで、手の位置が挙動検出空間の範囲外であれば、Ｓ２０からＳ１５に戻るので、手の挙動は検出しない。一方、手の位置が挙動検出空間の範囲内であれば、Ｓ２０からＳ２１に進む。 Here, if the position of the hand is outside the range of the behavior detection space, the process returns from S20 to S15, and thus the behavior of the hand is not detected. On the other hand, if the position of the hand is within the range of the behavior detection space, the process proceeds from S20 to S21.

ステップＳ２１では、ジェスチャー監視制御部１２は、画像認識処理部１１の画像認識結果に基づき、運転者の手や指の挙動を監視する。そして、検出した手や指の挙動パターンを事前に登録してあるジェスチャーの基準パターンと対比して、これらが一致するか否かをＳ２２で識別する。 In step S 21, the gesture monitoring control unit 12 monitors the behavior of the driver's hand and fingers based on the image recognition result of the image recognition processing unit 11. Then, the detected hand / finger behavior pattern is compared with a pre-registered gesture reference pattern, and whether or not they match is identified in S22.

Ｓ２１における監視の結果、ジェスチャー監視制御部１２が登録済みのジェスチャーを検出した場合には、Ｓ２２からＳ２３に進む。そして、該当するジェスチャーに対応付けられた制御を実行するように、ジェスチャー監視制御部１２がＳ２３で車載機器に対して制御信号を出力する。 If the gesture monitoring control unit 12 detects a registered gesture as a result of the monitoring in S21, the process proceeds from S22 to S23. Then, the gesture monitoring control unit 12 outputs a control signal to the in-vehicle device in S23 so as to execute the control associated with the corresponding gesture.

例えば、図６（Ａ）に示したジェスチャーを検出した場合は、ジェスチャー監視制御部１２がＨＵＤユニット２３に対して動作を起動するための信号を出力する。また、図６（Ｂ）に示したジェスチャーを検出した場合は、ジェスチャー監視制御部１２がＨＵＤユニット２３に対して動作を終了するための信号を出力する。 For example, when the gesture shown in FIG. 6A is detected, the gesture monitoring control unit 12 outputs a signal for starting the operation to the HUD unit 23. When the gesture shown in FIG. 6B is detected, the gesture monitoring control unit 12 outputs a signal for ending the operation to the HUD unit 23.

＜第２実施形態＞
＜処理手順の概要＞
本発明の実施形態における画像認識装置１０の主要な動作例（２）を図７に示す。図７に示した動作は、図１に示した動作の変形例である。図７において、図１と同一のステップには同一の番号を付けて示してある。 Second Embodiment
<Outline of processing procedure>
FIG. 7 shows a main operation example (2) of the image recognition apparatus 10 according to the embodiment of the present invention. The operation shown in FIG. 7 is a modification of the operation shown in FIG. In FIG. 7, the same steps as those in FIG. 1 are given the same numbers.

図７に示した手順には、ＴＯＦカメラ２１の出力する三次元画像に基づいて認識される認識対象の手の位置を補正するための処理が含まれている。具体的には、ステアリングホイール３１の寸法（大きさ）を基準として、補正用の比率Ｒ２を算出し、認識された手の位置を補正する。 The procedure shown in FIG. 7 includes a process for correcting the position of the hand to be recognized that is recognized based on the three-dimensional image output from the TOF camera 21. Specifically, the correction ratio R2 is calculated based on the dimension (size) of the steering wheel 31, and the recognized hand position is corrected.

ステアリングホイール３１は、基本的には車体に固定されているので、ＴＯＦカメラ２１からステアリングホイール３１上の特定位置までの距離は既知として扱うことができる。また、ステアリングホイール３１の全体の形状やその一部分の形状も既知であり、ステアリングホイール３１の各部の寸法も既知である。 Since the steering wheel 31 is basically fixed to the vehicle body, the distance from the TOF camera 21 to a specific position on the steering wheel 31 can be treated as known. Further, the overall shape of the steering wheel 31 and the shape of a part thereof are also known, and the dimensions of each part of the steering wheel 31 are also known.

そこで、ステアリングホイール３１の全体やその一部分またはその近傍の所定部位の形状のデータを画像認識装置１０上に事前に登録しておく。また、ＴＯＦカメラ２１から視たステアリングホイール３１の特定部位の寸法を、事前に実測して寸法参照値Ｄｒｅｆとして画像認識装置１０上の定数テーブルＴＢ１に登録しておく。図７に示した例では、寸法参照値Ｄｒｅｆがステアリングホイール３１の内径である場合を想定しているが、外径寸法や他の部位の寸法に置き換えることもできる。 Therefore, data on the shape of a predetermined portion of the entire steering wheel 31 or a part thereof or in the vicinity thereof is registered in advance on the image recognition apparatus 10. Further, the dimension of the specific part of the steering wheel 31 viewed from the TOF camera 21 is measured in advance and registered in the constant table TB1 on the image recognition apparatus 10 as a dimension reference value Dref. In the example shown in FIG. 7, it is assumed that the dimension reference value Dref is the inner diameter of the steering wheel 31, but it can be replaced with an outer diameter dimension or a dimension of another part.

但し、実際の車両においてステアリングホイール３１はティルト角度や操舵軸の長さを変更するための姿勢調整機能を搭載している場合が多く、ＴＯＦカメラ２１からステアリングホイール３１上の特定位置までの距離も可変である。そこで、ステアリングホイール３１の複数の姿勢のそれぞれの状態で実測した複数の寸法参照値Ｄｒｅｆを定数テーブルＴＢ１に登録しておき、ステアリングホイール３１の実際の姿勢に応じて最適な寸法参照値Ｄｒｅｆを選択的に使用する。 However, in an actual vehicle, the steering wheel 31 often has a posture adjustment function for changing the tilt angle and the length of the steering shaft, and the distance from the TOF camera 21 to a specific position on the steering wheel 31 is also large. It is variable. Therefore, a plurality of dimension reference values Dref actually measured in a plurality of states of the steering wheel 31 are registered in the constant table TB1, and an optimum dimension reference value Dref is selected according to the actual attitude of the steering wheel 31. Use it.

一方、ＴＯＦカメラ２１が撮影した三次元画像に基づいて認識されるステアリングホイール３１上の特定部位の座標間距離に基づいて、前記寸法参照値Ｄｒｅｆに対応する寸法計測値Ｄ１を算出できる。 On the other hand, the dimension measurement value D1 corresponding to the dimension reference value Dref can be calculated based on the inter-coordinate distance of the specific part on the steering wheel 31 recognized based on the three-dimensional image captured by the TOF camera 21.

ここで、計測誤差が発生していると、寸法参照値Ｄｒｅｆと寸法計測値Ｄ１との間に差異が現れる。そこで、これらの比率Ｒ２を算出し、これを距離の誤差を補正するための補正係数として使用する。
Ｒ２＝Ｄ１／Ｄｒｅｆ・・・（３） Here, if a measurement error occurs, a difference appears between the dimension reference value Dref and the dimension measurement value D1. Therefore, the ratio R2 is calculated and used as a correction coefficient for correcting a distance error.
R2 = D1 / Dref (3)

例えば、ＴＯＦカメラ２１の位置からこれが撮影した三次元画像に基づいて認識される監視対象の手の位置までの距離計測値Ｌ２は、ＴＯＦカメラ２１の特性により生じる距離の計測誤差を含んでいるが、この計測誤差を減らすために前記比率Ｒ２を用いて距離計測値Ｌ２を補正することができる。 For example, the distance measurement value L2 from the position of the TOF camera 21 to the position of the monitored hand recognized based on the three-dimensional image captured by the TOF camera 21 includes a distance measurement error caused by the characteristics of the TOF camera 21. In order to reduce this measurement error, the distance measurement value L2 can be corrected using the ratio R2.

＜処理手順の詳細＞
車両のイグニッションがオンになると、ジェスチャー監視制御部１２が実行する処理は図７のステップＳ１１からＳ１２に進む。ステップＳ１２では、ジェスチャー監視制御部１２は上位ＥＣＵ２２から取得可能な情報に基づき、ステアリングホイール３１のティルト角度（高さの違いに相当）などの姿勢情報を取得する。 <Details of processing procedure>
When the ignition of the vehicle is turned on, the process executed by the gesture monitoring control unit 12 proceeds from step S11 to S12 in FIG. In step S 12, the gesture monitoring control unit 12 acquires posture information such as a tilt angle (corresponding to a difference in height) of the steering wheel 31 based on information that can be acquired from the host ECU 22.

次のステップＳ１３Ｂでは、ジェスチャー監視制御部１２は、Ｓ１２で取得した姿勢の情報をパラメータとして、これに対応付けられた１つの寸法参照値Ｄｒｅｆを定数テーブルＴＢ１から取得する。つまり、ＴＯＦカメラ２１から視たステアリングホイール３１上の特定部位の寸法の基準値を、寸法参照値Ｄｒｅｆとして取得する。 In the next step S13B, the gesture monitoring control unit 12 uses the posture information acquired in S12 as a parameter, and acquires one dimension reference value Dref associated therewith from the constant table TB1. That is, the standard value of the dimension of the specific part on the steering wheel 31 viewed from the TOF camera 21 is acquired as the dimension reference value Dref.

ステップＳ１５では、画像認識処理部１１が入力される三次元画像のデータを処理して所定の画像認識を実行する。すなわち、入力された三次元画像から抽出される様々な特徴量と、事前に登録してあるステアリングホイール３１の形状、手の形状、指の形状などの参照データとを比較することにより、ステアリングホイール３１、手、指などのそれぞれの認識対象物を認識する。ここで、距離の違いや測定誤差等に起因して各パターンの大きさが変化する可能性があるが、大きさが異なるパターンであっても形状が相似形であれば同一の物体として認識する。 In step S15, the image recognition processing unit 11 processes the input three-dimensional image data and executes predetermined image recognition. That is, by comparing various feature amounts extracted from the inputted three-dimensional image with reference data such as the shape of the steering wheel 31 registered in advance, the shape of the hand, and the shape of the finger, the steering wheel 31, Recognize each recognition object such as a hand or a finger. Here, the size of each pattern may change due to a difference in distance, measurement error, etc., but even if the pattern is different in size, it is recognized as the same object if the shape is similar. .

ステップＳ１６Ｂでは、ジェスチャー監視制御部１２は、Ｓ１５における画像認識処理部１１の認識結果に基づき、ステアリングホイール３１の全体またはその一部分の特定部位を認識し、その寸法を寸法計測値Ｄ１として算出する。なお、前記「特定部位」については、事前に登録した特別な形状と相似形である部位を画像から抽出することにより特定できる。 In step S16B, based on the recognition result of the image recognition processing unit 11 in S15, the gesture monitoring control unit 12 recognizes the entire specific part of the steering wheel 31 or a part thereof and calculates the dimension as the dimension measurement value D1. The “specific part” can be specified by extracting a part that is similar to a special shape registered in advance from the image.

ステップＳ１７Ｂでは、ジェスチャー監視制御部１２は、Ｓ１３Ｂで取得した寸法参照値ＤｒｅｆとＳ１６Ｂで算出した寸法計測値Ｄ１とに基づき、前記第（３）式の比率Ｒ２を算出する。 In step S17B, the gesture monitoring control unit 12 calculates the ratio R2 of the expression (3) based on the dimension reference value Dref acquired in S13B and the dimension measurement value D1 calculated in S16B.

ステップＳ１９Ｂでは、ジェスチャー監視制御部１２は、Ｓ１８で取得した手の位置までの距離計測値Ｌ２をＳ１７Ｂで得た比率Ｒ２を用いて補正し、補正後の距離計測値Ｌ２１を取得する。
Ｌ２１＝Ｌ２／Ｒ２・・・（４） In step S19B, the gesture monitoring controller 12 corrects the distance measurement value L2 to the hand position acquired in S18 using the ratio R2 obtained in S17B, and acquires the corrected distance measurement value L21.
L21 = L2 / R2 (4)

図７において、ステップＳ２０以降の処理については図１と同一であるのでこれらの説明は省略する。 In FIG. 7, the processes after step S20 are the same as those in FIG.

＜変形例の説明＞
運転席に着座した運転者およびその近傍を右側から視た状態における主要な構成要素の配置例（２）を図８に示す。また、図８の一部分を拡大した状態を図９に示す。 <Description of modification>
FIG. 8 shows an arrangement example (2) of main components in a state where the driver seated in the driver's seat and the vicinity thereof are viewed from the right side. Moreover, the state which expanded a part of FIG. 8 is shown in FIG.

前述の第１実施形態および第２実施形態では、距離を補正するための基準の物体として位置が固定されたステアリングホイール３１を利用しているがそれ以外の物体を基準にして補正を行うこともできる。 In the first embodiment and the second embodiment described above, the steering wheel 31 whose position is fixed is used as a reference object for correcting the distance. However, correction may be performed using other objects as a reference. it can.

例えば、図８および図９に示した例では、撮影方向を下方に向けたＴＯＦカメラ２１が車室内の上部に固定してあり、手（ＬＨ、ＲＨ）と操作レバー３６とが同時に撮影できるように撮影範囲２５Ｂを事前に調整してある。 For example, in the example shown in FIGS. 8 and 9, the TOF camera 21 with the shooting direction facing downward is fixed to the upper part of the passenger compartment so that the hand (LH, RH) and the operation lever 36 can be shot simultaneously. The shooting range 25B is adjusted in advance.

ここで、操作レバー３６の位置は変化しないので、ＴＯＦカメラ２１から操作レバー３６までの距離を前述の距離参照値Ｌｒｅｆと同様の定数として定数テーブルＴＢ１に登録しておき、比率Ｒ１を算出するための基準値として利用できる。 Here, since the position of the operation lever 36 does not change, the distance from the TOF camera 21 to the operation lever 36 is registered in the constant table TB1 as a constant similar to the above-described distance reference value Lref, and the ratio R1 is calculated. Can be used as a reference value.

また、図９に示した例では、操作レバー３６の上方に隣接する位置に挙動検出空間ＳＰ３を割り当てる場合を想定している。したがって、例えば運転者３０が手の一部分を操作レバー３６に近づけるような特別な挙動を行った場合に、これを登録されたジェスチャーとして画像認識装置１０が認識し、ＨＵＤユニット２３などを制御することができる。 In the example illustrated in FIG. 9, it is assumed that the behavior detection space SP 3 is assigned to a position adjacent to the upper side of the operation lever 36. Therefore, for example, when the driver 30 performs a special behavior in which a part of the hand is brought close to the operation lever 36, the image recognition apparatus 10 recognizes this as a registered gesture and controls the HUD unit 23 and the like. Can do.

＜上記以外の変形の可能性＞ <Possibility of deformation other than the above>

前述の第１実施形態の動作および第２実施形態においては、補正後の手の位置が挙動検出空間（ＳＰ１〜ＳＰ３）の内側か否かを識別しているが、ジェスチャーの誤検出を防止する目的だけであれば、認識した手の位置を補正する代わりに、挙動検出空間を決定するパラメータ（空間の大きさや座標を計算する際に用いる係数）を修正してもよい。 In the operation of the first embodiment and the second embodiment described above, it is identified whether or not the corrected hand position is inside the behavior detection space (SP1 to SP3). For the purpose only, instead of correcting the position of the recognized hand, a parameter for determining the behavior detection space (coefficient used when calculating the size and coordinates of the space) may be corrected.

＜画像認識装置１０の利点＞
上述の画像認識装置１０においては、車体に固定された位置に存在するステアリングホイール３１あるいは操作レバー３６のような挙動検出対象以外の撮影対象を利用して補正用の比率Ｒ１、Ｒ２を取得し、ＴＯＦカメラ２１の撮影した三次元画像に基づいて認識した撮影対象までの距離（Ｌ２）などを比率Ｒ１、Ｒ２を用いて補正している。したがって、ＴＯＦカメラ２１の計測する距離に大きな誤差が発生する場合であっても、位置検出精度が高くなり、挙動検出対象の手が挙動検出空間の外側に存在する時に、運転者の意図しない手の挙動をジェスチャーとして誤認識するのを防止できる。 <Advantages of Image Recognition Device 10>
In the image recognition device 10 described above, the correction ratios R1 and R2 are acquired using a shooting target other than the behavior detection target such as the steering wheel 31 or the operation lever 36 existing at a position fixed to the vehicle body, The distance (L2) to the photographing object recognized based on the three-dimensional image photographed by the TOF camera 21 is corrected using the ratios R1 and R2. Therefore, even when a large error occurs in the distance measured by the TOF camera 21, the position detection accuracy becomes high, and when the behavior detection target hand exists outside the behavior detection space, the driver's unintended hand Can be prevented from being mistakenly recognized as a gesture.

ここで、上述した本発明に係る画像認識装置１０の実施形態の特徴をそれぞれ以下［１］〜［３］に簡潔に纏めて列記する。
［１］撮影対象の３次元認識が可能な距離画像センサ（ＴＯＦカメラ２１）から入力される信号に基づいて人間の挙動を認識する画像認識装置（１０）であって、
前記距離画像センサから入力される信号に基づき認識される事前に定めた特定の撮影対象（ステアリングホイール３１や操作レバー３６）までの第１の計測距離（距離計測値Ｌ１）と、前記距離画像センサから前記特定の撮影対象までの距離を事前に実測して得られた参照距離（距離参照値Ｌｒｅｆ）との比率（Ｒ１）を算出し、
人間の挙動を認識する空間として定められた挙動検出空間（ＳＰ１、ＳＰ２、ＳＰ３）を特定するパラメータまたは前記距離画像センサから入力される信号に基づき認識される挙動監視対象の任意の点までの第２の計測距離（距離計測値Ｌ２）を、前記比率に基づく補正量により補正する（Ｓ１９）、
画像認識装置。 Here, the features of the above-described embodiment of the image recognition device 10 according to the present invention will be briefly summarized and listed in the following [1] to [3], respectively.
[1] An image recognition device (10) for recognizing a human behavior based on a signal input from a distance image sensor (TOF camera 21) capable of three-dimensional recognition of an imaging target,
A first measurement distance (distance measurement value L1) to a predetermined specific photographing target (steering wheel 31 or operation lever 36) recognized based on a signal input from the distance image sensor, and the distance image sensor Calculating a ratio (R1) to a reference distance (distance reference value Lref) obtained by actually measuring a distance from the specific imaging target in advance,
A parameter for specifying a behavior detection space (SP1, SP2, SP3) defined as a space for recognizing a human behavior or a first point up to an arbitrary point of a behavior monitoring target recognized based on a signal input from the distance image sensor. 2 (distance measurement value L2) is corrected by a correction amount based on the ratio (S19),
Image recognition device.

［２］前記比率（Ｒ１）は、前記特定の撮影対象における所定の箇所までの計測距離（距離計測値Ｌ１）と、前記距離画像センサから前記特定の撮影対象における所定の箇所までの距離を事前に実測して得られた参照距離（距離参照値Ｌｒｅｆ）との比率である（Ｓ１７）、
上記［１］に記載の画像認識装置。 [2] The ratio (R1) is calculated in advance by measuring the distance to the predetermined location in the specific imaging target (distance measurement value L1) and the distance from the distance image sensor to the predetermined location in the specific imaging target. And a reference distance (distance reference value Lref) obtained by actual measurement (S17),
The image recognition apparatus according to [1] above.

［３］前記比率（Ｒ２）は、認識される前記特定の撮影対象の少なくとも一部の形状が事前に定めた参照形状とほぼ一致する場合に、前記特定の撮影対象における当該一部の寸法を事前に実測して得られた参照寸法（寸法参照値Ｄｒｅｆ）と、前記距離画像センサが認識した該当部位の計測寸法（寸法計測値Ｄ１）との比率に基づき算出される（Ｓ１７Ｂ）、
上記［１］に記載の画像認識装置。 [3] The ratio (R2) is a ratio of the part of the specific photographing target when the shape of at least a part of the specific photographing target that is recognized substantially matches a predetermined reference shape. It is calculated based on the ratio between the reference dimension (dimension reference value Dref) obtained by actual measurement in advance and the measurement dimension (dimension measurement value D1) of the corresponding part recognized by the distance image sensor (S17B).
The image recognition apparatus according to [1] above.

１０画像認識装置
１１画像認識処理部
１２ジェスチャー監視制御部
２１ＴＯＦカメラ
２１ａ光源部
２１ｂ受光部
２２上位ＥＣＵ
２３ＨＵＤユニット
２４カーナビゲーション装置
２５Ａ，２５Ｂ撮影範囲
２６カーオーディオ装置
３０運転者
３１ステアリングホイール
３２ディスプレイユニット
３３ダッシュボード
３４運転席シート
３５助手席シート
３６操作レバー
ＬＨ左手
ＲＨ右手
ＴＢ１定数テーブル
Ｌｒｅｆ距離参照値
Ｌ１，Ｌ２距離計測値
Ｄｒｅｆ寸法参照値
Ｄ１寸法計測値
Ｒ１，Ｒ２比率
ＳＰ１，ＳＰ２，ＳＰ３挙動検出空間 DESCRIPTION OF SYMBOLS 10 Image recognition apparatus 11 Image recognition process part 12 Gesture monitoring control part 21 TOF camera 21a Light source part 21b Light-receiving part 22 Host ECU
23 HUD unit 24 Car navigation device 25A, 25B Imaging range 26 Car audio device 30 Driver 31 Steering wheel 32 Display unit 33 Dashboard 34 Driver's seat 35 Passenger seat 36 Operation lever LH Left hand RH Right hand TB1 Constant table Lref Distance reference value L1, L2 Distance measurement value Dref Dimension reference value D1 Dimension measurement value R1, R2 ratio SP1, SP2, SP3 Behavior detection space

Claims

An image recognition apparatus for recognizing a human behavior based on a signal input from a distance image sensor capable of three-dimensional recognition of an imaging target,
A first measurement distance to a predetermined specific photographing target recognized based on a signal input from the distance image sensor and a distance from the distance image sensor to the specific photographing target are measured in advance. Calculate the ratio with the obtained reference distance,
A parameter for specifying a behavior detection space defined as a space for recognizing a human behavior or a second measurement distance to an arbitrary point of a behavior monitoring target recognized based on a signal input from the distance image sensor, Correct by the correction amount based on the ratio,
Image recognition device.

The ratio is a ratio between a measured distance to a predetermined location in the specific imaging target and a reference distance obtained by actually measuring a distance from the distance image sensor to the predetermined location in the specific imaging target in advance. Is,
The image recognition apparatus according to claim 1.

The ratio is obtained by actually measuring a part of the specific photographing target in advance when at least a part of the recognized photographing target substantially coincides with a predetermined reference shape. Calculated based on the ratio of the measured reference dimension and the measurement dimension of the corresponding part recognized by the distance image sensor,
The image recognition apparatus according to claim 1.