JP7620844B2

JP7620844B2 - Operation recognition device

Info

Publication number: JP7620844B2
Application number: JP2021015756A
Authority: JP
Inventors: 瑛原
Original assignee: Nippon Seiki Co Ltd
Current assignee: Nippon Seiki Co Ltd
Priority date: 2021-02-03
Filing date: 2021-02-03
Publication date: 2025-01-24
Anticipated expiration: 2041-02-03
Also published as: JP2022118923A; JP2025039758A

Description

本発明は、撮像データに基づいて、手の動作による操作を認識する操作認識装置に関するものである。 The present invention relates to an operation recognition device that recognizes operations performed by hand movements based on image data.

従来より、手の動作による操作を認識する操作認識装置が種々提案されており、例えば特許文献１に開示されている。斯かる操作認識装置は、画像が投影された領域における手のジェスチャをカメラで撮像して、そのジェスチャを認識するものである。カメラで撮像された画像は、画像データの色閾値にて手領域が判定され、手によるジェスチャが認識される。 Various operation recognition devices that recognize operations performed by hand movements have been proposed in the past, and are disclosed in Patent Document 1, for example. Such operation recognition devices use a camera to capture hand gestures in an area where an image is projected, and recognize the gestures. In the image captured by the camera, the hand area is determined using the color threshold value of the image data, and hand gestures are recognized.

特開２００６－１８２７６号公報JP 2006-18276 A

しかしながら、ジェスチャする手（例えば右手）の背景が体の一部（例えば左手）であった場合は、手領域を誤判定する虞があった。つまり、画像データの中の手領域と背景領域の色が似ている場合は、画像のコントラストに基づいて手領域を判定することが困難であり、手領域が誤判定されて、手によるジェスチャが認識できないという問題があった。 However, if the background of the gesturing hand (e.g., the right hand) is a part of the body (e.g., the left hand), there is a risk of the hand region being erroneously determined. In other words, if the hand region and the background region in the image data are similar in color, it is difficult to determine the hand region based on the contrast of the image, resulting in a problem of the hand region being erroneously determined and the hand gesture not being recognized.

本発明は、画像を投影する投射部５と、前記画像が投影された手を撮像し、撮像データを出力する撮像部３ａと、前記撮像データに基づいて手の動作による操作を判定する操作判定部３ｂと、を備えた操作認識装置１であって、前記撮像部３ａは、前記手及び顔を撮像すると共に、前記手及び前記顔を関連付けた手形状情報を記憶する記憶部２ｃを更に備え、前記操作判定部３ｂは、前記手形状情報に基づいて前記手の指先位置を推測することを特徴とする。
The present invention provides an operation recognition device 1 comprising a projection unit 5 that projects an image, an imaging unit 3a that images the hand onto which the image is projected and outputs the image data, and an operation determination unit 3b that determines an operation by hand movement based on the image data, wherein the imaging unit 3a images the hand and face, and further comprises a memory unit 2c that stores hand shape information correlating the hand and the face , and the operation determination unit 3b estimates the fingertip position of the hand based on the hand shape information .

また、本発明は、前記記憶部２ｃに記憶された前記手形状情報は、左手と右手の画像データを含むことを特徴とする。 The present invention is also characterized in that the hand shape information stored in the memory unit 2c includes image data of the left hand and the right hand.

また、本発明は、前記記憶部２ｃに記憶された前記手形状情報は、前記手を開いた状態と、前記手を握った状態の画像データを含むことを特徴とする。 The present invention is also characterized in that the hand shape information stored in the memory unit 2c includes image data of the hand in an open state and a hand in a clenched state.

また、本津明は、前記記憶部２ｃに記憶された前記手形状情報は、前記手の甲と、前記手のひらの画像データを含むことを特徴とする。 Mototsuaki is also characterized in that the hand shape information stored in the memory unit 2c includes image data of the back of the hand and the palm.

手形状情報に基づいて指先の位置を推測することができるため、画像のコントラストが小さい場合であっても、手の動作による操作を判定することができる。 The position of the fingertips can be estimated based on hand shape information, so operations based on hand movements can be determined even when the image contrast is low.

本発明の実施形態を示すブロック図。FIG. 1 is a block diagram showing an embodiment of the present invention. 同上実施形態のフロー図。FIG. 同上実施形態の手画像の図。FIG. 同上実施形態のタッチ操作補助画像の図。FIG. 4 is a diagram of a touch operation assistance image according to the embodiment. 同上実施形態のタッチ操作の説明図。4A to 4C are explanatory diagrams of a touch operation in the embodiment;

以下、添付の図面に基づいて、本発明を操作認識装置１に適用した一実施形態について説明する。操作認識装置１は、ＤＭＳ（Driver Monitoring System）２，手認識部３，表示制御部４，投射部５，制御部６を備えている。 Hereinafter, an embodiment in which the present invention is applied to an operation recognition device 1 will be described with reference to the attached drawings. The operation recognition device 1 includes a DMS (Driver Monitoring System) 2, a hand recognition unit 3, a display control unit 4, a projection unit 5, and a control unit 6.

ＤＭＳ２は、撮像カメラ２ａ，判定部２ｂ，記憶部２ｃを有している。ＤＭＳ２の撮像カメラ２ａは、車両ドライバーの顔や手を撮像し、画像データを判定部２ｂに出力する。ＤＭＳ２の判定部２ｂは、撮像カメラ２ａが出力した画像データに基づいて、車両ドライバーを特定する。ＤＭＳ２の記憶部２ｃには、車両ドライバーの顔のデータ，手の形状データ等が記憶されている。 The DMS2 has an imaging camera 2a, a determination unit 2b, and a memory unit 2c. The imaging camera 2a of the DMS2 captures images of the face and hands of the vehicle driver and outputs the image data to the determination unit 2b. The determination unit 2b of the DMS2 identifies the vehicle driver based on the image data output by the imaging camera 2a. The memory unit 2c of the DMS2 stores data on the vehicle driver's face, hand shape, etc.

手認識部３は、撮像カメラ３ａ及び操作判定部３ｂを有している。手認識部３の撮像カメラ３ａは、ステレオカメラからなり、車両ドライバーの手を撮像し、画像データを操作判定部３ｂに出力する。操作判定部３ｂは、撮像カメラ３ａから出力された画像データに基づいて、車両ドライバーの操作を判定する。 The hand recognition unit 3 has an imaging camera 3a and an operation determination unit 3b. The imaging camera 3a of the hand recognition unit 3 is composed of a stereo camera, and captures an image of the vehicle driver's hand and outputs the image data to the operation determination unit 3b. The operation determination unit 3b determines the operation of the vehicle driver based on the image data output from the imaging camera 3a.

表示制御部４は、制御部６からの制御信号に基づいて、投射部５に画像データを出力する。投射部５は、車室内に設置されたプロジェクターからなるものであり、車両ドライバーの手に画像を投影する。 The display control unit 4 outputs image data to the projection unit 5 based on a control signal from the control unit 6. The projection unit 5 is a projector installed inside the vehicle cabin, and projects an image onto the vehicle driver's hand.

図２は、車両ドライバーの個人情報を登録するフロー図である。ステップＳ０１では、ＤＭＳ２の撮像カメラ２ａにて車両ドライバーを撮像し、その車両ドライバーの顔を認識する。ステップＳ０２では、ステップＳ０１で認識されたドライバーの顔が記憶部２ｃに登録されているか否か判断し、既に記憶部２ｃに登録されている場合はステップＳ０７に進み、記憶部２ｃに登録されていない場合はステップＳ０３に進む。 Figure 2 is a flow diagram for registering personal information of a vehicle driver. In step S01, the image of the vehicle driver is captured by the imaging camera 2a of the DMS 2, and the face of the vehicle driver is recognized. In step S02, it is determined whether the face of the driver recognized in step S01 is registered in the memory unit 2c. If the face of the driver is already registered in the memory unit 2c, the process proceeds to step S07, and if the face is not registered in the memory unit 2c, the process proceeds to step S03.

ステップＳ０３では、車両ドライバーの顔画像を記憶部２ｃに登録する。ステップＳ０４では、ＤＭＳ２の撮像カメラ２ａにて車両ドライバーの手を撮像する。ステップＳ０５では、ステップＳ４で撮像された車両ドライバーの手の画像に基づいて、後述するタッチ操作補助画像を生成する。 In step S03, a facial image of the vehicle driver is registered in the memory unit 2c. In step S04, an image of the vehicle driver's hands is captured by the imaging camera 2a of the DMS2. In step S05, a touch operation assistance image (described later) is generated based on the image of the vehicle driver's hands captured in step S4.

ステップＳ６では、ステップＳ０３で記憶部２ｃに登録された車両ドライバーの顔画像と、ステップＳ０４で撮像された車両ドライバーの手画像と、ステップＳ０５で生成されたタッチ操作補助画像とを関連付けたドライバー個別情報を記憶部２ｃに登録する。ステップＳ０７では、記憶部２ｃに登録された個人設定を読み込む。 In step S6, the facial image of the vehicle driver registered in the storage unit 2c in step S03, the hand image of the vehicle driver captured in step S04, and the touch operation assistance image generated in step S05 are associated with each other in the storage unit 2c, and the driver's individual information is registered in the storage unit 2c. In step S07, the personal settings registered in the storage unit 2c are read.

図３は、ステップＳ０４で撮像された車両ドライバーの手画像の例である。ステップＳ０４では、左手と右手、握った状態と開いた状態、手のひら側と手の甲側を夫々組合せた少なくとも８個の画像を撮像することが望ましいが、これに限定されるものではない。 Figure 3 shows an example of a hand image of a vehicle driver captured in step S04. In step S04, it is desirable to capture at least eight images that combine the left and right hands, clenched and open hands, and the palm and back of the hand, but this is not a limitation.

図４は、タッチ操作補助画像の例を示すものである。指の長さは車両ドライバーによって異なるが、本実施形態では、車両ドライバー個別情報に基づいて、指先位置を推定することができる。つまり、画像データのみでは画像のコントラストが小さいために指先位置の認識ができない場合であっても、手の動作による操作を判定することができる。 Figure 4 shows an example of a touch operation assistance image. Although the length of a finger varies depending on the vehicle driver, in this embodiment, the fingertip position can be estimated based on the vehicle driver's individual information. In other words, even if the fingertip position cannot be recognized from image data alone due to low image contrast, it is possible to determine the operation by hand movement.

制御部６は、表示制御部４を介して、車両ドライバーの一方の手（例えば左手）に、音声認識やステアリングスイッチによりエンターテイメントやエアコンの調整機能を表示する画像を投射部５に投射させる。車両ドライバーは、一方の手（例えば左手）に投射された画像を他方の手（例えば右手）でタッチ／スワイプすることにより、エンターテイメントやエアコンの操作を行う。制御部６は、手認識部３の撮像カメラ３ａで車両ドライバーの両手を撮像し、手認識部３の操作判定部３ｂにて車両ドライバーの操作を認識する。 The control unit 6 causes the projection unit 5 to project an image displaying entertainment and air conditioning adjustment functions using voice recognition and steering switches onto one hand (e.g., the left hand) of the vehicle driver via the display control unit 4. The vehicle driver operates the entertainment and air conditioning by touching/swiping the image projected onto one hand (e.g., the left hand) with the other hand (e.g., the right hand). The control unit 6 captures images of both hands of the vehicle driver using the imaging camera 3a of the hand recognition unit 3, and recognizes the operation of the vehicle driver using the operation determination unit 3b of the hand recognition unit 3.

図５（ａ），図５（ｂ）は、車両ドライバーの両手を撮像した画像の例である。図５（ａ）のように、車両ドライバーの左手の手のひらに右手人差し指が画像上で重なっている場合は、コントラストが小さいために、画像データだけでは、右手人差し指の指先位置を判定することは困難であるが、図５（ｂ）のように、タッチ操作補助画像に基づいて、右手人差し指の指先位置を推測することにより、操作認識装置１が、右手による操作を認識することができる。 Figures 5(a) and 5(b) are example images of both hands of a vehicle driver. When the index finger of the right hand overlaps the palm of the vehicle driver's left hand in the image as in Figure 5(a), it is difficult to determine the position of the fingertip of the right index finger from the image data alone due to low contrast. However, as in Figure 5(b), the operation recognition device 1 can recognize an operation by the right hand by inferring the position of the fingertip of the right index finger based on the touch operation assistance image.

なお、本発明は、本実施形態に限定されるものではなく、種々の変形が可能である。例えば、本実施形態は、撮像カメラ２ａ及び撮像カメラ３ａを備えているが、車両ドライバーの顔と手を撮像できれば、撮像カメラは１個であっても良い。 The present invention is not limited to this embodiment, and various modifications are possible. For example, this embodiment is equipped with imaging camera 2a and imaging camera 3a, but the number of imaging cameras may be one as long as it is possible to capture an image of the face and hands of the vehicle driver.

１操作認識装置
２ＤＭＳ
２ｂ判定部
２ｃ記憶部
３手認識部
３ａ撮像部
３ｂ操作判定部
４表示制御部
５投射部
６制御部 1 Operation recognition device 2 DMS
2b determination unit 2c storage unit 3 hand recognition unit 3a imaging unit 3b operation determination unit 4 display control unit 5 projection unit 6 control unit

Claims

An operation recognition device including: a projection unit that projects an image; an imaging unit that images a hand onto which the image is projected and outputs imaging data; and an operation determination unit that determines an operation by a motion of the hand based on the imaging data,
The imaging unit captures images of the hand and face,
A storage unit that stores hand shape information that associates the hand and the face ,
The operation determination unit estimates a fingertip position of the hand based on the hand shape information .

The operation recognition device according to claim 1, characterized in that the hand shape information stored in the storage unit includes image data of a left hand and a right hand.

The operation recognition device according to claim 1 or 2, characterized in that the hand shape information stored in the storage unit includes image data of the hand in an open state and a hand in a clenched state.

4. The operation recognition device according to claim 1, wherein the hand shape information stored in the storage unit includes image data of the back of the hand and the palm of the hand.