JP6981295B2

JP6981295B2 - Operation recognition device

Info

Publication number: JP6981295B2
Application number: JP2018026155A
Authority: JP
Inventors: 順平橋本
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2018-02-16
Filing date: 2018-02-16
Publication date: 2021-12-15
Anticipated expiration: 2038-02-16
Also published as: JP2019144672A

Description

本発明は、ユーザーによって行われる操作を認識する操作認識装置に関する。 The present invention relates to an operation recognition device that recognizes an operation performed by a user.

特許文献１に、表示画面とは別体でタッチパネル方式の操作入力パネルを設けることによって、ユーザーが操作入力パネルを直接見ることなく表示画面に示された項目の選択や決定を行うことができるようにした、スイッチ装置が開示されている。 By providing a touch panel type operation input panel separately from the display screen in Patent Document 1, the user can select and determine the items shown on the display screen without directly looking at the operation input panel. The switch device is disclosed.

特開平６−０２０５６９号公報Japanese Unexamined Patent Publication No. 6-02569

上記特許文献１に記載されたスイッチ装置は、ユーザーが操作する操作入力パネルの取り付け位置が固定されているため、ユーザーによっては操作を入力する行為がし難くなるおそれがある。 In the switch device described in Patent Document 1, since the mounting position of the operation input panel operated by the user is fixed, it may be difficult for some users to input the operation.

本発明は、上記課題を鑑みてなされたものであり、ユーザーによる操作を入力する行為を容易にすることができる操作認識装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an operation recognition device capable of facilitating an act of inputting an operation by a user.

上記課題を解決するために、本発明の一態様による操作認識装置は、所定の空間内に置かれたユーザーの手を認識する手認識部と、認識されたユーザーの手の位置に超音波を照射して、仮想的な操作物体の触感をユーザーに提示する超音波制御部と、ユーザーの手の動作に基づいてユーザーの操作を認識する操作認識部と、を備える、ことを特徴とする。 In order to solve the above problems, the operation recognition device according to one aspect of the present invention has a hand recognition unit that recognizes a user's hand placed in a predetermined space and ultrasonic waves at the positions of the recognized user's hand. It is characterized by including an ultrasonic control unit that irradiates and presents the tactile sensation of a virtual operation object to the user, and an operation recognition unit that recognizes the user's operation based on the movement of the user's hand.

この本発明の一態様による操作認識装置では、空間内に置かれたユーザーの手の位置を認識し、この認識した位置に超音波を照射して、仮想的な操作物体の触感をユーザーが感じ取れるようにする。仮想的な操作物体は、ユーザーの手の動作に基づいてユーザーによる操作入力を支援するための仮想インターフェースである。このように、ユーザーが自ら差し出した任意の手の位置に仮想的な操作物体の触感を動的に提示できるので、この仮想インターフェースを用いたユーザーによって操作を入力する行為が容易になる。 In the operation recognition device according to one aspect of the present invention, the position of the user's hand placed in the space is recognized, and the recognized position is irradiated with ultrasonic waves so that the user can feel the tactile sensation of the virtual operation object. To do so. A virtual operation object is a virtual interface for assisting a user's operation input based on the movement of the user's hand. In this way, since the tactile sensation of the virtual operation object can be dynamically presented at the position of the user's own hand, the action of inputting the operation by the user using this virtual interface becomes easy.

上記本発明の操作認識装置によれば、ユーザーによる操作を入力する行為を容易にすることができる。 According to the operation recognition device of the present invention, it is possible to facilitate the action of inputting an operation by the user.

本発明の一実施形態に係る操作認識装置の概略構成を示す図The figure which shows the schematic structure of the operation recognition apparatus which concerns on one Embodiment of this invention. 操作認識装置が車両に搭載された一例を説明する図A diagram illustrating an example in which an operation recognition device is mounted on a vehicle. 手認識部で検出されるユーザーの手による動作の一例を示す図The figure which shows an example of the operation by a user's hand detected by a hand recognition part. 本操作認識装置が実行する操作認識制御の処理手順を示すフローチャートA flowchart showing the processing procedure of the operation recognition control executed by this operation recognition device.

［概要］
本発明の操作認識装置は、空間内に置かれたユーザーの手の位置を認識し、この認識した位置に超音波を照射して、仮想的な操作物体（仮想インターフェース）の触感をユーザーに提示する。ユーザーが自ら差し出した任意の手の位置に仮想的な操作物体の触感を動的に提示できるので、仮想的な操作物体を用いたユーザーによる操作入力行為が容易になる。 [Overview]
The operation recognition device of the present invention recognizes the position of the user's hand placed in the space, irradiates the recognized position with ultrasonic waves, and presents the tactile sensation of a virtual operation object (virtual interface) to the user. do. Since the tactile sensation of the virtual operation object can be dynamically presented at the position of the user's own hand, the operation input action by the user using the virtual operation object becomes easy.

［構成］
図１は、本発明の一実施形態に係る操作認識装置１の概略構成を示す図である。図１に例示した操作認識装置１は、手認識部１０と、操作認識部２０と、超音波制御部３０と、制御実行部４０と、を備えている。この手認識部１０、操作認識部２０、超音波制御部３０、及び制御実行部４０は、バスなどのネットワーク５０によって通信可能に接続されている。本実施形態に係る操作認識装置１は、例えば図２に示すように、車両１００のセンターコンソール１１０などに搭載可能である。 [composition]
FIG. 1 is a diagram showing a schematic configuration of an operation recognition device 1 according to an embodiment of the present invention. The operation recognition device 1 illustrated in FIG. 1 includes a hand recognition unit 10, an operation recognition unit 20, an ultrasonic control unit 30, and a control execution unit 40. The hand recognition unit 10, the operation recognition unit 20, the ultrasonic control unit 30, and the control execution unit 40 are communicably connected by a network 50 such as a bus. As shown in FIG. 2, for example, the operation recognition device 1 according to the present embodiment can be mounted on the center console 110 of the vehicle 100 or the like.

手認識部１０は、イメージセンサーなどを含み、所定の空間内に置かれたユーザーの手６０の位置を３次元的に認識することができる構成である。所定の空間は、後述する超音波制御部３０によって超音波を制御できる範囲であって、ユーザーの手が届く範囲に設定される。例えば、操作認識装置１が車両１００に搭載される場合には、ユーザーがシート１２０に着座している状態で手６０を伸ばすことが煩わしくならない車室内の範囲とすることができる。また、手認識部１０は、空間内における位置が認識されたユーザーの手６０について、手の大きさを把握することを行う。 The hand recognition unit 10 includes an image sensor and the like, and is configured to be able to three-dimensionally recognize the position of the user's hand 60 placed in a predetermined space. The predetermined space is a range in which the ultrasonic wave can be controlled by the ultrasonic wave control unit 30 described later, and is set within a range within the reach of the user. For example, when the operation recognition device 1 is mounted on the vehicle 100, the range of the vehicle interior can be set so that it is not bothersome to extend the hand 60 while the user is seated on the seat 120. Further, the hand recognition unit 10 grasps the size of the user's hand 60 whose position in the space is recognized.

操作認識部２０は、モーションセンサーなどを含み、手認識部１０によって認識されたユーザーの手６０による動作（ジェスチャー）を検出して、この検出した手の動作に基づいて特定の操作を認識することができる構成である。手の動作としては、図３に例示するようなモーションセンサーが検出できる様々な動作が規定されており、これらの規定の動作にはそれぞれ特定の操作が予め対応付けられている。操作認識部２０は、検出した手の動作が規定の動作に該当するか否かに基づいて、ユーザーによって指示された特定の操作を認識することを行う。 The operation recognition unit 20 includes a motion sensor and the like, detects a movement (gesture) by the user's hand 60 recognized by the hand recognition unit 10, and recognizes a specific operation based on the detected movement of the hand. It is a configuration that can be done. As the movement of the hand, various movements that can be detected by the motion sensor as illustrated in FIG. 3 are specified, and specific operations are associated with each of these specified movements in advance. The operation recognition unit 20 recognizes a specific operation instructed by the user based on whether or not the detected hand movement corresponds to a predetermined movement.

なお、上述した手認識部１０と操作認識部２０とは、本実施形態のように個別の構成として設けられてもよいし、一体的な構成として設けられてもよい。一体的な構成で設ける場合には、センサーを共用してもよい。 The hand recognition unit 10 and the operation recognition unit 20 described above may be provided as individual configurations as in the present embodiment, or may be provided as an integrated configuration. When provided in an integrated configuration, the sensor may be shared.

超音波制御部３０は、複数の超音波振動子から複数の超音波を発生して、この発生した複数の超音波の位相を任意に制御することができる構成である。より具体的には、超音波制御部３０は、複数の超音波の位相を制御して空中の所定の位置に複数の超音波を集束させることによって、その位置に手で感じ取ることができる程度の力を発生させることを行う。また、超音波制御部３０は、操作認識部２０で検出したユーザーの手６０による動作に応じて、仮想的な操作物体３１の移動や変形などの変化をユーザーが感じ取ることができるように超音波を制御する。なお、このような制御は、周知の集束超音波技術を利用して実現可能である。 The ultrasonic control unit 30 is configured to generate a plurality of ultrasonic waves from a plurality of ultrasonic transducers and arbitrarily control the phase of the generated plurality of ultrasonic waves. More specifically, the ultrasonic control unit 30 controls the phases of the plurality of ultrasonic waves to focus the plurality of ultrasonic waves at a predetermined position in the air, so that the position can be felt by hand. Do to generate force. Further, the ultrasonic control unit 30 ultrasonic waves so that the user can perceive changes such as movement and deformation of the virtual operation object 31 according to the operation by the user's hand 60 detected by the operation recognition unit 20. To control. It should be noted that such control can be realized by using a well-known focused ultrasonic technique.

本実施形態に係る超音波制御部３０は、図２に例示するように、手認識部１０で認識されたユーザーの手６０の位置（例えば手のひらの下側）に、ユーザーの手６０の大きさに合わせた形状で、仮想的な操作物体３１の触感をユーザーに提示する。この仮想的な操作物体３１は、ユーザーの手６０の動作に基づいてユーザーによる操作入力を支援するための仮想的なインターフェースである。仮想的な操作物体３１は、ユーザーが物体を掴んで移動させたり回転させたりするなどの行為ができる立体的な物体であってもよいし、ユーザーが物体の上でタップやフリックなどの行為ができる平面的な物体であってもよい。物体の形状は、例えば、球体、直方体、円柱、角柱、円形、三角形、十字形、矢印形、またそれらの組み合わせなど、複数の超音波の集束点位置を定める所定の数式で表現できる任意の形状が可能である。 As illustrated in FIG. 2, the ultrasonic control unit 30 according to the present embodiment has the size of the user's hand 60 at the position of the user's hand 60 recognized by the hand recognition unit 10 (for example, under the palm). The user is presented with the tactile sensation of the virtual operation object 31 in a shape suitable for. The virtual operation object 31 is a virtual interface for assisting the operation input by the user based on the operation of the user's hand 60. The virtual operation object 31 may be a three-dimensional object in which the user can grab the object, move it, rotate it, or perform an action such as tapping or flicking on the object. It may be a flat object that can be formed. The shape of an object can be any shape that can be expressed by a predetermined mathematical formula that determines the position of the focusing point of multiple ultrasonic waves, such as a sphere, a rectangular parallelepiped, a cylinder, a prism, a circle, a triangle, a cross, an arrow, or a combination thereof. Is possible.

制御実行部４０は、操作認識部２０で認識された特定の操作に基づいて、その操作に割り当てられた所定の制御を実行することができる構成である。所定の制御は、例えばナビゲーション制御や、エアコン制御や、オーディオ制御などである。 The control execution unit 40 is configured to be able to execute a predetermined control assigned to the operation based on the specific operation recognized by the operation recognition unit 20. The predetermined control is, for example, navigation control, air conditioner control, audio control, and the like.

［制御］
次に、図４をさらに参照して、本発明の一実施形態に係る操作認識装置１が実行する制御を説明する。図４は、本操作認識装置１が実行する操作認識制御の処理手順を示すフローチャートである。 [control]
Next, with reference to FIG. 4, the control executed by the operation recognition device 1 according to the embodiment of the present invention will be described. FIG. 4 is a flowchart showing a processing procedure of the operation recognition control executed by the operation recognition device 1.

図４に示した操作認識制御は、手認識部１０によって所定の空間内でユーザーの手が検出されると開始される。 The operation recognition control shown in FIG. 4 is started when the user's hand is detected in a predetermined space by the hand recognition unit 10.

ステップＳ４０１：手認識部１０は、検出したユーザーの手について、空間内における手の位置及び手の大きさを認識する。 Step S401: The hand recognition unit 10 recognizes the position of the hand and the size of the hand in the space for the detected user's hand.

ステップＳ４０２：超音波制御部３０は、手認識部１０が認識したユーザーの手の位置に、ユーザーの手の大きさに合わせた形状を有する仮想的な操作物体３１の触感をユーザーに提示する。 Step S402: The ultrasonic control unit 30 presents to the user the tactile sensation of the virtual operation object 31 having a shape corresponding to the size of the user's hand at the position of the user's hand recognized by the hand recognition unit 10.

ステップＳ４０３：操作認識部２０は、仮想的な操作物体３１の触感の提示に対してユーザーによる手の動作があったか否かを判断する。手の動作があった場合は（ステップＳ４０３、Ｙｅｓ）ステップＳ４０４に処理が進み、手の動作がなかった場合は（ステップＳ４０３、Ｎｏ）ステップＳ４０８に処理が進む。 Step S403: The operation recognition unit 20 determines whether or not the user has made a hand movement in response to the presentation of the tactile sensation of the virtual operation object 31. If there is a hand movement (step S403, Yes), the process proceeds to step S404, and if there is no hand movement (step S403, No), the process proceeds to step S408.

ステップＳ４０４：操作認識部２０は、仮想的な操作物体３１の触感の提示に対して行われたユーザーによる手の動作が規定の動作に該当するか否かを判断する。手の動作が規定の動作に該当する場合は（ステップＳ４０４、Ｙｅｓ）ステップＳ４０５に処理が進み、手の動作が規定の動作に該当しない場合は（ステップＳ４０４、Ｎｏ）ステップＳ４０６に処理が進む。 Step S404: The operation recognition unit 20 determines whether or not the user's hand movement performed in response to the presentation of the tactile sensation of the virtual operation object 31 corresponds to the specified movement. If the hand movement corresponds to the specified movement (step S404, Yes), the process proceeds to step S405, and if the hand movement does not correspond to the specified movement (step S404, No), the process proceeds to step S406.

ステップＳ４０５：超音波制御部３０は、手の動作が規定の動作に該当することを、仮想的な操作物体３１の触感を介してユーザーの手に通知する（以下「ＯＫ触感通知」という）。このＯＫ触感通知は、例えば、仮想的な操作物体３１の触感の発生／消滅を繰り返したり（物体の点滅）、仮想的な操作物体３１の触感を膨張や縮小させたり、することなどによって行うことができる。ＯＫ触感通知を行った後は、ステップＳ４０７に処理が進む。 Step S405: The ultrasonic control unit 30 notifies the user's hand via the tactile sensation of the virtual operating object 31 that the motion of the hand corresponds to the specified motion (hereinafter referred to as “OK tactile sensation notification”). This OK tactile notification is performed, for example, by repeatedly generating / extinguishing the tactile sensation of the virtual operating object 31 (blinking of the object), expanding or contracting the tactile sensation of the virtual operating object 31, and the like. Can be done. After the OK tactile notification is given, the process proceeds to step S407.

ステップＳ４０６：超音波制御部３０は、手の動作が規定の動作に該当しないことを、仮想的な操作物体３１の触感を介してユーザーの手に通知する（以下「ＮＧ触感通知」という）。このＮＧ触感通知は、例えば、仮想的な操作物体３１の触感を振動させることなどによって行うことができる。ＮＧ触感通知を行った後は、ステップＳ４０３に処理が戻る。 Step S406: The ultrasonic control unit 30 notifies the user's hand via the tactile sensation of the virtual operating object 31 that the motion of the hand does not correspond to the specified motion (hereinafter referred to as “NG tactile sensation notification”). This NG tactile notification can be performed, for example, by vibrating the tactile sensation of the virtual operating object 31. After the NG tactile notification is given, the process returns to step S403.

ステップＳ４０７：操作認識部２０は、規定の動作に対応付けられている特定の操作を認識し、この認識した特定の操作に割り当てられた所定の制御を実行するように制御実行部４０に指示を行う。制御実行部４０は、操作認識部２０からの指示に従って、所定の制御を実行する。その後、ステップＳ４０３に処理が戻る。 Step S407: The operation recognition unit 20 recognizes a specific operation associated with the specified operation, and instructs the control execution unit 40 to execute a predetermined control assigned to the recognized specific operation. conduct. The control execution unit 40 executes a predetermined control according to an instruction from the operation recognition unit 20. After that, the process returns to step S403.

ステップＳ４０８：手認識部１０は、所定の空間内でユーザーの手が検出できなくなったか否かを判断する。ユーザーの手が検出できなくなった場合は（ステップＳ４０８、Ｙｅｓ）ステップＳ４０９に処理が進み、ユーザーの手が検出できている場合は（ステップＳ４０８、Ｎｏ）ステップＳ４０３に処理が戻る。 Step S408: The hand recognition unit 10 determines whether or not the user's hand cannot be detected in the predetermined space. If the user's hand cannot be detected (step S408, Yes), the process proceeds to step S409, and if the user's hand can be detected (step S408, No), the process returns to step S403.

ステップＳ４０９：超音波制御部３０は、仮想的な操作物体３１の触感を消滅させる。これにより、本操作認識制御が終了する。 Step S409: The ultrasonic control unit 30 eliminates the tactile sensation of the virtual operating object 31. As a result, this operation recognition control ends.

［本実施形態における作用・効果］
上述した本発明の一実施形態に係る操作認識装置１によれば、手認識部１０によって空間内に置かれたユーザーの手６０の位置を認識し、この認識した位置に、超音波制御部３０によって超音波を照射して、仮想的な操作物体３１の触感をユーザーが感じ取れるようにする。 [Action / effect in this embodiment]
According to the operation recognition device 1 according to the embodiment of the present invention described above, the hand recognition unit 10 recognizes the position of the user's hand 60 placed in the space, and the ultrasonic control unit 30 recognizes the position of the user's hand 60. By irradiating ultrasonic waves with the above, the user can feel the tactile sensation of the virtual operation object 31.

このように、ユーザーが自ら差し出した任意の手６０の位置に仮想的な操作物体３１の触感を動的に提示できるので、ユーザーはこの仮想的な操作物体３１を用いて操作認識部２０が検出できる手の動作を行うことにより簡単に所望の操作を入力することができる。また、ユーザーの手６０の大きさに合わせて仮想的な操作物体３１の触感を提示できるので、ユーザーは所望の入力操作をよりし易くなる。よって、本実施形態に係る操作認識装置１は、ユーザーによる操作を入力する行為を容易にすることができる。 In this way, since the tactile sensation of the virtual operation object 31 can be dynamically presented at the position of the arbitrary hand 60 that the user has extended by himself / herself, the user can detect the operation recognition unit 20 using the virtual operation object 31. A desired operation can be easily input by performing a possible hand movement. Further, since the tactile sensation of the virtual operation object 31 can be presented according to the size of the user's hand 60, the user can more easily perform a desired input operation. Therefore, the operation recognition device 1 according to the present embodiment can facilitate the action of inputting an operation by the user.

本発明の操作認識装置は、ユーザーによる操作を必要とする車両などに利用可能である。 The operation recognition device of the present invention can be used for a vehicle or the like that requires operation by a user.

１操作認識装置
１０手認識部
２０操作認識部
３０超音波制御部
３１仮想的な操作物体
４０制御実行部
５０ネットワーク
６０手
１００車両
１１０センターコンソール
１２０シート 1 Operation recognition device 10 Hand recognition unit 20 Operation recognition unit 30 Ultrasonic control unit 31 Virtual operation object 40 Control execution unit 50 Network 60 Hand 100 Vehicle 110 Center console 120 Seat

Claims

A hand recognition unit that recognizes the position and size of the user's hand placed in a predetermined space,
An ultrasonic control unit that irradiates the recognized position of the user's hand with ultrasonic waves to present the user with the tactile sensation of a virtual operating object having a shape that matches the size of the user's hand.
An operation recognition unit that recognizes user operations based on the user's hand movements,
An operation recognition device.

The tactile sensation by the ultrasonic control unit is different from the tactile sensation when the operation of the user's hand corresponds to the specified operation and the tactile sensation when the operation of the user's hand does not correspond to the specified operation.
The operation recognition device according to claim 1.

The ultrasonic control unit is
When the operation of the user's hand corresponds to the specified operation, the tactile sensation of the virtual operating object is repeatedly generated and extinguished, or the tactile sensation of the virtual operating object is expanded, or the virtual tactile sensation is expanded. By reducing the tactile sensation of the operating object,
When the operation of the user's hand does not correspond to the specified operation, the tactile sensation of the virtual operation object is vibrated.
The operation recognition device according to claim 2.