JP6428382B2 - Input system, input device, and program - Google Patents
Input system, input device, and program Download PDFInfo
- Publication number
- JP6428382B2 JP6428382B2 JP2015040520A JP2015040520A JP6428382B2 JP 6428382 B2 JP6428382 B2 JP 6428382B2 JP 2015040520 A JP2015040520 A JP 2015040520A JP 2015040520 A JP2015040520 A JP 2015040520A JP 6428382 B2 JP6428382 B2 JP 6428382B2
- Authority
- JP
- Japan
- Prior art keywords
- threshold value
- unit
- gesture
- threshold
- fingertip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本発明は、入力システム、入力装置およびプログラムに関する。 The present invention relates to an input system, an input device, and a program.
従来、表示パネル等の表示手段に表示される画像に対して、ジェスチャ（動作）等により非接触で操作を実行する情報入力システムが存在する。
例えば、特許文献１には、ユーザの手指の撮像画像に基づいてユーザの手指の位置を求め、予め設定されるジェスチャ認識領域内にユーザの手指が存在するときのみ、ジェスチャに対応する動作制御指示を出力するジェスチャ入力装置が開示されている。
2. Description of the Related Art Conventionally, there is an information input system that performs an operation in a non-contact manner on an image displayed on a display unit such as a display panel by a gesture (operation).
For example, in
ところで、ジェスチャにより非接触で操作を実行する情報入力システムには、３次元空間上で、表示手段に対する奥行き方向に予め定めた閾値を設定し、ジェスチャを行う操作者の指先等の座標がその閾値を越えた場合に、表示手段に表示される画像を変化させる情報入力システムが存在する。このような情報入力システムでは、通常、操作者は閾値を視認することはできないため、例えば操作者が閾値から指先等を離そうとしてジェスチャを行った場合でも、操作者の指先等が閾値を越えた状態が維持される場合がある。この場合、表示手段に表示される画像に対して操作者が意図した操作がなされないおそれがある。
本発明は、閾値を変化させない場合と比較して、操作者の意図に応じた動作の認識を行うことを目的とする。
By the way, in an information input system that performs a contactless operation by a gesture, a predetermined threshold value is set in the depth direction with respect to the display unit in a three-dimensional space, and the coordinates of the fingertip of the operator who performs the gesture are the threshold value. There is an information input system that changes the image displayed on the display means when the value exceeds. In such an information input system, normally, the operator cannot visually recognize the threshold value. For example, even when the operator makes a gesture to remove the fingertip from the threshold value, the fingertip of the operator exceeds the threshold value. May be maintained. In this case, there is a possibility that the operation intended by the operator is not performed on the image displayed on the display means.
An object of the present invention is to recognize an operation according to an operator's intention as compared with a case where the threshold value is not changed.
請求項１に係る発明は、画像を表示する表示手段と、前記表示手段の画像を操作するための動作を行う操作者の動作部の位置を検知する検知手段と、前記表示手段から予め定められた距離に閾値を設定し、前記動作部が当該表示手段に近づいて当該動作部の位置が当該閾値以上となった場合に、前記動作に基づいて当該表示手段の画像を操作する制御手段と、前記動作部の位置が前記閾値以上となった場合に、当該動作部の位置が当該閾値から離れるまで当該閾値を当該動作部の位置に変更する閾値変更手段とを備える入力システムである。
請求項２に係る発明は、前記制御手段は、前記閾値変更手段により変更された後の前記閾値から前記動作部の位置が離れた場合に、前記動作に基づく画像の操作を終了することを特徴とする請求項１に記載の入力システムである。
請求項３に係る発明は、前記閾値変更手段は、前記閾値から前記動作部の位置が離れた場合に、当該閾値を予め定めた初期値に戻すことを特徴とする請求項１または２に記載の入力システムである。
請求項４に係る発明は、前記閾値変更手段は、前記動作部が予め定めた速度以上で前記表示手段から離れた場合に、当該動作部の位置が前記閾値から離れたと判断することを特徴とする請求項３に記載の入力システムである。
請求項５に係る発明は、前記閾値変更手段は、前記動作部が前記閾値から予め定めた距離だけ離れた場合に、当該動作部の位置が当該閾値から離れたと判断することを特徴とする請求項３に記載の入力システムである。
請求項６に係る発明は、前記距離は、前記動作部の位置から離れるほど大きく設定されることを特徴とする請求項５に記載の入力システムである。
請求項７に係る発明は、表示手段に表示される画像を操作するための動作を行う操作者の動作部の位置を検知する検知手段と、前記表示手段から予め定められた距離に閾値を設定し、前記動作部が当該表示手段に近づいて当該動作部の位置が当該閾値以上となった場合に、前記動作に基づいて当該表示手段の画像を操作する制御手段と、前記動作部の位置が前記閾値以上となった場合に、当該動作部の位置が当該閾値から離れるまで当該閾値を当該動作部の位置に変更する閾値変更手段とを備える入力装置である。
請求項８に係る発明は、コンピュータに、表示手段に表示される画像を操作するための動作を行う操作者の動作部の位置を認識する機能と、前記表示手段から予め定められた距離に閾値を設定する機能と、前記動作部が前記表示手段に近づいて前記動作部の位置が当該閾値以上となった場合に、前記動作に基づいて当該表示手段の画像を操作する機能と、前記動作部の位置が前記閾値以上となった場合に、当該動作部の位置が当該閾値から離れるまで当該閾値に当該動作部の位置を代入する機能とを実現させるプログラムである。
The invention according to
The invention according to
The invention according to
The invention according to claim 4 is characterized in that the threshold value changing means determines that the position of the action part has moved away from the threshold value when the action part leaves the display means at a predetermined speed or higher. The input system according to
The invention according to
The invention according to claim 6 is the input system according to
According to a seventh aspect of the present invention, there is provided a detecting means for detecting a position of an operating part of an operator who performs an operation for operating an image displayed on the display means, and a threshold is set at a predetermined distance from the display means. Then, when the operation unit approaches the display unit and the position of the operation unit becomes equal to or greater than the threshold, the control unit that operates the image of the display unit based on the operation, and the position of the operation unit And an threshold value changing unit configured to change the threshold value to the position of the motion unit until the position of the motion unit moves away from the threshold value when the threshold value is equal to or greater than the threshold value.
According to an eighth aspect of the present invention, there is provided a computer having a function of recognizing a position of an operating part of an operator who performs an operation for operating an image displayed on a display unit, and a threshold value at a predetermined distance from the display unit. A function for setting an image of the display unit based on the operation when the operation unit approaches the display unit and the position of the operation unit is equal to or greater than the threshold, and the operation unit Is a program that realizes a function of substituting the position of the operation unit for the threshold value until the position of the operation unit moves away from the threshold value.
請求項１に係る発明によれば、閾値を変化させない場合と比較して、操作者の意図に応じた動作の認識を行うことが可能になる。
請求項２に係る発明によれば、操作者の意図に応じて画像の操作を終了させることが可能になる。
請求項３に係る発明によれば、閾値を初期値に戻させない場合と比較して、操作者の意図に応じて動作を開始させることが可能になる。
請求項４に係る発明によれば、操作者の意図に応じて画像の操作を終了させることが可能になる。
請求項５に係る発明によれば、操作者の意図に応じて画像の操作を終了させることが可能になる。
請求項６に係る発明によれば、操作者の動作部の動きに対応させて画像の操作を終了させることが可能になる。
請求項７に係る発明によれば、閾値を変化させない場合と比較して、操作者の意図に応じた動作の認識を行うことが可能になる。
請求項８に係る発明によれば、閾値を変化させない場合と比較して、操作者の意図に応じた動作の認識を行うことが可能になる。
According to the first aspect of the present invention, it is possible to recognize an operation according to the operator's intention as compared with the case where the threshold value is not changed.
According to the second aspect of the present invention, it is possible to end the operation of the image according to the intention of the operator.
According to the third aspect of the present invention, it is possible to start the operation according to the operator's intention as compared with the case where the threshold value is not returned to the initial value.
According to the fourth aspect of the present invention, it is possible to end the operation of the image according to the intention of the operator.
According to the invention which concerns on
According to the invention which concerns on Claim 6, it becomes possible to complete | finish operation of an image corresponding to a motion of an operation part of an operator.
According to the invention which concerns on Claim 7, it becomes possible to recognize the operation | movement according to an operator's intention compared with the case where a threshold value is not changed.
According to the eighth aspect of the present invention, it is possible to recognize the operation according to the intention of the operator as compared with the case where the threshold value is not changed.
以下、添付図面を参照して、本発明における実施の形態について詳細に説明する。
図１は、本実施の形態が適用される情報入力システム１の全体構成を示した図である。図１に示すように、情報入力システム１は、画像を表示する表示手段の一例としての表示パネル２と、ユーザ（操作者）のジェスチャ（動作）による情報入力を受け付ける入力装置３とを備えている。本実施の形態の情報入力システム１では、入力装置３の後述する検知センサ４（後述する図２参照）によりユーザのジェスチャが検知され、検知されたジェスチャに基づいて、表示パネル２に表示される画像が操作される。この例では、ユーザの手指Ｈによるジェスチャが検知され、手指Ｈのジェスチャに基づいて、表示パネル２に表示される画像が操作される。
Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
FIG. 1 is a diagram illustrating an overall configuration of an
本実施の形態の情報入力システム１は、例えば情報入力システム１に接続された外部装置（図示せず）の操作等に用いられ、表示パネル２には、外部装置の操作画面等が表示される。このような外部装置としては、例えば画像形成装置、画像読取装置、ＦＡＸ等を備える複合機等が挙げられる。そして、本実施の形態の情報入力システム１では、ユーザのジェスチャにより、表示パネル２に表示される操作画面に対する操作が非接触で行われるようになっている。
このように、本実施の形態の情報入力システム１は、非接触による外部装置の操作が可能であるため、医療現場や飲食店、食品製造工場等のような衛生的な環境が求められる場所において特に好適に用いられる。
The
As described above, the
表示パネル２は、表示手段の一例であり、後述する制御部５（後述する図２参照）からの情報に基づき、画像を表示する。表示パネル２は、例えば液晶ディスプレイ、プラズマディスプレイ等により構成される。
The
続いて、本実施の形態の入力装置３の機能について説明する。図２は、本実施の形態が適用される情報入力システム１の機能構成を示した図である。
図２に示すように、本実施の形態の入力装置３は、ユーザによるジェスチャを検知する検知手段の一例としての検知センサ４と、検知センサ４による検知結果に基づいて表示パネル２に表示される画像の制御を行う制御手段の一例としての制御部５とを備えている。
Next, functions of the
As shown in FIG. 2, the
検知センサ４は、例えば、ユーザの体の予め定めた部位やユーザが所持する道具等の動作部の位置を三次元で検知する。検知センサ４は、ユーザの体の部位やユーザが所持する道具等の動作部の位置を検知可能であれば特に限定されないが、例えば赤外線センサ、レーザセンサ等を用いることができる。本実施の形態の検知センサ４は、動作部として、ジェスチャを行うユーザの指先の位置を検知する。
詳細については後述するが、本実施の形態の情報入力システム１では、検知センサ４は、表示パネル２から予め定めた距離以内の範囲を検知範囲Ａ１（後述する図３（ａ）〜（ｂ）参照）とし、この検知範囲Ａ１内にユーザの指先が進入した場合に、ユーザの指先の三次元位置を検知する。そして、検知センサ４は、検知結果に基づきユーザの指先の三次元座標を制御部５に出力する。
The detection sensor 4 detects, for example, a predetermined part of the user's body and the position of an operation unit such as a tool possessed by the user in three dimensions. The detection sensor 4 is not particularly limited as long as it can detect the position of the user's body part or the operation unit such as a tool possessed by the user. For example, an infrared sensor or a laser sensor can be used. The detection sensor 4 of this Embodiment detects the position of the fingertip of the user who performs a gesture as an operation | movement part.
Although details will be described later, in the
制御部５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）により構成されている。ＲＯＭは、ＣＰＵにより実行される制御プログラムを記憶している。ＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出し、ＲＡＭを作業エリアにして制御プログラムを実行する。
The
本実施の形態において制御手段および閾値変更手段を構成する制御部５は、図２に示すように、検知センサ４に検知されたジェスチャに関する情報を取得するジェスチャ受付部５１と、ジェスチャ受付部５１にて受け付けたジェスチャに関する情報に基づきジェスチャを判定するジェスチャ判定部５２と、を備えている。また、制御部５は、ジェスチャ受付部５１にて受け付けたジェスチャに関する情報およびジェスチャ判定部５２の判定結果に基づきジェスチャが行われる領域を判定する領域判定部５３と、ジェスチャ受付部５１にて受け付けたジェスチャに関する情報および領域判定部５３の判定結果に基づき、後述する閾値Ｚｔを変更する閾値変更手段の一例としての閾値変更部５４と、後述する初期閾値および閾値変更部５４にて変更された後の閾値を記憶する閾値記憶部５５と、を備えている。さらに、制御部５は、ジェスチャ判定部５２の判定結果に基づいて表示パネル２に表示される画像を制御する描画制御部５６を備えている。
As shown in FIG. 2, the
図３（ａ）〜（ｂ）は、本実施の形態が適用される情報入力システム１にて、入力装置３により行われる制御の概略を示した模式図である。
本実施の形態の情報入力システム１では、図３（ａ）〜（ｂ）に示すように、表示パネル２の正面（画像が表示される側）であって、表示パネル２からの距離が予め定めた範囲の領域を検知センサ４（図２参照）によるジェスチャの検知範囲Ａ１としている。そして、検知範囲Ａ１にユーザの指先が進入した場合に、検知センサ４により指先の位置が検知され、制御部５は、検知センサ４による検知結果に基づいて表示パネル２に表示される画像を制御する。
FIGS. 3A and 3B are schematic diagrams illustrating an outline of control performed by the
In the
本実施の形態では、図３（ａ）〜（ｂ）に示すように、表示パネル２を正面側から見た場合の左から右へ向かう方向をＸ方向、下から上に向かう方向をＹ方向、Ｘ方向およびＹ方向に直交し表示パネル２に近づく方向（表示パネル２の奥行き方向）をＺ方向とする。
そして、本実施の形態の制御部５は、検知範囲Ａ１内にＸＹ平面に沿いｚ座標が閾値Ｚｔである閾値面Ｔを設定し、ユーザの指先の位置と閾値面Ｔとの関係に応じて、表示パネル２に表示される画像を制御している。具体的には、本実施の形態の制御部５は、検知範囲Ａ１内を、閾値面Ｔを境界として、ｚ座標が閾値Ｚｔ以上でありユーザによる指先のジェスチャを有効なものとして認識するジェスチャ有効領域Ｂ１と、ｚ座標が閾値Ｚｔ未満でありユーザによる指先のジェスチャの認識を解除するジェスチャ解除領域Ｂ２と、に分けている。なお、閾値Ｚｔは、制御部５により設定される値であり、閾値Ｚｔ（閾値面Ｔ）は、ユーザによっては視認できないものである。言い換えると、ユーザは、指先がジェスチャ有効領域Ｂ１に存在するか、またはジェスチャ解除領域Ｂ２に存在するかについては、視認できないようになっている。
続いて、図２および図３（ａ）〜（ｂ）を用いて、制御部５の各構成について詳細に説明する。
In the present embodiment, as shown in FIGS. 3A to 3B, the direction from left to right when the
And the
Then, each structure of the
ジェスチャ受付部５１は、検知センサ４から、ジェスチャに関する情報として、ジェスチャを行うユーザの指先の三次元座標を取得する。具体的には、ジェスチャ受付部５１は、ユーザの指先の三次元座標として、検知範囲Ａ１内でのＸ方向の座標（ｘ座標）、Ｙ方向の座標（ｙ座標）およびＺ方向の座標（ｚ座標）を取得する。
The
ジェスチャ判定部５２は、ジェスチャ受付部５１にて受け付けたジェスチャに関する情報に基づいて、ユーザによるジェスチャが、予め定めた種類のジェスチャであるか否かの判定を行う。具体的には、ジェスチャ判定部５２は、ユーザによるジェスチャが、例えば、タップ動作、フリック動作、ピンチ動作等の予め定めたジェスチャに該当するか否かの判定を行う。また、ジェスチャ判定部５２は、ジェスチャ受付部５１にて受け付けたジェスチャに関する情報に基づいて、ユーザによる指先の移動速度等を認識する。
The
領域判定部５３は、ジェスチャ受付部５１にて受け付けたジェスチャに関する情報に基づき、ジェスチャを行うユーザの指先が閾値面Ｔを超えたか否かの判定を行う閾値判定部５３１と、閾値判定部５３１による判定結果に基づいて、ユーザの指先の位置に応じて閾値Ｚｔを変化させる閾値変更モードを設定するモード設定部５３２と、を有する。
The
閾値判定部５３１は、ジェスチャ受付部５１にて受け付けたユーザの指先のｚ座標と、閾値記憶部５５にて記憶されている閾値Ｚｔとを比較し、ユーザの指先のｚ座標が閾値Ｚｔ以上であるか否かの判定を行う。なお、詳細については後述するが、ユーザの指先がジェスチャ有効領域Ｂ１内に進入する前の状態では、閾値Ｚｔは、予め定められた初期値Ｚａに設定されている（Ｚｔ＝Ｚａ）。
モード設定部５３２は、ユーザの指先が閾値面Ｔを超えジェスチャ有効領域Ｂ１内に進入した場合、すなわち、閾値判定部５３１により指先のｚ座標が閾値Ｚｔ以上であると判定された場合に、閾値変更モードを設定する。また、モード設定部５３２は、ユーザの指先がジェスチャ有効領域Ｂ１からジェスチャ解除領域Ｂ２へ移動した場合、すなわち、ユーザの指先が閾値面Ｔから離れ閾値判定部５３１により指先のｚ座標が閾値Ｚｔ未満であると判定された場合に、閾値変更モードを解除する。
The
When the user's fingertip exceeds the threshold plane T and enters the gesture effective area B1, that is, when the
閾値変更部５４は、ジェスチャ受付部５１にて受け付けたジェスチャに関する情報、領域判定部５３による判定結果に基づいて、閾値Ｚｔを変更する。具体的には、閾値変更部５４は、領域判定部５３のモード設定部５３２により閾値変更モードが設定されている場合、ジェスチャ受付部５１にて受け付けたユーザの指先のｚ座標を、閾値Ｚｔとして代入する。これにより、閾値変更モードが設定されている場合には、閾値Ｚｔ（閾値面Ｔ）は、ユーザの指先の位置に追従して変更されるようになる。
また、閾値変更部５４は、モード設定部５３２により閾値変更モードが解除された場合には、閾値Ｚｔを初期値Ｚａに戻す処理を行う。具体的には、閾値変更部５４は、モード設定部５３２により閾値変更モードが解除された場合、閾値Ｚｔを予め定めた割合で徐々に小さくすることで、初期値Ｚａに近づけていく。なお、本実施の形態において、閾値Ｚｔは、初期値Ｚａ未満にはならないようになっている。
The
In addition, when the threshold setting mode is canceled by the
閾値記憶部５５は、初期値Ｚａを記憶する。さらに、閾値記憶部５５は、領域判定部５３のモード設定部５３２により閾値変更モードが設定されている場合には、閾値変更部５４により変更された後の閾値Ｚｔを記憶する。
The
描画制御部５６は、ジェスチャ判定部５２により判定されたジェスチャの種類および領域判定部５３の閾値判定部５３１により判定されたユーザの指先と閾値Ｚｔとの関係等の情報に基づいて、表示パネル２に表示される画像を制御する。すなわち、描画制御部５６は、ユーザのジェスチャが、ジェスチャ判定部５２にて予め定められた種類のジェスチャと判定され、閾値判定部５３１によりジェスチャ有効領域Ｂ１内で行われたと判定された場合に、ジェスチャを有効なものとして表示パネル２に表示される画像に対して予め定めた操作を行う。予め定められた種類のジェスチャとしては、上述したように、タップ動作、フリック動作、ドラッグ動作、ピンチ動作等が挙げられる。
The
ここで、例えば、タップ動作は、検知範囲Ａ１内において、ユーザの指先が、Ｘ方向およびＹ方向に移動することなく、Ｚ方向（表示パネル２に近づく方向）へ移動した後−Ｚ方向（表示パネル２から離れる方向）に戻される動作である。タップ動作は、ユーザの指先がＺ方向へ移動して閾値面Ｔを超えてジェスチャ解除領域Ｂ２からジェスチャ有効領域Ｂ１へ進入した場合に、表示パネル２に表示される画像を操作するジェスチャとして有効と判断される。また、タップ動作は、ユーザの指先が−Ｚ方向へ移動して閾値面Ｔから離れてジェスチャ有効領域Ｂ１からジェスチャ解除領域Ｂ２へ移動した場合に、ジェスチャが終了したものと判断される。
なお、タップ動作は、例えば表示パネル２に表示される画像を選択する場合等に行われる。
Here, for example, in the tap operation, the user's fingertip moves in the Z direction (direction approaching the display panel 2) without moving in the X direction and the Y direction within the detection range A1, and then in the −Z direction (display). This is an operation of returning to the direction away from the
Note that the tap operation is performed, for example, when an image displayed on the
フリック動作またはドラッグ動作は、検知範囲Ａ１内において、ユーザの指先が、Ｚ方向へ移動し、続いてＸ方向および／またはＹ方向に移動した後、−Ｚ方向に戻される動作である。フリック動作またはドラッグ動作は、ユーザの指先が閾値面Ｔを超えてジェスチャ有効領域Ｂ１内でＸ方向および／またはＹ方向に移動した場合に、表示パネル２に表示される画像を操作するジェスチャとして有効と判断される。また、フリック動作またはドラッグ動作は、ユーザの指先がＸ方向および／またはＹ方向に移動した後に、−Ｚ方向へ移動して閾値面Ｔから離れてジェスチャ有効領域Ｂ１からジェスチャ解除領域Ｂ２へ移動した場合に、ジェスチャが終了したものと判断される。
なお、フリック動作は、例えば表示パネル２に表示される画像を異なる画像に切り替える際に行われ、通常、ドラッグ動作と比較して素早く指先を動かす動作である。また、ドラッグ動作は、例えば表示パネル２に表示される画像を、表示パネル２上の他の領域に移動させる際に行われ、通常、フリック動作と比較して指先の移動速度が遅く、また指先の移動距離が長いことが多い。
The flicking operation or dragging operation is an operation in which the user's fingertip moves in the Z direction, subsequently moves in the X direction and / or the Y direction, and then returns to the −Z direction within the detection range A1. The flicking action or the dragging action is effective as a gesture for manipulating an image displayed on the
Note that the flicking operation is performed, for example, when the image displayed on the
ピンチ動作は、検知範囲Ａ１内において、ユーザの２本の指等がＺ方向へ移動し、続いて２本の指のＸＹ平面に沿った距離が変更された後、これらの２本の指が−Ｚ方向に戻される動作である。ピンチ動作は、閾値面Ｔを超えてジェスチャ有効領域Ｂ１内でユーザの２本の指の間の距離が変更された場合に、表示パネル２に表示される画像を操作するジェスチャとして有効と判断される。また、ピンチ動作は、ユーザの２本の指の間の距離が変更された後に、これらの指が−Ｚ方向へ移動して閾値面Ｔから離れてジェスチャ有効領域Ｂ１からジェスチャ解除領域Ｂ２へ移動した場合に、ジェスチャが終了したものと判断される。
なお、ピンチ動作は、例えば表示パネル２に表示される画像を縮小・拡大する際に行われる。
In the pinching operation, the two fingers of the user move in the Z direction within the detection range A1, and then the distance along the XY plane of the two fingers is changed. The operation is returned to the −Z direction. The pinch operation is determined to be effective as a gesture for manipulating an image displayed on the
Note that the pinch operation is performed, for example, when the image displayed on the
このように、本実施の形態の情報入力システム１では、ジェスチャを行うユーザの指先の位置と閾値Ｚｔとの関係により、表示パネル２に表示される画像の操作が行われる。
そして、情報入力システム１においてユーザの意図通りに画像の操作を行うためには、ジェスチャを行うユーザの指先の位置と閾値Ｚｔ（閾値面Ｔ）との関係をユーザの意図通りにする必要がある。より具体的には、ユーザが画像の操作を終了しようとして指先を−ｚ方向に移動させた場合に、ユーザの意図通りにユーザの指先が閾値Ｚｔから離れてジェスチャ解除領域Ｂ２へ移動し、ユーザの意図通りにジェスチャが終了することが望まれる。特に、ユーザが複数のジェスチャを連続して行い画像の操作を連続して行うような場合には、ジェスチャをユーザの意図通りに終了し、次のジェスチャをユーザの意図通りに開始することが望まれる。
As described above, in the
In order to operate an image as intended by the user in the
ジェスチャを行うユーザの指先等の位置と閾値Ｚｔとの関係に応じて表示パネル２に表示される画像の操作を行う情報入力システム１では、閾値Ｚｔが予め定めた値（例えば初期値Ｚａ）に固定されている場合、ユーザの意図通りにジェスチャを終了することが難しいという課題が存在する。
図７は、従来の情報入力システム１にて生じる課題について説明するための図である。
In the
FIG. 7 is a diagram for explaining a problem that occurs in the conventional
上述したように、情報入力システム１において閾値Ｚｔ（閾値面Ｔ）は、ユーザによって視認できないため、ユーザは、指先がジェスチャ有効領域Ｂ１およびジェスチャ解除領域Ｂ２のいずれに存在するか視認できないようになっている。
このため、例えば、ユーザが表示パネル２に表示される画像を操作するジェスチャ（この例では、フリック動作）を終了させるために、図７において破線矢印Ｐで示すように指先を−Ｚ方向に移動させて指先をジェスチャ解除領域Ｂ２に移動させようとした場合であっても、指先のｚ座標が閾値Ｚｔを超えたまま維持される場合がある。この場合、ユーザの指先がジェスチャ有効領域Ｂ１に存在するため、ユーザの意図通りにジェスチャを終了することができない。
また、この場合、ユーザが次の異なる操作を連続して行うために指先を再びＺ方向に移動させても、前のジェスチャが終了していないため、次の操作を意図通りに開始することができない。
As described above, since the threshold value Zt (threshold surface T) cannot be visually recognized by the user in the
For this reason, for example, in order to end a gesture (in this example, a flick operation) for the user to manipulate an image displayed on the
In this case, since the previous gesture is not completed even if the user moves the fingertip again in the Z direction in order to continuously perform the next different operations, the next operation may be started as intended. Can not.
これに対し、本実施の形態の情報入力システム１では、ユーザの指先の位置に応じて閾値Ｚｔを変更することにより、ユーザがジェスチャを行った場合に、ユーザの意図しない操作が行われることを抑制している。
続いて、本実施の形態の情報入力システム１において、制御部５により行われる閾値Ｚｔを変更する制御について、詳細に説明する。図４は、本実施の形態の制御部５により行われる閾値Ｚｔを変更する処理の手順を示したフローチャートである。
On the other hand, in the
Next, in the
まず、ユーザによりジェスチャが行われユーザの指先が検知範囲Ａ１内に進入すると、検知センサ４によりユーザがジェスチャを行う指先の位置が検知される。そして、ジェスチャ受付部５１により、検知センサ４にて検知されたジェスチャに関する情報が取得される（ステップ１０１）。この例では、ジェスチャに関する情報として、ユーザの指先の三次元座標等が取得される。ステップ１０１にてジェスチャ受付部５１にて取得されるユーザの指先の三次元座標（ｘ座標,ｙ座標,ｚ座標）を、（Ｘｎ,Ｙｎ,Ｚｎ）とする。
First, when the user performs a gesture and the user's fingertip enters the detection range A1, the detection sensor 4 detects the position of the fingertip where the user performs the gesture. And the information regarding the gesture detected by the detection sensor 4 is acquired by the gesture reception part 51 (step 101). In this example, the three-dimensional coordinates of the user's fingertip and the like are acquired as information regarding the gesture. In step 101, the three-dimensional coordinates (x coordinate, y coordinate, z coordinate) of the user's fingertip acquired by the
続いて、ステップ１０１にてジェスチャ受付部５１により取得された指先の三次元座標に基づいて、領域判定部５３の閾値判定部５３１により、ユーザの指先のｚ座標（Ｚｎ）が、閾値Ｚｔ以上であるか否かの判定が行われる（ステップ１０２）。なお、閾値Ｚｔは、ユーザの指先が検知範囲Ａ１に進入した当初は、予め定めた初期値Ｚａに設定されている。
Subsequently, based on the three-dimensional coordinates of the fingertip acquired by the
次いで、閾値判定部５３１により、指先のｚ座標（Ｚｎ）が閾値Ｚｔ以上であると判定された場合（Ｚｎ≧Ｚｔ；ステップ１０２にてＹＥＳ）、モード設定部５３２により、閾値変更モードが設定される（ステップ１０３）。
Next, when the
次いで、閾値変更部５４により、閾値Ｚｔが、初期値Ｚａからステップ１０１にて取得されたユーザの指先のｚ座標（Ｚｎ）に変更される（Ｚｔ＝Ｚｎ）（ステップ１０４）。言い換えると、ユーザの指先のｚ座標（Ｚｎ）が、閾値Ｚｔと等しい状態となる。
Next, the threshold
続いて、ジェスチャ受付部５１により再び移動後の指先の三次元座標が取得される（ステップ１０５）。ステップ１０５にて取得される移動後の指先の三次元座標（ｘ座標,ｙ座標,ｚ座標）を、（Ｘｎ´,Ｙｎ´,Ｚｎ´）とする。
続いて、ステップ１０５にてジェスチャ受付部５１により取得された移動後の指先の三次元座標に基づいて、領域判定部５３の閾値判定部５３１により、移動後の指先が、ステップ１０４にて変更された閾値Ｚｔ（＝ｚｎ、閾値面Ｔ）から離れたか否かの判定が行われる（ステップ１０６）。なお、指先が閾値Ｚｔ（閾値面Ｔ）から離れたか否かを判定する方法については後述する。
Subsequently, the three-dimensional coordinates of the moved fingertip are acquired again by the gesture receiving unit 51 (step 105). The three-dimensional coordinates (x-coordinate, y-coordinate, z-coordinate) of the fingertip after movement acquired in
Subsequently, based on the three-dimensional coordinates of the moved fingertip acquired by the
ステップ１０６にて指先が閾値Ｚｔ（閾値面Ｔ）から離れていないと判定された場合（ステップ１０６にてＮＯ）、閾値変更部５４により、閾値Ｚｔが、ステップ１０４にて設定された値Ｚｎからステップ１０５にて取得された移動後の指先のｚ座標（Ｚｎ´）に変更される（Ｚｔ＝Ｚｎ´）（ステップ１０７）。
その後、モード設定部５３２により引き続き閾値変更モードが設定されたまま、ステップ１０５に戻り、処理を継続する。これにより、閾値判定部５３１により指先が閾値Ｚｔから離れたと判定されるまでの間、ユーザのジェスチャによる移動する指先の位置に、閾値Ｚｔが追従して変更されることになる。
When it is determined in
Thereafter, while the threshold value changing mode is continuously set by the
一方、ステップ１０６にて指先が閾値Ｚｔ（閾値面Ｔ）から離れていると判定された場合（ステップ１０６にてＹＥＳ）、モード設定部５３２により閾値変更モードが解除される（ステップ１０８）。
続いて、閾値変更部５４により、閾値Ｚｔを初期値Ｚａに戻す処理が実行され（ステップ１０９）、一連の処理が終了する。具体的には、閾値Ｚｔを、予め定めた割合で徐々に小さくすることで、初期値Ｚａに戻す。なお、本実施の形態において、閾値Ｚｔは、初期値Ｚａ未満の値にはならないようになっている。
On the other hand, when it is determined in
Subsequently, the threshold
また、ステップ１０２において、閾値判定部５３１により、指先のｚ座標（Ｚｎ）が閾値Ｚｔ未満であると判定された場合（Ｚｎ＜Ｚｔ；ステップ１０２にてＮＯ）、閾値変更モードが設定されることなく、一連の処理が終了する。
In
図５（ａ）〜（ｂ）は、図４に示した処理が行われる場合のユーザの指先と閾値Ｚｔ（閾値面Ｔ）との関係を示した図である。
図５（ａ）にてＨ１で示す位置にユーザの指先がＺ方向に移動され、移動後の指先のｚ座標（Ｚ１）が閾値Ｚｔ（初期値Ｚａ）を超えた場合、モード設定部５３２により閾値変更モードが設定され、図５に示すように、閾値Ｚｔが指先のｚ座標（Ｚ１）に変更される。さらにユーザの指先がＨ１からＨ２へＺ方向に移動された場合、閾値Ｚｔが移動後の指先のｚ座標（Ｚ２）に変更される。このように、本実施の形態では、ユーザの指先が初期値Ｚａ以上の範囲でＺ方向に移動した場合、ユーザの指先の移動に追従して閾値Ｚｔが変更される。
FIGS. 5A to 5B are diagrams illustrating the relationship between the user's fingertip and the threshold value Zt (threshold surface T) when the processing illustrated in FIG. 4 is performed.
When the user's fingertip is moved in the Z direction to the position indicated by H1 in FIG. 5A and the z coordinate (Z1) of the moved fingertip exceeds the threshold value Zt (initial value Za), the
また、閾値Ｚｔが移動後の指先のｚ座標（Ｚ２）に変更された後、さらにユーザの指先がＨ２からＨ３へ−Ｚ方向に移動され、閾値判定部５３１により指先が閾値Ｚｔから離れたと判定された場合、図５（ｂ）に示すように、閾値Ｚｔを移動前の指先のｚ座標（Ｚ２）から初期値Ｚａに戻す処理が行われる。すなわち、閾値ＺｔをＺ２から徐々に小さくする処理が行われる。
なお、さらにユーザの指先がＨ３からＨ４へ−Ｚ方向へ移動され、指先のｚ座標が初期値Ｚａよりも小さくなった場合、閾値Ｚｔは、初期値Ｚａへ戻された後、初期値Ｚａよりも小さくはならないようになっている。
Further, after the threshold value Zt is changed to the z coordinate (Z2) of the fingertip after the movement, the user's fingertip is further moved from H2 to H3 in the −Z direction, and the threshold
When the user's fingertip is further moved from H3 to H4 in the -Z direction, and the z-coordinate of the fingertip becomes smaller than the initial value Za, the threshold value Zt is returned to the initial value Za and then the initial value Za. However, it will not become smaller.
続いて、ステップ１０６において閾値判定部５３１によりユーザの指先が閾値Ｚｔ（閾値面Ｔ）から離れたか否かを判定する方法について説明する。
上述したように、閾値変更モードが設定されている場合、ユーザの指先の位置に閾値Ｚｔ（閾値面Ｔ）が追従するようになっている。閾値判定部５３１は、ユーザにより指先が−Ｚ方向に移動された場合に、指先が変更後の閾値Ｚｔ（閾値面Ｔ）から離れたと判定することができる。この場合、ユーザがジェスチャを終了しようとして指先を−Ｚ方向に移動した場合に、すみやかに指先が閾値Ｚｔから離れたと判定されるため、ユーザの意図に沿って表示パネル２に表示される画像の操作を終了することが可能になる。
Next, a method for determining whether or not the user's fingertip has moved away from the threshold value Zt (threshold surface T) by the threshold
As described above, when the threshold value change mode is set, the threshold value Zt (threshold value surface T) follows the position of the user's fingertip. The threshold
また、閾値判定部５３１は、ユーザにより予め定めた速度で指先が−Ｚ方向に移動された場合に、指先が閾値Ｚｔ（閾値面Ｔ）から離れたと判定することができる。ここで、通常、ドラッグ動作等のように指先を検知範囲Ａ１内で長期間移動させるようなジェスチャと、フリック動作等のように指先を速く移動させるようなジェスチャとでは、ユーザがジェスチャを終了しようとして指先を−Ｚ方向へ移動させる際の移動速度が異なりやすい。したがって、閾値判定部５３１は、ジェスチャ判定部５２により判定されるジェスチャの種類に応じて、指先が閾値Ｚｔから離れたと判定する指先の速度を異ならせてもよい。この場合、ユーザが行うジェスチャの種類に応じてジェスチャの終了が認識されるため、ユーザの意図に沿った操作が行われやすくなる。
In addition, the
さらに、閾値判定部５３１は、ユーザにより指先が−Ｚ方向に移動された場合に、ユーザの指先の位置が閾値Ｚｔから予め定めた距離だけ離れた場合に、指先が閾値Ｚｔ（閾値面Ｔ）から離れたと判定することができる。
図６は、指先が閾値Ｚｔから離れたと判定する制御の一例を示した図である。図６に示すように、例えばユーザにより指先が−Ｚ方向に移動された場合に、指先が閾値Ｚｔから離れたと判定する距離ΔＺを、検知範囲Ａ１内で異ならせてもよい。具体的には、図６に示すように、移動前の指先の位置（Ｈａ）を基準として、Ｘ方向の両端に向かうほど、距離ΔＺを大きくすることが好ましい。通常、ユーザがジェスチャを行う場合、手首を中心として指先を動かす。このため、例えば指先をＸ方向に動かすジェスチャを行う場合、Ｘ方向に向かうに従い指先が表示パネル２から離れやすい。したがって、指先が閾値Ｚｔから離れたと判定する距離ΔＺをＸ方向の両端に向かうほど大きく設定することで、ユーザの意図によらず指先が閾値Ｚｔから離れたと判定されることが抑制され、ユーザの意図によらない操作がなされることが抑制される。
また、図示は省略するが、指先が閾値Ｚｔから離れたと判定する距離ΔＺを、移動前の指先の位置（Ｈａ）を基準として、Ｙ方向の両端に向かうほど大きく設定してもよい。
Further, the
FIG. 6 is a diagram illustrating an example of control for determining that the fingertip has moved away from the threshold value Zt. As shown in FIG. 6, for example, when the fingertip is moved in the −Z direction by the user, the distance ΔZ that determines that the fingertip has moved away from the threshold value Zt may be varied within the detection range A1. Specifically, as shown in FIG. 6, it is preferable to increase the distance ΔZ toward the both ends in the X direction with reference to the position (Ha) of the fingertip before movement. Usually, when the user makes a gesture, the fingertip is moved around the wrist. For this reason, for example, when performing a gesture of moving the fingertip in the X direction, the fingertip is likely to move away from the
Although not shown, the distance ΔZ that determines that the fingertip has moved away from the threshold value Zt may be set larger toward the both ends in the Y direction with reference to the position (Ha) of the fingertip before movement.
以上説明したように、本実施の形態では、ユーザがジェスチャを行いユーザの指先の位置が予め定めた閾値Ｚｔ以上となった場合に、指先が閾値Ｚｔから離れたと判定されるまでの間、閾値Ｚｔに指先のｚ座標を代入している。言い換えると、閾値Ｚｔが、ユーザの指先のｚ座標に追従して変更されるようになっている。
これにより、ユーザがジェスチャを終了しようとして指先等を動かした場合に、ユーザの意図に沿って閾値Ｚｔから離れた位置に移動されやすくなる。すなわち、ユーザがジェスチャを終了しようとして指先等を動かした場合に、ユーザの指先等が閾値Ｚｔ以上の範囲（ジェスチャ有効領域Ｂ１）に残った状態が維持され難くなる。
これにより、ユーザの意図に沿ってジェスチャが終了されやすくなり、ユーザの意図に沿って表示パネル２の画像が操作される。
As described above, in the present embodiment, when the user makes a gesture and the position of the fingertip of the user becomes equal to or greater than the predetermined threshold value Zt, the threshold value is determined until it is determined that the fingertip is separated from the threshold value Zt. The z coordinate of the fingertip is substituted for Zt. In other words, the threshold value Zt is changed following the z coordinate of the user's fingertip.
As a result, when the user moves a fingertip or the like in order to end the gesture, the user is easily moved to a position away from the threshold value Zt along the user's intention. That is, when the user moves the fingertip or the like in order to end the gesture, it is difficult to maintain a state where the user's fingertip or the like remains in the range (gesture effective region B1) that is equal to or greater than the threshold value Zt.
Thereby, it becomes easy to complete | finish a gesture according to a user's intention, and the image of the
１…情報入力システム、２…表示パネル、３…入力装置、４…検知センサ、５…制御部、５１…ジェスチャ受付部、５２…ジェスチャ判定部、５３…領域判定部、５４…閾値変更部、５５…閾値記憶部、５６…描画制御部
DESCRIPTION OF
Claims (8)
前記表示手段の画像を操作するための動作を行う操作者の動作部の位置を検知する検知手段と、
前記表示手段から予め定められた距離に閾値を設定し、前記動作部が当該表示手段に近づいて当該動作部の位置が当該閾値以上となった場合に、前記動作に基づいて当該表示手段の画像を操作する制御手段と、
前記動作部の位置が前記閾値以上となった場合に、当該動作部の位置が当該閾値から離れるまで当該閾値を当該動作部の位置に変更する閾値変更手段とを備える入力システム。 Display means for displaying an image;
Detecting means for detecting a position of an operating part of an operator who performs an operation for operating an image of the display means;
When a threshold value is set at a predetermined distance from the display unit, and the operation unit approaches the display unit and the position of the operation unit becomes equal to or greater than the threshold value, the image of the display unit is based on the operation. Control means for operating,
An input system comprising: a threshold value changing unit configured to change the threshold value to the position of the motion unit until the position of the motion unit moves away from the threshold value when the position of the motion unit becomes equal to or greater than the threshold value.
前記表示手段から予め定められた距離に閾値を設定し、前記動作部が当該表示手段に近づいて当該動作部の位置が当該閾値以上となった場合に、前記動作に基づいて当該表示手段の画像を操作する制御手段と、
前記動作部の位置が前記閾値以上となった場合に、当該動作部の位置が当該閾値から離れるまで当該閾値を当該動作部の位置に変更する閾値変更手段とを備える入力装置。 Detecting means for detecting the position of the operating part of the operator who performs an operation for operating the image displayed on the display means;
When a threshold value is set at a predetermined distance from the display unit, and the operation unit approaches the display unit and the position of the operation unit becomes equal to or greater than the threshold value, the image of the display unit is based on the operation. Control means for operating,
An input device comprising: a threshold value changing unit configured to change the threshold value to the position of the motion unit until the position of the motion unit moves away from the threshold value when the position of the motion unit becomes equal to or greater than the threshold value.
表示手段に表示される画像を操作するための動作を行う操作者の動作部の位置を認識する機能と、
前記表示手段から予め定められた距離に閾値を設定する機能と、
前記動作部が前記表示手段に近づいて前記動作部の位置が当該閾値以上となった場合に、前記動作に基づいて当該表示手段の画像を操作する機能と、
前記動作部の位置が前記閾値以上となった場合に、当該動作部の位置が当該閾値から離れるまで当該閾値に当該動作部の位置を代入する機能とを実現させるプログラム。 On the computer,
A function of recognizing the position of the operation part of the operator who performs an operation for operating the image displayed on the display means;
A function of setting a threshold at a predetermined distance from the display means;
A function of operating the image of the display unit based on the operation when the operation unit approaches the display unit and the position of the operation unit is equal to or greater than the threshold;
A program for realizing a function of substituting the position of the operating unit for the threshold until the position of the operating unit departs from the threshold when the position of the operating unit is equal to or greater than the threshold.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015040520A JP6428382B2 (en) | 2015-03-02 | 2015-03-02 | Input system, input device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015040520A JP6428382B2 (en) | 2015-03-02 | 2015-03-02 | Input system, input device, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016162209A JP2016162209A (en) | 2016-09-05 |
| JP6428382B2 true JP6428382B2 (en) | 2018-11-28 |
Family
ID=56846958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015040520A Active JP6428382B2 (en) | 2015-03-02 | 2015-03-02 | Input system, input device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6428382B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7048151B2 (en) * | 2018-03-30 | 2022-04-05 | Ｎｅｃソリューションイノベータ株式会社 | Motion judgment device, motion judgment method, and program |
| JP7799525B2 (en) * | 2022-03-22 | 2026-01-15 | キヤノン株式会社 | Gesture recognition device, head-mounted display device, gesture recognition method, program, and storage medium |
| JP7825227B2 (en) * | 2022-11-15 | 2026-03-06 | パナソニックＩｐマネジメント株式会社 | Operation device, intercom device, and control method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4094794B2 (en) * | 1999-09-10 | 2008-06-04 | 株式会社リコー | Coordinate detection apparatus, information storage medium, and coordinate detection method |
| JP5839173B2 (en) * | 2010-10-14 | 2016-01-06 | Ｎｌｔテクノロジー株式会社 | Touch sensor device and electronic device |
| JP2013195326A (en) * | 2012-03-22 | 2013-09-30 | Pioneer Electronic Corp | Object detection apparatus, object detection method, object detection program, and information storage medium |
| JP5610644B2 (en) * | 2012-04-27 | 2014-10-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Input device, input support method, and program |
| JP5933468B2 (en) * | 2013-03-04 | 2016-06-08 | 三菱電機株式会社 | Information display control device, information display device, and information display control method |
-
2015
- 2015-03-02 JP JP2015040520A patent/JP6428382B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016162209A (en) | 2016-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9529527B2 (en) | Information processing apparatus and control method, and recording medium | |
| EP2770408B1 (en) | Apparatus and method for recognizing proximity motion using sensors | |
| KR101646616B1 (en) | Apparatus and Method for Controlling Object | |
| JP5306105B2 (en) | Display control device, display control device control method, program, and storage medium | |
| JP2008009759A (en) | Touch panel device | |
| US9916043B2 (en) | Information processing apparatus for recognizing user operation based on an image | |
| JP6711817B2 (en) | Information processing apparatus, control method thereof, program, and storage medium | |
| US10035539B2 (en) | Steering wheel control system | |
| JP6410537B2 (en) | Information processing apparatus, control method therefor, program, and storage medium | |
| TWI502474B (en) | User interface operation method and electronic device | |
| CN103958282A (en) | Vehicle operating device | |
| US10394434B2 (en) | Apparatus and method for recognizing proximity motion using sensors | |
| JP6428382B2 (en) | Input system, input device, and program | |
| JP2011081447A5 (en) | ||
| US10318047B2 (en) | User interface for electronic device, input processing method, and electronic device | |
| JP6160465B2 (en) | Portable information terminal and program | |
| JP6033061B2 (en) | Input device and program | |
| JP6366267B2 (en) | Information processing apparatus, information processing method, program, and storage medium | |
| JP6579866B2 (en) | Information processing apparatus, control method therefor, program, and storage medium | |
| US20170039097A1 (en) | Method and system for processing multimodal input signals | |
| JP5558899B2 (en) | Information processing apparatus, processing method thereof, and program | |
| JP2022142624A (en) | Detection processing device, detection processing method, and information processing system | |
| JP6149555B2 (en) | Touch panel device | |
| JP6303864B2 (en) | Information processing apparatus and display control method | |
| JP6447179B2 (en) | Information input system and input device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181002 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181015 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6428382 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |