Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7638352B2 - 位置指示デバイス及びコンピュータ - Google Patents
[go: Go Back, main page]

JP7638352B2 - 位置指示デバイス及びコンピュータ - Google Patents

位置指示デバイス及びコンピュータ Download PDF

Info

Publication number
JP7638352B2
JP7638352B2 JP2023194216A JP2023194216A JP7638352B2 JP 7638352 B2 JP7638352 B2 JP 7638352B2 JP 2023194216 A JP2023194216 A JP 2023194216A JP 2023194216 A JP2023194216 A JP 2023194216A JP 7638352 B2 JP7638352 B2 JP 7638352B2
Authority
JP
Japan
Prior art keywords
virtual
pen tip
virtual reality
pointing device
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023194216A
Other languages
English (en)
Other versions
JP2024012599A (ja
Inventor
雄一 井手
浩 玉野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Publication of JP2024012599A publication Critical patent/JP2024012599A/ja
Priority to JP2025024063A priority Critical patent/JP2025075056A/ja
Application granted granted Critical
Publication of JP7638352B2 publication Critical patent/JP7638352B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は位置指示デバイス及び空間位置指示システムに関し、特に、ハプティクスに対応する位置指示デバイス及び空間位置指示システムに関する。
仮想現実（ＶＲ：Virtual Reality、ＡＲ：Augmented Reality、ＭＲ：Mixed Realityを含む)空間内において、仮想平面に字を書いたり絵を描いたりするための技術が登場している。例えば、非特許文献１に記載の「Ｔｉｌｔ Ｂｒｕｓｈ」は、専用コントローラを用いて、仮想現実空間の空中に絵を描くことを実現している。また、特許文献１には、仮想のマーカ、絵筆、塗料スプレー缶を使用して、仮想表面又は実際の表面に芸術作品又はグラフィティ作品を制作するゲームが開示されている。
また、仮想現実に関して、ハプティクスという技術が注目されている。ハプティクスは、振動を仮想現実のユーザに与えるもので、例えば特許文献１には、マーカ型、絵筆型、塗料スプレー缶型の各コントローラにアクチュエータを設け、このアクチュエータに振動を与える技術が開示されている。また、非特許文献２には、ロボットアームに機械的に接続されたスタイラスの位置と方向に基づいて仮想カテーテル等の手術器具と３Ｄモデル間の干渉判定を行い、各部位に相当する感触（粘性、剛性、摩擦などといった力覚特性）を生成する技術が開示されている。
米国特許第８８８４８７０号明細書
「ＶＲお絵かきアプリ『Ｔｉｌｔ Ｂｒｕｓｈ』とは？使い方・購入方法も紹介」、［online］、ＭｏｇｕｒａＶＲ、［平成３０年２月２８日検索］、インターネット＜URL：http://www.moguravr.com/vr-tilt-brush/＞ 「ＩｍｍｅｒｓｉｖｅＴｏｕｃｈ外科手術トレーニングシミュレータ」、［online］、日本バイナリー株式会社、［平成３０年２月２８日検索］、インターネット＜URL：http://www.nihonbinary.co.jp/Products/Medical/MedicalTraining/SurgicalSimulation/ImmersiveTouch.html＞
ところで、タブレット（タブレットコンピュータ、デジタイザを含む）との間で信号の送受信を行うことにより、タブレットに対する入力を行えるように構成されたペン型のスタイラス（以下、「電子ペン」という）が知られている。従来、仮想現実空間内ではこの種の電子ペンを使用することができなかったが、近年、仮想現実空間内でも電子ペンを使用したいという要望が高まっている。
したがって、本発明の目的の一つは、仮想現実空間内における電子ペンの使用を実現できる位置指示デバイスを提供することにある。
また、電子ペンを仮想現実空間内で使用する場合には、現実のタブレットだけでなく、仮想のタブレットにも入力可能とすることが好ましいが、この場合、仮想現実空間内で物体の表面に電子ペンのペン先が当たった場合に、電子ペンに力覚を発生させることが望まれる。しかしながら、電子ペンの位置を検出するための位置センサはある程度の大きさを有しており、少なくとも現時点では、ペン先に設置できるような小型の位置センサは存在しない。その結果、検出した位置が物体の表面に当たった場合に力覚を発生させたとしても、その時点でペン先が物体の表面にあるとは限らないので、ユーザに違和感を感じさせてしまう。
したがって、本発明の目的の他の一つは、ユーザが仮想現実空間内で電子ペンを使用する場合に、ユーザに違和感を感じさせることなく力覚を発生させることのできる空間位置指示システムを提供することにある。
本発明の一側面による位置指示デバイスは、ペン先を有する電子ペンを搭載可能に構成される筐体と、力覚を発生する力覚発生部と、前記筐体に搭載される前記電子ペンの仮想現実空間内における前記ペン先の位置と前記仮想現実空間内における物体との間の距離が所定値以下である場合に力覚を発生させるように前記力覚発生部を制御するコントローラと、を有する位置指示デバイスである。
本発明の他の一側面による位置指示デバイスは、位置指示部と、力覚を発生する力覚発生部と、仮想現実空間内における前記位置指示部の位置と前記仮想現実空間内における物体との間の距離が所定値以下である場合に力覚を発生させるように前記力覚発生部を制御するコントローラと、を有する位置指示デバイスである。
本発明による空間位置指示システムは、現実空間における位置指示デバイスの位置指示部の位置を取得するステップと、前記現実空間における前記位置指示部の位置に基づき、仮想現実空間内における前記位置指示部の位置を取得するステップと、前記仮想現実空間内における前記位置指示部の位置と前記仮想現実空間内における物体との間の距離が所定値以下であるか否かを判定する判定ステップと、前記判定ステップの判定結果に応じて、力覚発生部を有する前記位置指示デバイスに前記力覚発生部を制御するための制御信号を送信する送信ステップと、を実行するコンピュータを含む空間位置指示システムである。
本発明の一側面による位置指示デバイスによれば、空間位置指示デバイスに電子ペンを搭載することができるので、仮想現実空間内における電子ペンの使用が可能になる。
本発明の他の一側面による位置指示デバイスによれば、電子ペン自体が空間位置指示デバイスとして動作するので、仮想現実空間内における電子ペンの使用が可能になる。
本発明の位置指示デバイス及び空間位置指示システムによれば、位置情報により示される位置指示デバイス（又は電子ペン）の位置ではなく、ペン先の位置に基づいて位置指示デバイス（又は電子ペン）の力覚発生部に力覚を発生させることができるので、仮想現実空間内で電子ペンを使用するユーザに違和感を感じさせることなく、力覚を発生させることが可能になる。
本発明の第１の実施の形態による空間位置指示システム１の構成を示す図である。 （ａ）は、電子ペン５の外観を示す斜視図であり、図２（ｂ）は、電子ペン５の機能ブロックを示す略ブロック図である。 図２（ｂ）に示した力覚発生部５６の構成の第１の例を示す図である。 図２（ｂ）に示した力覚発生部５６の構成の第２の例を示す図である。 図２（ｂ）に示した力覚発生部５６の構成の第３の例を示す図である。 図２（ｂ）に示した力覚発生部５６の構成の第４の例を示す図である。 図２（ｂ）に示した力覚発生部５６の構成の第５の例を示す図である。 図２（ｂ）に示した力覚発生部５６の構成の第６の例を示す図である。 図２（ｂ）に示した力覚発生部５６の構成の第７の例を示す図である。 磁性流体の固さの変化を利用して筐体５ａを移動させるように力覚発生部５６を構成した場合に、コンピュータ２が生成する制御信号の一例を示す図である。 コンピュータ２の制御部２ａが行う処理を示す処理フロー図である。 図１１のステップＳ２，Ｓ６で実行される仮想現実空間内ペン先位置取得処理の詳細を示す図である。 図１１において実行される処理の説明図である。 本発明の第２の実施の形態による空間位置指示システム１で用いられる空間位置指示デバイス６を示す図である。 図２に示した処理部５０が行う処理を示す処理フロー図である。
以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。
図１は、本発明の第１の実施の形態による空間位置指示システム１の構成を示す図である。同図に示すように、本実施の形態による空間位置指示システム１は、コンピュータ２と、仮想現実ディスプレイ３と、タブレット４と、電子ペン５と、ライトニングハウス７ａ，７ｂと、位置センサ８ａ～８ｃとを含んで構成される。位置センサ８ａ～８ｃはそれぞれ、タブレット４、仮想現実ディスプレイ３、及び電子ペン５に設けられる。
図１に示した各装置は、原則として部屋の中に配置される。空間位置指示システム１においては、この部屋のほぼ全体が仮想現実空間として利用され得る。
コンピュータ２は、制御部２ａとメモリ２ｂとを含む。以下で説明するコンピュータ２が行う各処理は、制御部２ａがメモリ２ｂ内に記憶されるプログラムを読み出して実行することにより実現することができる。
コンピュータ２は、仮想現実ディスプレイ３、ライトニングハウス７ａ，７ｂ、タブレット４のそれぞれと、有線又は無線により接続される。有線による場合、例えばＵＳＢ(Universal Serial Bus)などを用いることが好適である。無線による場合、例えばＷｉ－Ｆｉ（登録商標）などの無線ＬＡＮ、又は、ブルートゥース（登録商標）などの近距離無線通信を用いることが好適である。なお、タブレット４や仮想現実ディスプレイ３がコンピュータとしての機能を内蔵する場合には、そのコンピュータによりコンピュータ２を構成することとしてもよい。
コンピュータ２は、仮想現実ディスプレイ３上に仮想現実空間を表示する機能を有して構成される。この仮想現実空間は、ＶＲ(Virtual Reality)空間であってもよいし、ＡＲ(Augmented Reality)空間であってもよいし、ＭＲ(Mixed Reality)空間であってもよい。ＶＲ空間を表示する場合、仮想現実ディスプレイ３を装着したユーザは、仮想現実を認識し、現実世界と切り離される。一方、ＡＲ空間又はＭＲ空間を表示する場合、仮想現実ディスプレイ３を装着したユーザは、仮想現実と現実世界とが混合した空間を認識することになる。
コンピュータ２は、ライトニングハウス７ａ，７ｂの位置を基準として設定された仮想現実空間内において様々な３Ｄオブジェクト（物体）をレンダリングするレンダリング装置として機能するとともに、レンダリングの結果により、仮想現実ディスプレイ３の表示を更新するよう構成される。これにより、仮想現実ディスプレイ３上に表示される仮想現実空間内には、様々な３Ｄオブジェクトが現れることになる。コンピュータ２によるレンダリングは、メモリ２ｂ内に記憶される３Ｄオブジェクト情報に基づいて実行される。３Ｄオブジェクト情報は、コンピュータ２により設定された仮想現実空間を示す仮想現実空間における３Ｄオブジェクトの形状、位置、及び向きを示す情報であり、レンダリング対象の３Ｄオブジェクトごとにメモリ２ｂ内に記憶される。
コンピュータ２によりレンダリングされる３Ｄオブジェクトには、図１に示したタブレット４、電子ペン５のように現実にも存在する３Ｄオブジェクト（以下、「第１の３Ｄオブジェクト」と称する）と、仮想タブレット（図示せず）のような現実には存在しない３Ｄオブジェクト（以下、「第２の３Ｄオブジェクト」と称する）とが含まれる。これらの３Ｄオブジェクトをレンダリングするにあたり、コンピュータ２はまず、現実空間における位置センサ８ｂの位置及び向きを検出し、検出結果に基づいて、ユーザの視点を示す視点情報を取得する。
第１の３Ｄオブジェクトをレンダリングする場合、コンピュータ２はさらに、対応する物体に取り付けられている位置センサ（例えば、位置センサ８ａ，８ｃ）の現実空間における位置及び向きを検出し、検出結果をメモリ２ｂに格納する。そして、格納した位置及び向きと、上述した視点情報と、第１の３Ｄオブジェクトについて記憶している形状とに基づき、第１の３Ｄオブジェクトを仮想現実空間内にレンダリングする。また、コンピュータ２は、電子ペン５に関して特に、位置センサ８ｃの位置を検出することによって仮想現実空間内でユーザが行った操作を検出し、その結果に基づいて第２の３Ｄオブジェクトを新規に作成し（すなわち、メモリ２ｂに３Ｄオブジェクト情報を新規に格納し）、又は、既に保持している第２の３Ｄオブジェクトを移動ないし更新する（すなわち、メモリ２ｂに格納済みの３Ｄオブジェクト情報を更新する）処理を行う。この点については、後ほど別途詳しく説明する。
一方、第２の３Ｄオブジェクトをレンダリングする場合、コンピュータ２は、メモリ２ｂに格納されている３Ｄオブジェクト情報と、上述した視点情報とに基づき、第２の３Ｄオブジェクトを仮想現実空間内にレンダリングするよう構成される。
コンピュータ２はさらに、仮想現実空間内における電子ペン５のペン先の位置（仮想現実空間内位置）と、仮想現実空間内に表示中の３Ｄオブジェクトの仮想現実空間内における位置とに基づいて、電子ペン５の力覚発生部５６（後述）に力覚を発生させるか否かを判定し、発生させると判定した場合に、力覚発生部５６を起動するための制御信号を電子ペン５に対して送信する処理を行う。具体的な例では、仮想現実空間内において電子ペン５のペン先が仮想タブレットのタッチ面に接触した場合に、力覚発生部５６を起動するための制御信号を電子ペン５に対して送信するよう構成される。この点については、後ほど再度詳しく説明する。
仮想現実ディスプレイ３は、人間の頭部に装着して用いるＶＲディスプレイ（ヘッドマウントディスプレイ）である。一般に市販される仮想現実ディスプレイには、「透過型」又は「非透過型」、「メガネ型」又は「帽子型」など各種のものがあるが、仮想現実ディスプレイ３としては、そのいずれを用いることも可能である。
仮想現実ディスプレイ３は、位置センサ８ａ及び電子ペン５（位置センサ８ｃを含む）のそれぞれと有線又は無線により接続される。位置センサ８ａ，８ｃは、この接続を通じて、後述する受光レベル情報を仮想現実ディスプレイ３に通知するよう構成される。仮想現実ディスプレイ３は、位置センサ８ａ，８ｃのそれぞれから通知された受光レベル情報を、自身に内蔵している位置センサ８ｂの受光レベル情報とともにコンピュータ２に通知する。コンピュータ２は、こうして通知された受光レベル情報に基づき、現実空間内における位置センサ８ａ～８ｃそれぞれの位置及び向きを検出する。
タブレット４は、タブレット面４ａを有する装置である。タブレット面４ａは平らな表面であることが好ましく、電子ペン５のペン先を滑らせるのに適した材料によって構成され得る。一例では、タブレット４はいわゆるデジタイザであり、タッチ面内における電子ペン５の指示位置を検出するタッチセンサと、検出した指示位置をコンピュータ２に通知する通信機能とを有して構成される。この場合のタブレット面４ａは、デジタイザのタッチ面によって構成される。他の一例では、タブレット４はいわゆるタブレットコンピュータであり、ディスプレイと、このディスプレイの表示面内における電子ペン５の指示位置を検出するタッチセンサと、検出した指示位置をコンピュータ２に通知する通信機能とを有して構成される。この場合のタブレット面４ａは、ディスプレイの表示面によって構成される。
位置センサ８ａは、タブレット４の表面に固定設置される。したがって、コンピュータ２によって検出される位置センサ８ａの位置及び向きは、仮想現実空間座標系におけるタブレット面４ａの位置及び向きを示している。
電子ペン５は、ペン型の形状を有するスタイラスであり、タブレット４への入力装置としての機能（以下、「タブレット入力機能」と称する）と、コンピュータ２への入力装置としての機能（以下、「仮想現実空間入力機能」と称する）とを有して構成される。タブレット入力機能には、タブレット４のタッチ面内の位置を指示する機能が含まれる。一方、仮想現実空間入力機能には、仮想現実空間内の位置を指示する機能が含まれる。各機能の詳細については、別途後述する。
ライトニングハウス７ａ，７ｂは、位置センサ８ａ～８ｃの位置を検出するための位置検出システムを構成する基地局装置であり、それぞれ、コンピュータ２による制御に従って方向を変えながらレーザー信号を射出可能に構成される。位置センサ８ａ～８ｃは、それぞれ複数の受光センサによって構成されており、ライトニングハウス７ａ，７ｂのそれぞれが照射したレーザー信号を各受光センサによって受光し、それぞれの受光レベルを含む受光レベル情報を取得するよう構成される。こうして取得された受光レベル情報は、上述したように、仮想現実ディスプレイ３を介してコンピュータ２に供給される。
図２（ａ）は、電子ペン５の外観を示す斜視図であり、図２（ｂ）は、電子ペン５の機能ブロックを示す略ブロック図である。図２（ａ）に示すように、電子ペン５は、略筒型の筐体５ａと、筐体５ａの先端に設けられたペン先５ｂとを有して構成される。なお、実際の電子ペン５の表面には、後述する力覚発生部５６を実現するための各種部材が取り付けられる場合があるが、図２（ａ）では描画を省略している。また、図示していないが、電子ペン５の側面又は端部に各種のスイッチを設けることとしてもよい。
タブレット入力機能による入力を行う場合、ユーザは、片方の手によって筐体５ａを把持し、ペン先５ｂをタブレット４のタッチ面に当接させる。そして、当接状態を保ちながらタッチ面上でペン先５ｂを移動させることによって、電子ペン５による入力操作を行う。一方、仮想現実空間入力機能による入力を行う場合、ユーザは、片方の手によって筐体５ａを把持し、空中で電子ペン５を移動させることによって、電子ペン５による入力操作を行う。
仮想現実空間入力機能による入力には、上述した仮想タブレットへの入力が含まれる。この場合、仮想現実ディスプレイ３を装着したユーザの目には仮想タブレットが見えているが、現実には、その場所にタブレットは存在しない。したがって、仮想タブレットのタッチ面にペン先５ｂを当接させることはできないが、それでは仮想タブレットへの入力操作が困難になる。そこで空間位置指示システム１では、ペン先５ｂが仮想タブレットのタッチ面の位置にある場合に力覚を発生させることで、あたかも仮想タブレットのタッチ面にペン先５ｂが当接しているかのような感覚をユーザに与える処理を行う。この点については、後ほど別途詳しく説明する。
図２（ｂ）を参照すると、電子ペン５は機能的に、処理部５０、通信部５１，５３、筆圧検出部５２、位置検出部５４、スイッチ部５５、及び力覚発生部５６を有して構成される。
処理部５０は、電子ペン５内の他の各部と接続され、これらを制御するとともに、後述する各種の処理を行うプロセッサにより構成される。なお、本実施の形態では電子ペン５内に処理部５０を配置しているが、これに限定されず、電子ペン５の外部に処理部５０を配置してもよい。
通信部５１及び筆圧検出部５２は、タブレット入力機能を実現する機能部である。
通信部５１は、処理部５０の制御に従い、タブレット４のタッチセンサとの間で信号の送受信を行う機能を有する。この信号の送受信には、電子ペン５からタブレット４に対して一方的に信号を送信する場合と、電子ペン５とタブレット４の間で双方向に信号の送受信を行う場合とが含まれる。また、信号送受信の具体的な方式としては、例えば電磁誘導方式又はアクティブ静電方式が用いられ得る。
筆圧検出部５２は、ペン先５ｂに加えられた圧力（筆圧）を検出する機能部であり、具体的な例では、筆圧によって容量値が変化する容量センサ（図示せず）によって構成される。以下、通信部５１がアクティブ静電方式によって信号を送受信する場合を例に取り、タブレット入力機能について具体的に説明する。
アクティブ静電方式に対応するタッチセンサは、タッチ面内に配置されるセンサ電極（図示せず）から、所定の時間間隔でビーコン信号を送出するよう構成される。ビーコン信号には、タッチセンサから電子ペン５を制御するためのコマンドが含まれる。コマンドによる制御の内容には、例えば、筆圧検出部５２によって検出された筆圧を示す筆圧データを送信させること、電子ペン５に設けられる各種スイッチ（図示せず）の押下状態を送信させること、電子ペン５のメモリ（図示せず）に予め格納されている固有ＩＤを送信させることなどが含まれる。
通信部５１は、電子ペン５のペン先に設けられたペン先電極（図示せず）を介して上記ビーコン信号を検出し、検出したビーコン信号を処理部５０に供給する。処理部５０は、供給されたビーコン信号に応じて、無変調の搬送波であるバースト信号と、コマンドに応じたデータによって搬送波を変調することにより得られるデータ信号とを含むペン信号を生成し、通信部５１に供給する。通信部５１は、上記ペン先電極を介して、供給されたペン信号をタッチセンサに送信する。
タッチセンサは、上記センサ電極によってバースト信号の検出を試み、検出結果に基づいて、タッチ面内における電子ペン５の位置を検出する。また、上記センサ電極によってデータ信号を検出して復調することにより、コマンドに応じて電子ペン５が送信したデータを受信する。
タブレット４は、取得した電子ペン５の位置及び電子ペン５が送信したデータを、逐次、コンピュータ２に向けて送信するよう構成される。コンピュータ２は、タブレット４から受信したデータに含まれる筆圧データにより示される筆圧が所定値（例えば、０）より大きい値となっている場合に、電子ペン５がタブレット４のタッチ面に接触していると判定する。そしてコンピュータ２は、電子ペン５がタブレット４のタッチ面に接触していると判定している間、継続的に、順次受信される一連の位置に基づいてインクデータ（複数の位置を所定の補間曲線により補間してなる曲線データ）を生成し、図１に示したメモリ２ｂに格納する処理を実行する。これにより、タブレット入力機能が実現される。なお、タブレット４がディスプレイを有する場合には、コンピュータ２は、メモリ２ｂに格納したインクデータを逐次レンダリングし、その結果をタブレット４のディスプレイに表示することとしてもよい。
通信部５３、位置検出部５４、スイッチ部５５、及び力覚発生部５６は、仮想現実空間入力機能を実現する機能部である。
通信部５３は、処理部５０の制御に従い、仮想現実ディスプレイ３を介してコンピュータ２との間で信号の送受信を行う機能を有する。この信号の送受信は、上述したように、有線又は無線によって実現される。
位置検出部５４は、図１に示した位置センサ８ｃによって構成される機能部であり、ライトニングハウス７ａ，７ｂが送信しているレーザー信号（現実空間内の位置を検出するための位置検出用信号）を検出し、検出したレーザー信号に応じた受光レベル情報（位置情報）を生成する機能を有する。位置検出部５４によって生成された受光レベル情報は、通信部５３により、コンピュータ２に向けて送信される。
スイッチ部５５は、電子ペン５の筐体５ａの表面に設けられるスイッチであり、ユーザによって押下可能に構成される。スイッチ部５５の押下状態を示すスイッチ情報も、通信部５３により、コンピュータ２に向けて送信される。
力覚発生部５６は、外部から供給される制御信号に応じて力覚を発生する機能を有する。この制御信号は、通信部５３を通じて、コンピュータ２から供給される。力覚発生部５６については、後ほど別途、より詳しく説明する。
コンピュータ２は、受信した受光レベル情報に基づき、逐次、位置センサ８ｃの位置及び向きを検出するとともに、受信したスイッチ情報に基づき、スイッチ部５５が押下されているか否かの判定を行う。そして、スイッチ部５５が押下されていると判定している間、継続的に、順次検出される一連の位置に基づいて３Ｄのインクデータを生成し、図１に示したメモリ２ｂに格納する処理を実行する。こうして生成された３Ｄのインクデータは上述した第２の３Ｄオブジェクトに相当し、上述したレンダリングの対象となる。これにより、仮想現実空間入力機能が実現される。
ここで、仮想現実空間内に上述した仮想タブレットを表示している場合には、コンピュータ２は、この仮想タブレットのタッチ面と電子ペン５のペン先５ｂとが仮想現実空間内で接触している場合に限り、３Ｄのインクデータを生成する。こうすることで、ユーザは、現実のタブレット４への入力と同様に仮想タブレットへの入力を行うことが可能になる。なお、この場合における３Ｄのインクデータの生成は、スイッチ部５５の押下状態にかかわらず実行されることとしてもよい。
以上が空間位置指示システム１の全体概要である。次に、電子ペン５に設けられる力覚発生部５６の構成について詳しく説明するが、力覚発生部５６は様々な構成を取り得るので、以下では７つの例を挙げ、順に説明することとする。
図３～図９はそれぞれ、力覚発生部５６の構成の第１～第７の例を示す図である。図３～図５それぞれの（ａ）（ｂ）、図６、及び図７は電子ペン５の断面図であり、図８（ａ）は電子ペン５の斜視図である。図８（ｂ）は、図８（ａ）に示した部分Ｄの分解斜視図である。図９は、電子ペン５の使用状態を示す斜視図である。
第１の例による力覚発生部５６は、図３に示すように、ペン先５ｂの前方に配置された平板状の当接部５６ａと、筐体５ａを覆うように配置された筒状部材である摺動部５６ｂと、当接部５６ａ及び摺動部５６ｂのそれぞれに固定されたブリッジ部５６ｃとを含んで構成される。
摺動部５６ｂは、図３（ａ）に示す位置から図３（ｂ）に示す位置まで、図示した範囲Ａにわたり筐体５ａに対して筐体５ａの長手方向に摺動可能に構成される。ただし、ユーザが電子ペン５を把持した状態では、摺動部５６ｂはユーザの手に対して固定されるので、この摺動によって実際に移動するのは筐体５ａの方である。摺動部５６ｂが図３（ａ）に示す位置にある場合、ペン先５ｂは当接部５６ａと接していない。一方、摺動部５６ｂが図３（ｂ）に示す位置にある場合、ペン先５ｂは当接部５６ａと当接する。
処理部５０は、コンピュータ２から受信される制御信号に応じて、筐体５ａを図３（ａ）に示す位置から図３（ｂ）に示す位置に移動させる。これにより、ペン先５ｂが当接部５６ａに衝突する。したがって、仮想現実空間内において電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことに応じて制御信号を送信するようにコンピュータ２を構成することにより、ユーザは、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
ここで、力覚発生部５６は、磁性流体を含んで構成されることが好ましい。磁性流体は、印加するパルス電流の周波数により固さを制御可能な材料である。磁性流体に与えるパルス電流の周波数を変化させ、相対的に固い状態と相対的に柔らかい状態との間を連続的に遷移させると、磁性流体に接触している人間には振動が発生したように感じられる。また、磁性流体の固さを変化させることによって、各種の物体を移動させることもできる。
図１０は、磁性流体の固さの変化を利用して筐体５ａを移動させるように力覚発生部５６を構成した場合に、コンピュータ２が生成する制御信号の一例を示す図である。同図に示すように、この場合の制御信号は、バースト期間ＢＵとブランク期間ＢＬとを一定のデューティー比で繰り返すパルス電流信号によって構成される。この制御信号によれば、磁性流体は、全区間に占めるバースト期間ＢＵの割合が大きくなるほど固くなる。そこでコンピュータ２は、制御信号のデューティー比を制御することによって磁性流体の固さを制御し、その結果として筐体５ａを移動させる。こうして、磁性流体により力覚を発生させることが実現される。
第２の例による力覚発生部５６は、図４に示すように、ペン先５ｂの前方に配置された平板状の当接部５６ａと、筐体５ａに固定されたブリッジ部５６ｃと、当接部５６ａとブリッジ部５６ｃの間に設けられたヒンジ部５６ｄとを含んで構成される。
当接部５６ａは、ヒンジ部５６ｄと接続された一端を中心として、図４（ａ）に示す位置から図４（ｂ）に示す位置まで、図示した範囲Ｂにわたり回動可能に構成される。当接部５６ａが図４（ａ）に示す位置にある場合、ペン先５ｂは当接部５６ａと接していない。一方、当接部５６ａが図４（ｂ）に示す位置にある場合、ペン先５ｂは当接部５６ａと当接する。本例においても、当接部５６ａの移動は磁性流体を利用して実現することが好ましい。
処理部５０は、コンピュータ２から受信される制御信号に応じて、当接部５６ａを図４（ａ）に示す位置から図４（ｂ）に示す位置に移動させる。これによりペン先５ｂが当接部５６ａに衝突するので、第１の例と同様、ユーザは、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
第３の例による力覚発生部５６は、図５に示すように、ペン先５ｂの前方に配置された平板状の当接部５６ａと、筐体５ａに固定されたブリッジ部５６ｃと、当接部５６ａと一体に形成されたスライド部５６ｅとを含んで構成される。
スライド部５６ｅは、図５に示すように、例えばブリッジ部５６ｃの端部を収容するほぞを有しており、ブリッジ部５６ｃがこのほぞの中を摺動することにより、図５（ａ）に示す位置から図５（ｂ）に示す位置まで、図示した範囲Ｃにわたり電子ペン５の長手方向に移動可能に構成される。スライド部５６ｅが図５（ａ）に示す位置にある場合、ペン先５ｂは当接部５６ａと接していない。一方、スライド部５６ｅが図５（ｂ）に示す位置にある場合、ペン先５ｂは当接部５６ａと当接する。本例においても、スライド部５６ｅの移動は磁性流体を利用して実現することが好ましい。
処理部５０は、コンピュータ２から受信される制御信号に応じて、スライド部５６ｅを図５（ａ）に示す位置から図５（ｂ）に示す位置に移動させる。これによりペン先５ｂが当接部５６ａに衝突するので、第１及び第２の例と同様、ユーザは、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
第４の例による力覚発生部５６は、図６に示すように、筐体５ａの表面に露出するように配置された固さ変化部５６ｆを含んで構成される。固さ変化部５６ｆは、上述した磁性流体を含むビニールなどで構成される。
処理部５０は、コンピュータ２から受信された制御信号を固さ変化部５６ｆに与えることにより、固さ変化部５６ｆの固さを変化させる。これにより固さ変化部５６ｆの固さが振動しているかのように感じられることから、ユーザは、第１乃至第３の例と同様、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
第５の例による力覚発生部５６は、図７に示すように、筐体５ａに固定された基体部５６ｇと、基体部５６ｇの中に配置された振動部５６ｈと、一端が振動部５６ｈに押し当てられ、他端が筐体５ａの内壁に押し当てられた状態で配置された高剛性部材であるアクチュエータ５６ｉと、を有して構成される。
処理部５０は、コンピュータ２から受信された制御信号を振動部５６ｈに与えることにより、振動部５６ｈを振動させる。すると、その振動がアクチュエータ５６ｉを通じて筐体５ａに伝達されるので、筐体５ａも振動する。これによりユーザは、第１乃至第４の例と同様、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
第６の例による力覚発生部５６は、図８（ａ）に示すように、筐体５ａに設けられた溝部５ｃと、筐体５ａの内部に配置された振動部５６ｊとを含んで構成される。振動部５６ｊの一部は、溝部５ｃを通じて外部に露出している。また、振動部５６ｊは、上述した磁性流体を含んで構成される。
図８（ｂ）には、溝部５ｃ及び振動部５６ｊの具体的な構造を示している。同図に示すように、振動部５６ｊは、筐体５ａ内に配置された筒状部材である基体部５６ｊａと、基体部５６ｊａの側面から突出するように設けられた３つの突出部５６ｊｂとを有して構成される。３つの突出部５６ｊｂは、基体部５６ｊａと一体に形成されるもので、基体部５６ｊａの円周方向に等間隔で配置される。溝部５ｃは、これら３つの突出部５６ｊｂのそれぞれに対応して設けられる。
処理部５０は、コンピュータ２から受信された制御信号を振動部５６ｊに与えることにより、振動部５６ｊを振動させる。ユーザは、溝部５ｃを通じて露出している３つの突出部５６ｊｂを通じてこの振動を直接感じ取ることができるので、第１乃至第５の例と同様、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
第７の例による力覚発生部５６は、図９に示すように、電子ペン５の本体とは別体として設けられ、具体的には、ペン先５ｂの前方に配置された平板状の当接部５６ａと、ユーザの腕に固定されるブリッジ部５６ｋとを含んで構成される。ブリッジ部５６ｋの一端近傍には開口部５６ｋａが設けられており、ブリッジ部５６ｋは、この開口部５６ｋａにユーザが自身の腕を挿入することによって、ユーザの腕に固定される。
当接部５６ａは、ブリッジ部５６ｋの他端近傍を、図示した範囲Ｅにわたって移動可能に構成される。当接部５６ａの具体的な移動範囲は、当接部５６ａが電子ペン５にもっとも近づいたときにペン先５ｂと接触するように決定される。なお、ユーザによって手の大きさが異なることを考慮すると、当接部５６ａの移動範囲は、予め行うキャリブーション処理によりユーザごとに調節することが好ましい。本例においても、当接部５６ａの移動は磁性流体を利用して実現することが好ましい。
処理部５０は、コンピュータ２から受信された制御信号を力覚発生部５６に与えることにより、当接部５６ａをペン先５ｂに衝突させる。これによりユーザは、第１乃至第６の例と同様、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
以上、電子ペン５に設けられる力覚発生部５６の構成について、７つの例を挙げて説明した。次に、コンピュータ２による力覚発生部５６の制御信号の生成について、詳しく説明する。
図１１は、コンピュータ２の制御部２ａ（図１を参照）が行う処理を示す処理フロー図である。図１２は、図１１のステップＳ２，Ｓ６で実行される仮想現実空間内ペン先位置取得処理の詳細を示す図である。図１３は、図１１において実行される処理の説明図である。以下、これらの図を参照しながら、コンピュータ２による力覚発生部５６の制御信号の生成について詳細に説明する。
初めに図１１を参照すると、コンピュータ２は、まず前提として、仮想現実空間内に物体を表示する（ステップＳ１）。この物体は、上述した第２の３Ｄオブジェクト（例えば、仮想タブレット）である。図１３（ａ）は、こうして表示される物体の表面Ｓを３次元座標空間上に示したものである。
続いてコンピュータ２は、仮想現実空間内における電子ペン５のペン先５ｂの位置ＶＰ２を取得する処理を行う（ステップＳ２）。具体的に説明すると、図１２に示すように、コンピュータ２はまず、受光レベル情報を取得する（ステップＳ２０）。この受光レベル情報は電子ペン５の位置検出部５４（図２を参照）によって生成されるものであり、コンピュータ２は、電子ペン５からの受信によって受光レベル情報を取得する。
受光レベル情報を取得したコンピュータ２は、取得した受光レベル情報に基づき、現実空間における電子ペン５の位置を示す現実空間内位置Ｐ１（第１の現実空間内位置）を取得（算出）する（ステップＳ２１）。こうして取得される位置Ｐ１は図１に示した位置センサ８ｃの位置であって、ペン先５ｂの位置ではない。そこでコンピュータ２は、予めメモリ２ｂ内に記憶している電子ペン５の形状に基づいて位置センサ８ｃの位置をペン先５ｂの位置に変換することにより、現実空間における電子ペン５のペン先５ｂの位置を示す現実空間内位置Ｐ２（第２の現実空間内位置）を取得（算出）する処理を行う（ステップＳ２２）。
続いてコンピュータ２は、取得した位置Ｐ２に基づき、仮想現実空間内における電子ペン５のペン先５ｂの位置を示す仮想現実空間内位置ＶＰ２を取得（算出）する（ステップＳ２３）。仮想現実空間内ペン先位置取得処理は、ここまでの処理で終了する。
図１１に戻り、位置ＶＰ２を取得したコンピュータ２は、位置ＶＰ２と仮想現実空間内における物体（ステップＳ１で表示したもの）の表面Ｓの位置とに基づいて、電子ペン５のペン先５ｂが表面Ｓに衝突したか否かを判定する（第２の判定ステップ。ステップＳ３，Ｓ４）。具体的には、点である位置ＶＰ２が表面Ｓを構成する領域の中に含まれる場合に衝突したと判定し、それ以外の場合に衝突していないと判定すればよい。
ステップＳ４の判定において衝突したと判定した場合（ステップＳ４の肯定判定）、コンピュータ２は、力覚を発生させるための制御信号を生成し、電子ペン５に対して送信する（第２の力覚発生ステップ。ステップＳ５）。この制御信号は、例えば、図１０に示したパルス電流信号である。電子ペン５の処理部５０がこの制御信号に応じて力覚発生部５６に力覚を発生させることにより、ユーザは、表面Ｓ（例えば、仮想タブレットのタッチ面）への衝突体験を得ることが可能になる。
続いてコンピュータ２は、再度仮想現実空間内位置ＶＰ２を取得する処理を行い（ステップＳ６）、表面Ｓと位置ＶＰ２の間の距離が所定値Ｌ以下であるか否かを判定する（第１の判定ステップ。ステップＳ７，Ｓ８）。この処理は、位置ＶＰ２を通る表面Ｓの法線が表面Ｓと交わる点と、位置Ｖｐ２との間の距離が所定値Ｌ以下であるか否かを判定することによって行えばよい。
ステップＳ８で所定値Ｌ以下であると判定した場合（ステップＳ８の肯定判定）、コンピュータ２は、再度力覚を発生させるための制御信号を生成し、電子ペン５に対して送信する（第１の力覚発生ステップ。ステップＳ９）。これによりユーザは、手元がぶれて電子ペン５のペン先５ｂが表面Ｓから離れたとしても、あまり離れていない場合には、引き続き表面Ｓに接触している感覚を得ることができる。現実に存在していない表面Ｓに意図的にペン先５ｂを接触させ続けることは難しいので、仮想現実空間内においてはこの処理が非常に有効である。
ステップＳ９を終了したコンピュータ２は、ステップＳ６に戻って処理を続ける。これにより、表面Ｓと位置ＶＰ２との間の距離が所定値Ｌ以下である間（すなわち、ステップＳ８の判定結果が肯定的である間）、表面Ｓとの接触をユーザに感じさせ続けることが可能になる。
なお、図１１に破線で示したように、コンピュータ２は、ステップＳ９の実施とともに、位置ＶＰ２が表面Ｓ上の位置となるよう物体の位置を移動させる処理を実施することとしてもよい（ステップＳ１０）。こうすることで、力覚だけでなく視覚的にも接触状態を維持することが可能になる。
ステップＳ４の判定において衝突していないと判定した場合（ステップＳ４の否定判定）、及び、ステップＳ８で所定値Ｌ以下でないと判定した場合（ステップＳ８の否定判定）、コンピュータ２は、ステップＳ２に戻って処理を続ける。この場合、力覚発生部５６による力覚の発生が生じないので、位置ＶＰ２と表面Ｓとの間の距離が離れているにも関わらず、力覚が発生しまうことが防止される。したがって、仮想現実空間内で電子ペン５を使用するユーザに違和感を感じさせることなく、力覚発生部５６に力覚を発生させることが可能になる。
なお、図１１の例においては、電子ペン５のペン先５ｂが表面Ｓに一旦衝突した後、力覚の発生を中止する条件（すなわち、ステップＳ２に戻る条件）として、表面Ｓと位置ＶＰ２の間の距離が所定値Ｌ以下でなくなったことを使用したが、その他の事象を力覚の発生を中止する条件として用いることとしてもよい。例えば、表面Ｓに衝突してからの電子ペン５の移動距離が所定値を上回った場合、電子ペン５の移動速度が所定値を上回った場合、電子ペン５の加速度が所定値を上回った場合、ユーザが電子ペン５を用いて所定のジェスチャを行った場合、図示しないマイクによりユーザが所定の音声入力を行ったことが検出された場合、図示しない圧力センサ（例えば、ユーザによる電子ペン５の把持力を測定するために電子ペン５の側面に設けられる圧力センサ）によりユーザが所定の圧力を加えたことが検出された場合などに、力覚の発生を中止することとしてもよい。
以上説明したように、本実施の形態による電子ペン５によれば、電子ペン５自体が位置検出部５４を有しており、したがって電子ペン５が空間位置指示デバイスとして動作するので、仮想現実空間内における電子ペン５の使用が可能になる。
また、本実施の形態による空間位置指示システム１によれば、受光レベル情報により示される電子ペン５の位置ではなく、ペン先５ｂの位置に基づいて力覚発生部５６に力覚を発生させることができるので、仮想現実空間内で電子ペン５を使用するユーザに違和感を感じさせることなく、力覚を発生させることが可能になる。
図１４は、本発明の第２の実施の形態による空間位置指示システム１で用いられる空間位置指示デバイス６を示す図である。図１４（ａ）は空間位置指示デバイス６の使用状態を示す斜視図を、図１４（ｂ）は空間位置指示デバイス６の機能ブロックを示す略ブロック図を、それぞれ表している。図１４（ａ）に示すように、空間位置指示デバイス６は、電子ペン５を差し込んで使用可能に構成される。本実施の形態は、図２（ｂ）を参照して説明した電子ペン５の機能のうち仮想現実空間入力機能が空間位置指示デバイス６側に設けられる点で、第１の実施の形態と相違する。本実施の形態による電子ペン５は、仮想現実空間入力機能を有しない一般的な電子ペンである。以下、第１の実施の形態と同一の構成については同一の符号を付し、第１の実施の形態との相違点に着目して詳しく説明する。
初めに図１４（ｂ）を参照すると、空間位置指示デバイス６は機能的に、処理部５０、通信部５３、位置検出部５４、スイッチ部５５、及び力覚発生部５６を有して構成される。これらの基本的な機能は、図２（ｂ）を参照して説明したものと同様である。ただし、スイッチ部５５は、電子ペン５ではなく空間位置指示デバイス６の表面に設けられる。
次に図１４（ａ）を参照すると、空間位置指示デバイス６は、筐体６ａと、持ち手部６ｂと、図１にも示した位置センサ８ｃと、位置センサ８ｃを筐体６ａに固定するためのブリッジ部６ｄと、方向指示器６ｅと、平板状の当接部５６ａと、筐体６ａの間に固定されたブリッジ部５６ｍと、を含んで構成される。このうち当接部５６ａ及びブリッジ部５６ｍは、空間位置指示デバイス６の力覚発生部５６を構成する。
筐体６ａは、空間位置指示デバイス６の本体を構成する部材であり、電子ペン５を搭載可能に構成される。より具体的に言えば、筐体６ａは、電子ペン５を差し込むための差し込み口を有している。また、持ち手部６ｂは、ユーザが空間位置指示デバイス６を持つための部材である。図１４に示すように、ユーザは、筐体６ａの差し込み口に電子ペン５を差し込み、持ち手部６ｂを片手でつかんだ状態で、空間位置指示デバイス６を使用する。方向指示器６ｅは、ユーザの使用感を向上させるための部材であり、ユーザが右手で持ち手部６ｂをつかんだ場合に、右手親指を置けるように構成される。
当接部５６ａは、ブリッジ部５６ｍを介して、ペン先５ｂの前方に配置される。当接部５６ａは、ブリッジ部５６ｍの一端近傍を、図示した範囲Ｆにわたって移動可能に構成される。当接部５６ａの移動は、上述した磁性流体を利用して実現することが好ましい。当接部５６ａの具体的な位置は、当接部５６ａが電子ペン５にもっとも近づいたときにペン先５ｂと接触するように決定される。処理部５０がコンピュータ２から受信される制御信号に応じて当接部５６ａを図面右方向に移動させると、ペン先５ｂが当接部５６ａに衝突する。これにより、第１の実施の形態と同様、ユーザは、電子ペン５のペン先５ｂが仮想タブレットのタッチ面に接触したことを現実の衝撃として感じることが可能になる。
本実施の形態においてコンピュータ２が行う処理も、基本的には第１の実施の形態で説明したとおりである。ただし、図１１に示したステップＳ３において、第１の実施の形態では、予めメモリ２ｂ内に記憶している電子ペン５の形状に基づき、位置センサ８ｃの位置をペン先５ｂの位置に変換する処理を行うとしたが、本実施の形態によるコンピュータ２は、電子ペン５を差し込んだ状態の空間位置指示デバイス６の形状を予めメモリ２ｂ内に記憶しておき、それに基づいて、位置センサ８ｃの位置をペン先５ｂの位置に変換する処理を行うよう構成される。これにより、位置センサ８ｃの位置ではなく、ペン先５ｂの位置に基づいて力覚発生部５６に力覚を発生させることが可能になる。
以上説明したように、本実施の形態による電子ペン５によれば、空間位置指示デバイス６に電子ペン５を搭載することができる。したがって、仮想現実空間内における電子ペン５の使用が可能になる。
また、本実施の形態による空間位置指示システム１によれば、受光レベル情報により示される位置センサ８ｃの位置ではなく、ペン先５ｂの位置に基づいて力覚発生部５６に力覚を発生させることができるので、仮想現実空間内で空間位置指示デバイス６及び電子ペン５を使用するユーザに違和感を感じさせることなく、力覚を発生させることが可能になる。
以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
例えば、上記各実施の形態では、コンピュータ２は、仮想現実空間内において電子ペン５のペン先が仮想タブレットのタッチ面に接触した場合に、力覚発生部５６に力覚を発生させることとしたが、仮想タブレット以外の第２の３Ｄオブジェクトの表面に電子ペン５のペン先が接触した場合に、力覚発生部５６に力覚を発生させることとしてもよい。また、接触ではなく、仮想現実空間入力機能による入力が開始された場合（すなわち、コンピュータ２による３Ｄオブジェクトの生成が開始された場合。また、仮想タブレットへの入力を行っている場合には、３Ｄのインクデータの生成が開始された場合）に、力覚発生部５６に力覚を発生させることとしてもよい。
また、上記第２の実施の形態では、力覚発生部５６が当接部５６ａを含んで構成される例を説明したが、図６～図８に示した例と同様の仕組みを筐体６又は持ち手部６ｂに設けることによって力覚発生部５６を構成することとしてもよい。
また、上記各実施の形態では、力覚発生部５６を起動するための制御信号をコンピュータ２内で生成する例を説明したが、電子ペン５又は空間位置指示デバイス６の中でこの制御信号を生成することとしてもよい。以下、このように電子ペン５を構成する場合に図２に示した処理部５０が行う処理について、図面を参照しながら説明する。なお、空間位置指示デバイス６の中で制御信号を生成する場合についても、図２ではなく図１４に示した処理部５０が処理を行う他は、同様である。
図１５は、図２に示した処理部５０が行う処理を示す処理フロー図である。同図に示すように、処理部５０は、まず前提として、仮想現実空間内に表示されている物体の情報を取得する（ステップＳ３０）。この物体は、上述した第２の３Ｄオブジェクト（例えば、仮想タブレット）であり、処理部５０は、コンピュータ２からの受信によって物体の情報を取得する。
続いて処理部５０は、仮想現実空間内における電子ペン５のペン先５ｂの位置ＶＰ２を取得する処理を行う（ステップＳ３１）。この処理の詳細は図１２を参照した説明したものと同様であるので、詳しい説明は省略する。なお、処理部５０は、図２に示した位置検出部５４から受光レベル情報を取得する。
位置ＶＰ２を取得した処理部５０は、位置ＶＰ２と仮想現実空間内における物体（ステップＳ１で情報を取得したもの）の表面Ｓの位置とに基づいて、電子ペン５のペン先５ｂが表面Ｓに衝突したか否かを判定する（ステップＳ３２，Ｓ３３）。この処理は、図１１のステップＳ３，Ｓ４と同様の処理である。
ステップＳ３３の判定において衝突したと判定した場合（ステップＳ３３の肯定判定）、処理部５０は、力覚を発生させるための制御信号を生成し、図２に示した力覚発生部５６に供給する（ステップＳ３４）。これによりユーザは、表面Ｓ（例えば、仮想タブレットのタッチ面）への衝突体験を得ることが可能になる。
続いて処理部５０は、再度仮想現実空間内位置ＶＰ２を取得する処理を行い（ステップＳ３５）、表面Ｓと位置ＶＰ２の間の距離が所定値Ｌ以下であるか否かを判定する（ステップＳ３６，Ｓ３７）。この処理は、図１１のステップＳ７，Ｓ８と同様の処理である。
ステップＳ３７で所定値Ｌ以下であると判定した場合（ステップＳ３７の肯定判定）、処理部５０は、再度力覚を発生させるための制御信号を生成し、図２に示した力覚発生部５６に供給する（ステップＳ３８）。これによりユーザは、手元がぶれて電子ペン５のペン先５ｂが表面Ｓから離れたとしても、あまり離れていない場合には、引き続き表面Ｓに接触している感覚を得ることができる。
ステップＳ３８を終了した処理部５０は、ステップＳ３５に戻って処理を続ける。これにより、表面Ｓと位置ＶＰ２との間の距離が所定値Ｌ以下である間（すなわち、ステップＳ８の判定結果が肯定的である間）、表面Ｓとの接触をユーザに感じさせ続けることが可能になる。
ステップＳ３３の判定において衝突していないと判定した場合（ステップＳ３３の否定判定）、及び、ステップＳ３７で所定値Ｌ以下でないと判定した場合（ステップＳ３７の否定判定）、処理部５０は、ステップＳ３１に戻って処理を続ける。この場合、力覚発生部５６による力覚の発生が生じないので、位置ＶＰ２と表面Ｓとの間の距離が離れているにも関わらず、力覚が発生しまうことが防止される。したがって、仮想現実空間内で電子ペン５を使用するユーザに違和感を感じさせることなく、力覚発生部５６に力覚を発生させることが可能になる。
なお、処理部５０は、仮想現実空間内位置ＶＰ２を取得した場合に、取得した仮想現実空間内位置ＶＰ２をコンピュータ２に対して送信することとしてもよい。こうすれば、コンピュータ２は、電子ペン５の中で力覚発生部５６の制御信号を生成する場合であっても、図１１に示したステップＳ９を実施することができる。したがって、力覚だけでなく視覚的にも接触状態を維持することが可能になる。
また、図１１の説明の中で、力覚の発生を中止する条件として、表面Ｓと位置ＶＰ２の間の距離が所定値Ｌ以下でなくなったこと以外の各種事象を用いることができる点を説明したが、この点は図１５の例においても同様に適用可能である。
１ 空間位置指示システム
２ コンピュータ
２ａ 制御部
２ｂ メモリ
３ 仮想現実ディスプレイ
４ タブレット
４ａ タブレット面
５ 電子ペン
５ａ 筐体
５ｂ ペン先
５ｃ 溝部
６ 空間位置指示デバイス
６ａ 筐体
６ｂ 持ち手部
６ｄ，５６ｃ，５６ｋ，５６ｍ ブリッジ部
６ｅ 方向指示器
７ａ，７ｂ ライトニングハウス
８ａ～８ｃ 位置センサ
５０ 処理部
５１，５３ 通信部
５２ 筆圧検出部
５４ 位置検出部
５５ スイッチ部
５６ 力覚発生部
５６ａ 当接部
５６ｂ 摺動部
５６ｄ ヒンジ部
５６ｅ スライド部
５６ｆ 固さ変化部
５６ｈ，５６ｊ 振動部
５６ｇ，５６ｊａ 基体部
５６ｉ アクチュエータ
５６ｊｂ 突出部
５６ｋａ 開口部
ＢＬ ブランク期間
ＢＵ バースト期間
Ｐ１ 現実空間における電子ペン５の位置
Ｐ２ 現実空間における電子ペン５のペン先５ｂの位置
ＶＰ２ 仮想現実空間内における電子ペン５のペン先５ｂの位置
Ｓ 仮想現実空間内に表示した物体の表面

Claims (6)

  1. 位置指示デバイスであって、
    筐体と、
    前記筐体の先端に設けられるペン先と、
    振動を発生する振動部と、
    現実空間における前記位置指示デバイスの位置に基づいて仮想現実空間内の仮想位置指示デバイスのペン先の位置を算出するコンピュータが前記仮想位置指示デバイスのペン先の位置が所定の状態にある場合に前記位置指示デバイスに送信する制御信号に基づいて前記振動部を振動させる処理部であるとともにユーザによる前記位置指示デバイスに対する所定の操作に基づいて前記振動部を振動させることを中止する処理部と、
    前記ユーザが前記位置指示デバイスに加えた圧力を検出する圧力センサと、を有し、
    前記処理部は、前記圧力センサによって圧力が検出された場合に前記振動部を振動させることを中止する、
    位置指示デバイス。
  2. 位置指示デバイスであって、
    筐体と、
    前記筐体の先端に設けられるペン先と、
    振動を発生する振動部と、
    現実空間における前記位置指示デバイスの位置に基づいて仮想現実空間内の仮想位置指示デバイスのペン先の位置を算出するコンピュータが前記仮想位置指示デバイスのペン先の位置が所定の状態にある場合に前記位置指示デバイスに送信する制御信号に基づいて前記振動部を振動させる処理部であるとともにユーザによる前記位置指示デバイスに対する所定の操作に基づいて前記振動部を振動させることを中止する処理部と、を有し、
    前記コンピュータは、前記仮想位置指示デバイスのペン先の位置と前記仮想現実空間内における物体との間の距離が所定値以下である場合に前記制御信号を送信する、
    位置指示デバイス。
  3. 位置指示デバイスであって、
    筐体と、
    前記筐体の先端に設けられるペン先と、
    振動を発生する振動部と、
    現実空間における前記位置指示デバイスの位置に基づいて仮想現実空間内の仮想位置指示デバイスのペン先の位置を算出するコンピュータが前記仮想位置指示デバイスのペン先の位置が所定の状態にある場合に前記位置指示デバイスに送信する制御信号に基づいて前記振動部を振動させる処理部であるとともにユーザによる前記位置指示デバイスに対する所定の操作に基づいて前記振動部を振動させることを中止する処理部と、を有し、
    前記コンピュータは、前記仮想位置指示デバイスのペン先の位置が前記仮想現実空間内における物体の表面に位置する場合に前記制御信号を送信し、
    前記コンピュータは、前記仮想位置指示デバイスのペン先の位置が前記仮想現実空間内における前記物体の表面に位置する場合に前記制御信号を送信した後、前記仮想位置指示デバイスのペン先の位置と前記仮想現実空間内における前記物体との間の距離が所定値以下である場合に前記制御信号を送信する、
    位置指示デバイス。
  4. 前記コンピュータは、現実空間内における前記ペン先の位置に基づき、前記仮想位置指示デバイスのペン先の位置を算出する、
    請求項１乃至３のいずれか一項に記載の位置指示デバイス。
  5. 現実空間における位置指示デバイスの位置に基づき、仮想現実空間内における仮想位置指示デバイスのペン先の位置を取得する制御部と、
    前記仮想位置指示デバイスのペン先の位置が所定の状態にある場合に、前記位置指示デバイスの振動部を振動させるための制御信号を前記位置指示デバイスに送信する通信部と、を有し、
    前記制御部は、前記仮想位置指示デバイスのペン先の位置と前記仮想現実空間内における物体との間の距離が所定値以下であるか否かを判定し、
    前記通信部は、前記仮想位置指示デバイスのペン先の位置と前記仮想現実空間内における前記物体との間の距離が前記所定値以下であると判定したことに応じて、前記位置指示デバイスに対し、前記制御信号を送信する、
    コンピュータ。
  6. 前記制御部は、前記仮想位置指示デバイスのペン先の位置が前記仮想現実空間内における物体の表面に位置するか否かを判定し、
    前記通信部は、前記仮想位置指示デバイスのペン先の位置が前記仮想現実空間内における物体の表面に位置すると判定したことに応じて、前記位置指示デバイスに対し、前記制御信号を送信する、
    請求項５に記載のコンピュータ。
JP2023194216A 2018-05-21 2023-11-15 位置指示デバイス及びコンピュータ Active JP7638352B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2025024063A JP2025075056A (ja) 2018-05-21 2025-02-18 位置指示デバイス

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018096936 2018-05-21
JP2018096936 2018-05-21
PCT/JP2019/015043 WO2019225170A1 (ja) 2018-05-21 2019-04-04 位置指示デバイス及び空間位置指示システム
JP2020521071A JP7401427B2 (ja) 2018-05-21 2019-04-04 位置指示デバイス及び空間位置指示システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020521071A Division JP7401427B2 (ja) 2018-05-21 2019-04-04 位置指示デバイス及び空間位置指示システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2025024063A Division JP2025075056A (ja) 2018-05-21 2025-02-18 位置指示デバイス

Publications (2)

Publication Number Publication Date
JP2024012599A JP2024012599A (ja) 2024-01-30
JP7638352B2 true JP7638352B2 (ja) 2025-03-03

Family

ID=68616765

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020521071A Active JP7401427B2 (ja) 2018-05-21 2019-04-04 位置指示デバイス及び空間位置指示システム
JP2023194216A Active JP7638352B2 (ja) 2018-05-21 2023-11-15 位置指示デバイス及びコンピュータ
JP2025024063A Pending JP2025075056A (ja) 2018-05-21 2025-02-18 位置指示デバイス

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020521071A Active JP7401427B2 (ja) 2018-05-21 2019-04-04 位置指示デバイス及び空間位置指示システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2025024063A Pending JP2025075056A (ja) 2018-05-21 2025-02-18 位置指示デバイス

Country Status (4)

Country Link
US (5) US11604520B2 (ja)
JP (3) JP7401427B2 (ja)
CN (2) CN118567473A (ja)
WO (1) WO2019225170A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111837096A (zh) * 2018-03-23 2020-10-27 株式会社和冠 三维位置指示器及三维位置检测系统
CN113268149B (zh) * 2021-01-28 2024-04-16 深圳市瑞立视多媒体科技有限公司 双光球交互笔的刚体位姿确定方法、装置和计算机设备
JP7544952B2 (ja) * 2021-03-02 2024-09-03 株式会社ソニー・インタラクティブエンタテインメント 力覚提示装置
JP7760222B2 (ja) 2021-03-22 2025-10-27 株式会社ワコム コントローラ及びトラッキングシステム
KR20250103779A (ko) * 2021-04-23 2025-07-07 가부시키가이샤 와코무 컨트롤러 및 컴퓨터
WO2023286191A1 (ja) * 2021-07-14 2023-01-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および駆動データ生成方法
US20250157051A1 (en) * 2022-02-18 2025-05-15 Sony Group Corporation Information processing device and information processing method
CN120909448B (zh) * 2025-09-25 2026-02-17 歌尔股份有限公司 智能笔的控制方法、头戴显示设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085590A (ja) 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体
JP2007293413A (ja) 2006-04-21 2007-11-08 Canon Inc 情報処理方法および装置
JP2010287221A (ja) 2009-05-11 2010-12-24 Univ Of Tokyo 力覚提示装置
JP2012022639A (ja) 2010-07-16 2012-02-02 Ntt Docomo Inc 表示装置、映像表示システムおよび映像表示方法
JP2013125487A (ja) 2011-12-16 2013-06-24 Konica Minolta Business Technologies Inc 空間手書きシステム及び電子ペン

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9014130D0 (en) 1990-06-25 1990-08-15 Hewlett Packard Co User interface
US5629594A (en) * 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US5694013A (en) * 1996-09-06 1997-12-02 Ford Global Technologies, Inc. Force feedback haptic interface for a three-dimensional CAD surface
US6281651B1 (en) * 1997-11-03 2001-08-28 Immersion Corporation Haptic pointing devices
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
JP5951994B2 (ja) 2008-12-19 2016-07-13 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 対話型ペインティングゲーム及び関連するコントローラ
JP5299001B2 (ja) * 2009-03-20 2013-09-25 株式会社Ｊｖｃケンウッド 入力装置および入力方法
JP5664301B2 (ja) * 2011-02-08 2015-02-04 大日本印刷株式会社 コンピュータ装置、電子ペン入力システム、及びプログラム
JP5866793B2 (ja) * 2011-04-20 2016-02-17 日本電気株式会社 管理装置、プログラム及び方法
US10108266B2 (en) * 2012-09-27 2018-10-23 The Board Of Trustees Of The University Of Illinois Haptic augmented and virtual reality system for simulation of surgical procedures
US9563266B2 (en) * 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
KR102184288B1 (ko) * 2013-01-17 2020-11-30 삼성전자주식회사 입력 유닛에 햅틱 효과를 제공하는 휴대 단말 및 방법
JP2014179956A (ja) * 2013-03-15 2014-09-25 Olympus Corp 撮像指示端末、撮像システム、撮像指示方法及びプログラム
JP2015153387A (ja) * 2014-02-19 2015-08-24 日本電気株式会社 仮想現実体感装置、仮想現実体感方法、及びプログラム
US9804692B2 (en) * 2014-03-28 2017-10-31 Samsung Display Co., Ltd. System and method for generating haptic feedback in stylus
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
JP6651297B2 (ja) * 2015-03-27 2020-02-19 ユニバーシティ・オブ・タンペレＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｔａｍｐｅｒｅ ハプティック・スタイラス
WO2016181469A1 (ja) * 2015-05-11 2016-11-17 富士通株式会社 シミュレーションシステム
KR20170055135A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 가상현실 단말기 및 그 제어방법
CN106371604B (zh) * 2016-09-18 2020-03-20 Tcl集团股份有限公司 交互控制手套、虚拟现实系统及其应用方法
US10564724B1 (en) * 2016-09-20 2020-02-18 Apple Inc. Touch-based input device with haptic feedback
CN121957360A (zh) * 2018-05-18 2026-05-01 株式会社和冠 位置指示装置、计算机及控制方法
US11009955B2 (en) * 2018-07-30 2021-05-18 Apple Inc. Stylus with shear force feedback
US20200310561A1 (en) * 2019-03-29 2020-10-01 Logitech Europe S.A. Input device for use in 2d and 3d environments

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085590A (ja) 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体
JP2007293413A (ja) 2006-04-21 2007-11-08 Canon Inc 情報処理方法および装置
JP2010287221A (ja) 2009-05-11 2010-12-24 Univ Of Tokyo 力覚提示装置
JP2012022639A (ja) 2010-07-16 2012-02-02 Ntt Docomo Inc 表示装置、映像表示システムおよび映像表示方法
JP2013125487A (ja) 2011-12-16 2013-06-24 Konica Minolta Business Technologies Inc 空間手書きシステム及び電子ペン

Also Published As

Publication number Publication date
JPWO2019225170A1 (ja) 2021-06-24
US12504836B2 (en) 2025-12-23
JP7401427B2 (ja) 2023-12-19
US11604520B2 (en) 2023-03-14
US20250224820A1 (en) 2025-07-10
CN112041789A (zh) 2020-12-04
US12073032B2 (en) 2024-08-27
US20210072847A1 (en) 2021-03-11
US20240393891A1 (en) 2024-11-28
US20260079590A1 (en) 2026-03-19
US20230185389A1 (en) 2023-06-15
JP2025075056A (ja) 2025-05-14
JP2024012599A (ja) 2024-01-30
CN118567473A (zh) 2024-08-30
WO2019225170A1 (ja) 2019-11-28
CN112041789B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
JP7638352B2 (ja) 位置指示デバイス及びコンピュータ
US10564730B2 (en) Non-collocated haptic cues in immersive environments
JP7642748B2 (ja) 位置指示装置及びコンピュータ
US10509468B2 (en) Providing fingertip tactile feedback from virtual objects
JP2010287221A (ja) 力覚提示装置
EP1523725B1 (en) Hand-held computer interactive device
KR101548156B1 (ko) 촉감과 관절 저항감을 동시에 전달하는 무선 외골격 햅틱 인터페이스 장치 및 그 구성 방법
CN110554769A (zh) 触笔、头戴式显示系统和相关方法
CN104714687A (zh) 用于触觉显示参数的光学传输的系统和方法
KR20170120624A (ko) 가상 및 증강 현실 환경에서의 제어기 시각화
WO2023076646A1 (en) Controlling interactions with virtual objects
KR20090062461A (ko) 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션시스템
CN111736689A (zh) 虚拟现实装置、数据处理方法与计算机可读存储介质
Regenbrecht et al. Virtual reality aided assembly with directional vibro-tactile feedback
US11789536B2 (en) Input device and display input system
JP6469752B2 (ja) 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
KR20250096330A (ko) Vr 입력 디바이스
CN117666816A (zh) 触控笔和触控笔的操作方法
WO2023100268A1 (ja) 切削訓練補助システム
WO2022201736A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN113220110A (zh) 显示系统及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250218

R150 Certificate of patent or registration of utility model

Ref document number: 7638352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150