Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5693621B2 - 3次元動作計測システムにおける仮想点決定装置及び方法、並びに、3次元動作計測システムにおける仮想点決定に用いられるデバイス - Google Patents
[go: Go Back, main page]

JP5693621B2 - 3次元動作計測システムにおける仮想点決定装置及び方法、並びに、3次元動作計測システムにおける仮想点決定に用いられるデバイス - Google Patents

3次元動作計測システムにおける仮想点決定装置及び方法、並びに、3次元動作計測システムにおける仮想点決定に用いられるデバイス Download PDF

Info

Publication number
JP5693621B2
JP5693621B2 JP2013001384A JP2013001384A JP5693621B2 JP 5693621 B2 JP5693621 B2 JP 5693621B2 JP 2013001384 A JP2013001384 A JP 2013001384A JP 2013001384 A JP2013001384 A JP 2013001384A JP 5693621 B2 JP5693621 B2 JP 5693621B2
Authority
JP
Japan
Prior art keywords
marker
virtual point
markers
state
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013001384A
Other languages
English (en)
Other versions
JP2013164413A (ja
Inventor
牛久保智宏
仁 村瀬
仁 村瀬
Original Assignee
アニマ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アニマ株式会社 filed Critical アニマ株式会社
Priority to JP2013001384A priority Critical patent/JP5693621B2/ja
Publication of JP2013164413A publication Critical patent/JP2013164413A/ja
Application granted granted Critical
Publication of JP5693621B2 publication Critical patent/JP5693621B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、仮想点決定装置及び方法、並びに、仮想点決定に用いられるデバイスに関するものである。
人の3次元動作を解析することは、医療分野、介護福祉分野、スポーツ分野、ロボティックス、コンピュータグラフィックス等において有用である。人や物体等の3次元動作を計測する手段としては、モーションキャプチャシステムが知られている。光学式のモーションキャプチャシステムでは、所定の複数のポイントにマーカーが取り付けられた被験者を複数のカメラで撮影し、カメラ画像において各マーカーを同定して各マーカーの3次元座標の時系列データを取得することにより行われる。光学式モーションキャプチャを用いた3次元動作解析装置は、例えば、特許文献1に記載されている。
しかしながら、3次元動作計測はそもそも移動する人や物体等を計測するものであるため、ある時刻においてカメラで撮影できたマーカーが、他のある時刻tで隠れてしまい、マーカーの位置情報を取得できない場合がある。カメラの台数を増やすことで、各時刻において各マーカーの位置情報を取得することも検討し得るが、カメラ台数を増やすことはシステム全体のコストアップを招いてしまうという不具合がある。また、マーカーの位置情報を取得できなかった時刻tの前後のフレームt−1、フレームt+1におけるマーカーの位置情報からフレームにおける隠れたマーカーの位置情報を推定して補間することも考えられるが、計算処理が複雑となり、また、複数のフレームに亘って継続して隠れているマーカーの位置情報を補間することは困難である。
このような不具合を解決する手段として、仮想マーカーを用いる場合がある。仮想マーカーは、被験者等に実際に取り付けられたマーカー(実マーカー)ではなく、複数の実マーカーに対する相対的位置によって位置が特定される仮想的なマーカーである。より具体的には、「仮想マーカー」は、3点あるいはそれより多い個数の実マーカーから一定の距離にあり、マーカーが3つの場合には3つのマーカーが作る面の表と裏面のうち一方の点を設定し、実マーカーの座標値と前記設定から座標値が計算され、計算された座標値をマーカーとして扱ったものである。仮想マーカーを用いることで、マーカーが隠れてデータを取得できなくなる現象を回避することができる。また、設置されたカメラからでは見えない場所の座標値の時系列データを取得することも可能となる。
3次元動作計測システムにおいて仮想マーカーを設定する際は、ポインタと呼ばれるデバイスで仮想点を設定することによって行われる。人体の運動解析等の分野において、人体の所定部位を指し示すポインタがしばしば用いられる(非特許文献1)。1つの態様では、ポインタは3つのマーカーを備えており、3つのマーカーの位置によって先端の位置が特定できるようになっている。従来の仮想マーカー設定作業では、ポインタで仮想点を指し示す操作者と、PCの操作者の2名以上が必要であった。仮想マーカーとして使用する点は多くの場合、体表近くにある骨の特徴的な位置(標点)を使用するため、「仮想マーカーを指し示す操作者」は、この位置を触診によって見つけて、その場所にポインタを指し示す作業を行う。「仮想マーカーを指し示す操作者」は、実マーカーが取り付けられた被験者自身、あるいは、他の者(医師等)である。
仮想マーカーを指し示したポインタ(3つのマーカー)及び実マーカーが取り付けられた被験者(少なくとも、仮想マーカーを特定する実マーカー)は、複数のカメラによって撮影され、画像データがコンピュータに送信される。コンピュータでは、入力された画像データに基づいてポインタ上の3つのマーカーの座標を計算することでポインタ先端の座標を取得する。「PCの操作者」は、「仮想マーカーを指し示す操作者」が標点を発見し、その場所をポインタで指し示されたという当該操作者からの報告に基づいて、コンピュータの入力手段を操作して、仮想点の決定入力を行う。
3次元動作計測システムにおいて、カメラにより撮影される被験者と画像データを取り込んで各種計算を行うコンピュータは物理的に離隔している。さらに、標点にポインタを押しあてた際に皮膚によって指示した位置がずれてしまうことがあり、また、標点がなかなか見つからない場合もあるため、仮想マーカーを指し示す操作者が別の作業をするのは困難である。したがって、従来、仮想マーカーを設定するための仮想点の決定作業を一人で行うことはできなかった。
特開2004−344418
Journal of Biomechanics 36 (2003) 1159-1168 "Repeatability of gaitdata using a functional hip joint centre and a mean helical knee axis",Thor F.Besier, Daina L. Sturnieks, Jacque A. Alderson, David G. Lloyd
本発明は、仮想マーカーを設定するための仮想点の決定作業に必要な人員を削減することができ、仮想点決定作業を一人で行うことも可能となるような仮想点決定装置及び方法を提供することを目的とするものである。
本発明が採用した第1の技術手段は、
複数のカメラと、
少なくとも3つのマーカーと、仮想点を指し示す1つ以上の指示部と、を備え、前記仮想点の位置は当該デバイス上のマーカー位置によって特定可能である、デバイスと、
前記デバイスの各マーカー間の距離を特定可能な情報を記憶した手段と、
前記複数のカメラによって撮影された複数のカメラ画像と、前記デバイスの各マーカー間距離と、を用いて前記デバイスを検出するデバイス検出手段と、
デバイス上の各マーカーと前記仮想点との相対的位置を用いて、マーカー座標から前記仮想点の座標を取得する仮想点座標取得手段と、
を備えており、
前記デバイス検出手段は、前記少なくとも3つのマーカーのうちの少なくとも1つのマーカーがカメラによって認識されない状態から、前記少なくとも3つのマーカーがカメラによって認識された時に前記デバイスを検出し、
前記仮想点座標取得手段は、前記デバイスの検出を決定入力として、デバイス検出時のマーカー座標から前記仮想点の座標を取得する、
仮想点決定装置、である。
1つの態様では、前記指示部は、デバイスの端部である。
典型的には、仮想点はデバイス上に設定され、指示部(端部等)が仮想点の位置となるが、デバイス上に設定されるものには限定されない。例えば、仮想点を、デバイスが指し示す延長線上に設定してもよい。
1つの態様では、前記指示部は、デバイスの端部であり、また、前記端部の位置によって仮想点の位置が決定される。具体的には、
複数のカメラと、
少なくとも3つのマーカーと、仮想点を指し示す端部(指示部)と、を備え、前記端部の位置は当該デバイス上のマーカー位置によって特定可能である、デバイスと、
前記デバイスの各マーカー間の距離を特定可能な情報を記憶した手段と、
前記複数のカメラによって撮影された複数のカメラ画像と、前記デバイスの各マーカー間距離と、を用いて前記デバイスを検出するデバイス検出手段と、
デバイス上の各マーカーと前記端部との相対的位置を用いて、マーカー座標から前記端部の座標を取得する端部座標取得手段と、
を備えており、
前記デバイス検出手段は、前記少なくとも3つのマーカーのうちの少なくとも1つのマーカーがカメラによって認識されない状態から、前記少なくとも3つのマーカーがカメラによって認識された時に前記デバイスを検出し、
前記端部座標取得手段は、前記デバイスの検出を決定入力として、デバイス検出時のマーカー座標から前記端部の座標を仮想点座標として取得する、
仮想点決定装置、である。
1つの態様では、前記デバイスの前記少なくとも3つのマーカーのうちの少なくとも1つのマーカーは、カメラによって認識されない第1の状態と、カメラによって認識される第2の状態とを有する隠れマーカーであり、
前記デバイスは、当該デバイスによって所望の仮想点位置を指し示した時に、前記隠れマーカーを、前記第1の状態から前記第2の状態へ切り換える切り換え手段を備えている。
例えば、デバイスが3つのマーカーを備えている場合に、1つのマーカーのみが隠れマーカーの場合、2つのマーカーが隠れマーカーの場合、全3つのマーカーが隠れマーカーの場合があり得る。
1つの態様では、前記切り換え手段は、当該デバイス上に設けたスイッチを含み、
前記スイッチは、当該デバイスを掴んで所望の仮想点を指し示した操作者によって手動操作可能であり、
仮想点座標の取得は、当該デバイス上のスイッチ操作による遠隔決定入力により実行される。
1つの態様では、前記スイッチは、前記端部に設けた押圧スイッチであり、操作者が当該デバイスを用いて対象物上ないし対象物内(対象物には被験者の身体、被験者が持つ物体、被験者の環境にある物体等が含まれる)の仮想点を指し示した時に、前記押圧スイッチが前記対象物に当って押し込まれて入力される。
なお、仮想点を指し示す部位(指示部)は、デバイス上に複数設けてもよく、例えば、デバイスは、端部に形成された第1の指示部と、デバイスの端部以外の部位に形成された第2の指示部と、を備えている。デバイス上には、第2の指示部を挟んで第1の側には、少なくとも1つのマーカーが設けてあり、第2の側には、残りのマーカーが設けてある。
1つの態様では、前記隠れマーカーは、前記切り換え手段によって、消灯の第1状態から点灯の第2状態となる。
例えば、隠れマーカーはLEDからなり、切り換え手段としてのデバイス上のスイッチを押すことで、LEDに電流が供給されて点灯する。
1つの態様では、前記隠れマーカーは、隠れマーカーを隠蔽する第1位置と隠れマーカーを露出させる第2位置との間で移動可能な可動体を備えており、前記切り換え手段によって、当該可動体を隠れマーカーを隠蔽する第1位置から隠れマーカーを露出させる第2位置に移動させることで、第1状態からの第2状態となる。
例えば、可動体は、切り換え手段としてのデバイス上のスイッチの押し動作に連動して第1位置から第2位置にスライド移動あるいは回動するようになっており、スイッチが復帰すると、スプリングによって第2位置から第1位置へ復帰するように構成される。
1つの態様では、前記デバイスの検出を決定入力として前記仮想点座標が取得された時に、当該仮想点座標と、被験者上の3つ以上の実マーカーの座標と、によって仮想マーカーが設定される。
本発明が採用した第2の技術手段は、
複数のカメラと、
少なくとも3つのマーカーと、仮想点を指し示す1つ以上の指示部と、を備え、前記仮想点の位置は当該デバイス上のマーカー位置によって特定可能である、デバイスと、
前記複数のカメラによって撮影された複数のカメラ画像と、既知の各マーカー間距離と、を用いて前記デバイスを検出するデバイス検出手段と、
デバイス上の各マーカーと前記仮想点との相対的位置を用いて、マーカー座標から前記仮想点の座標を取得する仮想点座標取得手段と、
を用い、
前記複数のカメラによって、前記少なくとも3つのマーカーのうちの少なくとも1つのマーカーがカメラによって認識されない状態にある前記デバイスを撮影するステップと、
前記デバイスの指示部によって所望の仮想点位置を指し示した時に、前記少なくとも3つのマーカーのうちの少なくとも1つのマーカーがカメラによって認識されない状態から、前記少なくとも3つのマーカーがカメラによって認識されるようにして、前記デバイスを検出するステップと、
前記デバイスの検出を決定入力として、デバイス検出時のマーカー座標から前記仮想点の座標を取得するステップと、
を備えた仮想点決定方法、である。
1つの態様では、前記指示部は、デバイスの端部である。
典型的には、仮想点はデバイス上に設定され、指示部(端部等)が仮想点の位置となるが、デバイス上に設定されるものには限定されない。例えば、仮想点を、デバイスが指し示す延長線上に設定してもよい。
1つの態様では、前記指示部は、デバイスの端部であり、また、前記端部の位置によって仮想点の位置が決定される。具体的には、
複数のカメラと、
少なくとも3つのマーカーと、仮想点を指し示す端部(指示部)と、を備え、前記端部の位置は当該デバイス上のマーカー位置によって特定可能である、デバイスと、
前記複数のカメラによって撮影された複数のカメラ画像と、既知の各マーカー間距離と、を用いて前記デバイスを検出するデバイス検出手段と、
デバイス上の各マーカーと前記端部との相対的位置を用いて、マーカー座標から前記端部の座標を取得する端部座標取得手段と、
を用い、
前記複数のカメラによって、前記少なくとも3つのマーカーのうちの少なくとも1つのマーカーがカメラによって認識されない状態にある前記デバイスを撮影するステップと、
前記デバイスの端部によって所望の仮想点位置を指し示した時に、前記少なくとも3つのマーカーのうちの少なくとも1つのマーカーがカメラによって認識されない状態から、前記少なくとも3つのマーカーがカメラによって認識されるようにして、前記デバイスを検出するステップと、
前記デバイスの検出を決定入力として、デバイス検出時のマーカー座標から前記端部の座標を仮想点座標として取得するステップと、
を備えた仮想点決定方法、である。
1つの態様では、前記デバイスの前記少なくとも3つのマーカーのうちの少なくとも1つのマーカーは、カメラによって認識されない第1の状態からカメラによって認識される第2の状態へ切り換え可能であり、
前記デバイスによって所望の仮想点位置を指し示した時に、前記隠れマーカーを、前記第1の状態から前記第2の状態へ切り換えることで、当該デバイスを検出する。
1つの態様では、前記隠れマーカーの第1の状態から第2の状態への切り換えは、当該デバイス上に設けたスイッチによって行われ、
前記スイッチは、当該デバイスを掴んで所望の仮想点を指し示した操作者によって手動操作可能であり、
仮想点座標の取得は、当該デバイス上のスイッチ操作による遠隔決定入力により実行される。
1つの態様では、前記スイッチは、前記端部に設けた押圧スイッチであり、操作者が当該デバイスを用いて対象物上ないし対象物内(対象物には被験者の身体、被験者が持つ物体、被験者の環境にある物体等が含まれる)の仮想点を指し示した時に、前記押圧スイッチが前記対象物に当って押し込まれて入力される。
なお、仮想点を指し示す部位(指示部)は、デバイス上に複数設けてもよく、例えば、デバイスは、端部に形成された第1の指示部と、デバイスの端部以外の部位に形成された第2の指示部と、を備えている。デバイス上には、第2の指示部を挟んで第1の側には、少なくとも1つのマーカーが設けてあり、第2の側には、残りのマーカーが設けてある。
1つの態様では、前記隠れマーカーが、消灯の第1状態から点灯の第2状態となることで、前記デバイスが検出される。
1つの態様では、前記隠れマーカーを隠蔽する第1位置にある可動体が、前記隠れマーカーを露出させる第2位置へ移動することで、前記隠れマーカーが、第1状態からの第2状態となることで、前記デバイスが検出される。
1つの態様では、前記複数のカメラは、前記デバイスと共に、実マーカーが装着された被験者の少なくとも一部を撮影することで、カメラ画像には、仮想点を特定するための3つ以上の実マーカーが含まれており、
前記デバイスの検出を決定入力として前記仮想点座標が取得された時に、当該仮想点座標と、前記3つ以上の実マーカーの座標と、によって仮想マーカーが設定される。
本発明が採用した第3の技術手段は、
少なくとも3つのマーカーと、仮想点を指し示す指示部(例えば、端部)と、を備え、仮想点決定に用いられるデバイスであって、
各マーカー間の距離が既知であり、前記仮想点の位置は当該デバイス上のマーカー位置によって特定可能であり、
前記少なくとも3つのマーカーのうちの1つのマーカーは、カメラによって認識されない第1の状態と、カメラによって認識される第2の状態とを有する隠れマーカーであり、
前記デバイスは、前記隠れマーカーを、前記第1の状態から前記第2の状態へ切り換える切り換え手段を備えている、デバイス、である。
1つの態様では、前記切り換え手段は、当該デバイス上に設けたスイッチを含んでいる。
1つの態様では、前記スイッチは、前記端部に設けた押圧スイッチであり、操作者が当該デバイスを用いて対象物上ないし対象物内(対象物には被験者の身体、被験者が持つ物体、被験者の環境にある物体等が含まれる)の仮想点を指し示した時に、前記押圧スイッチが前記対象物に当って押し込まれて入力される。
なお、仮想点を指し示す部位(指示部)は、デバイス上に複数設けてもよく、例えば、デバイスは、端部に形成された第1の指示部と、デバイスの端部以外の部位に形成された第2の指示部と、を備えている。デバイス上には、第2の指示部を挟んで第1の側には、少なくとも1つのマーカーが設けてあり、第2の側には、残りのマーカーが設けてある。
1つの態様では、前記隠れマーカーは、前記切り換え手段によって、消灯の第1状態から点灯の第2状態となる。
1つの態様では、前記隠れマーカーは、隠れマーカーを隠蔽する第1位置と隠れマーカーを露出させる第2位置との間で移動可能な可動体を備えており、前記切り換え手段によって、当該可動体を隠れマーカーを隠蔽する第1位置から隠れマーカーを露出させる第2位置に移動させることで、第1状態からの第2状態となる。
本発明によれば、3次元動作解析システムにおいて仮想マーカーをリモートで設定することができる。より詳しくは、本発明では、検出できない状態にあったデバイスが検出された時に、デバイスの検出を決定入力として、デバイス検出時のマーカー座標から仮想点座標を取得するようにしたので、従来のようにPC側で操作者が入力手段によって決定入力を行う必要がなく、PC側の操作者が不要となるため、仮想マーカーを設定するための仮想点の決定作業に必要な人員を削減することができ、仮想点決定作業を一人で行うことも可能となる。
仮想点決定に用いるデバイスの実施形態を示す図である。 デバイスの他の実施形態を示す部分図である。 デバイス上のマーカー間距離を示す図である。 デバイス上のマーカー及び先端部の位置関係を示す図である。 仮想マーカーMの設定作業を示す概略図である。 仮想マーカー設定に用いられる被験者に取り付けられる実マーカーを示す図である。 デバイスの他の実施形態を示す図である。 図7に示すデバイスの作用を説明する図である。 仮想点の設定位置の異なる態様をデバイスとの関係で示す図である。
本発明の実施形態について説明する。本実施形態に係る仮想点決定システムは、ポインタと称されるデバイスと、光学式モーションキャプチャシステムと、から構成することができる。光学式モーションキャプチャシステムは、一般に、被験者の複数の所定部位に装着した複数の光学式マーカー(例えば、赤外線反射マーカー)と、光学式マーカーを装着した被験者の運動を複数角度から同時に撮影する複数台のカメラと、各カメラで取得したマーカーの画像情報中のマーカーの二次元位置を再構成して当該マーカーの三次元位置を計算し、光学式マーカーの三次元位置と身体の三次元モデルから身体の各部位の三次元位置(被験者の姿勢)を取得する処理部と、処理部の結果(被験者の姿勢の時系列データとして取得される運動データ)を表示する表示部と、からなる。
モーションキャプチャシステムにおける各種計算はコンピュータによって実行され得る。具体的には、カメラによって取得された画像情報を取り込む画像入力部、取り込まれた画像情報および画像処理部で計算された情報を記憶する記憶部、該画像情報や測定結果、分析結果を表示する表示部、該画像情報に対して画像処理を施すための画像処理部、マーカーの三次元位置の時系列データを計算する演算部を備えている。計測された各種データを用いてデータ処理を行う処理部や入力されたカメラ画像や処理結果を表示する表示部は、汎用コンピュータ(データを入力するための入力装置、処理されたデータを出力するための出力装置、データを表示する表示装置、主としてCPUから構成される演算装置、ROM、RAM、ハードディスク等の記憶装置、これらを接続するバス、コンピュータに所定の処理を実行させるために記憶装置に格納された所定のプログラム、等を備えている)から実現することができる。
図1に示すように、実施形態に係るポインタ1は、第1の軸部2と、第2の軸部3と、からT形状を備えている。第1の軸部2は、第2の軸部3よりも長い寸法を備えており、第2の軸部3は、第1の軸部2の基端部において、第1の軸部2の長さ方向に直交するように延びている。第1の軸部2は掴持部となっており、第1の軸部2の先端部20が所望の仮想点を指し示す端部(指示部)となっている。第2の軸部3の一端には第1マーカーMが、他端には第2マーカーMが設けてある。第1の軸部2には、先端側に位置して第3マーカーMが配置されている。
第1のマーカーM、第2のマーカーMは、赤外線反射マーカーである。第3のマーカーMは、赤外線LEDからなるマーカーであり、点灯することでマーカーとして機能する。ポインタ上(図示の態様では第1軸2上で、第3のマーカーMに近い部位)にはスイッチ4が設けてあり、スイッチ4を押すことで、ポインタ1に内蔵された電源(図示せず)から赤外線LEDに電流が供給されて点灯して、第3のマーカーMが、消灯の第1状態(カメラによって認識されない状態)から点灯の第2状態(カメラによって認識される状態)となる。
複数のカメラによって撮影された複数のカメラ画像と、記憶された各マーカー間距離と、を用いてポインタを検出する手段について説明する。ポインタの各マーカー間の距離は既知(既知の値から計算可能な場合も含む)であり、記憶部(典型的には、モーションキャプチャシステムを構成するコンピュータの記憶手段)に記憶されている。本実施形態では、図3に示すような、第1マーカーMと第2マーカーMの間の距離D、第1マーカーMと第3マーカーMの間の距離D、第2マーカーMと第3マーカーMの間の距離Dが用いられる。マーカーの形状が球状ないし円形の場合には、1つの態様ではマーカー間距離は各マーカーの中心間の距離である。
具体的な態様では、図4に示すように、第3マーカーMと第1の軸部2の先端部20との間の距離L1、第3マーカーMと第1の軸部2の基端部(第1マーカーMと第2マーカーMの中心間を結ぶ線上に位置する)との間の距離L2、第2マーカーMと第1の軸部2の基端部(第1の軸部2の長さ方向の中心線上に位置する)との間の距離L3、第1マーカーMと第1の軸部2の基端部(第1の軸部2の長さ方向の中心線上に位置する)との間の距離L4、が記憶部に記憶されている。第1マーカーMと第マーカーMとのマーカー間距離Dは、距離L3と距離L4から、第1マーカーMと第マーカーMとのマーカー間距離Dは、距離L2と距離L4から、第1マーカーMと第マーカーMとのマーカー間距離Dは、距離L2と距離L3からリアルタイムで計算される。あるいは、第1マーカーMと第2マーカーMの間の距離D、第1マーカーMと第3マーカーMの間の距離D、第2マーカーMと第3マーカーMの間の距離Dを直接記憶部に記憶しておいてもよい。デバイス上のマーカー間距離を特定するために記憶部に事前に記憶させておく情報については、ポインタの形状やポインタ上のマーカー取付位置等に応じて当業者において適宜設定し得る事項である。
ポインタ1上の3つのマーカーM、M、Mがカメラによって認識可能な状態で、複数のカメラによって同時にポインタを撮影した複数のカメラ画像から、取得した画像中の3つのマーカーの3次元座標M、M、Mを取得することができ、各マーカーの座標を用いて、各マーカー間の3つの距離d、d、dを計算することができる。
計算された3つの距離のセットd、d、dと、記憶されている距離のセットD、D、Dと、を比較することで、距離のセットD、D、Dと一致する距離セットセットd、d、dが見つかった時に、ポインタ1が検出されたものとみなすことができる。なお、カメラ画像中に、被験者に設けた実マーカーも含まれる場合を考慮して、ポインタの誤検知を防止するために、距離のセットD、D、Dは、被験者に設けられた実マーカーの組み合わせでは得られないような距離セットに設定することが望ましい。
ポインタ上の各マーカーと第1軸部の先端との相対的位置を用いて、マーカー座標から前記先端の座標を取得する手段について説明する。ポインタ1上において、第1の軸部2の先端部20と、第1マーカーM、第2マーカーM、第3マーカーMとの相対的な位置関係は既知であり、第1マーカーM、第2マーカーM、第3マーカーMの位置を用いて第1の軸部2の先端部20の位置を特定できるような情報(例えば、図4におけるL1〜L4)が記憶部に記憶されている。距離セット(d、d、d)=距離セット(D、D、D)の時の、取得した画像中の3つのマーカーの座標に基づいて、第1の軸部2の先端部20の座標(1つの態様では、第1の軸部2の長さ方向の中心線上に位置する)を取得することができる。
本実施形態では、ポインタ1の先端部20で所望の仮想点を指し示す前の段階では、ポインタ1上の3つのマーカーM、M、Mのうちの第3のマーカーMを消灯状態(カメラによって認識されない状態)としておき、ポインタ1の先端部20で所望の仮想点を指し示した時に、先端部20が仮想点を指し示した状態で、スイッチ4を押して、第3のマーカーMを点灯状態(カメラによって認識される状態)として、カメラによって認識された3つのマーカー間の距離セット(d、d、d)と、記憶されている3つのマーカー間の距離セット(D、D、D)と、を用いて、カメラによって撮影された画像中のポインタ1を検出する。
ポインタ非検出状態(第3のマーカーMが消灯状態でありカメラにより認識されない状態)からポインタ検出状態(第3のマーカーMが点灯状態となり、全ての3つのマーカーM、M、Mがカメラにより認識された状態)に切り替わったことを決定入力として、ポインタ検出時のポインタ1上のマーカーM、M、Mの座標からポインタ1の第1軸部2の先端部20の座標を仮想点座標として取得する。コンピュータの記憶部には、当該コンピュータにこのような処理(すなわち、デバイスの検出を決定入力として、デバイス検出時のマーカー座標からポインタ端部の座標を仮想点座標として取得する)を実行させるためのプログラムが格納されている。なお、図示の態様では、1つの隠れマーカー(第3のマーカーM)を用いているが、隠れマーカーを2個以上設けてもよい。たとえば、ポインタ上の3つのマーカーをすべてLEDにして、ボタンを押すとすべてのLEDが点灯するような機構にしてもよい。
ポインタ1上のスイッチ4は、ポインタ1の第1の軸部2を掴んで所望の仮想点を指し示した操作者によって手動操作可能であり、仮想点座標の取得は、ポインタ1のスイッチ操作による決定入力により実行される。すなわち、仮想点を指し示した操作者により遠隔決定入力を行うことで、コンピュータ側で決定入力作業を行う必要がない。なお、図示の態様では、第1の軸部2上のスイッチ4を設けたが、スイッチの位置は当業者において適宜変更し得ることが理解される。また、ポインタの全体形状やマーカーの個数(3つ以上であればよい)及び取り付け部位、仮想点を指し示す端部の位置、についても、図示の形態に限定されるものではない。
隠れマーカーを備えたポインタの他の態様について図2に基づいて説明する。隠れマーカーとなる第3のマーカーMは赤外線反射マーカーであり、第1の軸部2には、第3のマーカーMを隠蔽する第1位置と第3のマーカーMを露出させる第2位置との間で移動可能(典型的には第1の軸部2の軸方向に可動)な可動体5が設けてある。第1の軸部2上には、第1の位置(図2上図)にある可動体5を、第2の位置(図2下図)へ移動させて第3のマーカーMを第1の状態から第2の状態へ切り換えるための切り換え手段が設けてある。
1つの態様は、切り換え手段は、第1の軸部2上のスライドつまみ6であり、スライドつまみ6のスライドと可動体5の移動とを連繋させて、スライドつまみ6の移動に連動して可動体5が第1位置から第2位置に移動させて第3のマーカーMを第1の状態から第2の状態へ切り換える。スライドつまみ6に作用する力を解除すると、第1の軸部2内に設けたスプリング(図示せず)によって、可動体5が第2位置から第1位置へ復帰するように構成される。スプリング等の復帰手段を用いずに、手動でスライドつまみ6を移動させて可動体5を第2位置から第1位置へ復帰させてもよい。また、スライドつまみに代えて、スイッチの押し操作と可動体の移動とを連繋させて、スイッチの押し動作に連動して可動体が第1位置から第2位置に移動し、スイッチに対する押圧力を解除すると、第1の軸部に設けたスプリング(図示せず)によって、可動体が第2位置から第1位置へ復帰するように構成してもよい。
本実施形態では、ポインタ1の先端部20で所望の仮想点を指し示す前の段階では、ポインタ1上の3つのマーカーのうちの第3のマーカーMを可動体5によって隠蔽された状態(カメラによって認識されない状態)としておき、ポインタ1の先端部20で所望の仮想点を指し示した時に、先端部20が仮想点を指し示した状態で、スイッチ操作により、可動体5を第1の位置から第2の位置に移動させて、第3のマーカーMを露出状態(カメラによって認識される状態)として、カメラによって認識された3つのマーカー間の距離セット(d、d、d)と、記憶されている3つのマーカー間の距離セット(D、D、D)と、を用いて、カメラによって撮影された画像中のポインタ1を検出する。
ポインタ非検出状態(第3のマーカーMが隠蔽状態でありカメラにより認識されない状態)からポインタ検出状態(第3のマーカーMが露出状態となり、全ての3つのマーカーM、M、Mがカメラにより認識された状態)に切り替わったことを決定入力として、ポインタ検出時のポインタ1上のマーカーM、M、Mの座標からポインタ1の第1軸部2の先端部20の座標を仮想点座標として取得する。なお、図示の態様では、1つの隠れマーカー(第3のマーカーM)を用いているが、隠れマーカーを2個以上設けてもよい。この場合、1つのスイッチ操作で複数の可動体が移動させることが望ましい。
上記2つの実施形態では、ポインタ1の構造に特徴を持たせることで(具体的には、第3のマーカーMの点灯の切り替え、第3のマーカーMを機械機構を用いて物理的に隠す)、最初の段階では、複数のカメラによって、3つのマーカーのうちの第3のマーカーMのみがカメラによって認識されない状態にあるポインタ1を撮影し(第1のマーカーM、第2のマーカーMはカメラによって認識される)、ポインタ1の先端部20で所望の仮想点位置を指し示した時に、第3のマーカーMがカメラによって認識されない状態から認識されるようにすることで、全3つのマーカーM、M、Mがカメラによって認識されてポインタ1が検出されることを説明した。
本発明において、第3のマーカーMを物理的に隠す手段は、ポインタの機構に依存せずに手動で行うものでもよい。操作者がポインタ上の3つのマーカーの少なくとも1つのマーカーを指(あるいは手や他の物体)で隠すことで、当該マーカーをカメラによって認識されない第1の状態とし、操作者がポインタの先端で所望の仮想点を指し示した時に、先端が仮想点を指し示した状態で、操作者の指等で隠れているマーカーを露出させることで、カメラによって認識された3つのマーカー間の距離を用いて、ポインタを検出するものでもよい。この場合であっても、ポインタ非検出状態からポインタ検出状態に切り替わったことを決定入力として、ポインタ検出時のポインタ上のマーカーの座標を用いて、ポインタの第1軸部の先端の座標を仮想点座標として取得する点は同様であり、コンピュータをそのように実行させるためのプログラムがコンピュータの記憶部に格納されている。
ポインタ1によって仮想点座標が取得された時に、当該仮想点座標値と、被験者上の3つの実マーカーm、m、mの座標値と、によって仮想マーカーMが設定される。
実マーカーm、m、mの座標値の取得について説明する。先ず、身体上のマーカー(実マーカー)の同定について説明する。2台以上のカメラによって捉えられたマーカーは、カメラパラメーターを使用することで3次元座標値を計算することができる。しかしながら、計算された3次元座標値がどのマーカーに対応するかという対応づけ(マーカーの同定)を行う必要がある。通常、カメラ画像中には、ポインタ1上のマーカーM、M、M、実マーカーm、m、mの他に、被験者に設けられた複数の実マーカーが含まれ得る。
1つの態様では、ポインタを使用して仮想点を決定する際に、剛体上に固定された3点のマーカーを用いる。これらのマーカーは剛体上に固定されているので、マーカー間の距離は変化しない。この性質を利用して、下のように決定する。
(1)PC上で剛体上に取り付けられたマーカー間の距離を事前に設定しておく。各距離は、コンピュータの記憶部に格納されている。
(2)マーカーの3次元座標値を計算する。
(3)任意の3つのマーカーを選択し、計算された3次元座標値の距離を計算する。
(4)(1)の設定と同じ長さであった場合には剛体上のマーカーとする。長さが異なる場合には(3)に戻る。
剛体上に固定された3点のマーカーを実現するためのマーカー固定具を図6に示す。図6に示すように、マーカー固定具上には3つのマーカーが固定されており、このマーカー間距離をPC上で設定しておくことで、カメラ画像におけるマーカー固定具上のマーカーの同定を行う。同様のアルゴリズムを用いることで剛体上に固定された4点以上のマーカーを用い得ることが当業者に理解される。なお、ここで述べた身体上のマーカー同定方法は1つの態様に過ぎず、身体上のマーカーの同定方法としては様々な方法を取り得ることが当業者に理解される。
次に、仮想マーカーの設定について説明する。仮想マーカーの設定においては、ポインタにより仮想点が決定された際の身体上のマーカー座標値p1 t=0,p2 t=2,p3 t=0と仮想点の座標値pt=0を決定する。これらの値は仮想点の計算の際に使用する。これらの値を取得する作業が仮想マーカーの設定である。ここで、添え字のtは時刻を表し、t=0は仮想マーカー設定時の値であることを示している。
実際の測定時における仮想点の計算について説明する。身体上の3つのマーカーm、m、mから作られる座標系を体節座標系と呼ぶこととする。体節座標系の原点として身体上のマーカーの1つを原点として使用する。また、体節座標系の単位ベクトルの各軸を次のように定めるものとする
第一軸:マーカーmからマーカーmへの単位方向ベクトル(=v1 t)。
第二軸:3つの身体上のマーカーm、m、mの作る平面の単位法線ベクトル(=v2 t)。
第三軸:第一軸と第二軸に直交する単位ベクトル(=v3 t)。
このとき時刻tでの世界座標系から体節座標系への変換行列は次のように書ける。
仮想マーカー設定時の仮想点の座標値を体節座標系に変換すると次のように書ける。
この仮想点を時刻tの世界座標系に変換すると時刻tにおける仮想点座標値は、
と表すことができる。この式を用いて仮想点座標値の計算を行っている。
ポインタ1を用いて仮想点をリモートで決定する全体の流れについて説明する。先ず、複数のカメラによって、実マーカー(m、m、mを含む)を装着した被験者、及び、ポインタ1(第3のマーカーMが第1の状態にある)を撮影して、カメラ画像データをコンピュータに取り込む。
操作者は、所望の仮想点位置を選択して、当該仮想点位置にポインタ1の先端部20を当てる。ここで、仮想点位置は、被験者の身体上、あるいは被験者が装着した物体(杖等の道具)上ないし被験者が保持する物体(杖等の道具)上、あるいは被験者の環境(例えば、階段)の位置である。すなわち、仮想点を設定し得る位置は、「計測にかかわる物体上(身体上を含む)」の位置である。図5では、操作者がポインタ1を掴んで先端部20を身体上の所定位置に当てた状態を示しており、この状態でのマーカーMの点灯に基づくポインタ1の検出(決定)入力よって、先端部20に仮想マーカーMが設定される。各カメラ画像には、身体に装着された実マーカーm、m、m及びポインタ1上のマーカーM、M、Mが含まれる。
カメラ画像で検出された各マーカーの3次元座標の計算を行った後に、任意の3つのマーカーを選択し、各マーカー間の距離が、PC上で設定されている(PCの記憶部に記憶されている情報によって特定される)ポインタ1上の各マーカー間の距離と同じであるか否かを判定する。つまり、複数のカメラ画像に基づいて3次元座標が計算された全てのマーカー間距離をリアルタイムで計算し、計算されたマーカー間距離と、PC上に設定してあるポインタ上のマーカー間距離と、を比較判定し、これらの長さが一致した場合には、ポインタが検出されたものとみなす。
ポインタ1上の第3のマーカーMが第1の状態にある時には、ポインタの検出は行われない。ポインタ1の先端部20によって所望の仮想点位置を指し示した時に、第3のマーカーMを、第1の状態から第2の状態へ切り換える。第3のマーカーMが第2の状態となった時に、複数のカメラによって撮影された複数のカメラ画像と、記憶されたポインタ1上の各マーカー間距離と、を用いてポインタ1を検出する。
ポインタの検出を決定入力として、ポインタ検出時のポインタ上のマーカー座標からポイント先端部の座標値を仮想点座標値として取得する。ポインタの検出と並行して、仮想マーカーを特定する被験者上の3つ以上の各実マーカーの探索を実行することで、被験者上の3つの各実マーカーの座標値を取得する。
最後に、仮想マーカーの利用態様について、2つの例に基づいて説明する。片麻痺の患者の大転子にマーカーを貼りつけた場合に、腕によってマーカーデータをほとんど取得できない場合がある。このような場合に、仮想マーカーを大転子点に設定することで、大転子マーカーとして機能させることができる。具体的には、骨盤に3つのマーカーを固定し、これらのマーカー座標によって大転子点を決定することで、腕によってマーカーが見えなくなることの不具合を解消することができる。
また、踵のマーカーデータを取得する場合には後方にカメラが複数台ある必要があるが、これに対して、仮想マーカーを踵に設定することで、踵マーカーとして機能させることが考えられる。具体的には、足部の前方にマーカーを3つ取り付け、そこから踵の仮想マーカーを設定することで後方にカメラがなくても、踵の仮想マーカーから三次元座標値を計算することができる。
図7を参照しつつ、他の実施形態について説明する。ポインタ1´は、第1の部分2´と、第2の部分3´と、からT形状を備えている。図示の形態では、第1の部分2´、第2の部分3´は、プレート状の長手部材である。第1の部分2´は、第2の部分3´よりも長い寸法を備えており、第2の部分3´は、第1の部分2´の基端部において、第1の部分2´の長さ方向に直交するように延びている。第1の部分2´は掴持部となっており、第1の部分2´の先端部20´が所望の仮想点を指し示す指示部となっている。
第2の部分3´の一端には第1マーカーMが、他端には第2マーカーMが設けてある。第1の部分2´には、先端側に位置して第3マーカーMが配置されている。第1のマーカーM、第2のマーカーM、第3のマーカーMは、赤外線LEDからなるマーカーであり、通電により点灯することでマーカーとして機能する。
ポインタ1´上には、2つのボタンスイッチ4A、4Bが設けてある。ボタンスイッチ4Aは、第1の部分2´の先端部20´に設けてあり、第1の部分2´のは、第1の部分2´の長さ方向の中間部位の面部に設けてある。デバイス1´において、ボタンスイッチ4Bを挟んで空間的に両側に位置するように第1のマーカーM、第2のマーカーM、第3のマーカーMが配置されている。より具体的には、第1の部分2´に対して第1の側(第1の部分2´の先端側)に第3のマーカーMが配置されており、第1の部分2´に対して第2の側(第1の部分2´の基端側の第2の部分3´の両端側)に第1のマーカーM、第2のマーカーMが配置されている。ボタンスイッチ4A、4Bは共に、仮想点を指し示す指示部に設けてあり、指示部として機能する。ボタンスイッチ4Aあるいは4Bが押されると、ポインタ1´に内蔵された電源(図示せず)から各赤外線LEDに電流が供給されて点灯して、各マーカーが、消灯の第1状態(カメラによって認識されない状態)から点灯の第2状態(カメラによって認識される状態)となる。後述するように、ボタンスイッチ4Aを押した場合、ボタンスイッチ4Bを押した場合とでは、仮想点座標の計算に用いる値が異なる。
[ボタンスイッチ4Aの意義]
図1に示すようなポインタ1を用いた仮想点入力作業では、操作者はポインタ1の先端部20による仮想点の指示→スイッチ4の押し操作、という2アクションが必要となり、操作者が先端部20で仮想点を指し示した状態でスイッチ4を押すと、スイッチ4を押す瞬間にポインタ1の先端部20がずれてしまうおそれがある。また、ボタンを押す作業は面倒である。
この問題を解決するためにポインタ1´の先端にボタンスイッチ4Aを取り付け、ボタンスイッチ4Aが押されるとLEDが点灯するような構造にした。
ポインタ1´の先端部20´に設けられたボタンスイッチ4Aは、先端部20´を身体の所定部位に押し付けた時に第1の部分2´の長さ方向に作用する力によって押しこまれて入力されて、各LEDを点灯するようになっている。ポインタ1´の先端にボタンスイッチ4Aを取り付けることで、仮想点決定者が仮想点を指し示すと同時に、ボタンスイッチ4Aが押され、仮想点の指示とボタンスイッチ4Aの押圧が1アクションで実行され、いわば、スイッチを押す手間を省略することができる。
デバイス1´を掴んだ操作者が第1の部分2´の先端部20´で所望の仮想点を指し示すと同時にボタンスイッチ4Aが押され、赤外線LEDからなる3つの第1のマーカーM、第2のマーカーM、第3のマーカーMが点灯してデバイス1´が認識され、第1のマーカーM、第2のマーカーM、第3のマーカーMの座標が取得される。ポインタ1´上において、第1の部分2´の先端部20´(押し込まれたボタンスイッチ4Aの位置が)と、第1マーカーM1、第2マーカーM2、第3マーカーM3との相対的な位置関係は既知であり、第1マーカーM、第2マーカーM、第3マーカーMの位置を用いて第1の部分2´の先端部20´の位置を特定できるような情報が記憶部に記憶されている。例えば、図4におけるL1〜L4に準ずる情報が記憶部に記憶されており、距離セット(d1、d2、d3)=距離セット(D1、D2、D3)の時の、取得した画像中の3つのマーカーの座標に基づいて、第1の部分2´の先端部20の座標(1つの態様では、第1の部分2の長さ方向の中心線上に位置する)を取得することができる。その他の詳細については、既述の実施形態の説明を援用することができる。
[ボタンスイッチ4Bの意義]
カメラが前方のみにある場合に踵の仮想点を決めようとすると、足部に取り付けた剛体上の3点(図示せず、図6に準ずる実マーカー)とポインタの3点が同時に見えるように足部の方向を調整する必要がある。障害を持った被験者の場合には体の方向を動かすことは労力が必要となってしまう。
この課題を解決するためにポインタ1´の第1の部分2´の長さ方向の中央付近を指示部としてボタンスイッチ4Bを取り付けることで、前方のみにカメラがある場合でも足の方向を変えずに踵の仮想点を決定することを可能とした。デバイスの先端を指示部として仮想点を指し示す場合には図8左図に示すように先端に近いマーカーの位置が足によって隠れてしまう。一方、デバイスの真ん中付近を仮想点を指し示す指示部とする場合には、図8右図に示すようにすべてのマーカーが前方から見えるようになる(ポインタ1´の第1の部分2´の長さ寸法は、足部の幅よりも大きく、足部を挟んで両側にマーカーが位置する)。なお、かかる課題は、踵や足部に仮想点を設定する場合に限られるものではなく、踵や足部に仮想点を設定する場合に限定されるものではない。
ボタンスイッチ4Aを用いる時の同様、ボタンスイッチ4Bを所望の部位に押し付けることで1アクションで仮想点を決定することができるが、ポインタ1´の第1の部分2´の長さ方向の中央付近を指示部として仮想点を決定する場合には、図4におけるL1の値を負(この負の値をL1´と呼ぶ)とすればよいことが当業者に理解される。コンピュータの記憶部には、L1に加えてL1´が記憶されている。
このように、図7に示すポインタ1´では、仮想点を指し示す指示部が2か所、具体的には、第1の部分2´の先端、第1の部分2´の長さ方向の中間部位、に設けてあり、前者にはボタンスイッチ4Aが設けられ、後者にはボタンスイッチ4Bが設けてある。操作者は、仮想点を設定する部位に応じて、ボタンスイッチ4A、4Bのいずれかを選択して、仮想点を指示することができる。ボタンスイッチ4Aが選択される場合には、コンピューター内の設定値L1が用いられ、ボタンスイッチ4Bが選択される場合には、コンピューター内の設定値L1´が用いられる。典型的な例では、通常はボタンスイッチ4Aで所望部位を指示して押し込むことで仮想点が決定され、踵等の位置を決める時に、ボタンスイッチ4Bが用いられる。なお、本発明には、指示部を3か所以上設ける態様、また、ボタンスイッチ4Bのみを設ける態様も含まれる。
図9に、仮想点の設定位置の異なる態様をデバイスとの関係で示す。左図は、デバイスの先端に仮想点を設定した場合であり、デバイスの中央付近に仮想点を設定した場合であり、右図は、デバイスの軸の延長上に仮想点を設定した場合を示す。左図の場合には、先端とマーカーとの距離L1を設定しておくことで(図4参照)、各マーカーの座標から仮想点座標を計算することができる。中央図の場合には、デバイスの中央付近の点とマーカーとの距離L1´を設定しておくことで(図7参照)、各マーカーの座標から仮想点座標を計算することができる。右図の場合には、デバイス(図1でいうと、第1軸部2)の軸線の延長線上の所定の位置に仮想点を設定し、当該仮想点とマーカーとの距離L1´´を設定しておくことで、各マーカーの座標から仮想点座標を計算することができる。すなわち、図4におけるL1の値をマーカーと先端の距離よりも大きく設定しておくことで、ポインタの先端から例えば○○mmという位置に仮想点を設けることができる。こうすることで、デバイスの先端によって被験者の身体内部の仮想点を指し示し、身体内に仮想点を設定することが可能となる。
1 ポインタ(デバイス)
第1マーカー
第2マーカー
第3マーカー(隠れマーカー)
4 スイッチ
4A ボタンスイッチ(指示部)
4B ボタンスイッチ(指示部)
20 仮想点を指し示す端部(指示部)

Claims (6)

  1. 少なくとも3つのマーカーと、仮想点を指し示す1つ以上の指示部と、前記指示部に設けた押圧スイッチと、を備え、前記少なくとも3つのマーカーのうちの少なくとも1つのマーカーは、カメラによって認識されない第1の状態と、カメラによって認識される第2の状態とを有する隠れマーカーであり、前記仮想点の位置は当該デバイス上のマーカー位置によって特定可能である、デバイスと、
    前記デバイスの各マーカー間の距離を特定可能な情報を記憶した記憶手段と、
    3次元動作計測システムの被験者上の3つ以上の実マーカーと、
    前記デバイスと前記3つ以上の実マーカーを含むカメラ画像を取得する複数のカメラと、
    前記複数のカメラによって撮影された複数のカメラ画像中で認識されたマーカー間の距離を計算し、計算されたマーカー間距離と、前記記憶手段に記憶されている情報により特定される前記デバイスの各マーカー間距離と、を比較判定してこれらが一致した場合には、前記デバイスが検出されたものとみなし、前記少なくとも3つのマーカーのうちの少なくとも1つのマーカーがカメラによって認識されない状態から、前記少なくとも3つのマーカーがカメラによって認識された時に、前記デバイスを検出するデバイス検出手段と、
    前記デバイスの検出を決定入力として、デバイス上の各マーカーと前記仮想点との相対的位置を用いて、デバイス検出時のマーカー座標から前記仮想点の座標を取得する仮想点座標取得手段と、
    を備えており、
    前記押圧スイッチの入力で前記隠れマーカーが前記第1の状態から前記第2の状態へ切り換わると共に、前記指示部による仮想点指示と前記押圧スイッチの入力を1アクションで実行することで、仮想点指示と同時に前記隠れマーカーを前記第1の状態から前記第2の状態へ切り換えるようになっており、前記指示部による仮想点指示時に前記デバイスが検出され、仮想点の座標が取得され、
    前記デバイスの検出を決定入力として前記仮想点座標が取得された時に、当該仮想点座標と、前記3つ以上の実マーカーの座標と、によって前記3つ以上の実マーカーによって規定される体節座標系に仮想マーカーが設定される、
    3次元動作計測システムにおける仮想点決定装置。
  2. 前記1つ以上の指示部は、当該デバイスの端部に形成された指示部を含む、請求項1に記載の3次元動作計測システムにおける仮想点決定装置。
  3. 前記1つ以上の指示部は、当該デバイスの端部以外の部位に形成された指示部を含み、デバイス上において、当該指示部を挟んで第1の側には、少なくとも1つのマーカーが設けてあり、第2の側には、残りのマーカーが設けてある、請求項1、2いずれか1項に記載の3次元動作計測システムにおける仮想点決定装置。
  4. 少なくとも3つのマーカーと、仮想点を指し示す1つ以上の指示部と、前記指示部に設けた押圧スイッチと、を備え、前記少なくとも3つのマーカーのうちの少なくとも1つのマーカーは、カメラによって認識されない第1の状態と、カメラによって認識される第2の状態とを有する隠れマーカーであり、前記仮想点の位置は当該デバイス上のマーカー位置によって特定可能である、デバイスと、
    前記デバイスの各マーカー間の距離を特定可能な情報を記憶した記憶手段と、
    3次元動作計測システムの被験者上の3つ以上の実マーカーと、
    前記デバイスと前記3つ以上の実マーカーを含むカメラ画像を取得する複数のカメラと、
    前記複数のカメラによって撮影された複数のカメラ画像中で認識されたマーカー間の距離を計算し、計算されたマーカー間距離と、前記記憶手段に記憶されている情報により特定される前記デバイスの各マーカー間距離と、を比較判定してこれらが一致した場合には、前記デバイスが検出されたものとみなし、前記少なくとも3つのマーカーのうちの少なくとも1つのマーカーがカメラによって認識されない状態から、前記少なくとも3つのマーカーがカメラによって認識された時に、前記デバイスを検出するデバイス検出手段と、
    前記デバイスの検出を決定入力として、デバイス上の各マーカーと前記仮想点との相対的位置を用いて、デバイス検出時のマーカー座標から前記仮想点の座標を取得する仮想点座標取得手段と、
    を用い、
    前記複数のカメラによって、前記少なくとも3つのマーカーのうちの少なくとも1つのマーカーがカメラによって認識されない状態にある前記デバイス及び前記3つ以上の実マーカーを撮影し、
    前記デバイスの指示部によって対象物上ないし対象物内の仮想点を指し示した時に前記押圧スイッチが前記対象物に当って押し込まれて入力され、仮想点指示と前記押圧スイッチの入力を1アクションで実行することで、仮想点指示と同時に前記隠れマーカーを前記第1の状態から前記第2の状態へ切り換え、
    前記デバイス検出手段によって、前記デバイスの前記指示部による仮想点指示と同時に前記デバイスを検出し、
    前記仮想点座標取得手段によって、前記デバイスの前記指示部による仮想点指示と同時に仮想点の座標を取得
    前記デバイスの検出を決定入力として前記仮想点座標が取得された時に、当該仮想点座標と、前記3つ以上の実マーカーの座標と、によって前記3つ以上の実マーカーによって規定される体節座標系に仮想マーカーが設定される、
    3次元動作計測システムにおける仮想点決定方法。
  5. 少なくとも3つのマーカーと、仮想点を指し示す1つ以上の指示部と、前記指示部に設けた押圧スイッチと、を備え、3次元動作計測システムにおける仮想点決定に用いられるデバイスであって、
    各マーカー間の距離が既知であり、前記仮想点の位置は当該デバイス上のマーカー位置によって特定可能であり、
    前記少なくとも3つのマーカーのうちの1つのマーカーは、カメラによって認識されない第1の状態と、カメラによって認識される第2の状態とを有する隠れマーカーであり、
    前記押圧スイッチは、前記隠れマーカーを前記第1の状態から前記第2の状態へ切り換える切り換え手段を構成していると共に、前記指示部による仮想点指示と前記押圧スイッチの入力が1アクションで実行されることで、仮想点指示と同時に前記隠れマーカーが前記第1の状態から前記第2の状態へ切り換わるようになっている、請求項4に記載の方法に用いられるデバイス。
  6. 前記1つ以上の指示部は、当該デバイスの端部に形成された第1指示部と、当該デバイスの端部以外の部位に形成された第2指示部を含み、デバイス上において、当該第2指示部を挟んで第1の側には、少なくとも1つのマーカーが設けてあり、第2の側には、残りのマーカーが設けてある、
    請求項5に記載のデバイス。
JP2013001384A 2012-01-10 2013-01-08 3次元動作計測システムにおける仮想点決定装置及び方法、並びに、3次元動作計測システムにおける仮想点決定に用いられるデバイス Active JP5693621B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013001384A JP5693621B2 (ja) 2012-01-10 2013-01-08 3次元動作計測システムにおける仮想点決定装置及び方法、並びに、3次元動作計測システムにおける仮想点決定に用いられるデバイス

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012002628 2012-01-10
JP2012002628 2012-01-10
JP2013001384A JP5693621B2 (ja) 2012-01-10 2013-01-08 3次元動作計測システムにおける仮想点決定装置及び方法、並びに、3次元動作計測システムにおける仮想点決定に用いられるデバイス

Publications (2)

Publication Number Publication Date
JP2013164413A JP2013164413A (ja) 2013-08-22
JP5693621B2 true JP5693621B2 (ja) 2015-04-01

Family

ID=49175823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013001384A Active JP5693621B2 (ja) 2012-01-10 2013-01-08 3次元動作計測システムにおける仮想点決定装置及び方法、並びに、3次元動作計測システムにおける仮想点決定に用いられるデバイス

Country Status (1)

Country Link
JP (1) JP5693621B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7829236B2 (ja) * 2023-09-27 2026-03-13 リーグソリューションズ株式会社 検知方法およびコンピュータ

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06147830A (ja) * 1992-11-11 1994-05-27 Mitsubishi Electric Corp 3次元位置測定装置及び3次元位置測定結果補正方法
JP3324809B2 (ja) * 1993-01-12 2002-09-17 三洋機工株式会社 三次元測定用測定点指示具
JPH07311015A (ja) * 1994-05-18 1995-11-28 Hitachi Plant Eng & Constr Co Ltd 被測定対象物の寸法計測方法
JPH08305473A (ja) * 1995-05-11 1996-11-22 Hitachi Ltd 三次元データ入力システム
JP2010079458A (ja) * 2008-09-24 2010-04-08 Fuji Xerox Co Ltd 筆跡表示システム

Also Published As

Publication number Publication date
JP2013164413A (ja) 2013-08-22

Similar Documents

Publication Publication Date Title
US11547498B2 (en) Surgical instrument with real time navigation assistance
US11534246B2 (en) User input device for use in robotic surgery
US12489960B2 (en) Communication of detected grasping forces in a surgical robotic platform
US12555337B2 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
CN104274183B (zh) 动作信息处理装置
JP2021194539A (ja) 外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡バー
US20190090955A1 (en) Systems and methods for position and orientation tracking of anatomy and surgical instruments
JP6930995B2 (ja) 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム
KR101118654B1 (ko) 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법
US20140275760A1 (en) Augmented reality image display system and surgical robot system comprising the same
US11266294B2 (en) Image processing device, endoscopic surgery system, and image processing method
CN110650704A (zh) 用于检测图像捕获装置的视野内的物体的系统和方法
CN104284637B (zh) 手术辅助装置
US12283062B2 (en) Method and system for providing surgical site measurement
Coupier et al. A novel method for in-vivo evaluation of finger kinematics including definition of healthy motion patterns
KR20140115575A (ko) 수술 로봇 시스템 및 그 제어 방법
EP2953569A1 (en) Tracking apparatus for tracking an object with respect to a body
JP2012223363A (ja) 手術用撮像システム及び手術用ロボット
EP3606408B1 (en) Method and apparatus for providing guidance for placement of a wearable device
CN110177518A (zh) 用于在图像捕获装置的视场内检测物体的系统和方法
CN105105846B (zh) 一种用来精确引导对一病患进行外科手术的系统
CN103619280B (zh) 医疗用机械手系统
Nissler et al. OMG: introducing optical myography as a new human machine interface for hand amputees
CN111710207B (zh) 超声演示装置及系统
JP5693621B2 (ja) 3次元動作計測システムにおける仮想点決定装置及び方法、並びに、3次元動作計測システムにおける仮想点決定に用いられるデバイス

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150203

R150 Certificate of patent or registration of utility model

Ref document number: 5693621

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250