JP4667900B2 - 二次元画像からの三次元解析方法とそれを実行するシステム - Google Patents

Description

本発明は１枚の二次元画像から被写体の三次元情報を解析する方法とそれを実行するシステムに関し、特に時系列二次元画像情報から被写体の三次元的運動を把握するのに適した方法及びシステムに関する。

従来、カメラによって撮影した二次元画像から三次元情報を得る手法としては、異なる視角からの複数画像を用いることが知られている。ステレオ視による立体画像や三次元形状情報を抽出したりする技術、また２台のカメラの視角を９０°異ならせて配置し、正面画像と側面画像を得て解析するといった技術である。
特許文献１には、ステレオ視により三次元情報を抽出する際、同一センサで複数回の撮影を行わずに三次元情報を抽出することができ、また抽出に使用するパラメータ設定の自動化を容易に行えるようにすることを目的とした「ステレオ視による三次元情報抽出装置」が開示されている。図５に示されるように、パラメータ設定手段からは、ＳＡＲセンサでの収集位置＊１と観測エリアの距離、光学センサでの収集位置＊２と観測エリアの距離、ＳＡＲセンサでの収集位置＊１と光学センサでの収集位置＊２の距離等の各種観測パラメータと、収集位置＊１からのＳＡＲ画像＊３と収集位置＊２からの光学センサ画像＊４中に存在する複数の特徴点の対応情報をオペレータが手動入力する。画像処理手段では、２枚の画像＊３，＊４中の複数の特徴点について、パラメータ設定手段から与えられた情報を元にした三角関数演算を行い、２枚の二次元画像＊３，＊４中の特徴点の三次元情報を抽出するというものである。ステレオ視によるものであるから、二次元画像は２枚必要である。

また、特許文献２には二次元画像からコンピュ−タ上の三次元デ−タを簡単に生成することができるようにすることを目的とした技術が開示されている。そのデータ生成装置の画像処理部は「記憶部と、二次元画像に対して、区画空間座標系、仮想空間座標系及びスクリ−ン座標系をそれぞれ設定する座標系設定部と、区画空間座標系から仮想空間座標系への座標変換式を設定する第１座標変換式設定部と、仮想空間座標系からスクリ−ン座標系への座標変換式を設定する第２座標変換式設定部と、基準長方形設定部と、各座標変換式と基準長方形の座標等とから、各座標変換式の係数を演算する係数演算部と、各座標変換式の係数に基づいて、二次元画像の三次元データを生成するデータ生成部とを含むもの」である。この発明は、撮影された部屋等の区画空間である被写体の三次元データを生成するデータ生成装置に関するものであるため、被写体は天井、床、壁、柱といった静止したもので、その方向と長さが既知であるものを対象としている。その既知データを利用して二次元画像から三次元情報を解析することが示唆されているが、その二次元画像は相互に直交する少なくとも２面の直交面によって区画された被写体空間を前提としている。

また、特許文献３には、建築設計等で使われる写真やパースから簡単な構成、簡単な処理で精度良く、立体データを作成することのできる立体データ作成装置を提供することを目的とした立体データ作成方法及び装置が開示されている。この装置は、空間構造が未知の空間の静止画像を取り込むデジタル画像入力装置、スキャナと、取り込まれた静止画像を空間の投影された画像として捉えて、その静止画像内の直線の位置関係に基づいて、静止画像に対する視点を割り出す手段と、静止画像及び視点の情報に基づいて、静止画像内の空間構造の立体データを作成する手段と、作成された立体データを出力する画像処理コンピュータとを備えるものである。そして、図６のような画像を示すと共に明細書中［００１６］には「さらに写真やパースに示されている画像情報の中に、その位置と長さが既知の線が一本あれば、全ての部位の長さ、大きさを知ることができる。また、家具、塀など他の部位については、通常はその高さや壁面からの距離、壁面との角度などなんらかの情報は推測して補完できるため、その推測して補完した情報に基づいてその位置関係をかなり正確に推定することができる。これによって、写真に写っている全ての対象物の相互の位置関係を推定し、その立体データを得ることができる。」と記載されている。
特開２００４−２１４２７号公報 「ステレオ視による三次元情報抽出装置」 平成１６年１月２２日公開 特開２００４−２８０１９６号公報 「データ生成装置及びその方法」 平成１６年１０月７日公開 特開２０００−７６４５３号公報 「立体データ作成方法及び装置」 平成１２年３月１４日公開 特に段落［００１６］の記載

先に見たように特許文献１及び２には二次元画像と被写体の寸法と方向情報を用いて該被写体の三次元情報を得る手法が開示されている。しかし、これらの技術は静止したしかもその方向が分かっている被写体であることを前提としたもので、この手法では被写体の動的な三次元解析を行うことは出来ない。しかし、近年スポーツの世界では選手の身体的動きを三次元的に捉え、技能向上に役立てたいといったニーズや、生物学的、医学的、薬学的な観点からなされる動物の動きを客観的に把握したいといったニーズが強くある。しかし特許文献２，３に示されるような手法は静止した特殊形態の被写体を対象とするものでこれらのニーズには応えられないし、特許文献１に見られるようなステレオ視のカメラシステムであれば、これに応えることはできるものの、２台以上のカメラの設置が必要であり、設備が大がかりであり撮影もデータ計算も厄介となる。
本発明が解決しようとする課題は、人間や動物といった時によって肢体の位置を変える被写体、更に一般的にいえば自由継ぎ手で結合された線分からなる被写体を１枚の二次元画像から被写体の三次元情報を算出する方法、更には１台のカメラで撮像した一連の二次元画像から被写体の動きを解析する方法、及びこれらの方法を実施するシステムを提供することにある。

本発明に係る二次元画像から三次元情報を算出する方法は、自由継ぎ手で結合された線分を撮像した二次元画像と前記線分の長さ情報とから、撮像時における前記線分の三次元情報を１つの連結部位置を基準として算出するものであって、
三次元の空間座標Ｘ軸，Ｙ軸，Ｚ軸と二次元のカメラ座標Ｕ軸，Ｖ軸との関係をＸ軸とＵ軸が、Ｚ軸とＶ軸が平行となるようにとり、１つの連結された長さがｌ _k-m である継ぎ手Ｍ _ｍ と他端Ｍ _ｋ の関係においてＭ _ｍ の三次元位置(Ｘ _ｍ ，Ｙ _ｍ ，Ｚ _ｍ )を基準として、カメラ座標（Ｕ _ｍ ，Ｖ _ｍ ）と（Ｕ _ｋ ，Ｖ _ｋ ）情報から奥行き方向係数を用いてＭ _ｋ の(Ｘ _ｋ ，Ｚ _ｋ )座標値を算出すると共に、
Ｙ _ｋ ＝±｛ｌ _k-m ^２ −(Ｘ _k −Ｘ _ｍ ) ^２ −(Ｚ _k −Ｚ _ｍ ) ^２ ｝ ^1/2 ＋Ｙ _ｍ
の式に基づいて該線分の他端Ｍ _ｋ の奥行き情報Ｙ _ｋ を算出して他端Ｍ _ｋ の三次元位置情報(Ｘ _ｋ ，Ｙ _ｋ ，Ｚ _ｋ )を得、更にこの位置を基準として撮像時における前記各線分の三次元位置を順次算出するようにした。
本発明に係る二次元画像から三次元情報を動的に解析する方法は、同じ光学系で時系列的に撮像された二次元画像を基に、上記の方法によって得られた各画像における線分の三次元情報について、２つの画像から基準とした連結部の画像間上での位置ズレ情報から両画像の光学軸方向のオフセット量を算出して前記線分の三次元情報の補正を施し、各線分の位置変化情報を得るようにした。
また、本発明に係る二次元画像から三次元情報を動的に解析する他の方法は、被写体の運動を三次元的に解析する方法同じ光学系で時系列的に撮像された二次元画像を基に、請求項１に記載の方法によって得られた各画像における線分の三次元情報を得るステップと、それぞれの画像における各線分の中心点位置を算出するステップと、該中心位置の２画像間のズレから両画像の光学軸方向のオフセット量を各線分毎に算出するステップと、前記線分の三次元情報について基準とした連結部から前記算出したオフセット量を順次補正して各線分の位置変化情報を得るステップとを踏むようにした。
本発明に係る二次元画像から三次元情報を動的に解析する更に異なる方法は、同じ光学系で時系列的に撮像された二次元画像を基に、請求項１に記載の方法によって得られた各画像における線分の三次元情報について、基準とする連結部に加速度計を装着し該加速度計の検出値からベクトルを計算し両画像の光学軸方向のオフセット量を算出して前記線分の三次元情報の補正を施し、各線分の位置変化情報を得るようにした。

本発明に係る二次元画像から被写体の三次元情報を解析するシステムは、撮像した二次元画像を情報として出力するカメラと、被写体の線分情報と線分選択情報を入力する手段と、二次元画像上の線分情報と該線分の長さ情報とから該線分の三次元情報を算出する演算手段とを備え、前記演算手段は三次元の空間座標Ｘ軸，Ｙ軸，Ｚ軸と二次元のカメラ座標Ｕ軸，Ｖ軸との関係をＸ軸とＵ軸が、Ｚ軸とＶ軸が平行となるようにとり、１つの連結された長さがｌ _k-m である継ぎ手Ｍ _ｍ と他端Ｍ _ｋ の関係においてＭ _ｍ の三次元位置(Ｘ _ｍ ，Ｙ _ｍ ，Ｚ _ｍ )を基準として、カメラ座標（Ｕ _ｍ ，Ｖ _ｍ ）と（Ｕ _ｋ ，Ｖ _ｋ ）情報から奥行き方向係数を用いてＭ _ｋ の(Ｘ _ｋ ，Ｚ _ｋ )座標値を算出すると共に、
Ｙ _ｋ ＝±｛ｌ _k-m ^２ −(Ｘ _k −Ｘ _ｍ ) ^２ −(Ｚ _k −Ｚ _ｍ ) ^２ ｝ ^1/2 ＋Ｙ _ｍ
の式に基づいて該線分の他端Ｍ _ｋ の奥行き情報Ｙ _ｋ を算出して他端Ｍ _ｋ の三次元位置情報(Ｘ _ｋ ，Ｙ _ｋ ，Ｚ _ｋ )を得、更にこの位置を基準として撮像時における前記各線分の三次元位置を順次算出するようにした。
更に必要に応じ、時系列的に撮像された二次元画像を蓄積すると共に解析データを記憶するメモリと、二次元画像を表示する表示部と、解析結果を加工する手段とを加えて備えたシステムを提示する。
本発明に係る記録媒体は、三次元の空間座標Ｘ軸，Ｙ軸，Ｚ軸と二次元のカメラ座標Ｕ軸，Ｖ軸との関係をＸ軸とＵ軸が、Ｚ軸とＶ軸が平行となるようにとり、１つの連結された長さがｌ _k-m である継ぎ手Ｍ _ｍ と他端Ｍ _ｋ の関係においてＭ _ｍ の三次元位置(Ｘ _ｍ ，Ｙ _ｍ ，Ｚ _ｍ )を基準として、カメラ座標（Ｕ _ｍ ，Ｖ _ｍ ）と（Ｕ _ｋ ，Ｖ _ｋ ）情報から奥行き方向係数を用いてＭ _ｋ の(Ｘ _ｋ ，Ｚ _ｋ )座標値を算出すると共に、
Ｙ _ｋ ＝±｛ｌ _k-m ^２ −(Ｘ _k −Ｘ _ｍ ) ^２ −(Ｚ _k −Ｚ _ｍ ) ^２ ｝ ^1/2 ＋Ｙ _ｍ
の式に基づいて該線分の他端Ｍ _ｋ の奥行き情報Ｙ _ｋ を算出して他端Ｍ _ｋ の三次元位置情報(Ｘ _ｋ ，Ｙ _ｋ ，Ｚ _ｋ )を得、更にこの位置を基準として撮像時における前記各線分の三次元位置を順次算出するという、二次元画像上における自由継ぎ手で連結された線分位置情報と該線分の長さ情報とから撮像時における前記線分の三次元情報を算出するプログラムがコンピュータ読み取り可能な形態で書き込まれている。更に必要に応じ、時系列的に撮像された各二次元画像から各線分の位置変化情報を得ると共に、画像間の光学軸方向オフセット量を算出して位置補正を加え、被写体の運動を三次元的に解析するプログラムが付加されているものを提示する。

本発明に係る二次元画像から三次元情報を算出する方法は、自由継ぎ手で結合された線分を撮像した二次元画像と前記線分の長さ情報とから、撮像時における前記線分の三次元情報を算出するようにしたものであるから、単に１線分についての三次元画像が得られるだけでなく、自由継ぎ手で結合された複数の線分群についての三次元情報を二次元画像から得ることができる。
また、本発明に係る二次元画像から三次元情報を解析する方法は、時系列的に撮像された二次元画像について、上記の方法によって得られた各線分の三次元情報から各線分の位置変化情報を得、被写体の運動を三次元的に解析するようにしたものであるから、自由継ぎ手で結合された複数の線分群についての一連の動きを解析することが出来る。二次元画像情報からは正確に捉えにくい光学軸方向の位置については各線分毎のデータをとって補正したり、加速度計を複数備えるなどして位置を精度良く算出することが出来る。
そして、被写体を動物とし、継ぎ手は関節に、線分は肢体に相当するものとすれば、スポーツの世界や生物学的、医学的、薬学的な観点からの強いニーズに応えて、選手の身体的動きを簡単に得られる二次元画像から三次元的に捉える方法や、動物の動きを客観的に把握する手法を提供することが出来る。

本発明に係る二次元画像から被写体の三次元情報を解析するシステムは、撮像した二次元画像を情報として出力するカメラと、被写体の線分情報と線分選択情報を入力する手段と、二次元画像上の線分情報と該線分の長さ情報とから該線分の三次元情報を算出する演算手段とを備えるだけのものであるから、汎用のカメラとパーソナルコンピュータをベースに上記演算機能を備えることで実現することが可能である。更に必要に応じ、時系列的に撮像された二次元画像を蓄積すると共に解析データを記憶するメモリと、二次元画像を表示する表示部と、解析結果を加工する手段とを加えて備えたシステムである場合には、単に、時系列画像を動画として表示できるだけでなく解析結果を適宜加工した形態で表示させることが可能である。
本発明に係る記録媒体は、二次元画像上における自由継ぎ手で結合された線分情報と該線分の長さ情報とから撮像時における前記線分の三次元情報を算出するプログラムがコンピュータ読み取り可能な形態で書き込まれたものであるから、汎用のカメラと汎用のコンピュータを準備し該コンピュータにこれを読み込ませるだけで簡単に上記の本発明に係る二次元画像から被写体の三次元情報を解析するシステムを構築することが出来る。更に必要に応じ、時系列的に撮像された各二次元画像から各線分の位置変化情報を得て、被写体の運動を三次元的に解析するプログラムが付加されているものであれば解析結果を適宜加工した形態で表示させることが可能である上記の本発明に係る二次元画像から被写体の三次元情報を解析するシステムを構築することが出来る。

本発明で扱う「自由継ぎ手で結合された線分」のモデル例を図１に示す。この例はＣという自由継ぎ手（関節）にＡＣ，ＢＣ，ＣＤという３つの線分が結合されており、線分ＣＤの他端Ｄはまた関節Ｄとなっており、この関節Ｄには前記線分ＣＤの他に線分ＤＥが結合され、この関節Ｅには前記線分ＤＥの他に線分ＥＦと線分ＥＧが結合されている。それぞれの線分は継ぎ手部分で球軸受けのように自由に方向転換と回転が可能なものであるとする。この様な構造の「自由継ぎ手で結合された線分」モデルがある時点での正面方向から撮像した画像が図の(１)であったとする。この１枚の二次元画像からでは各線分の三次元情報は把握できない。 しかし、このモデルを撮影する視角を９０°変えた側面方向から撮像した図の(２)の画像があれば、この２枚の画像情報からそれぞれの線分の三次元情報を把握することが出来ることは当然のこととして理解されよう。

本発明が提示する１枚の二次元画像から三次元情報を解析する方法について説明する。図２に示されるように三次元空間の被写体はカメラの撮像面で二次元画像として結像される。その際の空間座標（Ｘ軸，Ｙ軸，Ｚ軸）とカメラ座標（Ｕ軸，Ｖ軸）との関係は簡単のため、Ｘ軸とＵ軸が、Ｚ軸とＶ軸が平行となるようにとった場合、次の関係で表せる。
Ｘ＝ａ（Ｙ）Ｕ ， Ｚ＝ｂ（Ｙ）Ｖ ‥‥‥‥‥‥(１)
ここで、ａ（Ｙ）とｂ（Ｙ）はＹ軸方向即ち奥行き方向の係数である。
今、図３に示すような両端部にマーカＭ_ｍとＭ_ｋがつけられた長さｌ_ｋ−ｍの線分の撮像画像が得られたとすると、そのカメラ座標（Ｕ軸，Ｖ軸）の二次元画像から対応する空間座標情報（Ｘ軸，Ｙ軸，Ｚ軸）を算出する。二次元情報はマーカＭ_ｍとＭ_ｋのカメラ座標値（Ｕ_ｍ，Ｖ_ｍ）と（Ｕ_ｋ，Ｖ_ｋ）である。これらを用いて空間座標系のＸ値，Ｚ値を上記の関係式から計算しようとするとき、一般には奥行き情報がないと計算は出来ないことになるが、線分の長さがｌ_ｋ−ｍであることは既知であるときには次ぎの関係が成立する。
ｌ_ｋ−ｍ ^２＝ａ(０)^２( Ｕ_ｋ−Ｕ_ｍ)^２＋ｂ(０)^２( Ｖ_ｋ−Ｖ_ｍ)^２‥‥‥‥‥(２)
この式からａ(０)とｂ(０)の係数を計算するが、二次元画像上に長さが既知である線分が複数存在すれば、最小二乗法でより正確な計数値を得ることが出来る。

次ぎに、奥行き情報の演算について説明する。今、対象とする線分の一方の端部であるＭ_ｍの位置(Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ)を基準として他端Ｍ_ｋの奥行き情報Ｙ_ｋを算出する。線分には次の(３)式の関係が成り立つから

となり、解が２つ得られる。このことは所定長さの線分は一方の端部を基準とした場合他端の奥行き位置は基準点より手前側に来る場合と奥側に位置する場合の二つがあり得ることを意味している。実際の線分のＹ座標位置Ｙ_ｋはそのいずれか一方であるので、その選択が必要となるが、対象である線分が動物の体節であるとか動きの予測がつく機械要素であったりすれば、実際の画像からそれを特定することはさほど困難なことではない。また、線分が他の被写体の前にあるか後にあるかといった位置情報や、時系列的連続画像である場合などは動きの連続性の中から判断できるなど、実際の画像からそれを特定することが可能となる。
被写体モデルが図１に示したような節で結合された線分の集合体であるときは１つの関節位置を基準としてそれぞれの線分端部の位置を順次算出することが出来る。

今、高跳び競技において選手がバーを越える瞬間の身体の動きを解析することを目的として、ポールとバーに対して所定の位置にデジタルカメラを据え、その前後の連続写真を撮影した。まず、選手の肩、肘、手首、左右の耳先端部、首から腰までの背骨の特定箇所、股関節、膝、足首、靴の先端部等を選定し、一コマの画像において、その特定点をクリックし画素位置として画像上の二次元位置情報を取得する。クリックした特定位置には画像上にマーカを施し、マーカ番号ｉでどの部位を示すものか識別できるようにすると共に、どのコマの画像であるかを識別するコマ情報ｊもセットでポイント（Ｕ_ｉ,ｊ，Ｖ_ｉ,ｊ）抽出する。この手法により連続するすべての画像からポイントの抽出を行う。
次ぎに、選手の前記特定点間の長さ、すなわち、線分にあたる体節情報を取得する。既知の線分情報を式(２)に入れて係数ａ(０)とｂ(０)を計算するがその際は体節情報を用いるより、ポールやバーなど寸法が正確に得られるものを用いるのが有利である。撮像系において結像位置を０とし、１コマ目の画像中の１番目のポイント（Ｕ_ｉ,１，Ｖ_ｉ,１）と２番目のポイント（Ｕ_２,１，Ｖ_２,１）を結ぶ対象線分の実空間での長さをｌ_１とおくと前記(２)式は
ｌ_１ ^２＝ａ(０)^２(Ｕ_１,１−Ｕ_２,１)^２＋ｂ(０)^２(Ｖ_１,１−Ｖ_２,１)^２‥‥‥(２)’
線分が複数個あれば、同様の計算をして最小二乗法を用いてａ(０)とｂ(０)を計算する。

ここで、ΔＵｋ＝(Ｕ_ｋ,１−Ｕ_{ｋ＋１,１})であり、ΔＶｋ＝(Ｖ_ｋ,１−Ｖ_{ｋ＋１,１})であって、ｋは２以上の対象線分の数である。このａ(０)とｂ(０)は、本来的にｙの関数であるが、カメラが観察空間において固定され、カメラパラメータも不変の状態での使用を前提とすれば、結像位置は実空間座標において同じｙ値、この場合０の位置にあるものとして定数として扱うことが出来る。

係数ａ(０)とｂ(０)が得られたならば画像中の測定対象である人体の内のあるポイント、例えば、右肩のポイントを基準原点（０，０）として(３)式に基づく(４)式の計算をして解を得る。先の（３）式の関係が成り立つので、式(４)の解を得る。２つ得られた解の内、人の動きとして妥当と思われる解を画像情報を総合的に観察しながら、人為的に選択する。もし、１コマの画像からその選択が出来ないようなときは可能性のあるデータは後続画像で特定できるまで共に蓄積しておく。各ポイントの位置計算を順次行いすべての測定ポイントについての三次元情報を蓄積する。
２コマ目以下の画像についても、同じ手法で基準点と選択した右肩位置を原点とした各画像毎の測定ポイントの三次元位置情報を得て、ｊ枚の画像についての情報が得られる。

以上のｊ枚の画像についてデータは、それぞれ特定ポイント（この実施例では右肩）の位置を原点としたものであるが、この特定ポイント自体実空間において固定点であるわけはないので、つぎの作業として、この特定ポイントの動きを計算し、各画像の原点情報を差分オフセットとして修正を加えることで、実空間座標としての本来の三次元情報を得ることが出来る。この計算は撮像時間を異にする２枚の画像を重ね、原点位置の差を線分情報のときと同様の手法でＹ軸方向の位置ズレを算出し、各画像間の原点位置ずれを差分オフセットとして修正を加える。このｊ枚の画像は同じカメラによる同一設定時の映像であるから、カメラパラメータは同一であり、実際には画像を重ねなくてもそれぞれの画像上の位置情報から算出できる。すべての画像毎の三次元情報が完璧であって、各画像上の一点である特定ポイントの位置関係が分かったならば、理論上はこれで被写体各ポイントの時系列的な三次元情報が得られることになる。

ところが、実際にこの処理で計算を行った場合、特定ポイントである右肩位置から最も遠い左靴先端部の計算位置は実際位置との差異が大きなものとなってしまった。これは画像上で各ポイントを特定する作業は人がディスプレイに映し出される画像をモニタしつつ手作業でマーク付けしていくものであるから、位置検出には若干の誤差を伴うことになる。その位置情報に基づいて基準点を原点として算出される各ポイント位置情報には誤差が含まれており、基準点から順次各ポイント位置を算出するため、基準位置から遠いポイントほど位置情報について積算誤差が大きくなるということになる。この誤差はカメラ光学系の環境ではＹ軸方向位置に大きく生じることとなる。そこで、本実施例ではこのＹ軸方向のオフセット誤差を保証するため、各線分毎Ｙ方向位置補正を施す手法を採用した。

まず、第１のステップとして連結されているすべての線分についてその中心位置を計算する。第２のステップとしてその算出した各中心位置のフレーム間の位置ズレ量からＹ方向オフセット量を算出する。第３のステップで、各線分毎に算出したオフセット量で右肩原点位置から順次線分毎にＹ方向補正を加えて各点の補正を実行する。

先の実施例ではフレーム間のＹ方向オフセット量を線分の中心位置を算出してそのポイントのズレから時系列的な連続性を算出する手法を採用したが、この変形実施例では原点等どこかのポイントに加速度計を取り付けてその加速度情報に基づいて移動ベクトルを算出し、時系列的な連続性を算出する手法を採用する。ただし、この手法においても１つの加速度計だけの情報では先の原点位置データだけからのＹ方向計算と同様に加速度計取付位置から遠い線分について誤差を生じてしまうという問題が起こる。そこで、この実施例では複数個の加速度計を離れたポイントに装着するようにして精度を高める。

本発明の手法で、人間の動きを解析する場合には基準とするポイントを左右の肩位置と左右の腰骨位置の４点を選択した場合、重心位置の特定や体の向きとひねり具合が把握でき、二次元画像からの三次元解析が極めて効果的に行えることがわかった。
また、上記の説明では当初から解析を目的として撮像した二次元画像を基に解析を行うものとしたが、これに限らず、過去に撮影した画像からでも被写体の線分情報が得られるならば、本発明の手法で解析を行うことが可能である。名選手の記録フィルムなどからでも、体格データがあれば解析が可能である。その場合、位置情報については画像をデジタル化するなり、ディスプレイ上での画像測距技術等で得ることが可能である。また、体格データがない場合には一連の画像における線分の最長データをＸＺ平面に平行な方向とみなせば、身体の動きとしてはそれなりの解析が可能である。

本発明に係る二次元画像から被写体の三次元情報を解析する情報を実施するシステムは、大がかりな装置を必要としない。図４に示すようにデジタルカメラと本発明の方法を実行するプログラムが蓄積された記録媒体を準備すれば、汎用のパーソナルコンピュータを用いてシステム化することが出来る。カメラは撮像した二次元画像を情報としてパソコンの内のメモリに出力する。この画像はパソコンのディスプレイでモニタすることが出来る。被写体の線分情報と線分選択情報はパソコンのキーボードやマウスを用いて入力する。ディスプレイに映された二次元画像上で線分端部のポイントをマウスでクリックしてマーク付けすると共に、そのポイントの二次元座標位置を読みとる機能と、前記した本発明で行うすべての演算を実行させるソフトは記録媒体に蓄積されており、この記録媒体をパソコンにセットしてパソコンにインストールすればもはや、この記録媒体は必要はない。二次元画像上の線分情報と先に入力された該線分の実際の長さ情報とを基礎データとして、前述した方法の手順に従い、該線分の三次元情報はパソコンの演算手段で算出される。
解析結果はメモリに蓄積し、線分画像として表示したり、三次元座標データであることから、異なる角度からの画像をコンピュータグラフィクスの技術で簡単に加工することが可能である。また、前述した左右の肩位置と左右の腰骨位置の４点から体の重心位置を特定し、連続動作における重心移動などを観察することが出来る。

本発明は、スポーツ選手の動きの解析を主として説明してきたが、この他、医療分野では身体の動きの診断やリハビリの際の判定データとして、また、生物学の分野では動物の動き観察、機械分野では機構の稼働状態観察など、広い分野の線分について適用できる。

本発明が扱う連結された線分構造体の概念図である。 空間座標系とカメラ座標系を説明する図である。 線分構造体の実空間座標とカメラ座標との関係を説明する図である。 本発明の方法を実行するシステムを説明する図である。 従来のステレオ法による三次元情報解析を説明する図である。 二次元画像から三次元情報を解析する従来の方法を説明する図である。

符号の説明

Ａ，Ｂ，Ｃ‥‥，Ｇ 線分端部のポイント
ｌ_１，ｌ_２‥‥，ｌ_ｉ 線分の長さ
Ｍ_ｋ，Ｍ_ｍ マークポイント

Claims (10)

1. 自由継ぎ手で連結された線分を撮像した二次元画像と前記線分の長さ情報とから、撮像時における前記線分の三次元位置を、１つの連結部位置を基準として算出する方法であって、
   三次元の空間座標Ｘ軸，Ｙ軸，Ｚ軸と二次元のカメラ座標Ｕ軸，Ｖ軸との関係をＸ軸とＵ軸が、Ｚ軸とＶ軸が平行となるようにとり、１つの連結された長さがｌ _k-m である継ぎ手Ｍ _ｍ と他端Ｍ _ｋ の関係においてＭ _ｍ の三次元位置(Ｘ _ｍ ，Ｙ _ｍ ，Ｚ _ｍ )を基準として、カメラ座標（Ｕ _ｍ ，Ｖ _ｍ ）と（Ｕ _ｋ ，Ｖ _ｋ ）情報から奥行き方向係数を用いてＭ _ｋ の(Ｘ _ｋ ，Ｚ _ｋ )座標値を算出すると共に、
   Ｙ _ｋ ＝±｛ｌ _k-m ^２ −(Ｘ _k −Ｘ _ｍ ) ^２ −(Ｚ _k −Ｚ _ｍ ) ^２ ｝ ^1/2 ＋Ｙ _ｍ
   の式に基づいて該線分の他端Ｍ _ｋ の奥行き情報Ｙ _ｋ を算出して他端Ｍ _ｋ の三次元位置情報(Ｘ _ｋ ，Ｙ _ｋ ，Ｚ _ｋ )を得、更にこの位置を基準として撮像時における前記各線分の三次元位置を順次算出する方法。
2. 同じ光学系で時系列的に撮像された二次元画像を基に、請求項１に記載の方法によって得られた各画像における線分の三次元情報について、２つの画像から基準とした連結部の画像間上での位置ズレ情報から両画像の光学軸方向のオフセット量を算出して前記線分の三次元情報の補正を施し、各線分の位置変化情報を得、被写体の運動を三次元的に解析する方法。
3. 同じ光学系で時系列的に撮像された二次元画像を基に、請求項１に記載の方法によって得られた各画像における線分の三次元情報を得るステップと、それぞれの画像における各線分の中心点位置を算出するステップと、該中心位置の２画像間のズレから両画像の光学軸方向のオフセット量を各線分毎に算出するステップと、前記線分の三次元情報について基準とした連結部から前記算出したオフセット量を順次補正して各線分の位置変化情報を得るステップとを踏む、被写体の運動を三次元的に解析する方法。
4. 同じ光学系で時系列的に撮像された二次元画像を基に、請求項１に記載の方法によって得られた各画像における線分の三次元情報について、基準とする連結部に加速度計を装着し該加速度計の検出値からベクトルを計算し両画像の光学軸方向のオフセット量を算出して前記線分の三次元情報の補正を施し、各線分の位置変化情報を得、被写体の運動を三次元的に解析する方法。
5. 被写体は人間を含む動物であって、継ぎ手は関節であり、線分は肢体であることにより動物の姿勢や動きを解析することを特徴とする請求項１乃至４のいずれかに記載の三次元解析方法。
6. 被写体は人間であって、左右の肩先端位置と左右の腰骨先端位置を特定ポイントとすることにより、人間の向きや身体のひねり具合を解析することを特徴とする請求項５に記載の三次元解析方法。
7. 撮像した二次元画像を情報として出力するカメラと、被写体の線分情報と線分選択情報を入力する手段と、二次元画像上の線分情報と該線分の長さ情報とから該線分の三次元情報を算出する演算手段とを備え、前記演算手段は三次元の空間座標Ｘ軸，Ｙ軸，Ｚ軸と二次元のカメラ座標Ｕ軸，Ｖ軸との関係をＸ軸とＵ軸が、Ｚ軸とＶ軸が平行となるようにとり、１つの連結された長さがｌ _k-m である継ぎ手Ｍ _ｍ と他端Ｍ _ｋ の関係においてＭ _ｍ の三次元位置(Ｘ _ｍ ，Ｙ _ｍ ，Ｚ _ｍ )を基準として、カメラ座標（Ｕ _ｍ ，Ｖ _ｍ ）と（Ｕ _ｋ ，Ｖ _ｋ ）情報から奥行き方向係数を用いてＭ _ｋ の(Ｘ _ｋ ，Ｚ _ｋ )座標値を算出すると共に、
   Ｙ _ｋ ＝±｛ｌ _k-m ^２ −(Ｘ _k −Ｘ _ｍ ) ^２ −(Ｚ _k −Ｚ _ｍ ) ^２ ｝ ^1/2 ＋Ｙ _ｍ
   の式に基づいて該線分の他端Ｍ _ｋ の奥行き情報Ｙ _ｋ を算出して他端Ｍ _ｋ の三次元位置情報(Ｘ _ｋ ，Ｙ _ｋ ，Ｚ _ｋ )を得、更にこの位置を基準として撮像時における前記各線分の三次元位置を順次算出する二次元画像から被写体の三次元情報を解析するシステム。
8. 時系列的に撮像された二次元画像を蓄積すると共に解析データを記憶するメモリと、二次元画像を表示する表示部と、解析結果を加工する手段とを備えた請求項７に記載の二次元画像から被写体の三次元情報を解析するシステム。
9. 三次元の空間座標Ｘ軸，Ｙ軸，Ｚ軸と二次元のカメラ座標Ｕ軸，Ｖ軸との関係をＸ軸とＵ軸が、Ｚ軸とＶ軸が平行となるようにとり、１つの連結された長さがｌ _k-m である継ぎ手Ｍ _ｍ と他端Ｍ _ｋ の関係においてＭ _ｍ の三次元位置(Ｘ _ｍ ，Ｙ _ｍ ，Ｚ _ｍ )を基準として、カメラ座標（Ｕ _ｍ ，Ｖ _ｍ ）と（Ｕ _ｋ ，Ｖ _ｋ ）情報から奥行き方向係数を用いてＭ _ｋ の(Ｘ _ｋ ，Ｚ _ｋ )座標値を算出すると共に、
   Ｙ _ｋ ＝±｛ｌ _k-m ^２ −(Ｘ _k −Ｘ _ｍ ) ^２ −(Ｚ _k −Ｚ _ｍ ) ^２ ｝ ^1/2 ＋Ｙ _ｍ
   の式に基づいて該線分の他端Ｍ _ｋ の奥行き情報Ｙ _ｋ を算出して他端Ｍ _ｋ の三次元位置情報(Ｘ _ｋ ，Ｙ _ｋ ，Ｚ _ｋ )を得、更にこの位置を基準として撮像時における前記各線分の三次元位置を順次算出するという、二次元画像上における自由継ぎ手で連結された線分位置情報と該線分の長さ情報とから撮像時における前記線分の三次元情報を算出するプログラムがコンピュータ読み取り可能な形態で書き込まれている記録媒体。
10. 時系列的に撮像された各二次元画像から各線分の位置変化情報を得ると共に、画像間の光学軸方向オフセット量を算出して位置補正を加え、被写体の運動を三次元的に解析するプログラムが付加されている請求項９に記載の記録媒体。

Images