JP4283147B2 - ゴルフスウィング計測方法 - Google Patents

Description

本発明は、ゴルフスウィング計測方法に関し、詳しくは、ゴルファーのスウィング時の関節等の動きを撮影された画像から効率良く自動抽出するものに関する。

従来、ゴルファーの打撃時のスウィングを撮影し、打球の飛距離や軌道等の各種情報をコンピュータで自動的に算出してゴルファーに表示可能とする装置が各種提供されている。これら装置によりゴルファーは自己の飛球の良し悪しを検討することが可能となるが、肝心のフォームを改善するための有用な情報を提供することはあまりできない問題があった。

そこで、特開２００３−１１７０４５号公報に開示されたスイングフォーム診断装置では、ゴルファーがスイングする画像を撮影してスイングフォームの診断のために重要な特定動作点の画像のみを抽出するようにしている。詳しくは、撮影された被験者の動画の中からスイング動作に関わるフレームを抽出し、各フレームと基準画像との差分画像における移動部分画像の解析結果に応じてスイング動作中の特定動作点を判定し、その特定動作点毎に対応するフレームを抽出して画像表示している。

しかしながら、スウィング動作中の特定動作点に対応するフレームを抽出しても、その抽出画像をただ見るだけでは、ゴルファーはスウィング中の自己の体（関節など）の動きを具体的に提供してもらうことはできず、自己のフォームの何処が欠点で何を直すべきが分かり難い問題がある。

そこで、特許第２７９４０１８号で開示された動作診断装置では、ゴルフクラブヘッドおよび被診断者の体に複数の動作ポイントを設け、スウィング動画像中の動作ポイントの座標を取得してスウィング診断を行っている。しかし、スウィング動画像の全コマについて多数の動作ポイントの座標を抽出する計算を行わねばならず、計算量が膨大になると共に動作ポイントの位置座標の誤認率も増大する問題がある。また、ゴルフスウィングの動作中には前記動作ポイントが腕などで隠れてカメラから視認できない場合があり、動作ポイントの位置座標を取得できず診断エラーが発生する確率が多くなる問題もある。
特開２００３−１１７０４５号公報 特許第２７９４０１８号

本発明は、前記問題に鑑みてなされたもので、スウィング動作分析のために行うゴルファーの体の注目点の抽出に際して計算時間および誤認率を低減することを課題としている。

前記課題を解決するため、本発明は、第一に、ゴルフクラブを把持してスウィングするゴルファーをカラー動画像で撮影してコンピュータに取り込み、該コンピュータは、
前記カラー動画像を構成する複数の静止画像から、アドレス、テイクバックシャフト８時、テイクバックシャフト９時、テイクバック非利き腕水平、トップ、ダウンスウィング非利き腕水平、ダウンスウィングシャフト９時、インパクト、フォローシャフト３時、フィニッシュから選択される少なくとも１つ以上のスウィング姿勢の画像をチェックポイント画像として抽出した後、
前記チェックポイント画像を前記ゴルファーが写らない背景画像で差分処理することによりゴルファーのシルエットを取得して該シルエットの輪郭抽出を行い、
前記輪郭抽出後に、下記の（１）（２）（３）のいずれかでスウィング中に動作する注目点の位置座標として特定していることを特徴とするゴルフスウィング計測方法を提供している。
（１）取得された輪郭情報のｘ座標あるいはｙ座標が極値となるピクセルを前記注目点の位置座標として特定する；
（２）取得された輪郭のうち曲率が極値となるピクセルを前記注目点の位置座標として特定する；
（３）取得された輪郭のうち曲率が−１０°〜１０°の範囲内のピクセルが所定の個数以上連続している箇所を直線部とし、この直線部を用いて上記注目点の位置座標を特定する：
本発明は、第二に、ゴルフクラブを把持してスウィングするゴルファーをカラー動画像で撮影してコンピュータに取り込み、該コンピュータは、
前記カラー動画像を構成する複数の静止画像から、アドレス、テイクバックシャフト８時、テイクバックシャフト９時、テイクバック非利き腕水平、トップ、ダウンスウィング非利き腕水平、ダウンスウィングシャフト９時、インパクト、フォローシャフト３時、フィニッシュから選択される少なくとも１つ以上のスウィング姿勢の画像をチェックポイント画像として抽出した後、
前記チェックポイント画像において、隣接するピクセルとの間での明るさの変化量が所定の閾値以上となっているピクセルをエッジとし、前記チェックポイント画像中のゴルファーについて前記エッジの抽出を行い、該エッジを用いてスウィング中に動作する注目点の位置座標を取得することを特徴としているゴルフスウィング計測方法を提供している。

前記方法によれば、ゴルフスウィング診断に有用な静止画像（チェックポイント画像）を選択的に抽出した上で、ゴルファーの注目点の位置座標を取得する手順としているので、撮影されたスウィング動画像の全コマ（静止画像）についてゴルファーの注目点の位置座標を取得する必要が無くなるので計算コストを低減できる。また、計算対象とする静止画像をチェックポイント画像だけに絞ることで、注目点の誤認率の低減にも貢献する。

前記注目点は、前記ゴルファーの頭、首、肩、肘、腰、膝、足首、手首あるいは／および足先を含んでいる。
即ち、前記注目点を主に関節等に設定することで、スウィング動作の把握に有用な情報を得ることができる。なお、注目点はゴルファーの体の部分に限定されず、ゴルフクラブシャフトに取り付けたクラブ用色付マークやボール等のようにスウィング診断に有用と思われる箇所全般を含む。

少なくとも１つ以上の前記注目点には色付マークが設けられ、該色付マークより前記チェックポイント画像を抽出していることが好ましい。
前記チェックポイント画像上で前記色付マークが存在すると予測される領域である探索範囲を設定し、かつ、画像上のピクセル色情報が前記色付マークの基準色情報と同一色であるとみなすことのできる許容範囲である色範囲を設定し、
前記探索範囲において前記色範囲内であるピクセルを前記色付マークの位置とみなすことができる。

前記方法とすると、前記色付マークの位置を検出するために前記色範囲内であるか否かを判断する領域を全画面とせずに前記探索範囲内だけで判断しているので、前記色付マークと近似した色が静止画像中に含まれていても排除して誤認識を防止することができると共に計算時間も短縮化することができる。本発明では、静止画像の探索範囲内のピクセルについて前記背景画像との差分処理を行って背景画像を排除しているため、探索範囲内の背景画像中に色付マークの色と近似した色が存在しても排除してさらに誤認識を防止することができる。

前記のように、本発明では、チェックポイント画像を前記ゴルファーが写らない背景画像で差分処理することによりゴルファーのシルエットを取得して該シルエットの輪郭抽出を行い、取得された輪郭情報のｘ座標あるいはｙ座標が極値となるピクセルを前記注目点の位置座標として特定している。

前記方法とすると、前記チェックポイント画像上におけるゴルファーの注目点を認識するために、例えばゴルファーにマーク等が付されていない場合であっても、画像処理によって画像上のゴルファーの注目点位置座標を自動取得することができる。したがって、スイング計測を行う被診断者であるゴルファーの手間を省くことができ利便性が向上する。
また、上述した色付マークを用いた注目点位置の認識が失敗した際に、前記輪郭の極値を用いた注目点位置の特定方法などを使用するようにして二段構え以上にして位置座標の抽出をすれば、色付マークが腕などに隠れて見えない場合や、マークが影に入ってしまったために色が薄く若しくは暗くなってしまった場合でも、注目点位置の認識率を向上させることが可能となる。なお、ｘ方向は画像上の水平方向で、ｙ方向は画像上の垂直方向とする。

あるいは、本発明では、前記チェックポイント画像を前記ゴルファーが写らない背景画像で差分処理することによりゴルファーのシルエットを取得して該シルエットの輪郭抽出を行い、取得された輪郭のうち曲率が極値となるピクセルを前記注目点の位置座標として特定している。

あるいは、前記チェックポイント画像を前記ゴルファーが写らない背景画像で差分処理してゴルファーのシルエットを取得して該シルエットの輪郭抽出を行い、取得された輪郭のうち曲率が−１０°〜１０°の範囲内のピクセルが所定の個数以上連続している箇所を直線部とし、この直線部を用いて上記注目点の位置座標を特定している。

前記方法とすると、例えば膝関節のように比較的直線状である大腿と脛との間に存在する関節の位置座標を抽出することができる。また、前記取得された輪郭の曲率を用いずに済むので、前記ゴルファーの輪郭の曲率が大きくない関節箇所を認識することができる利点がある。なお、直線部の判定基準となる前記曲率の数値範囲は−５°〜５°とすれば、抽出精度上より好ましい。

具体的には、前記直線部の延長線が前記輪郭と交差する位置のピクセルを前記注目点の位置座標として特定したり、或いは、前記輪郭から抽出された前記直線部のうち、２つの直線部の延長線同士が交差する位置のピクセルあるいは交差する位置に最も近い輪郭点を前記注目点の位置座標として特定していると好ましい。

前記のように、第二の発明では、チェックポイント画像において、隣接するピクセルとの間での明るさの変化量が所定の閾値以上となっているピクセルをエッジとし、前記チェックポイント画像中のゴルファーについて前記エッジの抽出を行い、該エッジを用いて上記注目点の位置座標を特定している。

即ち、シルエット輪郭の内側に注目点が存在する場合には、その注目点は輪郭情報を用いて認識することはできないが、前記方法とすれば、ゴルファーのシルエットから得られる輪郭を抽出しただけでは分からない体のラインを抽出することができるので、輪郭の内側にある体のライン、つまり、エッジを用いることで注目点を特定することができる。

以上の説明より明らかなように、本発明によれば、撮影されたスウィング動画像からゴルフスウィング診断に有用なチェックポイント画像を選択的に抽出し、そのチェックポイント画像についてのみゴルファーの注目点の位置座標を取得するようにしているので、スウィング動画像の全コマについて注目点位置座標を取得する必要が無くなるので計算時間および誤認率を低減できる。

前記チェックポイント画像における注目点位置の取得方法としては、背景差分処理により得られたシルエットから抽出された輪郭あるいは輪郭の曲率を基に注目点を特定したり、輪郭の直線部の交差点を注目点位置として特定したり、或いは、エッジ抽出を用いて注目点を特定することで、自動的に画像処理によりゴルファーの注目点動作を把握することができる。

本発明の実施形態を図面を参照して説明する。
図２はゴルフスウィング計測システムの概略図を示し、コンピュータ１６と、該コンピュータ１６に接続された表示手段であるモニター１７と、コンピュータ１６に接続された入力手段であるキーボード１８およびマウス１９と、コンピュータ１６に接続されゴルファー１１の正面位置および飛球線後方（側面）位置に設置されたカラーＣＣＤカメラ１４、１５とを備えている。

被診断者となるゴルファー１１（右利きとする）は、注目点（関節）に色付マークＭ１〜Ｍ７が付された上着である計測用服１２を私服の上から着用している。計測用服１２は白地からなり、左肘には黄色の色付マークＭ１、左肩には赤色の色付マークＭ２および青色の色付マークＭ３、左肩には青色の色付マークＭ４および赤色の色付マークＭ５、右肘には青色の色付マークＭ６、腰にはの赤色の色付マークＭ７を備えている。なお、左肘の色付マークＭ１は腕章状とし、腰の色付マークＭ７はベルト状とし、その他の色付マークＭ２〜Ｍ６はボタン状（球状）としている。

ゴルファー１１の把持するゴルフクラブ１３のシャフト１３ａには間隔をあけて３つのクラブ用色付マークＣＭ１、ＣＭ２、ＣＭ３が取り付けられている。クラブ用色付マークＣＭ１〜ＣＭ３は、グリップ側からヘッド側にかけて等間隔に取り付けており、グリップに最も近いクラブ用色付マークＣＭ１は黄色とし、真ん中に配置されたクラブ用色付マークＣＭ２はピンク色とし、ヘッド１３ｂ側に配置されたクラブ用色付マークＭ３は黄色として隣り合うマークが異なる色となるようにしている。本実施形態では、各クラブ用色付マークＣＭ１〜ＣＭ３の間の距離は２５０ｍｍとすると共に、グリップ端とクラブ用色付マークＣＭ１との距離は２５０ｍｍとする。

２つのカラーＣＣＤカメラ１４、１５はコンピュータ１６で撮影タイミングを同期させており、高速度デジタルＣＣＤカメラを用いる場合には、１秒間あたりのコマ数が３０コマ以上で、好ましくは６０コマ以上、シャッタースピードは１／５００ｓ、好ましくは１／１０００ｓ以下とする。

スウィングを撮影する空間（縦３×横３×高さ２ｍ）の明るさはできるだけ明るい空間であることが好ましいが、極端に明るい箇所が生じるとハレーションが生じる可能性があるので、３０００ルクスを超えない範囲内で均一の明るさをスウィング環境として設定することが好ましい。また、スウィングを撮影する空間の背景２０は、ゴルファー１１や色付マークＭ１〜Ｍ７やクラブ用色付マークＣＭ１〜ＣＭ３を抽出しやすいように、極力、異なる色とすることが好ましい。

コンピュータ１６は、カラーＣＣＤカメラ１４、１５とＬＡＮケーブルやＩＥＥＥ１３９４やＣａｍｅｒａＬｉｎｋ規格等を用いてオンライン接続されており、カラーＣＣＤカメラ１４、１５で撮影されたスウィング動画像（複数の静止画像）をコンピュータ１６のハードディスクやコンピュータ１６上のメモリやボード上のメモリに保存している。また、コンピュータ１６には、後述するように、静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行って閾値を満たすピクセルをクラブ用色付マークＣＭ１〜ＣＭ３の位置として座標データを取得する手段と、クラブ用色付マークＣＭ１〜ＣＭ３の座標データを基にしてシャフト１３ａの動きを認識する手段と、ゴルファーの腕の動きを認識する手段と、シャフト１３ａの動作データに基づいてスウィング計測に必要な静止画像を選択的に抽出する手段とを備えたプログラムを内蔵している。

次に、概ね図１のフローチャートに従ってゴルファー１１の注目点の位置座標の取得を行う。
先ず、カラーＣＣＤカメラ１４、１５でゴルファー１１が存在しない状態の背景２０のみを撮影した背景画像を読み込み、また、カラーＣＣＤカメラ１４、１５からスウィング動画像の各コマ毎の静止画像をコンピュータ１６に取り込んでハードディスクあるいはコンピュータ１６内のメモリあるいはボード上のメモリに保存する（Ｓ１０）。

次に、スウィング動画像を構成する多数の静止画像からスウィング診断に有用となるスウィング姿勢であるアドレス画像、テイクバックシャフト８時画像、テイクバックシャフト９時画像、テイクバック左腕水平画像、トップ画像、ダウンスウィング左腕水平画像、ダウンスウィングシャフト９時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像の各チェックポイント画像を自動抽出する（Ｓ１１）。
前記のようにスウィング動画像の多数の静止画像から前記チェックポイント画像を抽出することで、後工程において行われるゴルファー１１の色付マークＭ１〜Ｍ７や輪郭処理等を用いてゴルファー１１の注目点の位置座標を抽出する計算を前記チェックポイント画像についてのみ行えばよい利点がある。

以下、各チェックポイント画像の自動抽出方法について分説する。
（アドレス画像）
先ず、アドレス画像の抽出方法について説明する。なお、アドレス画像とは、ゴルファー１１がアドレス姿勢をしている状態の静止画像である。
スウィング動画像の撮影をアドレス状態から開始した場合は、初期画像をアドレス画像とする。しかし、インパクト時の打球音やインパクトセンサをトリガ信号として取得し、その前後ある一定時間内の動画像を取得した場合には、例えば、初期画像がワッグル（アドレス前に予備動作としてヘッドを前後に揺らす動作）等を含むことで、初期画像が必ずしもアドレス画像とならない。そこで、この場合には、各フレーム（静止画像）間で差分処理を実施し、差分が最小となるフレームがゴルファー１１が静止している状態と考えてアドレス画像とみなす。

次に、テイクバックシャフト９時画像、トップ画像、ダウンスウィングシャフト９時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像の抽出方法について説明する。

ここで、テイクバックシャフト９時画像とは、テイクバック時にシャフトを時計の針に見立てた場合に９時位置にある状態の静止画像である。トップ画像とは、テイクバックからダウンスウィングに移行するトップポジションの状態の静止画像である。ダウンスウィングシャフト９時画像とは、ダウンスウィング時にシャフトを時計の針に見立てた場合に９時位置にある状態の静止画像である。インパクト前画像とは、インパクト直前の状態の静止画像である。インパクト画像とは、ゴルフクラブのヘッドがボールと衝突した瞬間の静止画像である。インパクト後画像とは、インパクト直後の状態の静止画像である。フォローシャフト３時画像とは、フォロースルー時にシャフトを時計の針に見立てた場合に３時位置にある状態の静止画像である。フィニッシュ画像とは、スウィングが終了しゴルフクラブの動きが停止した状態の静止画像である。

これらチェックポイント画像は、基本的には各フレームにおけるクラブ用色付マークＣＭ１〜ＣＭ３の座標を追跡することで判定されるので、先ず、クラブ用色付マークＣＭ１〜ＣＭ３の自動追尾方法について説明する。

アドレス画像においてクラブ用色付マークＣＭ１〜ＣＭ３を自動認識するための二値化処理を行う。なお、二値化処理の対象は本実施形態ではフレーム全体としているが、ゴルファー１１が画像中心付近に撮影されるように限定しておいた場合には、図３に示すように、ゴルフシャフト１３ａが存在すると考えられる領域Ｓのみで二値化処理してもよい。なお、領域Ｓの設定は具体的には、画像の幅をＷ、高さをＨとすると、１／３Ｗ〜２／３Ｗの範囲を領域Ｓの幅とすると共に、１／２Ｈ〜４／５Ｈの範囲を領域Ｓの高さとしている。
二値化処理の方法としては、ＲＧＢ値やＹＩＱ値を用いてもよいが、本実施形態ではクラブ用色付マークＣＭ１〜ＣＭ３の色を最も認識しやすい色相・彩度・明度を利用している。具体的には、フレーム上の各ピクセル毎のＲＧＢ値を取得し、
前記の数式１により求められる刺激和Ｔを用いて以下の数式２の正規化を行う。
なお、ＲＧＢ値は色が２４ビットで表現される場合は各色は０〜２５５までの値となるものである。

色相θは、以下の数式３および数式４で算出される。
但し、０≦θ₁≦πを用いて、
とする。

彩度Ｓは、以下の数式５で算出される。

明度Ｖは、以下の数式６で算出される。

前記数式３〜６で算出されたピクセルの色相、彩度および明度の値（ピクセル色情報）が所定の条件（基準色情報）を満たさないピクセルは０とし、該条件を満たすピクセルは色付マークＭ１〜Ｍ３と同一の色であるとみなして１とする二値化処理を行い、１のピクセルを順にラベリング処理する。
ここで、色相、彩度および明度の条件としては、例えば、黄色のクラブ用色付マークＭ１、Ｍ３であれば色相θ＝３０〜６０°、彩度Ｓ≧０．５、明度Ｖ≧１００という閾値を設定しており、ピンク色の色付マークＭ２であれば色相θ＝３２０°〜３６０°または０°〜１０°、彩度Ｓ＝０．３〜０．６、明度Ｖ≧８０という閾値を設定することにより該条件を満たすピクセルをマークと同色とみなしている。

ここで、例えばピンク色のクラブ用色付マークＣＭ２は現実には１つしかないが、画像中に関係のないピンク色が存在した場合には２つ以上の領域が抽出される恐れがある。そのような場合を考慮して、予めマークの面積範囲を設定しておき、その設定範囲外の面積を有する領域はクラブ用色付マークＣＭ２ではないと判断し、設定範囲内の面積を有する領域をクラブ用色付マークＣＭ２であると認識する。本実施形態ではクラブ用色付マークＣＭ１〜ＣＭ３として認識する面積範囲は５〜６０若しくは５〜２００ピクセルとしている。

前記のようにしてクラブ用色付マークＣＭ１〜ＣＭ３と認識したピクセルを各マークＣＭ１〜ＣＭ３のラベリングにより１、２、３とした場合、各数字のピクセルからマーク色情報と重心座標を得る。ここで、マーク色情報とは、領域内の各ピクセルの平均色と、各ピクセルのＲＧＢの最大値・最小値と、その変動幅を含む情報のことである。
以上のような処理を行うことで、ゴルフクラブ１３のシャフト１３ａに付されたクラブ用色付マークＣＭ１〜ＣＭ３を精度良く自動抽出することができる。

次に、アドレス画像で自動抽出されたクラブ用色付マークＣＭ１〜ＣＭ３をアドレス画像取得後の２、３枚目の画像について自動追尾する処理を行う。
図４に示すように、クラブ用色付マークＣＭ１〜ＣＭ３には、クラブ用色付マークＣＭ１〜ＣＭ３を中心として四角形の探索範囲Ｓ１〜Ｓ３を設定する。ここで、探索範囲Ｓ１〜Ｓ３とは、クラブ用色付マークＣＭ１〜ＣＭ３の検出処理を行う計算対象となる画像上の範囲のことを言う。探索範囲Ｓ１〜Ｓ３の概念を導入すれば、画像上の探索範囲Ｓ１〜Ｓ３外にクラブ用色付マークＣＭ１〜ＣＭ３と色が近似している箇所があっても、クラブ用色付マークＣＭ１〜ＣＭ３の検出処理を探索範囲Ｓ１〜Ｓ３内しか行わないため誤認識が防止できると共に、フレーム内の全ピクセルを処理対象とする場合に比べ計算時間も大幅に短縮することが可能となる。本実施形態では、探索範囲Ｓ１〜Ｓ３はクラブ用色付マークＣＭ１〜ＣＭ３を中心としてデフォルトで縦横（ＹＸ）範囲を１０×１０ピクセルとしている。なお、画像上では横方向をＸ軸、縦方向をＹ軸としていると共に、画像上の右向きがＸ座標の正方向、下向きがＹ座標の正方向としている。また、前記自動追尾中の探索範囲Ｓ１〜Ｓ３の配置決定は、アドレス画像取得後の２、３枚目の画像においてはシャフト１３ａは殆ど動かないので、１つ前の時刻の画像で自動認識したクラブ用色付マークＣＭ１〜ＣＭ３を中心位置として設定している。

次いで、色範囲を設定する。
色範囲とは、クラブ用色付マークＣＭ１〜ＣＭ３を認識する際に、画像上の対象ピクセルの色情報がクラブ用色付マークＣＭ１〜ＣＭ３の色（基準色情報）と同一であるとみなす誤差の許容範囲をいい、本実施形態では、上述のアドレス画像で取得されたマーク色情報のＲ（赤）Ｇ（緑）Ｂ（青）のそれぞれについて平均値を中心として最大最小幅の半分の数値範囲を色範囲として設定している。

以下の自動追尾処理は、スウィング中の移動速度の遅いグリップ近くに配されたクラブ用色付マークＣＭ１から順にＣＭ２、ＣＭ３と追尾していくこととする。
まず、探索範囲Ｓ１内の差分ピクセルのＲＧＢそれぞれについて前記色範囲内であるか否かを判定し、色範囲内であるピクセルを色付マークＭ１を表示するピクセルとみなし、その色抽出されたピクセル群の重心位置を取得する。もし、この色範囲を用いた方法により追尾できない場合には、色情報（色相、彩度、明度）を利用して色抽出を行い追尾してもよい。これらの処理を各色付マークＭ１〜Ｍ３の探索範囲Ｓ１〜Ｓ３について行う。
もし、探索範囲内で複数のマーク候補領域が抽出された時には、色付マークＭ１について探索範囲Ｓ１内で背景画像との差分処理を行う。これにより、探索範囲Ｓ１内で背景画像が取り除かれ、後工程での色付マークＭ１の認識の際に、背景画像等に色付マークＭ１と近似した色が存在しても誤認しなくなる。

次に、アドレス画像から４枚目以降のフレームにおける色付マークＣＭ１〜ＣＭ３の探索範囲Ｓ１〜Ｓ３の中心位置の設定方法について説明する。先ず、最もグリップに近いクラブ用色付マークＣＭ１の場合については、例えば、４枚目のフレームに関しては、１枚目（アドレス）−２枚目間の移動ベクトル量Ｖ１と、２枚目−３枚目間の移動ベクトル量Ｖ２とを求めて、その増加量（Ｖ２−Ｖ１）を考慮して３枚目−４枚目間の移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}を予測する。１つ前の時刻の探索範囲Ｓ１中心位置からその移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}だけオフセット移動させた位置を現画像（４枚目）の探索範囲Ｓ２の中心として設定している。（５枚目以降のフレームについても同様の手順）

クラブ用色付マークＣＭ２、ＣＭ３の探索範囲Ｓ２、Ｓ３の中心位置については、例えば４枚目のフレームに関しては、前記で位置が決定したクラブ用色付マークＣＭ１を利用して求めた移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}だけ１つ前の時刻の探索範囲Ｓ２、Ｓ３中心位置からオフセットさせると共に、１枚目−２枚目間のシャフト角度Ｄ１と、２枚目−３枚目間のシャフト角度Ｄ２とを求めて、その増加量（Ｄ２−Ｄ１）を考慮して３枚目−４枚目間のシャフト角度{Ｄ２＋（Ｄ２−Ｄ１）}を予測し、４枚目のフレームの色付マークＭ１を回転支点として角度{Ｄ２＋（Ｄ２−Ｄ１）}だけ回転させる。（５枚目以降のフレームについても同様の手順）
このように、オフセット移動と回転移動とを組み合せて探索範囲Ｓ２、Ｓ３の中心位置を決定することで、ダウンスウィングのようなシャフト１３ａの移動が速い場合でも、シャフト位置をかなり正確に予測することができ、探索範囲Ｓ２、Ｓ３の面積を追尾中に増加させる必要がなくなる。なお、図５に示すように、探索範囲Ｓ２、Ｓ３の面積は、２０×２０ピクセルとしている。
もし、探索範囲内で複数のマーク候補領域が抽出された時には、色付マークＭ１について探索範囲Ｓ１内で背景画像との差分処理を行う。これにより、探索範囲Ｓ１内で背景画像が取り除かれ、後工程での色付マークＭ１の認識の際に、背景画像等に色付マークＭ１と近似した色が存在しても誤認しなくなる。

前記方法によってもクラブ用色付マークＣＭ１〜ＣＭ３を追尾できなかった場合は、アドレス画像でクラブ用色付マークＣＭ１〜ＣＭ３を自動抽出した方法と同様にして再二値化処理を実施する。即ち、アドレス画像で決定した色範囲でクラブ用色付マークＣＭ１〜ＣＭ３が発見できない主な理由は、アドレス画像に比べて暗い領域に存在するクラブ用色付マークＣＭ１〜ＣＭ３を追尾しようとすることが考えられるため、クラブ用色付マークＣＭ１〜ＣＭ３の彩度と明度の閾値を小さくする変更をして二値化処理を再実施することとする。

これでも追尾できなかった場合には、３つのクラブ用色付マークＣＭ１〜ＣＭ３のうち２つのマークが認識できている場合は該２つのマークに対する位置関係から残りの１つのマークを位置を算出することとする。あるいは、前記方法によってオフセットした探索範囲の中心を現在の時刻のマーク位置と仮にみなしてもよい。
以上のようにして、アドレスからフィニッシュまでのスウィング動作におけるクラブ用色付マークＣＭ１〜ＣＭ３の位置座標データが取得される。

次に、前記取得されたスウィング中のクラブ用色付マークＣＭ１〜ＣＭ３の座標データに基づいて各チェックポイント画像を抽出する。
（テイクバックシャフト９時画像）
テイクバックシャフト９時画像は、クラブ用色付マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａが水平（９０°）に最も近い画像を選択することで抽出する。あるいは、クラブ用色付マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分が極小になる画像を選択することで抽出してもよい。なお、ここでいう角度はシャフト１３ａが６時の状態を０°として時計回りを正とする。

（トップ画像）
トップ画像は、各クラブ用色付マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａの角度が最も大きくなった画像を選択することで抽出する。あるいは、クラブ用色付マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分およびＹ方向成分が極小になる画像を選択することで抽出してもよい。

（ダウンスウィングシャフト９時画像）
ダウンスウイングシャフト９時画像は、クラブ用色付マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａが水平（９０°）に最も近く、かつ、時刻がトップ画像よりも後である画像を選択することで抽出する。あるいは、クラブ用色付マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ成分が極小になり、かつ、時刻がトップ画像よりも後である画像を選択することで抽出してもよい。

（インパクト画像）
インパクト画像は、クラブ用色付マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａの角度が０°に最も近くなった画像を選択することで抽出する。あるいは、クラブ用色付マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＹ方向成分が極小になる画像を選択することで抽出してもよい。また、インパクト画像は外部トリガー信号を用いて画像抽出を行ったり、インパクト時のヘッドとボールの打球音を利用してインパクト画像を抽出してもよい。

（インパクト前画像）
インパクト前画像は、前記抽出されたインパクト画像より予め設定された所定時間（あるいは所定フレーム数）を巻き戻して得られる画像を選択することで抽出する。

（インパクト後画像）
インパクト後画像は、前記抽出されたインパクト画像より予め設定された所定時間（あるいは所定フレーム数）を進めて得られる画像を選択することで抽出する。

（フォローシャフト３時画像）
フォローシャフト３時画像は、クラブ用色付マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａの角度が−９０°に最も近くなった画像を選択することで抽出する。あるいは、クラブ用色付マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分が極小になり、かつ、時刻がインパクト画像より後の画像を選択することで抽出してもよい。

（フィニッシュ画像）
フィニッシュ画像は、クラブ用色付マークＣＭ１〜ＣＭ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａの角度が最も小さくなった画像を選択することで抽出する。あるいは、クラブ用色付マークＣＭ１〜ＣＭ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分およびＹ方向成分が極小になり、かつ、時刻がトップ画像よりも後の画像を選択することで抽出してもよい。

次に、テイクバック左腕水平画像、ダウンスウィング左腕水平画像の抽出方法について説明する。
ここで、テイクバック左腕水平画像とは、テイクバック時に左腕の前腕部が水平状態の静止画像である。ダウンスウィング左腕水平画像とは、ダウンスウィング時に左腕の前腕部が水平状態の静止画像である。

左腕が水平である画像を認識するためには、左腕を含む画像領域であるテンプレートを作成し、テンプレートマッチング処理によりマッチしたテンプレート角度が水平となる画像を左腕水平とする。
以下、静止画像中の左腕を含むテンプレートを作成するためにゴルファー１１の輪郭抽出を行う。

先ず、クラブ用色付マークＣＭ１〜ＣＭ３の座標から取得されるシャフト角度によりシャフト１３ａが６時状態となる画像を抽出する。グリップに最も近いクラブ用色付マークＣＭ１と次に近いクラブ用色付マークＣＭ２とからマーク間ベクトルを求めてグリップ位置を決定する。具体的には、
（グリップ位置）＝（クラブ用色付マークＣＭ１の位置）−α×（マーク間ベクトル）
によりグリップ位置を算出する。
ここで、αは、クラブ用色付マークＣＭ１とクラブ用色付マークＣＭ２との距離に対するクラブ用色付マークＣＭ１とグリップとの実際の距離の割合を意味しており、本実施形態ではα＝０．５としている。

次に、シャフト６時画像を背景画像（ゴルファー１１が写っていない画像）で背景差分処理を行ってゴルファー１１のシルエットを抽出する。詳しくは、背景画像でのＲＧＢ値をそれぞれｒ’、ｇ’、ｂ’とし、シャフト６時画像上のピクセルのＲＧＢ値をそれぞれｒ、ｇ、ｂとすると、数式７に示すノルム（対象ピクセルでのｒ、ｇ、ｂとｒ’、ｇ’、ｂ’との差の絶対値の２乗和の平方根）が予め設定した閾値未満であればゴルファー１１のシルエットでないとみなして当該ピクセルを０とし、該閾値以上であればゴルファー１１のシルエットであるとみなして１とする二値化処理を行い、１のピクセルについて順にラベリング処理を行う。なお、本実施形態でのノルムの閾値は４０としている。また、色相、彩度、明度を用いて背景差分処理を行ってもよく、その場合、シルエットであるとみなしたラベリング領域のうち、５０００以上もしくは１００００以上の１つ或いは２つの領域をシルエットとする。

図６（Ａ）に示すように、この二値化画像について走査処理を行って、１あるいは２のピクセルに当たったところから輪郭抽出を行う。この輪郭抽出の方法は、上記ラベリングした画像についてフレームの左上のピクセルを始点として右方向へと上から下へ走査処理を行い、１あるいは２のピクセルを探して輪郭抽出を行う。詳しくは、走査処理により初めに（４，７）のピクセルが見つかり、図５（Ｂ）に示すように、このピクセルの直前のピクセルを除いた回りの７つのピクセルを左上のピクセルから時計回りに調べ、最初に（４，７）で見つけたピクセル（１あるいは２）と同じラベルのピクセルを次の境界点とする。この処理を順々に行い、境界点が（４，７）に戻ってきた時点で輪郭抽出を終了する。この抽出された輪郭のままではノイズが残っているので、移動平均処理を輪郭全体に循環して行うことによってスムージングをかけておく。

なお、移動平均処理は以下の数式８で行われる。

ここで、ｂｎｄ＿ｐｔ（ｎ）はｎ番目の輪郭の座標で、ｋは計算に利用する前後のピクセル数で、ｂｎｄ＿ｐｔ＿ｉｄｏ（ｎ）は移動平均後の輪郭の座標である。
ただし、ゴルファー１１の輪郭が１番目からｂｎｄ＿ｎｕｍ番目（輪郭番号の最後）まで存在する場合において、移動平均を行うピクセルをｎ番目とすると、ｎ＜ｋである場合は、輪郭番号の最後の方であるｂｎｄ＿ｎｕｍ−（ｋ−ｎ）番目〜ｂｎｄ＿ｎｕｍ番目のピクセルを利用して移動平均を行う。また、ｂｎｄ＿ｎｕｍ−ｎ＜ｋである場合は、輪郭番号の最初の方である１番目〜ｋ−（ｂｎｄ＿ｎｕｍ−ｎ）番目のピクセルを利用して移動平均を行っている。

次いで、スムージング後の輪郭データから曲率を計算してゴルファー１１の左肩位置を取得する。つまり、図７に示すような輪郭データを含む画像の上から走査して初めに現れる輪郭２１の大きな曲率部分を頭とし、次に現れる小さな曲率部分を首とし、その次に現れる大きな曲率部分を肩と認識する。ここで、服のしわ等を考慮して、前後±５のピクセルでそれぞれ曲率を計算してその平均値をそれらの中心のピクセルの曲率とするとよい。

以下、輪郭の曲率の計算方法について説明する。
対象となる輪郭の円弧の長さをＳ、角度をθとすると、曲率Ｃは以下の数式９で表される。

この数式９は、曲率を求めたいピクセルと該ピクセルの隣接点だけで計算すると、値の変動が大きく正しい値が得られないので、曲率を求めたいピクセルの両側ｋ個の点列を含めて以下の数式１０により計算する方法が用いられる。

なお、数式１０は、数式９におけるＳを省略して簡素化している。本実施形態では、さらに簡単のため、図９に示すように、点列の両端を用いて以下の数式１１で曲率Ｃを算出している。

（テイクバック左腕水平画像）
図８（Ａ）に示すように、前記のようにして抽出された左肩２２とグリップ２３との間の領域において長方形のテンプレートＴを設定し、該テンプレートＴの長辺の長さＬ１は肩とグリップの間の距離の半分とし、短辺の長さＬ２は腕がテンプレートＴの中に入る程度の長さ（本実施形態では２０ピクセル）としている。

次の時刻の画像を読み込んでグリップ位置を取得し、グリップ位置の移動ベクトルと同じように前フレームのテンプレートＴを平行移動させる。次いで、図８（Ｂ）に示すように、テンプレートＴをグリップ位置を支点として時計回りに１０°まで１°刻みで回転させて最もマッチングしたテンプレートの角度を計算し、テンプレート角度が９０°（水平）に最も近い画像をテイクバック左腕水平画像であるとみなして抽出する。さらに、テンプレートの回転に並進を加えてマッチング処理を行ってもよい。

なお、前記テンプレートマッチング処理は、テンプレートＴ内のピクセルの色情報であるＲＧＢ値を以下の数式１２により輝度Ｙに変換して評価する。（なお、輝度Ｙで評価してもよいが、ＲＧＢのノルム（数式７を参照）を用いても構わない。）
前記評価は、以下の数式１３で表される画素値の差の絶対値の和（Sum of Absolute Difference：ＳＡＤ）が用いられる。

ここで、ｔは現在のフレーム、ｔ−１は１コマ前のフレーム、（ｐ，ｑ）は平行移動を行う範囲、（ｉ₀，ｊ₀）はグリップ位置、ｍはテンプレートＴの長辺のピクセル数、ｎはテンプレートＴの短辺のピクセル数、θはテンプレートＴの回転角度、αは１コマ前に求めたテンプレート角度、ｇ_t（ｘ，ｙ，θ）は座標（ｘ，ｙ）でテンプレート角度がθにおけるピクセルの輝度Ｙ（あるいはＲＧＢのノムル）を表す関数である。

テンプレートＴの位置・角度（ｐ，ｑ，θ）を前記条件のもと変化させてＳ（ｐ，ｑ，θ）を計算し、この値が最小となる位置・角度で最もマッチングしたとみなすこととしている。このマッチングした際の（ｐ，ｑ，θ）のθ値が９０°に最も近くなる画像をテイクバック左腕水平画像として抽出する。

（ダウンスウィング左腕水平画像）
ダウンスウィング９時画像は、前記取得されたテイクバック左腕水平画像での左腕を含むテンプレートを利用して、そのテンプレートと最もマッチングするトップ画像以降の画像をダウンスウィング左腕水平画像として抽出する。
ここで、スウィング画像の順番を考慮すればトップ画像の後にダウンスウィング左腕水平画像が抽出されること分かっているので、トップ画像からテンプレートマッチング処理を開始してもよいが、それでは時間がかかったり、あるいは、トップで腕が全部見えるとは限らないので誤認識する可能性もある。
そこで、本実施形態では、先にダウンスウィングシャフト９時画像を抽出しておいて、その後、時刻を戻しながらテンプレートマッチングを行うことによりダウンスウィング左腕水平画像を抽出することとして計算時間の短縮化と誤認識の防止を図っている。

（テイクバックシャフト８時画像）
次に、テイクバックシャフト８時画像の抽出方法について説明する。なお、テイクバックシャフト８時画像とは、テイクバック時にシャフトを時計の針に見立てた場合に８時位置にある状態の静止画像である。
上述したシャフト６時画像でのゴルファー１１のシルエットを抽出することで、体の幅（スタンス幅）を取得しておき、右足側端を通過する垂線とクラブ用色付マークＭ１が交差する時刻の画像をテイクバックシャフト８時画像として選択して抽出する。

以上のようにして図１０に示すような正面のチェックポイント画像（アドレス画像、テイクバックシャフト８時画像、テイクバックシャフト９時画像、テイクバック左腕水平画像、トップ画像、ダウンスウィング左腕水平画像、ダウンスウィングシャフト９時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像）を抽出することができ、かつ、カラーＣＣＤカメラ１４、１５は互いに撮影タイミングを同期させているので、正面のチェックポイント画像と同時刻のものを選らぶことで、図１１に示すような飛球線後方（側面）のチェックポイント画像を抽出することができる。
以下、チェックポイント画像の夫々について、ゴルファー１１のスウィング診断に必要な注目点の位置座標の取得を行う。

各チェックポイント画像についてシルエット抽出を行い、図１２に示すようにゴルファー１１の輪郭Ｒを抽出する。この輪郭Ｒについて曲率を取得すると共に、図１３に示すように輪郭Ｒにおける直線部ＳＴの取得を行う（Ｓ１２）。なお、シルエット・輪郭・曲率の取得方法は上述した通りである。また、直線部ＳＴの抽出は、取得された輪郭Ｒのうち曲率が−１０°〜１０°の範囲内のピクセルが５ピクセル以上連続している箇所を直線部ＳＴとしている。

次に、探索範囲Ｓを用いてゴルファー１１が着用している計測用服１２の色付マークＭ１〜Ｍ７の座標位置を認識することにより、ゴルファー１１の注目点の位置座標を取得する（Ｓ１３）。
例えば、アドレス画像（正面）の右肩の抽出方法は、輪郭Ｒの曲率を上端（頭部）から反時計回りに調べ、曲率が極値となるピクセルを右首と認識し、図１４に示すように、この右首を探索範囲Ｓの端部起点としてＹ方向に−４０ピクセル、Ｘ方向に＋４０ピクセルの範囲を探索範囲Ｓを決定している。
この探索範囲Ｓ内において背景画像との差分処理を行い、探索範囲Ｓ内の差分ピクセルのＲＧＢそれぞれについて、右肩の色付マークＭ４（青）あるいはＭ５（赤）の色範囲内であるか否かを判定し、色範囲内であるピクセルを色付マークＭ４あるいはＭ５を表示するピクセルとみなして色抽出し、その重心位置座標を取得する。

この際、各色付マークＭ１〜Ｍ７の色範囲は表１のような条件としており、該条件を満たすピクセルを色付マークＭ１〜Ｍ７と同色とみなしている。

なお、予めマークの面積範囲を設定しておき、その設定範囲外の面積を有する領域は色付マークＭ１〜Ｍ７ではないと判断し、設定範囲内の面積を有する領域を色付マークＭ１〜Ｍ７であると認識するようにして認識精度を向上させている。本実施形態では色付マークＭ１〜Ｍ７として認識する面積範囲は５〜６０ピクセルとしている。

次に、色付マークＭ１〜Ｍ７が隠れたり、影になったりすることで前記探索範囲Ｓを用いた色付マークＭ１〜Ｍ７の認識が失敗した場合、あるいは、色付マークＭ１〜Ｍ７の存在しない注目点を認識したい場合等には、ゴルファー１１の輪郭情報（輪郭Ｒの座標等）又は輪郭Ｒの曲率を用いて、注目点の位置座標を抽出する（Ｓ１４）。

例えば、図１５に示すように、アドレス画像およびインパクト画像（側面）での頭２４の抽出方法は、輪郭Ｒの輪郭抽出の起点、つまり、輪郭Ｒを構成するピクセルのうちＹ座標が最小のピクセルを頭２４として抽出する。また首Ｋの抽出方法は、頭２４から輪郭Ｒに沿ってピクセルの曲率を調べていき、曲率が極大値となる点Ｂ１、Ｂ２の中点を首Ｋとして抽出する。

また、図１６に示すようにアドレス画像およびインパクト画像（側面）での右足先２５の抽出方法は、ゴルファー１１の輪郭Ｒの最下点（Ｙ座標最大値）から反時計回りに調べて、Ｘ座標が極大になるピクセルを抽出して右足先２５とする。
右足首２６の抽出方法は、右足先２５から輪郭の反時計回りに調べて、Ｘ座標が極小となるピクセルＰ１を抽出し、該ピクセルＰ１とＹ座標が同一である輪郭Ｒ上の別のピクセルＰ２を求め、ピクセルＰ１の座標とピクセルＰ２の座標との平均を右足首２６の座標とする。
左足先２７の抽出方法は、ピクセルＰ１から輪郭Ｒ上を反時計回りに調べて、Ｘ座標が極大となるピクセルを左足先２７とする。

次に、色付マークＭ１〜Ｍ７や輪郭情報又は曲率による注目点の認識が失敗した場合、あるいは、色付マークＭ１〜Ｍ７の存在しない注目点を認識したい場合、若しくは、輪郭Ｒの曲率による認識が難しい場合等には、ゴルファー１１の輪郭Ｒ上で抽出された直線部ＳＴを用いて、注目点の位置座標を抽出する（Ｓ１５）。

例えば、図１７に示すように、アドレス画像およびインパクト画像（側面）での右膝２８の抽出方法は、輪郭Ｒの右膝２８が存在すると考えられる領域の上下の直線部ＳＴ１、ＳＴ２の夫々の延長線が交差する位置のピクセルを右膝２８の位置座標として特定している。詳しくは、輪郭Ｒの高さの下から３０％〜４０％に仮膝領域を想定し、仮膝領域内に直線部ＳＴ１の下端および直線部ＳＴ２の上端が存在するかを調べる。この際、複数の直線部が見つかった場合には仮膝領域に近い直線部を選択する。このようにして得られた２つの直線部ＳＴ１、ＳＴ２の延長線の交点もしくはＹ座標と輪郭Ｒが一致する点のうちＸ座標が最大の値を右膝２８とする。なお、膝が曲がっていない等の理由により直線部ＳＴ１、ＳＴ２が見つからない場合には、前記仮膝領域内の輪郭ＲのＸ座標が最大のピクセルを右膝とする。

なお、画像上では上述した通り横方向をＸ軸、縦方向をＹ軸としていると共に、画像上の右向きがＸ座標の正方向、下向きがＹ座標の正方向としている。また、角度は、マイナスＸ方向を基点として時計回りに正角度、反時計回りに負角度としている。
また、図１８に示すように、トップ画像（側面）での手首２９の抽出方法は、まずゴルファー１１のシルエットＳの初期点Ｉ（画像左上のピクセルから順に左→右、上→下に走査した場合に見つかる最初のピクセル）を取得し、この初期点ＩのＸ座標がテイクバック左腕水平画像での後述する方法で取得された後首ＡのＸ座標よりも小さいかどうかを判定する。小さい場合には、初期点Ｉを仮手首として初期点Ｉを中心として、傾きが９０°〜１８０°となる直線部ＳＴ３と、傾きが−９０°〜−１８０°となる直線部ＳＴ４を抽出し、直線部ＳＴ３と直線部ＳＴ４との交点を手首２９とする。これで直線部が抽出できなかった場合には初期点Ｉを手首とする。
一方、初期点ＩのＸ座標が後首ＡのＸ座標より大きい場合には、図１９に示すように、後述する肌色抽出を行ってゴルファー１１の顔Ｈ１を取得後、手の肌色抽出を実施し、手の肌色領域Ｈ２の中心を手首とする。

次に、図１のフローチャートには示していないが、トップ画像（側面）における右膝のように、色付マークが存在せず、かつ、輪郭Ｒよりも内側に存在するため輪郭Ｒを用いた特定が困難である場合には、特別に、画像上でのピクセルの明るさの変化を基にエッジの抽出を行い、ゴルファー１１の体のライン（輪郭内側を含む）を取得して注目点位置を認識することとする。
以下、具体的にトップ画像（側面）における右膝の位置座標の抽出の手順を説明する。エッジ抽出の基本的な流れは、エッジ強度画像の作成→方向ラベリング画像の作成→非極大値抑制ラベリング画像の作成を行う。

先ず、図２０に示すようなエッジ強度画像の作成を行う。
トップ画像（側面）からＳｏｂｅｌオペレータを利用してエッジ強度を抽出する。
ここで、Ｓｏｂｅｌオペレータとは、画像上で明るさが急激に変化しているところ（＝エッジ）を取得するために、中心点の回りの明るさに重み付けをして、明るさの変化を近似的に求める手法のことであり、以下に、カラー画像のＲＧＢそれぞれの値を利用した計算を示す。

（１）カラー画像のＸ方向のソーベル強度
ここで、図２３に示すように、現在の注目ピクセルがＥとしてその周囲の８つのピクセルをＡ〜Ｄ、Ｆ〜Ｉとした場合において、ArはＡのピクセルのＲ（赤）値、AgはＡのピクセルのＧ（緑）値、AbはＡのピクセルのＢ（青）値を意味している。なお、Br、Bg、Bb、〜Ir、Ig、Ibについても同様である。また、各変数の係数は夫々の重みづけを意味している。
また、ソーベル強度の方向は、Rx＋Gx＋Bx＞０のときsign＝１とし、Rx＋Gx＋Bx＜０のときsign＝−１とする。
Ｘ方向のソーベル強度Dxは
（２）カラー画像のＹ方向のソーベル強度
（ソーベル強度の方向は、Ry＋Gy＋By＞０のときsign ＝１とし、Ry＋Gy＋By＜０のときsign＝−１とする。）
Ｙ方向のソーベル強度Dyは
（３）カラー画像のソーベル強度
よって、カラー画像のソーベル強度（エッジ強度）DDは
で求められる。このDDが閾値（本実施形態では１０）より大きいピクセルをソーベル強度（エッジ強度）すると共に閾値以下を０とし、図２０に示すように０〜２５５の２５６諧調のソーベル強度でエッジ表示したエッジ強度画像が得られる。

次に、各方向のエッジ強度を用いて図２１に示すような方向ラベリング画像の作成を行う。
方向は以下の４方向に分類する。
tangent＝dy／dxとした場合に（dxはＸ方向のソーベル強度、dyはＹ方向のソーベル強度である）、
tangent＜−tan(３／８π)のとき「３」とラベリングして緑色で表示し、
−tan(３／８π)≦tangent＜−tan(１／８π)のとき「４」とラベリングして赤色で表示し、
−tan(１／８π)≦tangent＜tan(１／８π)のとき「１」とラベリングして白色で表示し、
tangent＜tan(３／８π)のとき「２」とラベリングして青色で表示し、
上記以外の場合は「３」とラベリングして緑色で表示し、図１８に示す方向ラベリング画像が得られる。

次に、上記したエッジ強度画像と方向ラベリング画像とを利用して図２２に示すような非極大値抑制ラベリング画像の作成を行う。
非極大抑制画像とは、上記取得したエッジ強度と明るさの変化方向を利用し、強度が極大になっている箇所をエッジとして抽出した画像のことである。
非極大画像を4つの方向に分類するために、
（１）横方向（Ｘ方向）について中心ピクセルの前後と中心ピクセルのソーベル強度のうち、中心ピクセルの強度が最も大きい場合は、極大位置とみなす（白色）。
（２）斜め方向（左上・右下方向）について中心ピクセルの前後と中心ピクセルのソーベル強度のうち、中心ピクセルの強度が最も大きい場合は、極大位置とみなす（赤色）。
（３）縦方向（Ｙ方向）について中心ピクセルの前後と中心ピクセルのソーベル強度のうち、中心ピクセルの強度が最も大きい場合は、極大位置とみなす（緑色）
（４）斜め方向（左下・右上方向）について中心ピクセルの前後と中心ピクセルのソーベル強度のうち、中心ピクセルの強度が最も大きい場合は、極大位置とみなす（青色）。
以上のようにして図２２に示すエッジ抽出された非極大値抑制ラベリング画像を取得している。
最終的に右膝の位置座標の取得は、上述したように輪郭Ｒの直線ＳＴ１、ＳＴ２により取得された左膝の高さを通る水平線と、非極大値抑制ラベリング画像のラベルが「１」の部分（白色）との交点を右膝としている。

次に、色付マークＭ１〜Ｍ７や輪郭情報や曲率やエッジ抽出による注目点の認識が困難である場合、あるいは、色付マークＭ１〜Ｍ７の存在しない注目点を認識したい場合等には、ゴルファー１１のシルエット情報を用いて、注目点の位置座標を抽出する（Ｓ１６）。

一例として、図２４に示すように、アドレス画像（側面）における体とグリップとの距離であるグリップ幅Ｗを求める方法は、上述したようにシャフト１３ａに付された２つのクラブ用色付マークＣＭ１、ＣＭ２の位置を通過するマーク間ベクトルからグリップ位置３０を求めると共に、グリップ位置３０とＹ座標が同一である輪郭Ｒ上のピクセルＰ３を求める。但し、ピクセルＰ３のＸ座標は、右足先のＸ座標よりも小さいことを条件とする。このグリップ位置３０とピクセルＰ３との距離をグリップ幅Ｗとする。

上記取得されたチェックポイント画像におけるゴルファー１１の注目点の位置座標は、コンピュータ１６のメモリに記憶保持される（Ｓ１７）。以上のようにして、スウィング診断に必要な全ての注目点を抽出するまで同様な計算を行う（Ｓ１８）。つまり、チェックポイント画像においてもゴルファーの全ての注目点の位置座標を抽出するのではなく、各チェックポイント画像でスウィング診断に必要とされる注目点の抽出のみを行えばよく、更なる計算時間の短縮が図られる。

また、１つの画像処理アルゴリズムに依存することなく、複数のアルゴリズムを組み合せて注目点の抽出を行う仕組みとしているので、ゴルファー１１の体型やスウィング動作が著しく異なる場合でも、あらゆる注目点抽出方法を駆使してゴルファー１１の注目点の位置座標の認識率を大幅に向上させることができる。さらに、ゴルファー１１の下半身については色付マークを用いた色抽出により膝等の注目点を認識するのではなく、上述した輪郭情報やエッジ抽出等を利用して注目点の位置座標を抽出しているので、ゴルファー１１に計測用服を下半身には着用してもらわなくても済むというメリットもある。

（テイクバック左腕水平画像（側面）での注目点抽出）
次に、１つのチェックポイント画像において注目点を複数のアルゴリズムを組み合せて抽出する一例として、テイクバック左腕水平画像（側面）における各注目点の位置座標を抽出する場合について代表して説明する。

図２５に示すように、まず上述した輪郭抽出の処理を行い（Ｓ１００）、輪郭Ｒが取れなかった場合（Ｓ１０１）には、このチェックポイント画像に関する画像処理を終了するが（Ｓ１０２）、輪郭Ｒが取れた場合について詳説する。
（クラブ）
上述したように探索範囲Ｓを用いてクラブ用色付マークＣＭ１〜ＣＭ３を色抽出して位置座標を取得する。抽出できなかった場合（Ｓ１０４）は失敗とし、抽出できた場合にはクラブ用色付マークＣＭ１〜ＣＭ３の位置座標を記憶する（Ｓ１０５）。

（グリップ端およびグリップ中央）
前記Ｓ１０４でクラブ用色付マークＣＭ１〜ＣＭ３が抽出できていなければ（Ｓ１０６）失敗とし、抽出できていた場合には、グリップに最も近いクラブ用色付マークＣＭ１と次に近いクラブ用色付マークＣＭ２とからマーク間ベクトルを求めてグリップ端およびグリップ中央を決定する（Ｓ１０６−２）。具体的には、
（グリップ端）＝（クラブ用色付マークＣＭ１の位置）−Ａ×（マーク間ベクトル）
（グリップ中央）＝{（クラブ用色付マークＣＭ１の位置）＋（グリップ端）}／２
により算出する。
ここで、Ａは、クラブ用色付マークＣＭ１とクラブ用色付マークＣＭ２との距離に対するクラブ用色付マークＣＭ１とグリップ端との実際の距離の割合である。

（地面）
上述した輪郭Ｒの最下点のピクセルの位置座標を地面とみなしている（Ｓ１０７）。
（後首）
ゴルファー１１のシルエット領域から頭部が存在する領域を絞っておき、その領域において背景差分した後、色相θ＝０〜３０、Ｒ＝２０〜２４０、Ｇ＝２０〜１８０、Ｂ＝１８０以下を満たすピクセルの集合領域を肌とみなす（Ｓ１０８）。なお、該領域を肌とみなす場合の面積の閾値は３０〜１４００ピクセルとしている。図２７（Ａ）（Ｂ）に示すように、この抽出された肌色領域ＨのＸ座標が最小の顔領域の輪郭点をＯとし、点ＯとＸ座標が同一でＹ座標が最小の輪郭点をＡとし、点ＯとＹ座標が同一でＸ座標が最小の輪郭点をＢとすると、直線ＡＢの傾きと垂直で点Ｏを通る直線を引き、この直線と輪郭との交点を後首３１と特定する（Ｓ１１０）。

肌色抽出ができなかった場合であって（Ｓ１０９）、アドレス画像（側面）において後首の位置座標が取得できている場合には（Ｓ１１１）、アドレス画像（側面）での後首位置のＸ座標とテイクバック左腕水平画像での輪郭Ｒとの交点を求め、これら交点からＹ座標が最も小さい輪郭Ｒ上のピクセルの前後１０ピクセルの曲率を抽出し（Ｓ１１２）、曲率が０以下で且つ最小となるピクセルを後首と特定する（Ｓ１１３、Ｓ１１０）。
アドレス画像（側面）で後首が取得できてない場合（Ｓ１１１）、或いは、曲率による抽出ができなかった場合（Ｓ１１３）は、ゴルファー１１のシルエットの下から９０％位置のＹ座標をもつ輪郭Ｒ上のピクセルのうちＸ座標が最小のピクセルを後首として抽出する（Ｓ１１４、Ｓ１１０）。

（右腰Ｙ座標）
先ず、探索範囲Ｓを、地面とゴルファーシルエット頂点の高さの平均値（Ｙ）とシルエット重心（Ｘ）を起点としてＸ方向が−４０〜４０ピクセル、Ｙ方向が−６０〜２０ピクセルの範囲となるように決定し、ベルト状の色付マークＭ７を色抽出して（Ｓ１１４−２）右腰のＹ座標を取得する（Ｓ１１５、Ｓ１１６）。
色抽出に失敗した時は、ゴルファー１１のシルエットの下から６０％の高さ位置を右腰のＹ座標とみなす（Ｓ１１７）。

次に、両肩と両肘の抽出は図２５中から図２６のサブルーチンを呼び出す。
（左肩）
アドレス画像（側面）の右肩を取得済みの場合は（Ｓ１１８）、図２８（Ａ）に示すように、その右肩を起点としてＸ方向に＋４０ピクセル、Ｙ方向に±４０ピクセルの範囲の位置に探索範囲Ｓを設定し、左肩の色付マークＭ３の色抽出を行う（Ｓ１１９）。色付マークＭ２の抽出に成功した場合には、その座標を左肩として記憶する（Ｓ１２０、Ｓ１２１）。

アドレス画像（側面）で右肩が抽出できていない場合（Ｓ１１８）および色抽出できなかった場合（Ｓ１２０）には、図２８（Ｂ）に示すように、後首３１のＹ座標と一致する輪郭Ｒ上のピクセルを首下３２として抽出し、首下３２から輪郭Ｒの起伏の情報を用いて左肩を決定する（Ｓ１２３）。
具体的には、首下３２から時計回りに輪郭Ｒを調べて最初に山（極大点）が見つかれば、首下３２から時計回りに３０ピクセルまでの山→この山から時計回りに３０ピクセルまでの谷（極小点）→この谷から時計回りに２０ピクセルまでの山を左肩３５としている。
一方、首下３２から時計回りに輪郭Ｒを調べて最初に谷（極小点）が見つかった場合には、首下３２から時計回りに３０ピクセルまでの谷→この谷から時計回りに２０ピクセルまでの山を左肩３５としている。（Ｓ１２４、Ｓ１２１）

首下３２が抽出できなかった場合（Ｓ１２２）、輪郭Ｒの起伏を用いた抽出ができなかった場合（Ｓ１２４）は、図２８（Ｃ）に示すように、右腰（Ｓ１２５）からＹ方向に対して[右腰Ｙ座標]〜[右腰Ｙ座標−３０ピクセル]の間の領域で輪郭Ｒの直線部ＳＴを抽出し（Ｓ１２６）、直線部ＳＴと輪郭Ｒとの交点を左肩３６とみなす（Ｓ１２７、Ｓ１２１）。但し、交点はゴルファー１１のシルエットの下から８０％〜９０％の領域で、その中のＹ座標が最小のピクセルとする。もし、直線部を抽出できなければ、[右腰Ｙ座標]〜[右腰Ｙ座標−３０ピクセル]の間の輪郭を用いて最小二乗法により直線を抽出する。
右腰が見つからなかった場合には（Ｓ１２５）若しくは８０％〜９０％で左肩が見つからない場合には、図２８（Ｄ）に示すように、シルエットの下から８５％の位置（Ｌ２／Ｌ１＝０．８５）の輪郭Ｒで、Ｘが最大のピクセルを左肩３７とする（Ｓ１２８、Ｓ１２１）。

（右肩）
後首３１が抽出できている場合は（Ｓ１２９）、後首３１を起点としてＸ方向に−５０ピクセル、Ｙ方向に±２０ピクセルの範囲の位置に探索範囲Ｓを設定し、右肩の色付マークＭ４の色抽出を行う（Ｓ１３０）。色付マークＭ４の抽出に成功した場合には、その座標を右肩として記憶する（Ｓ１３１、Ｓ１３２−２）。

色抽出に失敗した場合（Ｓ１３１）は、クラブ用色付マークＣＭ１〜ＣＭ３の抽出ができていれば（Ｓ１３２）、シャフト１３ａが輪郭Ｒと交差しているシャフト１３ａを輪郭Ｒから取り除く再輪郭抽出を行う必要があるどうかの判定を行い（Ｓ１３３）、シャフト１３ａの輪郭が体の輪郭と交差している場合には（Ｓ１３４）、シャフト１３ａの輪郭を輪郭情報から取り除く再輪郭抽出を行う（Ｓ１３５）。輪郭にシャフトが現れていない場合には再輪郭抽出せずに直線抽出処理（Ｓ１３６）に移る。

テイクバック左腕水平画像（側面）での後首のＹ座標から±１０以内の位置にテイクバック左腕水平画像での輪郭Ｒに傾きが１９０°〜−１８０°の直線部ＳＴが存在するかを判定し、かつ、後首と右腰Ｙ座標の間での下方向に傾きが９０°〜１８０°の直線部が存在するかを判定し、２本の直線部が見つかったらその交点を右肩とする（Ｓ１３７、Ｓ１３２−２）。

後首が見つからない場合（Ｓ１２９）、クラブ用色付マークＣＭ１〜ＣＭ３が抽出できない場合（Ｓ１３２）、２本の直線部が抽出されなかった場合（Ｓ１３７）は、シルエットの下から８０％の位置の輪郭Ｒで、Ｘが最小のピクセルを右肩とする（Ｓ１３８、Ｓ１３２）。

（左肘）
グリップ端と左肩が抽出できていなけば（Ｓ１３９）失敗とし、抽出できていれば、Ｘ方向はグリップ端から左肩までの範囲で、Ｙ方向は[左肩]から[グリップ端＋４０ピクセル]の範囲で探索範囲Ｓを設定し、左肘の色付マークＭ１の色抽出を行う（Ｓ１４０）。色付マークＭ１の抽出に成功した場合には、その座標を左肘として記憶する（Ｓ１４１、Ｓ１４２）。色付マークＭ１の抽出に失敗した場合には、左肩とグリップ端の中点を左肘とみなして抽出する（Ｓ１４３、Ｓ１４２）。

（右肘）
グリップ中央とアドレス画像（側面）での右腰が抽出できている場合には（Ｓ１４４）、グリップ中央を起点としてＸ方向に±５０ピクセル、Ｙ方向に±５０ピクセルの範囲の位置に探索範囲Ｓを設定し、かつ、上述で抽出された肌色部分、シャフト付近、アドレス画像（側面）での右腰より下の領域は探索対象から除外した上で、右肘の色付マークＭ６の色抽出を行う（Ｓ１４５）。色付マークＭ６の抽出に成功した場合には、その座標を右肘として記憶する（Ｓ１４６、Ｓ１４７）。

グリップ中央とアドレス画像（側面）での右腰が抽出されなかった場合（Ｓ１４４）、色抽出できなかった場合（Ｓ１４６）は、左肘のＹ座標が同一でＸ座標が最小の輪郭点を起点としてＸ方向に±２５ピクセル、Ｙ方向に±２５ピクセルの範囲の位置に探索範囲Ｓを設定し、右肘の色付マークＭ６の色抽出を行い（Ｓ１４９）、抽出できた場合には右肘の位置座標として取得する（Ｓ１５０）。
左肘の抽出ができなかった場合は（Ｓ１４８）、シルエットの地面から−Ｙ方向の６５％でＸ座標が最小の輪郭点を右肘とする（Ｓ１５１、Ｓ１４７）。色抽出ができなかった場合（Ｓ１５０）は、２回目の色抽出で用いた探索範囲の起点を右肘とする（Ｓ１４７）。

（スパイン軸）
図２５のフローチャートに戻り、右腰、後首が抽出でき、かつ、右肩を色抽出により抽出できた場合には（Ｓ１５２）、右肩と右腰の間で輪郭Ｒに直線部ＳＴが存在すれば（Ｓ１５３）、その直線部を角度を保ったまま後首３１を通過するようにオフセット移動すれば、スパイン軸（両腰の中心と首を結ぶ線）を取得することができる（Ｓ１５４、Ｓ１５５）。
また、Ｓ１５２の抽出ができなかった場合には、右腰および後首が取得できていない場合（Ｓ１５６）は失敗とする一方、取得できている場合は、右腰Ｙ座標との交点のうちＸ座標が最小の輪郭点と後首の間の輪郭Ｒを用いて直線部を最小二乗法しスパイン軸とする（Ｓ１５７、Ｓ１５８、Ｓ１５５）。

（右腰Ｘ座標）
右腰Ｙ座標とスパイン軸が抽出できていない場合（Ｓ１５９）には失敗であるが、抽出できている場合は、スパイン軸上で右腰Ｙ座標と同じＹ座標をもつピクセルを特定することで右腰Ｘ座標を取得することができる（Ｓ１６０、Ｓ１６１）。

以上のように、図２５および図２６の流れでテイクバック左腕水平画像（側面）について、複数の画像処理アルゴリズムを駆使して注目点の位置座標を取得することができる。

本発明の実施形態のゴルフスウィング計測方法の概略を示すフローチャートである。 実施形態のゴルフスウィング計測システムの構成図である。 アドレス画像におけるマーク抽出を説明する図面である。 アドレス以降の２、３枚目におけるマーク抽出を説明する図面である。 マークの自動追尾を説明する図面である。 （Ａ）（Ｂ）はゴルファーの輪郭抽出を説明する図面である。 ゴルファーの輪郭抽出された画像を示す図面である。 （Ａ）（Ｂ）テンプレートマッチングを説明する図面である。 曲率計算の説明図である。 正面のチェックポイント画像である。 飛球線後方（側面）のチェックポイント画像である。 静止画像上のゴルファーの輪郭を示す図面である。 静止画像上の輪郭から抽出された直線部を示す図面である。 注目点の色抽出を説明する図面である。 注目点の輪郭を用いた抽出を説明する図面である。 注目点の輪郭の極値を用いた抽出を説明する図面である。 注目点の直線部を用いた抽出を説明する図面である。 注目点の直線部を用いた抽出を説明する図面である。 肌抽出を用いた注目点の抽出を説明する図面である。 エッジ強度画像を示す図面である。 方向ラベリング画像を示す図面である。 非極大値抑制ラベリング画像を示す図面である。 隣接するピクセルの位置関係の定義を説明する図面である。 シルエット情報による注目点の推定を説明する図面である。 テイクバック左腕水平画像（側面）において注目点を抽出する手順を示すフローチャートである。 図２５の一部のサブルーチンを示すフローチャートである。 （Ａ）（Ｂ）は肌抽出を説明する図面である。 左肩の抽出を示し、（Ａ）は色抽出による場合の図面、（Ｂ）は輪郭抽出による場合の図面、（Ｃ）は直線部を用いた場合の図面、（Ｄ）はシルエット情報を用いた場合の図面である。

符号の説明

１１ ゴルファー
１２ 計測用服
１３ ゴルフクラブ
１３ａ シャフト
１４、１５ カラーＣＣＤカメラ
１６ コンピュータ
２０ 背景
ＣＭ１〜ＣＭ３ クラブ用色付マーク
Ｍ１〜Ｍ７ 色付マーク
Ｓ、Ｓ１〜Ｓ３ 探索範囲
ＳＴ、ＳＴ１〜ＳＴ４ 直線部
Ｒ 輪郭
Ｔ テンプレート

Claims (6)

1. ゴルフクラブを把持してスウィングするゴルファーをカラー動画像で撮影してコンピュータに取り込み、該コンピュータは、
   前記カラー動画像を構成する複数の静止画像から、アドレス、テイクバックシャフト８時、テイクバックシャフト９時、テイクバック非利き腕水平、トップ、ダウンスウィング非利き腕水平、ダウンスウィングシャフト９時、インパクト、フォローシャフト３時、フィニッシュから選択される少なくとも１つ以上のスウィング姿勢の画像をチェックポイント画像として抽出した後、
   前記チェックポイント画像を前記ゴルファーが写らない背景画像で差分処理することによりゴルファーのシルエットを取得して該シルエットの輪郭抽出を行い、
   前記輪郭抽出後に、下記の（１）（２）（３）のいずれかでスウィング中に動作する注目点の位置座標として特定していることを特徴とするゴルフスウィング計測方法。
   （１）取得された輪郭情報のｘ座標あるいはｙ座標が極値となるピクセルを前記注目点の位置座標として特定する；
   （２）取得された輪郭のうち曲率が極値となるピクセルを前記注目点の位置座標として特定する；
   （３）取得された輪郭のうち曲率が−１０°〜１０°の範囲内のピクセルが所定の個数以上連続している箇所を直線部とし、この直線部を用いて上記注目点の位置座標を特定する：
2. 前記（３）において、直線部の延長線が前記輪郭と交差する位置のピクセルを前記注目点の位置座標として特定している請求項１に記載のゴルフスウィング計測方法。
3. 前記（３）において、輪郭から抽出された前記直線部のうち、２つの直線部の延長線同士が交差する位置のピクセルあるいは交差する位置に最も近い輪郭点を前記注目点の位置座標として特定している請求項１または請求項２に記載のゴルフスウィング計測方法。
4. ゴルフクラブを把持してスウィングするゴルファーをカラー動画像で撮影してコンピュータに取り込み、該コンピュータは、
   前記カラー動画像を構成する複数の静止画像から、アドレス、テイクバックシャフト８時、テイクバックシャフト９時、テイクバック非利き腕水平、トップ、ダウンスウィング非利き腕水平、ダウンスウィングシャフト９時、インパクト、フォローシャフト３時、フィニッシュから選択される少なくとも１つ以上のスウィング姿勢の画像をチェックポイント画像として抽出した後、
   前記チェックポイント画像において、隣接するピクセルとの間での明るさの変化量が所定の閾値以上となっているピクセルをエッジとし、前記チェックポイント画像中のゴルファーについて前記エッジの抽出を行い、該エッジを用いてスウィング中に動作する注目点の位置座標を取得することを特徴としているゴルフスウィング計測方法。
5. 前記注目点は、前記ゴルファーの頭、首、肩、肘、腰、膝、足首、手首あるいは／および足先を含んでいる請求項１乃至請求項４のいずれか１項に記載のゴルフスウィング計測方法。
6. 少なくとも１つ以上の前記注目点には色付マークが設けられ、
   該色付マークより前記チェックポイント画像を抽出している請求項１乃至請求項５のいずれか１項に記載のゴルフスウィング計測方法。