JP4185437B2 - 映像合成出力装置及び音声再生出力装置 - Google Patents

Description

本発明は、映像合成出力装置及び音声再生出力装置に係り、特に、カードを識別するための文字や模様等が描かれたカードを撮影し、撮影したカード情報や動きに対応した動画映像、三次元動映像、又は音声を高精度に出力するための映像合成出力装置及び音声再生出力装置に関する。

従来、模様が描かれたカードを撮影し、撮影したカメラ映像から検出されるカードの種類や三次元位置情報に基づいて、楽器を制御するＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）信号を出力する装置、及び映像を出力する装置についての技術が知られている（例えば、特許文献１参照。）。

特許文献１では、オペレータにより把持されるカードを撮影することで得られるビデオストリーム信号に基づいて、カードの三次元位置及び姿勢等からなる三次元情報を検出し、それに対応するＭＩＤＩデータを出力する。また、特許文献１では、カードを撮影することにより得られる三次元情報（座標位置、回転角度、チルト角度等）に応じた映像を表示する。

また、表示させる映像としては三次元形状のデータが考えられるが、表示するために必要な三次元形状データを取得する技術としては、例えば、被写体の概形形状を測定し、その概形形状を基にブロックマッチングにより被写体のより詳細な形状を求め、更にカメラからの距離情報を求めることができる技術がある（例えば、特許文献２参照。）。
特開２００２−３２０７６号公報 特開２００３−２７１９２８号公報

しかしながら、特許文献１には、カード毎に対応する音声や映像を出力するだけであり、例えば、カメラにより撮影されるカードの移動速度等に対応した映像や音声の出力が考慮されていない。また、同時に撮影されるカードが複数であった場合に、その組み合わせや位置関係に対応した映像や音声を出力することもできない。このため、カードを用いた高精度な映像、音声出力を実現しているとは言えない。

本発明は、上述した問題点に鑑みなされたものであり、カードを撮影した映像から検出されるカード情報やカードの速度情報に基づいて、動画映像や三次元動映像と、実際に撮影されているカメラ映像とを合成して高精度な映像を出力する映像合成出力装置及びカード情報やカードの速度情報に基づいて高精度な音声出力を実現するための映像合成出力装置及び音声再生出力装置を提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、カードを撮影するカメラの映像信号によりカードの種類、三次元位置情報、及び姿勢情報からなるカード情報に基づいて、前記映像信号に他の映像信号を合成して出力するための映像合成出力装置において、前記カメラにより撮影される映像信号の所定のフレーム間隔におけるフレーム毎に得られる前記カード情報に基づいて、カードの速度を検出する速度検出部と、前記カード情報と前記速度検出部により得られる速度情報とに基づいて、合成する映像信号を選択して出力する映像出力部とを有することを特徴とする。

請求項１記載の発明によれば、カード情報だけでなく速度情報を用いて映像を選択することで、カードの移動内容に対応する様々な映像を出力することができる。これにより、インタラクティブ性に優れた高精度な映像を出力することができる。

請求項２に記載された発明は、前記映像出力部は、前記カード情報と前記速度検出部により得られる速度情報とに基づいて、動画映像を選択し、前記三次元位置情報と前記姿勢情報とに基づいて、前記動画映像の表示、非表示、大きさ、位置、方向を制御して出力することを特徴とする。

請求項２記載の発明によれば、カード情報及び速度情報に基づいて動画映像を選択し、更に大きさや表示位置等を制御して出力することにより、より高精度な映像出力を実現することができる。

請求項３に記載された発明は、前記映像出力部は、前記カード情報と、前記速度検出部により得られる速度情報と、色情報及び前記三次元位置情報から得られる接続情報とに基づいて三次元動映像を選択し、前記三次元位置情報と前記姿勢情報とに基づいて、前記三次元動映像の表示、非表示、大きさ、位置、方向を制御して出力することを特徴とする。

請求項３記載の発明によれば、カード情報、速度情報、及び接続情報に基づいて三次元動映像を選択し、更に大きさや表示位置等を制御して出力することにより、より高精度な映像出力を実現することができる。

請求項４に記載された発明は、前記カメラにより撮影される映像信号に複数のカードが存在する場合、前記速度検出部は、前記カード情報に基づいて前記複数のカード間の相対速度情報を検出することを特徴とする。

請求項４記載の発明によれば、複数のカードの夫々についてカード情報及び相対速度情報を用いて映像を選択することで、カード間の移動内容に対応する様々な映像を出力することができる。これにより、インタラクティブ性に優れた高精度な映像を出力することができる。

請求項５に記載された発明は、前記複数のカードのカード情報からカード間の距離や姿勢情報からなる相互位置姿勢情報を検出する相互位置姿勢検出部を有することを特徴とする。

請求項５記載の発明によれば、相互位置姿勢情報を用いて、カード間の移動や姿勢内容に対応する様々な映像を出力することができる。

請求項６に記載された発明は、前記映像出力部は、前記相対速度情報と前記相互位置姿勢情報とに基づいて、前記動画映像及び／又は前記三次元動映像を選択して出力することを特徴とする。

請求項６記載の発明によれば、前記相対速度情報と前記相互位置姿勢情報とを用いることで、より高精度な映像出力を実現することができる。

請求項７に記載された発明は、カードを撮影するカメラの映像信号によりカードの種類、三次元位置情報、及び姿勢情報からなるカード情報に基づいて、予め蓄積された音声を再生出力する音声再生出力装置において、前記カメラにより撮影される映像信号の所定のフレーム間隔におけるフレーム毎に得られる前記カード情報に基づいて、カードの速度を検出する速度検出部と、前記カード情報と前記速度検出部により得られる速度情報とに基づいて、音声ファイルを選択して再生出力する音声再生出力部とを有し、前記カメラにより撮影される映像信号に複数のカードが存在する場合、前記速度検出部は、前記カード情報に基づいて前記複数のカード間の相対速度情報を検出することを特徴とする。

請求項７記載の発明によれば、カード情報だけでなく速度情報を用いて音声を選択することで、カードの移動内容に対応する様々な音声を出力することができる。また、複数のカードの夫々についてカード情報及び相対速度情報を用いて音声を選択することで、カード間の移動内容に対応する様々な音声を出力することができる。これにより、インタラクティブ性に優れた高精度な音声を出力することができる。

請求項８に記載された発明は、前記複数のカードのカード情報からカード間の距離や姿勢情報からなる相互位置姿勢情報を検出する相互位置姿勢検出部を有することを特徴とする。

請求項８記載の発明によれば、相互位置姿勢情報を用いて、カード間の移動や姿勢内容に対応する様々な音声を出力することができる。

請求項９に記載された発明は、前記音声再生出力部は、前記相対速度情報と前記相互位置姿勢情報とに基づいて、前記音声ファイルを選択して出力することを特徴とする。

請求項９記載の発明によれば、前記相対速度情報と前記相互位置姿勢情報とを用いることで、より高精度な音声出力を実現することができる。

本発明によれば、カードを撮影したカメラ映像から得られるカード情報及びカードの速度情報に基づいて、インタラクティブ性に優れた高精度な映像又は音声を出力することができる。

＜本発明の概要＞
本発明は、特定の文字や模様等の識別情報が描かれたカードを撮影し、撮影したカメラ映像から検出されるカードの種類、三次元位置情報、姿勢情報からなるカード情報とカードの速度情報に基づいて、予め蓄積されている動画映像や三次元動映像から対応する映像を選択し、実際に撮影されているカメラ映像と合成して出力する。

ここで、三次元位置情報とは、カメラの撮影にて得られるカードのｘ、ｙ、ｚ座標における位置情報を表している。上述の内容を図を用いて説明する。図１は、カードとカメラとの位置関係を示す一例の図である。ここで、カード１１には、カードの種類（種別）を特定するために文字（図１において、ａ）が描かれている。なお、カードを識別できるものであれば、文字に限らず、数字や、模様、顔の写真等でもよい。

図１に示すようにカード１１の位置情報は、ｘ座標がカメラに対して水平方向の位置を示し、ｙ座標がカメラに対して垂直方向の位置を示し、ｚ座標がカメラに対する距離を示している。また、姿勢情報は、上述のｘ軸、ｙ軸、ｚ軸の各軸に対する所定のカードの位置を基準とした回転の度合を示すものであり、カードそのものの姿勢を表すものである。これにより、ユーザがカードを動かした場合、カードを撮影したカメラからカード情報（カードの種類、三次元位置情報、姿勢情報）を取得する。

また、本発明ではカメラ映像から検出される複数のフレームから予め設定されたフレーム間隔により夫々の三次元位置情報、姿勢情報の差分を取得し、取得した差分からカードの移動速度を検出する。検出した速度情報に基づいて対応する動画映像及び／又は三次元動映像を選択し、実際に撮影されちるカメラの映像信号と合成して出力する。

具体的には、特定の文字や模様等の識別情報が描かれたカードの領域抽出、パターンマッチング等の画像処理を行うことにより、カードの種類、三次元位置情報、姿勢情報からなるカード情報を取得する。なお、上述のカード情報を取得するための画像処理技術としては、既に様々な技術が存在し、例えば、「画像処理工学」末松良一，山田宏尚著、コロナ社（以下、非特許文献１という。）に記載されている画像認識技術や、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」加藤博一，Ｍａｒｋ Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野浩一，橘啓八郎著、基礎論文 ＴＶＲＳＪ ｖｏｌ４ Ｎｏ．４ １９９９（以下、非特許文献２という。）に記載されている技術を適用することができる。

また、カード情報に基づいて、予め蓄積されているか又は外部から入力される動画映像と、更に色情報及び三次元座標情報を持つ頂点群の接続情報により蓄積されている三次元動映像とを射影変換、視点変換して出力し、クロマキー処理等の映像合成手法を利用して、実際にカードを撮影しているカメラ映像と合成して出力する。

ここで、射影変換、視点変換については、例えば、「ＯｐｅｎＧＬ Ｐｒｏｇｒａｍｍｉｎｇ Ｇｕｉｄｅ」Ｊａｃｋｉｅ Ｎｅｉｄｅｒ，Ｔｏｍ Ｄａｖｉｓ，Ｍａｓｏｎ Ｗｏｏ著、アジソンウェスレイ（以下、非特許文献３という。）に記載されているように三次元空間を表現するためのフォーマットであるＯｐｅｎＧＬを用いた射影変換、視点変換技術を適用することができる。また、画像の合成技術については、例えば、「Ｃ言語で学ぶ実践画像処理」（井上誠喜，八木伸行，林正樹，中須英輔，三谷公二，奥井誠人著、オーム社）（以下、非特許文献４いう。）等に記載されているクロマキー処理等の映像合成を用いることができる。

更に、上述の色情報とは、例えば、カードの領域が矩形で形成されている場合、その矩形の頂点（Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４）の夫々の色情報（Ｒ_１，Ｇ_１，Ｂ_１）〜（Ｒ_４，Ｇ_４，Ｂ_４）を示し、上述の接続情報は、例えば、上述の矩形の頂点（Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４）から形成される２つの三角形（Ｐ_１，Ｐ_２，Ｐ_４），（Ｐ_１，Ｐ_３，Ｐ_４）のように形成された領域における点の接続情報を示している。なお、上述の三角形（Ｐ_１，Ｐ_２，Ｐ_４），（Ｐ_１，Ｐ_３，Ｐ_４）の夫々の色情報を内挿することで三角形の領域内の色が設定され、これが三次元形状の面に相当する。このように色情報を用いて三次元動映像を形成する技術としては、例えば、「注解 ＶＲＭＬ２．０リファレンスマニュアル」（Ｒｉｋｋ Ｃａｒｅｙ，Ｇａｖｉｎ Ｂｅｌｌ著 アジソンウェスレイ）（以下、非特許文献５という。）がある。

また、本発明では、カメラで撮影されたカードの種類、三次元位置情報、姿勢情報からなるカード情報及びカードの速度情報に基づいて、予め蓄積される音声ファイルから再生出力する音声ファイルの種類、ボリューム、パンニングを選択し、その音声ファイルを再生出力する。ここで、音声ファイルのフォーマットとしては、ｗａｖ，ａｉｆｆ，ＭＰ３，ＷＭＡ，ＶＱ，ｒｍ，ｒａｍ，ｍｏｖ，ａａｃ，ａｔｒａｃ３等がある。

更に、本発明では、複数のカードが撮影された場合に、複数のカード同士における互いの種類、三次元位置情報、姿勢情報から前記動画映像、三次元動映像の表示、非表示、大きさ、位置、方向、及び前記音声ファイルのオン、オフ、ボリューム、パンニング、出力する音声の種類を制御する。

＜実施例１：映像合成出力装置＞
次に、本発明を適用した動画映像及び三次元動映像を実際に撮影されているカメラからの映像信号と合成して出力するための映像合成出力装置について図を用いて説明する。

図２は、本発明における映像合成出力システムの一構成例を示す図である。図２の映像合成出力システムは、カード２１を撮影するためのカメラ２２と、カード情報取得装置２３と、映像合成出力装置２４とを有するよう構成されている。また、映像合成出力装置２４は、速度検出部２５と、動画映像出力部２６と、三次元動映像出力部２７と、映像合成出力部２８とを有するよう構成されている。

図２に示す映像合成出力システムは、まずカードを識別するための特定の文字や模様が描かれているカード２１をカメラ２２により撮影する。カメラ２２にて撮影されたカメラ映像信号は、カード情報取得装置２３及び映像合成出力部２８に出力される。なお、カード２１は、例えば、ユーザにより把持されカメラ２１に対して三次元座標（図１に示すｘ，ｙ，ｚ座標）での移動や回転を行う。

カード情報取得装置２３は、カメラ２２から入力されたカメラ映像信号からカード２１の領域を抽出し、パターンマッチング等の画像処理を行って撮影された映像中に含まれるカードの種類、三次元位置情報、姿勢情報からなるカード情報を取得する。また、カード情報取得装置２３は、取得したカード情報を速度検出部２５、動画映像出力部２６、及び三次元動映像出力部２７に出力する。なお、カード情報取得装置２３にて、カード２１の領域を抽出する際には、例えば、非特許文献２に示すように図２のカード２１内に矩形を描き、その描かれた角の三次元座標を取得することで、三次元位置情報や姿勢情報を取得することができる。

速度検出部２５は、カード情報取得装置２３から逐次入力されるカードの種類、三次元位置情報、及び姿勢情報からカードの種類毎に映像信号に含まれる予め設定されるフレーム間隔での三次元位置情報及び姿勢情報を取得し、その三次元位置情報、姿勢情報の差分を計算してカード毎の方向を含めた移動速度を求め、カードの種類及び速度情報を動画映像出力部２６及び三次元動映像出力部２７に出力する。ここで、フレーム間隔として、例えば、１秒間に３０フレームを有する映像信号であれば間隔を１５フレームと設定する。

動画映像出力部２６では、入力されるカードの種類及び移動速度から予め蓄積されている動画映像データ又は外部から入力される動画映像の中から対応する動画映像を選択し、更に、カードの三次元位置情報、姿勢情報に基づいて、出力する動画映像を射影変換及び視点変換により移動、回転させて動画映像信号として映像合成出力部２８に出力する。なお、射影変換及び視点変換により出力される映像は、実際にカメラ２２により撮影されたカード上に出力され、更に、向きをカードの向きに対応して調整した映像が出力されるようにする。これにより、カードの向きに対応して映像の向きを変えて表示することができる。

なお、出力される映像の位置は、本発明においてはこの限りではなく、例えば、カードから所定の位置だけ離れた位置に映像を出力させるよう設定することもできる。

また、三次元動映像出力部２７は、予め蓄積されている三次元動映像データの中から、速度検出部２５により入力された速度情報と、カード情報取得装置２３により入力されたカードの種類、三次元位置情報、姿勢情報からなるカード情報、及び上述した色情報及び三次元座標情報を持つ頂点群の接続情報から対応する三次元動映像を選択する。

更に、カード２１の三次元位置情報、姿勢情報に基づいて、出力する三次元動映像を射影変換、視点変換して移動、回転させてＯｐｅｎＧＬ等の一般に利用可能な三次元動映像描画ソフトウェアにより描画し三次元動映像を生成し、生成した三次元動映像信号を映像合成出力部２８に出力する。

なお、三次元空間（三次元仮想現実空間）を表現するための三次元空間フォーマットとしては、ＯｐｅｎＧＬの他にＶＲＭＬ，ＤｉｒｅｃｔＸ，ＤＸＦ等の三次元空間フォーマットを適用することができる。

ここで、動画映像出力部２６及び三次元動映像出力部２７に夫々蓄積されている映像を選択するためのデータの例について、図を用いて説明する。

図３は、動画映像出力部及び三次元動映像出力部に夫々蓄積されている映像選択データの一例を示す図である。

図３に示すデータ項目は、カードの種類を特定するカード種別と、速度検出部２５から検出された速度条件と、カード種別及び速度条件に対応する映像等からなる。更に、三次元動映像出力部２７に蓄積されているデータには、上述の接続情報も含まれる。

図３において、例えば、カード種別がａで、所定のフレーム間隔で測定されたカードの移動速度が７ｃｍ／ｓであった場合、人Ａが歩いている映像が選択される。また、カード種別がａで、所定のフレーム間隔で測定されたカードの移動速度が１５ｃｍ／ｓであった場合、人Ａが走っている映像が選択される。このようにカードの移動速度に応じて選択される映像が異なる。この選択された映像に基づいて、動画映像出力部２６、三次元動映像出力部２７の夫々において、映像を選択しカード情報に含まれる三次元座標情報及び姿勢情報に基づいて射影変換、視点変換を行う。更に、映像を表示、非表示、大きさ、位置、方向等の制御を行い映像合成出力部２８に出力する。

映像合成出力部２８では、カメラ２２から入力される実際に撮影されているカメラの映像と、動画映像出力部２６から入力される動画映像と、三次元動映像出力部２７から入力される三次元動映像信号をキー信号処理等を利用した映像合成ソフトウェアにより合成を行い、カメラ映像と、動画映像と、三次元動映像との合成信号を映像信号としてディスプレイ装置やプロジェクタ等により出力する。なお、出力される具体的な内容については後述する。

ここで、キー信号処理については、例えば、上述の非特許文献４に示すようなクロマキー信号処理等を用いることにより、映像を合成することができる。

また、映像合成出力部２８において、動画映像出力部２６又は三次元動映像出力部２７のどちらか一方からしか映像信号が入力されなければ、その一方から得られる映像信号と、カメラ２２から入力される映像信号とを合成して出力する。

このように、速度検出部２５により得られる速度情報を用いることで、最適な映像を選択して表示させることができる。これにより、ユーザが動かしたカードに対してインタラクティブ性に優れた高精度な映像を出力することができる。

＜実施例２：音声再生出力装置＞
次に、本発明を適用した音声再生出力システムの構成について図を用いて説明する。

図４は、本発明における音声再生出力システムの一構成例を示す図である。図４に示す音声出力システムは、カード４１を撮影するカメラ４２と、カード情報取得装置４３と、音声再生出力装置４４とを有するよう構成されている。また、音声再生出力装置４４は、速度検出部４５と、音声再生出力部４６とを有するよう構成されている。ここで、カード４１は、上述のカード２１と同一である。

まず、カードを特定するための文字や模様等の識別情報が描かれているカード４１をカメラ４２により撮影する。カメラ４２にて撮影されたカメラ映像信号は、カード情報取得装置４３に出力される。なお、カード４１は、ユーザにより把持されカメラ４２に対して三次元座標（図１に示すｘ，ｙ，ｚ座標）での移動や回転を行う。

カード情報取得装置４３は、カメラ４２から入力されたカメラ映像信号からカード４１の領域を抽出し、パターンマッチング等の画像処理を行って撮影された映像中に含まれるカードの種類、三次元位置情報、姿勢情報からなるカード情報を取得する。また、カード情報取得装置４３は、取得したカード情報を速度検出部４５、及び音声再生出力部４６に出力する。

速度検出部４５は、カード情報取得装置４３から逐次入力されるカードの種類、三次元位置情報、及び姿勢情報からカードの種類毎に映像信号に含まれる予め設定されるフレーム間隔での三次元位置情報及び姿勢情報を取得し、その三次元位置情報、姿勢情報の差分を計算してカード毎の方向を含めた移動速度を求め、カードの種類及び速度情報を音声再生出力部４６に出力する。

音声再生出力部４６では、入力されるカードの種類及び移動速度から予め蓄積されている音声ファイル又は外部から入力される音声の中から対応する音声ファイルを選択して、音声信号を再生し、スピーカ等の音声出力装置に出力する。

なお、音声出力において、例えば、複数のスピーカを用いたサラウンド再生出力が可能である場合には、速度情報、三次元位置情報及び姿勢情報に基づいて所定のスピーカに音声出力を行う。また、カードとカメラからの距離に対応させて音声のボリューム変えたり、パンニングやエフェクト、残響等の音声制御を行う。これにより臨場感のある音声を出力することができる。

ここで、音声再生出力部４６が有する音声を選択するためのデータ例について、図を用いて説明する。図５は、音声再生出力部が有するデータの一例を示す図である。図５に示すデータ項目は、カードの種類から得られるカード種別と、速度検出部４５から得られる速度条件と、カード種別と速度条件とから音声を出力するものである。

図５において、例えば、カード種別がｂで、速度が２ｃｍ／ｓであれば、人Ｂの声で口笛を吹いている音声ファイルを選択する。なお、音声ファイルとしては、ｗａｖ，ａｉｆｆ，ＭＰ３，ＷＭＡ，ＶＱ，ｒｍ，ｒａｍ，ｍｏｖ，ａａｃ，ａｔｒａｃ３等でフォーマットされた音声ファイルを用いることができる。

上述したように、本発明を適用した音声再生出力装置により、速度情報に基づいて、ユーザが動かしたカードに対してインタラクティブ性に優れた高精度な音声ファイルを出力することができる。

ここで、上述の映像合成出力装置２４、音声再生出力装置４４は、組み合わせた構成にすることも可能である。これにより、更に高精度な映像出力、音声出力を実現することができる。

また、カメラに撮影されるカードは、１枚だけでなく、複数枚の場合もある。複数枚の場合には、夫々が上述の実施例で示しているように１枚で撮影されているときと同様の動作を行うこともできるが、複数撮影されている場合に夫々のカードの相対速度や相互位置に基づいて、出力される映像や音声を選択することで、より高精度な映像出力や音声出力を実現することができる。

ここで、上述したように複数枚のカードが撮影された場合に本発明を適用した映像合成出力装置及び音声再生出力装置について説明する。なお、後述する実施例３では、映像合成出力と、音声再生出力とを１つの装置構成にて実現する例について説明するが、上述の実施例に示すように夫々を別々の装置構成とすることもできる。

＜実施例３：映像合成・音声再生出力装置＞
図６は、本発明における映像合成・音声再生出力システムの一構成例を示す図である。図６に示す映像合成・音声再生出力システムは、カード６１−１，６１−２を撮影するカメラ６２と、カード情報取得装置６３と、映像合成・音声再生出力装置６４とを有するよう構成されている。

また、映像合成・音声再生出力装置６４は、速度検出部６５と、相互位置姿勢検出部６６と、動画映像出力部６７と、三次元動映像出力部６８と、音声再生出力部６９と、映像合成出力部７０とを有するよう構成されている。

ここで、図６に示す実施例では、２枚のカード６１−１，６１−２を用いた例について説明するが、本発明においてはこの限りではなく、３枚以上であってもよい。

まず、カード６１−１，６１−２をカメラ６２により撮影する。カメラ６２にて撮影されたカメラ映像信号は、カード情報取得装置６３及び映像合成出力部７０に出力される。なお、カード６１−１，６１−２は、ユーザにより把持されカメラ６２に対して三次元座標（図１に示すｘ，ｙ，ｚ座標）での移動や回転を行う。

カード情報取得装置６３は、カメラ６２から入力されたカメラ映像信号からカード６１−１，６１−２の夫々の領域を抽出し、パターンマッチング等の画像処理を行って撮影された映像中に含まれるカードの種類、三次元位置情報、姿勢情報からなるカード情報を取得する。また、カード情報取得装置６３は、取得したカード情報を速度検出部６５、相互位置姿勢検出部６６に出力する。

速度検出部６５は、カード情報取得装置６３から逐次入力されるカードの種類、三次元位置情報、及び姿勢情報から、複数のカードの種類毎に映像信号に含まれる予め設定されるフレーム間隔での三次元位置情報及び姿勢情報を取得し、その三次元位置情報、姿勢情報の差分を計算してカード間の方向を含めた相対移動速度を求め、カードの種類、撮影された複数のカード間の相対速度情報を動画映像出力部６７、三次元動映像出力部６８、及び音声再生出力部６９に出力する。

また、相互位置姿勢検出部６６は、入力される夫々のカードのカード情報からカード同士が相互にどの位置でどの方向を向いているかの相互位置姿勢情報（カード間の距離や姿勢情報）を検出し、カード情報及び相互位置姿勢情報を動画映像出力部６７、三次元動映像出力部６８、音声再生出力部６９に出力する。

動画映像出力部６７では、入力されるカード情報、カード間の相対速度情報及び相互位置姿勢情報から、予め蓄積されている動画映像データ又は外部から入力される動画映像の中から対応する動画映像を選択し、更に、カード６１−１，６１−２の三次元位置情報、姿勢情報に基づいて、出力する動画映像を射影変換及び視点変換により移動、回転させて動画映像信号として映像合成出力部７０に出力する。なお、射影変換及び視点変換により出力される映像は、実際にカメラ６２により撮影されたカード上に出力され、更に、向きをカードの向きに対応して調整した映像が出力されるようにする。

また、三次元動映像出力部６８は、予め蓄積されている三次元動映像データの中から、速度検出部６５により入力されたカード間の相対速度情報及び相互位置姿勢情報、カード情報、及び接続情報から対応する三次元動映像を選択する。更に、カード６１−１，６１−２の三次元位置情報、姿勢情報に基づいて、出力する三次元動映像を射影変換、視点変換して移動、回転させてＯｐｅｎＧＬ等の一般に利用可能な三次元動映像描画ソフトウェアにより描画し三次元動映像を生成し、生成した三次元動映像信号を映像合成出力部７０に出力する。

映像合成出力部７０は、カメラ６２から入力される実際に撮影されているカメラの映像と、動画映像出力部６７から入力される動画映像と、三次元動映像出力部６８から入力される三次元動映像信号をキー信号処理等により合成を行い、カメラ映像と、動画映像と、三次元動映像との合成信号を映像信号としてディスプレイ装置やプロジェクタ等により出力する。なお、出力される具体的な内容については後述する。

一方、音声再生出力部６９では、入力されるカード情報、カード間の相対速度情報、及び相互位置姿勢情報から予め蓄積されている音声ファイル又は外部から入力される音声の中から対応する音声ファイルを選択して、音声信号を再生し、スピーカ等の音声出力装置に出力する。

なお、音声出力において、例えば、複数のスピーカを用いたサラウンド再生出力が可能である場合には、相対速度情報、相互位置姿勢情報に基づいて所定のスピーカに音声出力を行う。これにより臨場感のある音声を出力することができる。

ここで、動画映像出力部６７、三次元動映像出力部６８、及び音声再生出力部６９に夫々蓄積されている映像を選択するためのデータの例と、そのデータにより、ディスプレイに出力される映像出力、及び音声出力の具体例について、図７、図８を用いて説明する。

図７は、動画映像出力部、三次元動映像出力部、音声再生出力部に蓄積されている映像を選択するためのデータの一例を示す図である。また、図８は、図７のデータ例に基づく映像出力、音声出力の一例を示す図である。

ここで、図７（ａ）は、動画映像出力部６７、及び三次元動映像出力部６８が備えるデータ例であり、図７（ｂ）は、音声再生出力部６９が備えるデータ例である。図７では、少なくとも２つのカード種別（カードの種類）に対応する相対速度、相互位置におけるカードの映像（図７（ａ））、又は音声（図７（ｂ））の情報が蓄積されている。また、三次元動映像出力部６８の場合には、上述の項目の他に接続情報も含まれる。
また、図７のデータでは、２枚のカードが撮影されている場合についてのデータ例を示しているが、本発明においてカードの枚数についてはこの限りではなく複数枚に対応させてデータを蓄積することもできる。なお、カードが１枚の場合には、図３又は図５に示すデータを参照する。更に、データ内に条件に対応する映像が複数存在する場合は、全てを選択してもよく、また複数ある映像や音声に優先順位を設けて選択することもできる。

例えば、図８（ａ）に示すように、同時に撮影される２枚のカード８１−１，８１−２が存在し、カード８１−１の種類（カード種別）をａとし，カード８１−２の種類（カード種別）をｂとする。ここで、カード８１−１とカード８１−２を互いに接近させた場合の、映像、音声の出力について説明する。

まず、速度検出部６５により得られる２枚のカードの相対移動速度が０．５ｃｍ／ｓで、相互位置姿勢検出部６６から得られる相互位置が２ｃｍの位置にある場合、図７（ａ）からカード種別ａに対応する映像１として人Ａがおじぎをする映像が選択され、動画映像出力部６７、三次元動映像出力部６８により出力される映像を実際に撮影されている映像と合成して、所定の位置に映像を出力する（図８（ｂ））。また、図７（ｂ）から対応する音声として“コンニチハ”と音声出力する音声ファイルが選択され、スピーカ等の音声出力装置から再生出力される。

一方、カード種別ｂに対応する映像２として図７（ａ）のデータから人Ｂがおじぎをする映像が選択され、動画映像出力部６７、三次元動映像出力部６８により出力される映像を実際に撮影されている映像と合成して、所定の位置に映像を出力する（図８（ｂ））。また、図７（ｂ）からは、“ドウモ”と音声出力する音声ファイルが選択され、スピーカ等の音声出力装置から再生出力される。

更に、速度検出部６５により得られる２枚のカードの相対移動速度が０．５ｃｍ／ｓで、相互位置姿勢検出部６６から得られる相互位置が０．２ｃｍの位置にある場合、図７（ａ）からカード種別ａに対応する映像１として、人Ａと人Ｂとが握手をする映像が選択され、動画映像出力部６７、三次元動映像出力部６８により出力される映像を実際に撮影されている映像と合成して、例えば、カード８１−２よりに表示させる等の制御を行って映像を出力する（図８（ｃ））。また、図７（ｂ）から対応する音声として“ヨロシク”と音声出力する音声ファイルが選択され、スピーカ等の音声出力装置から再生出力される。

一方、カード種別ｂに対応する映像２としては、図７（ａ）のデータから出力される映像を表示しないよう設定されている。つまり、対応するカード種別ａの映像において、人Ａと人Ｂとが握手をしている映像を表示させるため、カード種別ｂは映像を表示させる必要がない。このように表示させることで、人物同士が抱き合ったり、人が自動車に乗り込むような映像等をより現実的な動作で表示することができ、より詳細な映像を高精度に表示させることができる。

また、図７（ｂ）から対応する音声として“ヨロシク”と音声出力する音声ファイルが選択され、スピーカ等の音声出力装置から出力される。

更に、速度検出部６５により得られる２枚のカードの相対移動速度が１５ｃｍ／ｓで、相互位置姿勢検出部６６から得られる相互位置が０．５ｃｍの位置にある場合、図７（ａ）からカード種別ａに対応する映像１として人Ａが転倒する映像が選択され、動画映像出力部６７、三次元動映像出力部６８により出力される映像を実際に撮影されている映像と合成して、所定の位置に映像を出力する（図８（ｄ））。また、図７（ｂ）から対応する音声として“ワー”と音声出力する音声ファイルが選択され、スピーカ等の音声出力装置から出力される。

一方、カード種別ｂに対応する映像２として図７（ａ）のデータから人Ｂが転倒する映像が選択され、動画映像出力部６７、三次元動映像出力部６８により出力される映像を実際に撮影されている映像と合成して、所定の位置に映像を出力する（図８（ｄ））。また、図７（ｂ）からは、“イタイ”と音声出力する音声ファイルが選択され、スピーカ等の音声出力装置から出力される。

このように、相対速度情報と相互位置姿勢情報に基づいて、映像、音声を選択することで、カードが１枚の場合より多様で高精度な映像、音声を出力することができる。これにより、ユーザが動かしたカードに対してインタラクティブ性に優れた高精度な映像や音声を出力することができる。

上述したように本発明によれば、特定の文字や模様等の識別情報が描かれたカードを撮影した映像から得られるカード情報と、カードの速度情報とに基づいて動画映像、三次元動映像、音声を選択して実際に撮影された映像信号に合成することで高精度に映像出力や音声出力を実現することができる。これにより、ユーザが動かしたカードに対してインタラクティブ性に優れた高精度な映像や音声を出力することができる。

更に、実際に撮影された映像信号に複数のカードが存在する場合に、カード間の相対速度情報や相互位置姿勢情報に基づいて、動画映像、三次元動映像、音声を選択して実際に撮影された映像信号に合成することでより高精度に映像出力や音声出力を実現することができる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

カードとカメラとの位置関係を示す一例の図である。 本発明における映像合成出力システムの一構成例を示す図である。 動画映像出力部及び三次元動映像出力部に夫々蓄積されている映像選択データの一例を示す図である。 本発明における音声再生出力システムの一構成例を示す図である。 音声再生出力部が有するデータの一例を示す図である。 本発明における映像合成・音声再生出力システムの一構成例を示す図である。 動画映像出力部、三次元動映像出力部、音声再生出力部に蓄積されている映像を選択するためのデータの一例を示す図である。 図７のデータ例に基づく映像出力、音声出力の一例を示す図である。

符号の説明

１１，２１，４１，６１，８１ カード
１２，２２，４２，６２ カメラ
２３，４３，６３ カード情報取得装置
２４ 映像合成出力装置
２５，４５，６５ 速度検出部
２６，６７ 動画映像出力部
２７，６８ 三次元動映像出力部
２８，７０ 映像合成出力部
４４ 音声再生出力装置
４６，６８ 音声再生出力部
６４ 映像合成・音声再生出力装置
６６ 相互位置姿勢検出部

Claims (9)

1. カードを撮影するカメラの映像信号によりカードの種類、三次元位置情報、及び姿勢情報からなるカード情報に基づいて、前記映像信号に他の映像信号を合成して出力するための映像合成出力装置において、
   前記カメラにより撮影される映像信号の所定のフレーム間隔におけるフレーム毎に得られる前記カード情報に基づいて、カードの速度を検出する速度検出部と、
   前記カード情報と前記速度検出部により得られる速度情報とに基づいて、合成する映像信号を選択して出力する映像出力部とを有することを特徴とする映像合成出力装置。
2. 前記映像出力部は、
   前記カード情報と前記速度検出部により得られる速度情報とに基づいて、動画映像を選択し、前記三次元位置情報と前記姿勢情報とに基づいて、前記動画映像の表示、非表示、大きさ、位置、方向を制御して出力することを特徴とする請求項１に記載の映像合成出力装置。
3. 前記映像出力部は、
   前記カード情報と、前記速度検出部により得られる速度情報と、色情報及び前記三次元位置情報から得られる接続情報とに基づいて三次元動映像を選択し、前記三次元位置情報と前記姿勢情報とに基づいて、前記三次元動映像の表示、非表示、大きさ、位置、方向を制御して出力することを特徴とする請求項１に記載の映像合成出力装置。
4. 前記カメラにより撮影される映像信号に複数のカードが存在する場合、
   前記速度検出部は、前記カード情報に基づいて前記複数のカード間の相対速度情報を検出することを特徴とする請求項１乃至３の何れか１項に記載の映像合成出力装置。
5. 前記複数のカードのカード情報からカード間の距離や姿勢情報からなる相互位置姿勢情報を検出する相互位置姿勢検出部を有することを特徴とする請求項４に記載の映像合成出力装置。
6. 前記映像出力部は、
   前記相対速度情報と前記相互位置姿勢情報とに基づいて、前記動画映像及び／又は前記三次元動映像を選択して出力することを特徴とする請求項５に記載の映像合成出力装置。
7. カードを撮影するカメラの映像信号によりカードの種類、三次元位置情報、及び姿勢情報からなるカード情報に基づいて、予め蓄積された音声を再生出力する音声再生出力装置において、
   前記カメラにより撮影される映像信号の所定のフレーム間隔におけるフレーム毎に得られる前記カード情報に基づいて、カードの速度を検出する速度検出部と、
   前記カード情報と前記速度検出部により得られる速度情報とに基づいて、音声ファイルを選択して再生出力する音声再生出力部とを有し、
   前記カメラにより撮影される映像信号に複数のカードが存在する場合、前記速度検出部は、前記カード情報に基づいて前記複数のカード間の相対速度情報を検出することを特徴とする音声再生出力装置。
8. 前記複数のカードのカード情報からカード間の距離や姿勢情報からなる相互位置姿勢情報を検出する相互位置姿勢検出部を有することを特徴とする請求項７に記載の音声再生出力装置。
9. 前記音声再生出力部は、
   前記相対速度情報と前記相互位置姿勢情報とに基づいて、前記音声ファイルを選択して出力することを特徴とする請求項８に記載の音声再生出力装置。

Images