JP3712538B2

JP3712538B2 - Spatial representation device with multiple video images

Info

Publication number: JP3712538B2
Application number: JP27221898A
Authority: JP
Inventors: 克之亀井
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1998-09-25
Filing date: 1998-09-25
Publication date: 2005-11-02
Anticipated expiration: 2018-09-25
Also published as: JP2000101913A

Description

【０００１】
【発明の属する技術分野】
この発明は、対象空間を移動しながら撮影したビデオ映像を用いて、再生時に空間上での移動速度を加減した場合、構造物の幾何学的な景観に加え、空間中の被写体の動きも正しく再現することの出来る複数のビデオ映像による空間表現装置に関するものである。
【０００２】
【従来の技術】
図１９は、特開平９−２２０３０８号公報に示された従来の技術を用いて構成した複数のビデオ映像による空間表現装置を示すブロック図である。図１９において、１はビデオ映像データおよびビデオ映像データの各フレームの撮影視点位置を記憶する記憶装置、２は表示する視点位置を入力する視点入力装置、３は視点入力装置２によって指定された視点に対しビデオ映像データの画像フレームをひとつ選択するフレーム選択装置、４は選択された画像フレームを表示する画像表示装置である。
【０００３】
図２０、図２１、図２２および図２３はこの複数のビデオ映像による空間表現装置の動作を示す説明図である。これらの図において５はビデオカメラ、６はビデオカメラ５の撮影経路、７はビデオカメラ５により撮影されたビデオ映像データ、８はユーザが指定する指定視点位置、９はビデオ映像データ７中の撮影視点８で撮影された画像フレーム、１０は撮影経路６上での各フレーム撮影時の撮影視点位置、１１は撮影視点位置１０の中で指定視点位置８に最も近い近接撮影視点、１２はビデオ映像データ７中の近接撮影視点１１で撮影された画像フレーム、１３は提示画像、１４は提示画像１３を指定視点位置８の変更に応じて随時更新することによって表現される生成映像、１５は空間内に存在する動きのある対象物の一例である木々である。
【０００４】
従来の複数のビデオ映像による空間表現装置は、ビデオカメラ５で対象となる空間内の撮影経路６上で撮影されたビデオ映像データ７から、ユーザが指定した指定視点位置８での情景画像を随時生成することによって、ビデオ映像データ７を用いて対象空間を表現しようとするものである。
【０００５】
以下、この複数のビデオ映像による空間表現装置の動作について説明する。
図２０に示すように、撮影経路６上で撮影されたビデオ映像データ７が記憶装置１内に蓄えられている。図２１に示すように視点入力装置２で指定視点位置８を指定すると、フレーム選択装置３によって記憶装置１に記憶された撮影視点位置１０の位置情報を参照し、撮影視点位置１０の中から指定視点位置８に一致するか、あるいは経路上で越える近接撮影視点１１を検出する。その近接撮影視点１１において撮影されたビデオ映像データ７中の１フレームである画像フレーム１２を記憶装置１から読み出す。読み出された画像フレーム１２は画像表示装置４によりユーザに提示画像１３として提示される。
【０００６】
【発明が解決しようとする課題】
従来の複数のビデオ映像による空間表現装置は以上のように構成されていたので、ユーザの指定した指定視点位置８と撮影視点位置１０の位置関係のみによって画像フレーム１２を選択し、これを提示画像１３としている。このため、各画像フレーム１２の撮影時刻は考慮されず、画像フレーム１２はその撮影時刻に無関係に選択され、提示画像１３として提示されることになる。撮影した対象空間が街並みや自然の景勝など現実の環境である場合、その中には風に揺れる木の葉など動きのある対象事物が存在する場合が多いが、このような場合に従来では前記対象事物の動きを忠実に再現することは出来ず、生成映像１４によって表現される空間に現実感が伴わないという課題があった。
【０００７】
この対象事物の動きを忠実に再現することが出来ないという点に関し、さらに詳しく説明すると、例えば、図２２に示すように、指定視点位置８が図中、符号８ａ，８ｂ，８ｃで示される視点位置へ移動した場合、近接視点位置１１ａ，１１ｂ，１１ｃが順次選択され、画像フレーム１２ａ、１２ｂ，１２ｃが提示画像１３ａ，１３ｂ，１３ｃとして生成映像１４を構成する。このように、撮影経路６上を撮影時より高速に指定視点位置８に移動させた場合、ビデオ映像データ７中のフレームが間引かれて生成映像１４が生成されることになり、空間中の対象事物、例えば風にそよぐ木々１５の動きが実際の動きよりも速いものになってしまう。
【０００８】
また、逆に、図２３に示すように、撮影経路６上を撮影時より低速で指定視点位置８が図中、符号８ａ，８ｂ，８ｃで示す視点位置へ移動した場合、近接視点位置１１は同一のものが選択され、その画像フレーム１２が連続して提示画像１３ａ，１３ｂ，１３ｃとなる。このため、生成映像１４では、そよいでいるはずの木々１５が静止してしまう。このように、現実の環境を忠実に再現できない課題があった。
【０００９】
この発明は上記のような課題を解決するためになされたものであり、再現時の視点の位置と移動速度に応じ、空間中に存在する事物の動きなどを忠実に再現して現実の環境を忠実かつ不自然さ無く再現した映像を生成できる複数のビデオ映像による空間表現装置を得ることを目的とする。
【００１０】
【課題を解決するための手段】
この発明に係る複数のビデオ映像による空間表現装置は、対象空間において異なる撮影速度で撮影されたビデオ映像データを用い、指定された指定視点の位置と、前記指定視点の移動速度に合致する画像フレームを前記ビデオ映像データの中から選択し、提示するようにしたものである。
【００１１】
この発明に係る複数のビデオ映像による空間表現装置は、ビデオ映像データの選択において、指定された視点の移動速度とビデオ映像データの撮影速度との比が１に最も近くなるビデオ映像データを選択するようにしたものである。
【００１２】
この発明に係る複数のビデオ映像による空間表現装置は、ビデオ映像データの中から、指定された視点位置に最も近い撮影視点位置の画像フレームを選択するようにしたものである。
【００１３】
この発明に係る複数のビデオ映像による空間表現装置は、撮影経路は直線であり、その直線上、光軸を進行方向に向けて移動しながら撮影されたビデオ映像データを用いるようにしたものである。
【００１４】
この発明に係る複数のビデオ映像による空間表現装置は、画像提示に用いられていたビデオ映像データを新たなビデオ映像データに変更する際、提示されていた画像フレームと新たなビデオ映像データから選択された画像フレームとの不一致度を計算し、この不一致度の大きさが、前記提示されていた画像フレームと前記新たなビデオ映像データから選択された画像フレームとが不一致であることを示していると、前記新たなビデオ映像データへの変更を行わないようにしたものである。
【００１５】
この発明に係る複数のビデオ映像による空間表現装置は、画像フレーム間の不一致度を、前記画像フレーム間の各画素についての画素値の差の二乗の総和により計算するようにしたものである。
【００１６】
この発明に係る複数のビデオ映像による空間表現装置は、画像提示に用いられていたビデオ映像データを新たなビデオ映像データに変更する際、その変更点からあらかじめ定められた提示画像数分だけ、以前に用いられていたビデオ映像データと新たに選択されたビデオ映像データとからそれぞれ画像フレームを選択し、それらを合成して新たな提示画像とするようにしたものである。
【００１７】
この発明に係る複数のビデオ映像による空間表現装置は、画素値の混合によって画像フレームの合成を行い、以前に用いられていたビデオ映像データの画像フレームに対し、新たに選択されたビデオ映像データの画像フレームの画素値の混合比率を徐々に上げていくようにしたものである。
【００１８】
この発明に係る複数のビデオ映像による空間表現装置は、ビデオ映像データの撮影時の移動速度である撮影速度を一定倍ごとに変えるようにしたものである。
【００１９】
この発明に係る複数のビデオ映像による空間表現装置は、ビデオ映像データの撮影時の移動速度を２倍ごとに変えるようにしたものである。
【００２０】
【発明の実施の形態】
以下、この発明の実施の一形態について説明する。
実施の形態１．
図１は、この実施の形態１の複数のビデオ映像による空間表現装置の構成を示すブロック図であり、図において１６は異なる撮影速度で撮影された複数のビデオ映像データおよびビデオ映像データの各画像フレームの撮影視点位置を記憶する記憶装置（記憶手段）、１７は視点の移動速度を入力する速度調整装置（速度調整手段）、１８はビデオ映像データの次に提示する画像フレームを順次選択するフレーム選択装置（フレーム選択手段）、１９は選択された画像フレームを提示画像として表示する画像表示装置（画像表示手段）である。
【００２１】
図２から図６、および図８は、この実施の形態１の複数のビデオ映像による空間表現装置の動作を示す説明図、図７はビデオ映像データに対するフレーム数と撮影速度と各画像フレームの視点位置のデータを示す説明図である。これらの図において、図６に示す符号２０はフレーム選択装置１８により選択された画像フレーム、図２、図４および図６に示す符号２１は撮影経路６の始点、図３および図５に示す符号２２は視点位置と撮影速度のグラフ上で画像フレーム９を表す点、２３は視点位置と撮影速度のグラフ上でｋ個目のビデオ映像データ７を表す点群、図５に示す符号２４は視点位置と撮影速度のグラフ上で指定視点位置８と指定した移動速度を表す点、図６に示す符号２５は指定した移動速度に最も近い撮影速度で撮影されたビデオ映像データ、図５に示す符号２６は視点位置と撮影速度のグラフ上でビデオ映像データ２５を表す点群、２７は視点位置と撮影速度のグラフ上でビデオ映像データ２５のうち視点位置が最も指定視点位置８に近い画像フレーム２０を表す点、図４および図６に示す符号２８は指定視点位置８を移動させる速度を表す速度ベクトルである。
【００２２】
次に、動作について説明する。
この複数のビデオ映像による空間表現装置は、対象の動きを忠実に再現するため、速度を変えて撮影経路６上で複数回撮影したビデオ映像データ７を用い、空間再現時の視点位置とその移動速度に最も合致する前記ビデオ映像データ２５の画像フレーム２０を提示画像１３とすることで生成映像１４を構成する。このため視点の移動速度を途中で変更しても、対象事物の動きは、それに近い移動速度で撮影されたビデオ映像データ２５によって再現され、これにより、生成映像１４によって表現される空間の現実味が保たれる。
【００２３】
説明を簡単にするため、撮影経路６はｘ軸上の直線とし、始点２１を原点上におき、ｘ軸正方向に向かうものとする。また、映像撮影時のビデオカメラ５の光軸方向もｘ軸正方向に固定として考える。Ｋ回撮影するとして、各ビデオ映像データ７について、その撮影時の移動速度は一定値Ｖ_k （ｋ＝１，２・・・Ｋ）とする。ここで、ｋが大きいほど撮影時の移動速度Ｖ_k も大きいとする。なお、ビデオ映像データ７は常に光軸をｘｙ平面に平行とし、その水平軸を水平面であるｘｙ平面に平行に撮影されるとして考える。ｋ個目のビデオ映像データ７は、図２に示すように撮影速度Ｖ_k により撮影され、Ｎ_k 枚の画像フレームとして構成される。この画像フレームをＩ_kn（ｎ＝１，２・・・Ｎ_k ）と表す。Ｉ_knは、ｋ個目のビデオ映像データ７のｎ番目の画像フレーム９である。画像フレームＩ_knの撮影視点１０をｐ_kn，ｘ座標値をｘ_knで表す。
【００２４】
撮影位置と撮影速度との関係をグラフに示すと図３のようになる。グラフ上の点２２がひとつの画像フレーム９に対応し、連続して並ぶ点群２３がひとつのビデオ映像データ７に対応する。
【００２５】
このとき、図４に示すように、指定視点位置８を撮影経路６上、任意の速度ｖ_q で移動させた際の映像を、前記Ｋ個のビデオ映像データ７から生成する。なお、指定視点位置８はｑ、そのｘ座標値をｘ_q で表す。また、提示画像１３をＪとする。さらに、提示画像１３からなる生成映像１４は、ビデオ映像データ７とフレーム速度（単位時間当たりに撮影あるいは提示される画像フレーム枚数）を同一に生成するものとする。
【００２６】
指定視点位置ｑがｘ_q にあり、移動速度ｖ_q であるとき、図５に示すように、視点位置と移動速度のグラフ上では、対応する点２４で表現される。このとき、図５、図６に示すように、その移動速度ｖ_q に近い撮影速度で撮影されたビデオ映像データ２５に対応する点群２６の、最も視点位置の近い点２７に対応する画像フレーム２０を提示画像１３として選択する。これにより、視野や被写体の動き具合も合致する提示画像１３が得られる。移動速度ｖ_q が急激に変化しない場合、ある程度連続して同一のビデオ映像データ２５から画像フレームが選択されることになり、情景や被写体の動きが正しく再現される。このようにして、移動速度可変な生成映像１４を得ることが出来る。
【００２７】
次に、以上の動作を図９のフローチャートに従って説明する。
初期状態として、Ｋ個のビデオ映像データ７と、図７に示す各ビデオ映像データ７に対するフレーム数と撮影速度と各画像フレームの視点位置のデータが記憶装置１６に記憶されているとする。ビデオ映像データ７はビデオカメラ５によって撮影されたものである。
【００２８】
撮影速度は、例えば、ビデオカメラ５を台車にのせ、その車輪の回転速度が一定になるようにモータまたは人手により移動させることで値を定める。また、逆に、移動速度がほぼ一定とみなせるような場合には、撮影経路６の長さを、そこを移動するのに要した時間で除して求めた平均的な移動速度を用いてもよい。
【００２９】
視点位置は、例えば、ＧＰＳ装置によって計測して入力、あるいは、先に入力したビデオ映像データ７の映像内容から、既知の点の画像中の位置から計算によって求めてもよい。また、撮影経路６を、撮影した画像フレーム数で等分して撮影視点位置としてもよい。
【００３０】
先ずステップＳＴ１では、提示に用いるビデオ映像データの番号を示す変数ｋと画像フレームの番号を示す変数ｎを初期設定する。これは処理開始時の提示映像と視点位置を指示するもので、例えばｋは最低速度のビデオ映像データとして「１」に、ｎはその最初のフレームとして「１」に設定する。同時に、撮影経路６（ｘ軸上）上の視点ｑのｘ座標を示す変数ｘ_q をｐ_k1（始点２１）のｘ値である「０」に初期設定する。
続くステップＳＴ２では、フレーム選択装置１８により記憶装置１６に格納されたｋ個目のビデオ映像データ７からｎ番目の画像フレームＩ_knを読み出す。
【００３１】
ステップＳＴ３では、画像フレームＩ_knを提示画像Ｊとして画像表示装置１９により表示する。ただし、ここでは映像のフレーム描画速度を同一にするため、前回描画時の画像から今回の画像へ描画を所定のタイミングで切り替える。すなわち、１秒間に３０フレームというフレーム描画速度のビデオ映像データを用いている場合、１／３０秒ごとに新たな画像を描画することになる。ここでは、ステップＳＴ２からステップＳＴ８までの処理サイクルが、充分この１／３０秒内に実行できるものとする。
【００３２】
ステップＳＴ４では、処理を続行するかどうかを判定する。これには、あらかじめ指定した終了を示すキーボード入力等がなされているかどうかをチェックし、なされていれば終了、そうでなければステップＳＴ５に進むというように構成する。また、ｘ座標が撮影経路６を越えている場合も処理を終了する。
【００３３】
ステップＳＴ５では、速度調整装置１７により指定視点位置８の撮影経路６上の移動速度ｖ_q を入力する。これは、例えば、マウスやキーボードなどの入力デバイスによって実行される。ステップＳＴ４到達時点で、例えば、前回のｖ_q をデフォルト値に定め、特定のキー入力があればｖ_q を大きく、あるいは小さく変更するというように構成し、ｖ_q の入力待ちにはならないようにする。
【００３４】
ステップＳＴ６では、指定視点位置８を更新する。これは、ステップＳＴ５にて入力された移動速度ｖ_q によりフレーム描画速度を考慮し、次回の画像提示時における指定視点位置８の位置を求めるものである。前記同様、１秒間に３０フレームというフレーム描画速度であり、移動速度ｖ_q が秒速を示す場合、ｘ_q ←ｘ_q ＋ｖ_q ／３０となる。
【００３５】
ステップＳＴ７では、フレーム選択装置１８により提示画像１３に用いるビデオ映像データ２５を選択する。これは、例えば、移動速度ｖ_q とｉ個目のビデオ映像データの撮影速度Ｖ_i との比率ｖ_q ／Ｖ_i を考え、選択するビデオ映像データ２５は、この比率が最も１に近くなるものとする。このｖ_q ／Ｖ_i は、生成映像１４上での被写体の見かけの動きの変化倍率となるからである。そこで、各ｉ（ｉ＝１，２・・・Ｋ）について
【００３６】
【数１】

【００３７】
を考え、これが最小となるｉの値に変数ｋを更新する。
さらに、ステップＳＴ８では、選択されたｋ個目のビデオ映像データ２５から、視点位置が最もｘ_q に近い画像フレーム２０をフレーム選択装置１８により選択する。これは、
【００３８】
【数２】

【００３９】
を満足するｎ番目の画像フレームである。ただし、添え字ｋはステップＳＴ７で得たｋの値である。この後、ステップＳＴ２に戻る。
【００４０】
この結果、指定された移動速度Ｖ_q に合致した速度で撮影されたビデオ映像データ２５を用いて生成映像１４を生成することが出来、木々１５など対象事物の動きの速度も撮影時の速度に合わせることが出来、空間中に存在する事物の動きを忠実に再現した映像を生成できる。
【００４１】
生成映像１４の一例を図８に示す。指定視点の位置を指定視点位置８ａから指定視点位置８ｂ，８ｃまでは低速に、指定視点位置８ｄ，８ｅでは高速に、それぞれ速度ベクトル２８ａ，２８ｂ，２８ｃ，２８ｄ，２８ｅで移動させたとき、指定視点位置８ａ，８ｂ，８ｃでは、その速度に合致するビデオ映像データ２５ａ、指定視点位置８ｄ，８ｅでは、その速度に合致するビデオ映像データ２５ｂの、それぞれ画像フレーム２０ａ，２０ｂ，２０ｃ，２０ｄ，２０ｅが提示画像１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅとして選択され、生成映像１４が得られる。この結果、生成映像１４は、常に指定視点位置８の移動速度に合ったビデオ映像データ２５の画像フレーム２０で構成されることになり、被写体の正しい動きが再現され、例えば、木々に囲まれた環境内を歩調を任意に変えて散策する感覚を与える空間表現装置を構成することが可能になる。
【００４２】
以上のように、この実施の形態１によれば、指定視点位置の移動速度を変更した場合に、その移動速度に合致した速度で撮影されたビデオ映像データ２５を用いて生成映像１４を生成するので、指定視点位置の移動速度の変更に対しビデオ映像データに示された対象物の動き、例えば木の葉の揺れ具合など生成映像として正しく再現できる複数のビデオ映像による空間表現装置が得られる効果がある。
【００４３】
実施の形態２．
図１０は、この実施の形態２の複数のビデオ映像による空間表現装置を示すブロック図であり、図１０において図１と同一または相当の部分については同一の符号を付して説明を省略する。図１０において２９は画像フレーム間の不一致度を計算する不一致度計算装置（不一致度計算手段）である。
【００４４】
図１１および図１２は、この実施の形態２の複数のビデオ映像による空間表現装置の動作についての説明図であり、これらの図において３０は現在用いているビデオ映像データ２５から提示画像１３とした画像フレーム、３１は新たに選択されたビデオ映像データ、３２はビデオ映像データ３１の画像フレーム、３３は現在用いているビデオ映像データ２５から新たに選択した画像フレーム、３４はビデオ映像データを切り替える移行点、３５は図１１に示す画像フレーム３０または画像フレーム３２に写された移動する事物である。
【００４５】
この実施の形態２の複数のビデオ映像による空間表現装置においては、指定された移動速度が変更になり、それに伴って使用するビデオ映像データも変更する場合、現在の提示画像と新たに選択された画像フレームの不一致度を計算し、それが大きい場合はビデオ映像データの変更をやめ、それまで使用していたビデオ映像データから画像フレームを選択し直して提示画像とすることにより、生成映像の画質を保った空間表現装置を得るものである。
【００４６】
前記実施の形態１と同様に、ビデオ映像データ７をＩ_kn（ｋ＝１，２・・・Ｋ、ｎ＝１，２・・・Ｎ_k ）、提示画像１３をＪとする。前記実施の形態１の説明で記したとおり、映像生成の過程で、指定した速度Ｖ_q が変更になった場合、それに合わせて適切なビデオ映像データ２５に変更するように構成している。しかしながら、ビデオ映像データを切り替える場合、両者での対象被写体の状態や、人や物の往来、この他、照度条件の違いなどにより、生成映像１４に不連続が発生する可能性が出てくる。
【００４７】
そこで、この実施の形態２においては、ビデオ映像データの切替え時に、現在の提示画像１３である画像フレーム３０と新たに選択されたビデオ映像データ３１の画像フレーム３２との不一致度を計算する。図１１に示すように画像フレーム中の移動する事物３５などの影響により画像フレーム間で不一致度が大きくなる場合、ビデオ映像データの切り替えを行わず、それまで用いていたビデオ映像データ２５から画像フレーム３３を選択して提示するように構成する。
【００４８】
ここで、映像生成の動作を図１３のフローチャートに従って説明する。
図１３のフローチャートに示す動作は、図９に示した前記実施の形態１の動作を示すフローチャートにステップＳＴ２００を追加し、さらにステップＳＴ７に代えてステップＳＴ２０１からステップＳＴ２０６を追加したものであり、図９と重複するステップについては同一の符号を付して説明を省略する。
【００４９】
ステップＳＴ２００では、画像の不一致度の判定しきい値Ｅを設定する。この判定しきい値Ｅは、例えば、ある指定視点位置の位置Ｘで撮影されたいくつかの画像フレーム９を切り替えて提示比較し、不一致が顕著となる最低の２枚の画像フレームについて、その各画素値の差の二乗の総和に設定する。
【００５０】
ステップＳＴ２０１では、移動速度ｖ_q で撮影されたビデオ映像データを選択する。そして移動速度により、図９のフローチャートに示すステップＳＴ７で用いた式（１）と同様に、
【００５１】
【数３】

【００５２】
となるｉの値を変数ｋ_new に格納する。
ステップＳＴ２０２では、変数ｋ_new が変数ｋと一致するかどうかを判定し、一致する場合はステップＳＴ８に進み、一致しない場合にはステップＳＴ２０３へ進む。
【００５３】
ステップＳＴ２０３では、新たに選択されたｋ_new 個目のビデオ映像データ３１から、ステップＳＴ８の説明に用いた式（２）と同様に、
【００５４】
【数４】

【００５５】
を満足するｎ_new 番目の画像フレーム３２を選択する。
ステップＳＴ２０４では、不一致度計算装置２９により、提示画像１３である画像フレーム３０と画像フレーム３２の不一致度ｅを計算する。これは、例えば画素ごとに画素値の差の二乗をとり、この値の総和とする。
【００５６】
ステップＳＴ２０５では、不一致度ｅが判定しきい値Ｅ以下かどうかを判定する。この結果、「ＹＥＳ」であればステップＳＴ２０６に進み、「ＮＯ」であれば不一致度が大きいとして、ｋ_new 個目のビデオ映像データ３１への移行を見送り、ステップＳＴ８に進む。
【００５７】
このステップＳＴ８ではｋ個目のビデオ映像データ２５から画像フレーム３３を選択する。
【００５８】
一方、ステップＳＴ２０６では、ｘを移行点３４として、ｋ_new 個目のビデオ映像データ２６に切り替えるため、ｋをｋ_new に、ｎをｎ_newに更新する。この後、ステップＳＴ２に戻る。
【００５９】
図１２は、以上の動作を示す説明図である。
指定視点位置を８ａから８ｂ，８ｃ，８ｄ，８ｅまで速度ベクトル２８ａ，２８ｂ，２８ｃ，２８ｄ，２８ｅで移動させたとき、指定視点位置８ｄで、その速度に合致するビデオ映像データ３１の画像フレーム３２ｄが選択されるが、前回の提示画像である画像フレーム３０ｃとでは移動事物３５による不一致度が大きく、このためビデオ映像データ２５の画像フレーム３３が選択されて提示画像１３ｄとなる。次のサイクルでは、画像フレーム３２ｅと画像フレーム３０ｄとの不一致度が小さく、ここを移行点３４として画像フレーム３２ｅを提示画像１３ｅとして生成映像１４を生成していく。
【００６０】
以上のように、この実施の形態２では、画像フレームの不一致度が小さくなる移行点３４においてビデオ映像データを切り替えることになり、顕著な不連続が生じないように生成映像を構成できる複数のビデオ映像による空間表現装置が得られる効果がある。
【００６１】
実施の形態３．
図１４はこの実施の形態３の複数のビデオ映像による空間表現装置を示すブロック図であり、図１４において図１と同一または相当の部分については同一の符号を付し説明を省略する。図１４において、３６は２つの画像フレームから生成画像を合成する画像合成装置（画像合成手段）である。
【００６２】
図１５は、この実施の形態３の動作を示す説明図であり、図１５において図１２と同一または相当の部分については同一の符号を付し説明を省略する。図１５において、３７は移行前に選択されていたビデオ映像データ２５の指定視点位置８に最も近い視点の画像フレーム、３８は２つの画像フレーム３２，３７を合成して得られる合成画像である。
【００６３】
この実施の形態３の複数のビデオ映像による空間表現装置は、生成映像におけるビデオ映像データの移行点において、所定のフレーム幅で徐々に映像を変化させるように移行させていくものである。ビデオ映像データの移行点においては、必ずしも不連続が知覚されないとは限らない。そこで、不連続を顕著にさせないため、一方から他方の映像に徐々に変化させていく。
【００６４】
次に、動作について説明する。
図１６は、この実施の形態３の動作を示すフローチャートである。なお、図９に示す前記実施の形態１の動作を示すフローチャート、および図１３に示す前記実施の形態２の動作を示すフローチャートと同一なステップについては同一の符号を付し説明を省略する。
先ず、ステップＳＴ３０１では、移行領域か否かを示す変数Ｒを「０」に初期化する。この変数Ｒが「０」のときは通常の画像生成を行い、また正のときは移行領域とみて２つの画像フレームを合成して生成画像を得る。
ステップＳＴ３０２では、前記変数Ｒにより移行領域か否かを判定するが、最初の処理では変数Ｒが「０」であるから、通常のステップＳＴ３に進む。
【００６５】
ステップＳＴ３からステップＳＴ２０２の処理を実行し、ステップＳＴ２０２でｋ_new がｋと一致しない場合にはステップＳＴ３０３へ進み、ステップＳＴ３０３では、ここから移行領域が開始すると判断し、変数ＲをＷとする。このＷは正の整数で、２つの画像フレームを合成して生成する生成画像のフレーム数、すなわち移行領域の幅である。この値Ｗはあらかじめ定めておくもので、例えば０．５秒間に対応する１５フレームというようにする。
また、ｋの値をｋ_old に移し、ｋ_new の値を新たにｋに格納する。この後ステップＳＴ８へ進む。
【００６６】
このステップＳＴ８では、ｋ個目のビデオ映像データから画像フレームを選択するので、ステップＳＴ３０３を経由した場合は、ｋ＝ｋ_new 個目のビデオ映像データ３１から画像フレーム３２を選択することになる。
【００６７】
一方、ステップＳＴ３０２において変数Ｒが「０」でなければ、移行領域であるのでステップＳＴ３０４以下の移行領域の処理を行う。
ステップＳＴ３０４では、ステップＳＴ８と同様にｋ_old 個目のビデオ映像データ３１から、視点位置が最も符号３４で示す移行点ｘに近い画像フレーム３７を選択する。これは、
【００６８】
【数５】

【００６９】
を満足するｎ_old 番目の画像フレームである。
続くステップＳＴ３０６では、画像合成装置３６において新たに選択されたｋ個目のビデオ映像データ３１のｎ番目の画像フレーム３２およびｋ_old 個目のビデオ映像データ２５のｎ_old 番目の画像フレーム３７を
【００７０】
【数６】

【００７１】
のように関数ｆで合成した合成画像３８を得て、これを提示画像１３とする。これは、変数Ｒに従って徐々に移行後の映像フレームの比率を高めていくことになり、Ｗフレーム目以後で完全に移行後の映像に切り替わる。なお、この式（６）において画像フレームに対する係数は、画像の画素値に係数を乗算することを表す。
【００７２】
ステップＳＴ３０７では、合成画像３８を提示画像１３として画像表示装置１９により表示する。この場合もフレーム速度を撮影時の値に一致させる。
ステップＳＴ３０８では、変数Ｒを「１」減じる。ここまでが移行領域の処理で、この後、ステップＳＴ４へ進む。
【００７３】
以上、説明した動作についての説明図が図１５であるが、指定視点位置８ａでは速度ベクトル２８ａによりビデオ映像データ２５の画像フレーム２０ａが提示画像１３ａとなるのに対し、指定視点位置８ｂでは速度ベクトル２８ｂが変化し、ビデオ映像データ３１への移行点３４となる。このとき、ビデオ映像データ３１の画像フレーム３２とビデオ映像データ２５の画像フレーム３７とにより合成画像３８を作成し、これを提示画像１３ｂとする。この合成処理は、移行点３４以降、Ｗフレーム分の提示画像に対して行われる。
【００７４】
以上、述べたように、この実施の形態３においては、映像を移行する移行点において、幅Ｗフレームの移行領域を設定し、その領域で移行前後の映像をなめらかに徐々に変化させるようにしたため、移行部が顕著に目立つことがない生成映像を合成する複数のビデオ映像による空間表現装置が得られる効果がある。
【００７５】
実施の形態４．
図１７は、この実施の形態４の複数のビデオ映像による空間表現装置を示すブロック図であり、図１７において図１と同一または相当の部分については同一の符号を付し説明を省略する。図１７において、４４は複数のビデオ映像データを入力するビデオ映像入力装置（ビデオ映像入力手段）である。
【００７６】
図１８は、この実施の形態４の動作を示す説明図である。図１８において図２と同一または相当の部分については同一の符号を付し説明を省略する。図１８において、３９はｋ＋１個目のビデオ映像データ、４０はｋ個目のビデオ映像データ、４１はｋ＋１個目のビデオ映像データ３９撮影時の速度Ｖ_k+1 を表す速度ベクトル、４２はｋ個目のビデオ映像データ４０撮影時の速度Ｖ_k を表す速度ベクトル、４３は撮影経路６の終点である。
【００７７】
この実施の形態４は、あらかじめビデオ映像データの撮影速度を定めておき、ビデオ映像入力装置４４によりビデオ映像データを入力して記憶装置１６に格納するものである。なお、ビデオ映像データ入力後の空間表現の動作は図９のフローチャートに示す前記実施の形態１の動作と同一である。
【００７８】
移動速度があらかじめある範囲にある場合、例えば、自動車や列車運転時の景観の再現または景勝地の歩行観光の再現という場合は、おのずから、そのとり得る最低速度と最高速度が決まり、これに合わせてＫの値と各撮影速度Ｖ_k を決定することが課題となる。
この実施の形態４においては、とり得る最低速度をＶ₁ とし、以降、これをもとに、ｋ＋１個目のビデオ映像データ３９の撮影速度Ｖ_k+1 が、ｋ個目のビデオ映像データ４０の撮影速度Ｖ_k の一定値ｒ倍となるように、つまり、Ｖ_k+1 ＝ｒ・Ｖ_k と設定していく。このようにして、Ｖ_k がとり得る最高速度以上の値になったときに、そのｋをＫとする。この倍率ｒの値は１より大きければよいので、例えば２とする。
【００７９】
撮影速度Ｖ_k のビデオ映像データを選択して、その画像フレームにより移動速度ｖ_q の生成映像１４を得る場合、生成映像１４上の被写体の見かけの動きは、実際の動きのｖ_q ／Ｖ_k 倍となる。この値が１に近いほどよいから、式（１）に示したｖ_q ／Ｖ_k と１との差の絶対値｜（ｖ_q ／Ｖ_k ）−１｜を考え、これを誤差比率とする。このような撮影速度Ｖ_k 設定手法によれば、Ｖ_k ≦ｖ＜Ｖ_k+1 ＝ｒＶ_k の範囲に速度値Ｖがある場合、その速度値Ｖが誤差比率の最大値ｓを与えるならば、以下の式が成り立つ。
【００８０】
【数７】

【００８１】
これよりｓを求めると、
【００８２】
【数８】

【００８３】
となり、Ｖ_k にはよらない。従って、この実施の形態４では、式（１）の条件によりビデオ映像データ２５を選択することにより、被写体の見かけの動きを実際の動きの｜１±（ｒ−１）／（ｒ＋１）｜倍の範囲、ｒが２の場合、０．６７倍から１．３３倍の範囲内に常に抑えることが出来る。
【００８４】
また、図１８に示すように、撮影経路６は始点２１から終点４３まで固定であるので、それぞれ撮影時の速度ベクトル４１，４２に従って撮影視点位置１０が設定される。Ｖ_k+1 がＶ_k の２倍とした場合、画像フレーム数は、ｋ＋１個目のビデオ映像データ３９では、ｋ個目のビデオ映像データ４０の１／２となる。従って、ｋが１からＫまでの総計でも、１個目のビデオ映像データの画像フレーム数の２倍以内に収めることが出来る。
【００８５】
また、一般的に撮影速度をｒ倍として撮影した場合は、画像フレームの総計はｒ／（ｒ−１）倍以内となる。
【００８６】
そして、以上述べた方式に従い、ビデオ映像入力装置４４は、撮影経路６上それぞれｒ倍である撮影速度でビデオ映像データ７を撮影し、そのビデオ映像データ７ならびに撮影速度、視点位置情報を記憶装置１６に記憶する。
【００８７】
以上のように、この実施の形態４においては、ビデオ映像データ７の撮影速度をそれぞれ一定値倍ごとになるように設定したため、与えられた速度の範囲内で、被写体の動きの誤差比率を一定限度内に抑え、かつ、データ量が少なくてすむ複数のビデオ映像による空間表現装置が得られる効果がある。
【００８８】
実施の形態５．
なお、以上説明した各実施の形態における記憶装置１６は、計算機の主記憶装置、磁気ディスク装置、またはビデオテープ装置やビデオテープのいずれかを使用することが出来る。
【００８９】
実施の形態６．
また、前記実施の形態では、速度調整装置１７、フレーム選択装置１８、不一致度計算装置２９、画像合成装置３６などの装置を用いる構成であったが、これらの動作を計算機によりソフトウェアで実行するように構成してもよい。
【００９０】
実施の形態７．
また、前記各実施の形態では、生成映像１４のフレーム速度をビデオ映像データ７と同一としたが、これを異なるように構成してもよい。
【００９１】
実施の形態８．
また、前記各実施の形態では、撮影経路６を直線としたが、これに限るものでなく、曲線に設定しても、その曲線状の撮影経路の始点２１からの経路上の距離をｘで置き換えることによって、同様に実行できる。
また、任意の撮影経路を区分的に線分で表し、それぞれの線分に対して実行するように構成してもよい。
【００９２】
実施の形態９．
また、前記各実施の形態では、ビデオカメラ５の光軸方向をｘ軸方向として説明したが、これに限るものでなく、例えば、ｘ軸に直交する方向などとしても、同様に実行できる。
【００９３】
実施の形態１０．
また、前記各実施の形態では、画像フレーム９と提示画像１３とのサイズと画角を同一として説明したが、ビデオ映像データ７を大きなサイズと画角で撮影し、その一部を適宜抽出して提示画像１３とすることにより、映像生成時に視線の変化を表現することも出来る。
【００９４】
実施の形態１１．
また、前記各実施の形態では、ビデオ画像データと提示画像の水平軸を水平面に平行として説明したが、それに限るものではない。
【００９５】
実施の形態１２．
また、前記各実施の形態では、各ビデオ画像データの撮影速度Ｖ_k をそれぞれ一定として説明したが、それに限るものではなく、撮影経路上で速度を変化させても、視点位置に対する速度が明らかになっていて、かつ、各視点位置にて複数の速度のビデオ映像データが存在するようにすれば、同様に動作させることが出来る。
【００９６】
実施の形態１３．
また、前記各実施の形態では、式（１）によりビデオ映像データを選択するように構成したが、これに限るものでなく、例えば、速度の差｜Ｖ_k −ｖ_q ｜が最小となるビデオ映像データを選択するように構成してもよい。この場合も、前記実施の形態４におけるビデオ映像データの撮影速度の決定方式により、被写体の動きの誤差比率の範囲が限定されることに変わりはない。
【００９７】
実施の形態１４．
また、前記実施の形態３では、画像合成装置３６の行う演算を式（６）に示す画素値の補間混合として説明したが、合成する２つの変換画像間で被写体中の同一点を表す特徴点の対応付けを行い、それらが同一画素に置かれるように、互いを移動、変形させてから画素値を混合する、いわゆるモーフィングにより行うように構成してもよい。
【００９８】
実施の形態１５．
また、前記実施の形態２では、不一致度計算装置２９により画像フレーム間の各画素について画素値の差の二乗の総和を不一致度の尺度として計算したが、これに限るものではなく、例えば、各画素値の差の絶対値の総和、あるいは、画素値の差がある一定値より大きい画素の数を不一致度の尺度として計算するように構成してもよい。
【００９９】
実施の形態１６．
また、前記実施の形態２では、不一致度計算装置２９による不一致度の計算は新たなビデオ映像データの画像フレームを選択するごとに行なったが、あらかじめ視点位置に近い画像フレーム間で不一致度の計算とそれによる移行可能な視点位置の領域を求めておき、映像生成の動作中はその結果を参照しつつ移行させるかどうかを判定するような構成にしてもよい。
【０１００】
実施の形態１７．
また、前記実施の形態４では、ビデオ映像データの撮影速度Ｖ_k の倍率をあらかじめ決定するように説明したが、被写体の動きの誤差比率の許容値や画像フレームに対する記憶容量によって、逆に撮影速度の倍率を計算するように構成してもよい。
【０１０１】
実施の形態１８．
また、前記各実施の形態では、常に式（１）によりビデオ映像データを選択するように構成したが、ｖ_q がｋ個目のビデオ映像データとｋ＋１個目のビデオ映像データが選択される境界近傍の値であって、かつ、細かく変化するような場合、提示に用いられるビデオ映像データが頻繁に切り替わるのを防ぐため、現在選択されているｋ個目のビデオ映像データを優先するように、ｋ個目のビデオ映像データに対してのみα＞０なるαを用いて、
【０１０２】
【数９】

【０１０３】
として構成してもよい。
【０１０４】
また、同じ理由により、ｋ個目のビデオ映像データが新たに選択された場合、そこから少なくともある一定数の提示画像をｋ個目のビデオ映像データを用いて生成するように構成してもよい。
【０１０５】
【発明の効果】
以上のように、この発明によれば、撮影時の移動速度が異なる複数のビデオ映像データの中から、指定視点の位置と前記指定視点の移動速度に合致する画像フレームを選択し、提示し、生成映像を作成するように構成したので、指定された視点位置、移動速度に合致した画像フレームを選択することが出来、視点の移動速度を任意に変化させた場合でも、被写体の動きを正しく再現できる映像を生成できる効果がある。
【０１０６】
この発明によれば、指定視点の移動速度とビデオ映像データの撮影速度との比が最も１に近くなるビデオ映像データを選択するように構成したので、被写体の動きや速度を最も自然に再現する実際の動きに近い映像を生成できる効果がある。
【０１０７】
この発明によれば、指定視点の位置に最も近い撮影視点位置をもつ画像フレームを選択し、提示するように構成したので、視点位置からの景観を正しく再現する映像を生成できる効果がある。
【０１０８】
この発明によれば、撮影経路を直線とし、その進行方向に光軸を向け、それぞれ一定速度で移動しながら撮影されたビデオ映像データを用いるように構成したので、視点の移動速度を任意に変化させても、被写体の動きを正しく再現できる映像を生成することが可能になり、特に前方を見ながら前進移動する場面の多い列車や自動車の運転シミュレータなどに容易に応用できる効果がある。
【０１０９】
この発明によれば、新たに選択されたビデオ画像データの画像フレームとの不一致度が大きい場合に、前回用いられたビデオ画像データから画像フレームを選択し、提示するように構成したので、顕著な不連続が現れない生成映像を生成できる効果がある。
【０１１０】
この発明によれば、前回提示された画像フレームと新たに選択されたビデオ映像データの画像フレームとの各画素値の差の二乗の総和により不一致度を計算するように構成したので、不一致度の計算が数値的に容易に実行でき、顕著な不連続が現れない生成映像を生成できる効果がある。
【０１１１】
この発明によれば、新たに選択されたビデオ画像データの画像フレームに移行する場合、選択された画像フレームと以前用いられていたビデオ映像データ中の画像フレームとを合成するように構成したので、ビデオ画像データ間の移行箇所における両者の撮影条件の違い等に起因する不連続が顕著に現われない生成映像を生成できる効果がある。
【０１１２】
この発明によれば、画像フレーム間の合成において、各画素値を混合することによって合成し、かつ、徐々に新たなビデオ映像データの画像フレームの混合比率を高めていくように構成したので、容易にビデオ画像データ間のスムーズな移行が実現され、移行箇所における不連続が顕著に現われない生成映像を生成できる効果がある。
【０１１３】
この発明によれば、ビデオ映像データの撮影時の移動速度を一定値倍ごとに設定し、撮影速度の異なるビデオ映像データを得るように構成したので、生成映像における被写体の動き速度と実際の速度との比を一定範囲に抑えることが可能になり、またビデオ映像データ量も少なく出来、視点の移動速度を任意に変化させた場合でも被写体の動きを正しく再現できる映像を生成できる効果がある。
【０１１４】
この発明によれば、ビデオ映像データの撮影時の移動速度を２倍ごとに設定し、撮影速度の異なるビデオ映像データを得るように構成したので、生成映像における被写体の動き速度と実際の速度との比を一定範囲に抑えるようにすることが出来、さらに、記憶装置に保持するビデオ映像データの画像フレーム数を、最も遅いビデオ映像データの画像フレーム数の２倍以下にでき、視点の移動速度を任意に変化させた場合でも被写体の動きを正しく再現できる映像を生成できる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１の複数のビデオ映像による空間表現装置を示すブロック図である。
【図２】この発明の実施の形態１の複数のビデオ映像による空間表現装置の動作を示す説明図である。
【図３】この発明の実施の形態１のビデオ映像データの視点位置と撮影速度を示す説明図である。
【図４】この発明の実施の形態１の複数のビデオ映像による空間表現装置の動作を示す説明図である。
【図５】この発明の実施の形態１の複数のビデオ映像による空間表現装置のビデオ映像データの選択動作を示す説明図である。
【図６】この発明の実施の形態１の複数のビデオ映像による空間表現装置の動作を示す説明図である。
【図７】この発明の実施の形態１における複数のビデオ映像による空間表現装置のビデオ映像データについてのフレーム数、撮影速度、各画像フレームの視点位置などの記憶データを示す説明図である。
【図８】この発明の実施の形態１の複数のビデオ映像による空間表現装置の動作結果を示す説明図である。
【図９】この発明の実施の形態１の複数のビデオ映像による空間表現装置の動作を示すフローチャートである。
【図１０】この発明の実施の形態２の複数のビデオ映像による空間表現装置を示すブロック図である。
【図１１】この発明の実施の形態２の複数のビデオ映像による空間表現装置の動作を示す説明図である。
【図１２】この発明の実施の形態２の複数のビデオ映像による空間表現装置の動作結果を示す説明図である。
【図１３】この発明の実施の形態２の複数のビデオ映像による空間表現装置の動作を示すフローチャートである。
【図１４】この発明の実施の形態３の複数のビデオ映像による空間表現装置を示すブロック図である。
【図１５】この発明の実施の形態３の複数のビデオ映像による空間表現装置の動作を示す説明図である。
【図１６】この発明の実施の形態３の複数のビデオ映像による空間表現装置の動作を示すフローチャートである。
【図１７】この発明の実施の形態４の複数のビデオ映像による空間表現装置を示すブロック図である。
【図１８】この発明の実施の形態４の複数のビデオ映像による空間表現装置の動作を示す説明図である。
【図１９】従来の複数のビデオ映像による空間表現装置を示すブロック図である。
【図２０】従来の複数のビデオ映像による空間表現装置の動作を示す説明図である。
【図２１】従来の複数のビデオ映像による空間表現装置の動作を示す説明図である。
【図２２】従来の複数のビデオ映像による空間表現装置の動作結果の一例を示す説明図である。
【図２３】従来の複数のビデオ映像による空間表現装置の動作結果の一例を示す説明図である。
【符号の説明】
１６記憶装置（記憶手段）、１７速度調整装置（速度調整手段）、１８フレーム選択装置（フレーム選択手段）、１９画像表示装置（画像表示手段）、２９不一致度計算装置（不一致度計算手段）、３６画像合成装置（画像合成手段）、４４ビデオ映像入力装置（ビデオ映像入力手段）。[0001]
BACKGROUND OF THE INVENTION
In the present invention, when the moving speed in the space is adjusted during playback using the video image taken while moving in the target space, the movement of the subject in the space is correctly corrected in addition to the geometrical landscape of the structure. The present invention relates to a spatial expression device using a plurality of video images that can be reproduced.
[0002]
[Prior art]
FIG. 19 is a block diagram showing a spatial expression device using a plurality of video images constructed by using the conventional technique disclosed in Japanese Patent Laid-Open No. 9-220308. In FIG. 19, 1 is a storage device that stores video image data and a shooting viewpoint position of each frame of the video image data, 2 is a viewpoint input device that inputs a viewpoint position to be displayed, and 3 is a viewpoint specified by the viewpoint input device 2. On the other hand, a frame selection device 4 for selecting one image frame of video image data is an image display device for displaying the selected image frame.
[0003]
20, FIG. 21, FIG. 22 and FIG. 23 are explanatory diagrams showing the operation of the spatial expression device using a plurality of video images. In these figures, 5 is a video camera, 6 is a shooting route of the

video camera

5, 7 is video image data shot by the

video camera

5, 8 is a designated viewpoint position designated by the user, and 9 is a shooting in the video image data 7. An image frame shot at the

viewpoint

8, 10 is a shooting viewpoint position at the time of shooting each frame on the

shooting path

6, 11 is a close-up shooting viewpoint closest to the designated viewpoint position 8 among the

shooting viewpoint positions

10, and 12 is a video image An image frame photographed at the close-up viewpoint 11 in the

data

7, 13 is a presentation image, 14 is a generated image that is expressed by updating the presentation image 13 as needed according to a change in the designated viewpoint position 8, and 15 is in space Are trees that are examples of moving objects present in
[0004]
A conventional space expression device using a plurality of video images, at any time, obtains a scene image at a designated viewpoint position 8 designated by a user from video image data 7 photographed on a photographing path 6 in a target space by a video camera 5. By generating, the video image data 7 is used to express the target space.
[0005]
Hereinafter, the operation of the space expression apparatus using a plurality of video images will be described.
As shown in FIG. 20, video image data 7 photographed on the photographing path 6 is stored in the storage device 1. When the designated viewpoint position 8 is designated by the viewpoint input device 2 as shown in FIG. 21, the position information of the photographing viewpoint position 10 stored in the storage device 1 by the frame selection device 3 is referred to and designated from among the photographing viewpoint positions 10. A close-up photographing viewpoint 11 that matches or exceeds the viewpoint position 8 is detected. An image frame 12 that is one frame in the video image data 7 photographed at the close-up viewpoint 11 is read from the storage device 1. The read image frame 12 is presented to the user as a presentation image 13 by the image display device 4.
[0006]
[Problems to be solved by the invention]
Since the conventional spatial representation apparatus using a plurality of video images is configured as described above, the image frame 12 is selected based only on the positional relationship between the designated viewpoint position 8 and the photographing viewpoint position 10 designated by the user, and this is displayed as the presented image. 13 For this reason, the shooting time of each image frame 12 is not considered, and the image frame 12 is selected regardless of the shooting time and presented as the presentation image 13. When the captured space is a real environment such as a cityscape or natural scenery, there are many moving objects such as leaves swaying in the wind. The movement of the image cannot be faithfully reproduced, and there is a problem that the space expressed by the generated image 14 does not have a sense of reality.
[0007]
The point that the movement of the object cannot be faithfully reproduced will be described in more detail. For example, as shown in FIG. 22, the designated viewpoint position 8 is a viewpoint indicated by reference numerals 8a, 8b, and 8c in the figure. When moving to a position, the near viewpoint positions 11a, 11b, and 11c are sequentially selected, and the image frames 12a, 12b, and 12c constitute the generated video 14 as the presentation images 13a, 13b, and 13c. In this way, when moving on the shooting path 6 to the designated viewpoint position 8 at a higher speed than at the time of shooting, the frame in the video image data 7 is thinned out to generate the generated image 14. The movement of the object 15 such as the trees 15 swaying in the wind will be faster than the actual movement.
[0008]
On the contrary, as shown in FIG. 23, when the designated viewpoint position 8 moves on the shooting path 6 at a lower speed than the time of shooting to the viewpoint positions indicated by reference numerals 8a, 8b, and 8c in the drawing, the near viewpoint position 11 is The same image is selected, and the image frames 12 become presentation images 13a, 13b, and 13c successively. For this reason, in the generated image 14, the trees 15 that should be standing still are stationary. As described above, there is a problem that the real environment cannot be faithfully reproduced.
[0009]
The present invention has been made to solve the above-described problems. According to the viewpoint position and the moving speed at the time of reproduction, the present invention faithfully reproduces the movement of things existing in the space and the like to create an actual environment. An object of the present invention is to obtain a spatial expression device using a plurality of video images that can generate a faithful and unnaturally reproduced image.
[0010]
[Means for Solving the Problems]
According to the present invention, a plurality of video image space expression devices use video image data shot at different shooting speeds in a target space, and an image frame that matches a specified position of a specified viewpoint and a movement speed of the specified viewpoint. Is selected from the video image data and presented.
[0011]
The spatial representation apparatus using a plurality of video images according to the present invention selects video image data in which the ratio between the moving speed of the designated viewpoint and the shooting speed of the video image data is closest to 1 in selecting the video image data. It is what I did.
[0012]
The spatial expression device using a plurality of video images according to the present invention selects an image frame at a photographing viewpoint position closest to a designated viewpoint position from video image data.
[0013]
In the spatial expression apparatus using a plurality of video images according to the present invention, the shooting path is a straight line, and video image data shot while moving the optical axis in the traveling direction on the straight line is used. .
[0014]
The spatial representation apparatus using a plurality of video images according to the present invention is selected from the presented image frames and the new video image data when changing the video image data used for the image presentation to new video image data. A discrepancy degree with the image frame is calculated, and the magnitude of the discrepancy degree indicates that the presented image frame and the image frame selected from the new video image data are inconsistent. The change to the new video image data is not performed.
[0015]
In the spatial expression apparatus using a plurality of video images according to the present invention, the degree of inconsistency between image frames is calculated by the sum of the squares of pixel value differences for each pixel between the image frames.
[0016]
The spatial representation apparatus with a plurality of video images according to the present invention, when changing the video image data used for image presentation to new video image data, by the number of presentation images determined in advance from the change point, In this case, image frames are selected from the video image data used in the above and the newly selected video image data, and they are combined to form a new presented image.
[0017]
The spatial representation apparatus using a plurality of video images according to the present invention synthesizes an image frame by mixing pixel values, and the newly selected video image data is compared with the image frame of the previously used video image data. The mixing ratio of the pixel values of the image frame is gradually increased.
[0018]
In the spatial expression apparatus using a plurality of video images according to the present invention, the photographing speed, which is the moving speed at the time of photographing the video image data, is changed by a certain multiple.
[0019]
In the spatial expression apparatus using a plurality of video images according to the present invention, the moving speed at the time of shooting video image data is changed every two times.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described.
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a configuration of a spatial expression device using a plurality of video images according to the first embodiment. In the figure, reference numeral 16 denotes a plurality of video image data and video images captured at different shooting speeds. A storage device (storage means) for storing the shooting viewpoint position of the frame, 17 is a speed adjustment device (speed adjustment means) for inputting the moving speed of the viewpoint, and 18 is a frame for sequentially selecting an image frame to be presented next to the video image data. A selection device (frame selection means) 19 is an image display device (image display means) for displaying a selected image frame as a presentation image.
[0021]
FIGS. 2 to 6 and FIG. 8 are explanatory diagrams showing the operation of the space expression apparatus using a plurality of video images according to the first embodiment. FIG. 7 shows the number of frames, the shooting speed, and the viewpoint of each image frame for the video image data. It is explanatory drawing which shows the data of a position. In these figures, reference numeral 20 shown in FIG. 6 is an image frame selected by the frame selection device 18, reference numeral 21 shown in FIGS. 2, 4 and 6 is the start point of the photographing path 6, and reference numerals shown in FIGS. 22 is a point representing the image frame 9 on the graph of the viewpoint position and shooting speed, 23 is a point group representing the k-th video image data 7 on the graph of viewpoint position and shooting speed, and reference numeral 24 shown in FIG. A point representing the designated viewpoint position 8 and the designated moving speed on the graph of position and photographing speed, reference numeral 25 shown in FIG. 6 is video image data photographed at a photographing speed closest to the designated moving speed, reference numeral shown in FIG. 26 is a point cloud representing the video image data 25 on the graph of viewpoint position and shooting speed, and 27 is an image frame whose viewpoint position is closest to the designated viewpoint position 8 in the video image data 25 on the graph of viewpoint position and shooting speed. Points representing 20, reference numeral 28 shown in FIGS. 4 and 6 is a velocity vector representing the speed of moving the specified viewpoint position 8.
[0022]
Next, the operation will be described.
In order to faithfully reproduce the motion of the object, the spatial expression device using a plurality of video images uses video image data 7 photographed a plurality of times on the photographing path 6 at different speeds, and the viewpoint position and its movement at the time of space reproduction. The generated image 14 is configured by using the image frame 20 of the video image data 25 that most closely matches the speed as the presentation image 13. For this reason, even if the moving speed of the viewpoint is changed in the middle, the movement of the target object is reproduced by the video image data 25 photographed at a moving speed close to that, so that the reality of the space expressed by the generated video 14 can be improved. Kept.
[0023]
In order to simplify the description, it is assumed that the imaging path 6 is a straight line on the x-axis, the starting point 21 is placed on the origin, and the positive direction is the x-axis. Further, the optical axis direction of the video camera 5 at the time of video shooting is also assumed to be fixed in the positive x-axis direction. Assuming that shooting is performed K times, for each video image data 7, the moving speed at the time of shooting is a constant value V _k (K = 1, 2,... K). Here, the larger k is, the moving speed V at the time of shooting _k Is also large. It is assumed that the video image data 7 is always shot with the optical axis parallel to the xy plane and the horizontal axis parallel to the horizontal xy plane. The k-th video image data 7 has a shooting speed V as shown in FIG. _k Taken by N _k It is configured as a single image frame. This image frame _kn (N = 1, 2,... N _k ). I _kn Is the nth image frame 9 of the kth video image data 7. Image frame I _kn Shooting viewpoint 10 of p _kn , X coordinate value is x _kn Represented by
[0024]
FIG. 3 is a graph showing the relationship between the shooting position and the shooting speed. A point 22 on the graph corresponds to one image frame 9, and a point group 23 arranged continuously corresponds to one video image data 7.
[0025]
At this time, as shown in FIG. 4, the designated viewpoint position 8 is placed on the shooting path 6 at an arbitrary speed v. _q The video when moved in step S is generated from the K video video data 7. The designated viewpoint position 8 is q, and its x coordinate value is x _q Represented by The presentation image 13 is J. Further, it is assumed that the generated video 14 composed of the presented images 13 is generated in the same manner as the video video data 7 and the frame speed (the number of image frames shot or presented per unit time).
[0026]
The specified viewpoint position q is x _q And moving speed v _q In this case, as shown in FIG. 5, it is represented by a corresponding point 24 on the graph of the viewpoint position and the moving speed. At this time, as shown in FIG. 5 and FIG. _q The image frame 20 corresponding to the point 27 closest to the viewpoint position in the point group 26 corresponding to the video image data 25 photographed at the photographing speed close to is selected as the presentation image 13. Thereby, the presentation image 13 that matches the visual field and the movement of the subject is obtained. Movement speed v _q If the image does not change abruptly, an image frame is selected from the same video image data 25 continuously to some extent, and the scene and the motion of the subject are correctly reproduced. In this way, it is possible to obtain the generated video 14 having a variable moving speed.
[0027]
Next, the above operation will be described with reference to the flowchart of FIG.
As an initial state, it is assumed that the storage device 16 stores K pieces of video image data 7, and the number of frames, shooting speed, and viewpoint position of each image frame for each video image data 7 shown in FIG. The video image data 7 is taken by the video camera 5.
[0028]
The shooting speed is determined by, for example, placing the video camera 5 on a cart and moving it with a motor or a hand so that the rotation speed of its wheels is constant. On the other hand, when the moving speed can be regarded as almost constant, the average moving speed obtained by dividing the length of the photographing path 6 by the time required to move there may be used. Good.
[0029]
The viewpoint position may be obtained by calculation from a position in an image of a known point, for example, measured by a GPS device and input, or from the video content of the video video data 7 previously input. Alternatively, the shooting path 6 may be equally divided by the number of shot image frames to obtain a shooting viewpoint position.
[0030]
First, in step ST1, a variable k indicating the number of video image data used for presentation and a variable n indicating the number of an image frame are initially set. This indicates the presentation video and the viewpoint position at the start of processing. For example, k is set to “1” as the video image data of the lowest speed, and n is set to “1” as the first frame. At the same time, a variable x indicating the x coordinate of the viewpoint q on the photographing path 6 (on the x axis) _q P _k1 Initially set to “0”, which is the x value of (start point 21).
In the subsequent step ST2, the nth image frame I from the kth video image data 7 stored in the storage device 16 by the frame selection device 18 is displayed. _kn Is read.
[0031]
In step ST3, the image frame I _kn Is displayed as a presentation image J by the image display device 19. However, here, in order to make the frame drawing speed of the video the same, the drawing from the image at the previous drawing to the current image is switched at a predetermined timing. That is, when video image data having a frame drawing speed of 30 frames per second is used, a new image is drawn every 1/30 seconds. Here, it is assumed that the processing cycle from step ST2 to step ST8 can be sufficiently executed within this 1/30 second.
[0032]
In step ST4, it is determined whether or not to continue the process. For this, it is configured to check whether or not a keyboard input or the like indicating an end designated in advance has been made. If it has been done, the process is terminated. If not, the process proceeds to step ST5. The process is also terminated when the x coordinate exceeds the shooting path 6.
[0033]
In step ST5, the moving speed v of the designated viewpoint position 8 on the photographing path 6 by the speed adjusting device 17 is determined. _q Enter. This is executed by an input device such as a mouse or a keyboard. When reaching step ST4, for example, the previous v _q Is set to the default value and v _q Is configured so that v is increased or decreased, and v _q Do not wait for input.
[0034]
In step ST6, the designated viewpoint position 8 is updated. This is because the moving speed v input in step ST5. _q Thus, the position of the designated viewpoint position 8 at the time of the next image presentation is obtained in consideration of the frame drawing speed. As described above, the frame drawing speed is 30 frames per second, and the moving speed v _q X indicates speed per second, x _q ← x _q + V _q / 30.
[0035]
In step ST7, the video image data 25 used for the presentation image 13 is selected by the frame selection device 18. This is, for example, the movement speed v _q And i-th video image data shooting speed V _i Ratio v _q / V _i The video image data 25 to be selected is assumed to have the ratio closest to 1. This v _q / V _i This is because the change rate of the apparent movement of the subject on the generated video 14 is obtained. Therefore, for each i (i = 1, 2, ... K)
[0036]
[Expression 1]

[0037]
And the variable k is updated to the value of i that minimizes this.
Furthermore, in step ST8, the viewpoint position is the most x out of the selected k-th video image data 25. _q An image frame 20 close to is selected by the frame selection device 18. this is,
[0038]
[Expression 2]

[0039]
Is the nth image frame satisfying However, the subscript k is the value of k obtained in step ST7. Thereafter, the process returns to step ST2.
[0040]
As a result, the specified moving speed V _q The generated image 14 can be generated using the video image data 25 photographed at a speed that matches the speed of the object, and the speed of movement of the target object such as the trees 15 can be adjusted to the speed at the time of photographing and exists in the space. Video that faithfully reproduces the movement of things can be generated.
[0041]
An example of the generated video 14 is shown in FIG. When the specified viewpoint position is moved from the specified viewpoint position 8a to the specified viewpoint positions 8b and 8c at a low speed, and at the specified viewpoint positions 8d and 8e at a high speed, the position is specified by the velocity vectors 28a, 28b, 28c, 28d, and 28e. At the viewpoint positions 8a, 8b, and 8c, the video image data 25a that matches the speed, and at the designated viewpoint positions 8d and 8e, the image frames 20a, 20b, 20c, 20d, and 20e of the video image data 25b that match the speed, respectively. Are selected as the presentation images 13a, 13b, 13c, 13d, and 13e, and the generated video 14 is obtained. As a result, the generated video 14 is always composed of the image frame 20 of the video video data 25 that matches the moving speed of the designated viewpoint position 8, and the correct movement of the subject is reproduced, for example, surrounded by trees. It is possible to configure a space expression device that gives a sense of strolling while arbitrarily changing the pace in the environment.
[0042]
As described above, according to the first embodiment, when the moving speed of the designated viewpoint position is changed, the generated video 14 is generated using the video video data 25 captured at a speed matching the moving speed. Therefore, there is an effect that a spatial expression device using a plurality of video images that can be correctly reproduced as a generated image such as a movement of an object indicated in the video image data, for example, a swinging state of a leaf, in response to a change in the moving speed of the designated viewpoint position is obtained .
[0043]
Embodiment 2. FIG.
FIG. 10 is a block diagram showing a spatial expression apparatus using a plurality of video images according to the second embodiment. In FIG. 10, the same or corresponding parts as those in FIG. In FIG. 10, reference numeral 29 denotes a mismatch degree calculation device (a mismatch degree calculation means) that calculates the degree of mismatch between image frames.
[0044]
FIG. 11 and FIG. 12 are explanatory diagrams of the operation of the space expression apparatus using a plurality of video images according to the second embodiment. In these drawings, 30 is a presentation image 13 from the video image data 25 currently used. An image frame, 31 is a newly selected video image data, 32 is an image frame of the video image data 31, 33 is a newly selected image frame from the currently used

video image data

25, and 34 is a transition for switching video image data. A point 35 is a moving object shown in the image frame 30 or the image frame 32 shown in FIG.
[0045]
In the spatial expression device with a plurality of video images of the second embodiment, when the designated moving speed is changed and the video image data to be used is changed accordingly, the current presentation image and the newly selected image are newly selected. Calculate the image frame disagreement, and if it is large, stop changing the video image data, select the image frame from the video image data that has been used so far, and use it as the presentation image. It is possible to obtain a spatial expression device that maintains the above.
[0046]
As in the first embodiment, the video image data 7 is I _kn (K = 1, 2,... K, n = 1, 2,... N _k ), The presentation image 13 is J. As described in the description of the first embodiment, the specified speed V in the video generation process. _q Is changed to appropriate video image data 25 accordingly. However, when switching the video image data, there is a possibility that discontinuity will occur in the generated image 14 due to the state of the target object between them, the traffic of people and objects, and the difference in illuminance conditions.
[0047]
Therefore, in the second embodiment, the degree of inconsistency between the image frame 30 that is the current presentation image 13 and the image frame 32 of the newly selected video image data 31 is calculated when the video image data is switched. As shown in FIG. 11, when the degree of inconsistency between image frames increases due to the influence of moving objects 35 in the image frame, the video frame data is not switched, and the video frame data 25 used until then is switched. 33 is selected and presented.
[0048]
Here, the video generation operation will be described with reference to the flowchart of FIG.
The operation shown in the flowchart of FIG. 13 is obtained by adding step ST200 to the flowchart showing the operation of the first embodiment shown in FIG. 9, and further adding steps ST201 to ST206 instead of step ST7. Steps that are the same as those in step 9 are denoted by the same reference numerals and description thereof is omitted.
[0049]
In step ST200, a determination threshold value E for the degree of image mismatch is set. For example, the determination threshold value E is obtained by switching and comparing several image frames 9 captured at a position X of a specified viewpoint position, and for each of the lowest two image frames in which the mismatch is significant. Set to the sum of the squares of the pixel value differences.
[0050]
In step ST201, the moving speed v _q Select the video image data shot with. Then, depending on the moving speed, similarly to the equation (1) used in step ST7 shown in the flowchart of FIG.
[0051]
[Equation 3]

[0052]
The value of i to be the variable k _new To store.
In step ST202, the variable k _new Is equal to the variable k, the process proceeds to step ST8 if they match, and to step ST203 if they do not match.
[0053]
In step ST203, the newly selected k _new From the video image data 31 of the individual, as in the equation (2) used for the explanation of step ST8,
[0054]
[Expression 4]

[0055]
N satisfying _new The th image frame 32 is selected.
In step ST204, the mismatch degree calculation device 29 calculates the mismatch degree e between the image frame 30 and the image frame 32 as the presentation image 13. This is, for example, the square of the difference between pixel values for each pixel, and the sum of these values.
[0056]
In step ST205, it is determined whether or not the mismatch degree e is equal to or less than the determination threshold value E. As a result, if “YES”, the process proceeds to step ST206, and if “NO”, the degree of mismatch is large. _new The process proceeds to step ST8 after seeing the transition to the first video image data 31.
[0057]
In step ST8, an image frame 33 is selected from the kth video image data 25.
[0058]
On the other hand, in step ST206, x is set as the transition point 34, and k _new In order to switch to the first video image data 26, k is changed to k. _new N to n _new Update to Thereafter, the process returns to step ST2.
[0059]
FIG. 12 is an explanatory diagram showing the above operation.
When the designated viewpoint position is moved from 8a to 8b, 8c, 8d, and 8e by the velocity vectors 28a, 28b, 28c, 28d, and 28e, the image frame 32d of the video image data 31 that matches the velocity at the designated viewpoint position 8d. However, the degree of disagreement due to the moving object 35 is large with the image frame 30c which is the previous presentation image, and therefore the image frame 33 of the video image data 25 is selected and becomes the presentation image 13d. In the next cycle, the degree of inconsistency between the image frame 32e and the image frame 30d is small, and the generated video 14 is generated using the image frame 32e as the presentation image 13e with this as the transition point 34.
[0060]
As described above, in the second embodiment, the video image data is switched at the transition point 34 where the degree of mismatch between the image frames is small, and a plurality of videos that can constitute the generated image so that no significant discontinuity occurs. There is an effect that a spatial expression device using images can be obtained.
[0061]
Embodiment 3 FIG.
FIG. 14 is a block diagram showing a spatial expression apparatus using a plurality of video images according to the third embodiment. In FIG. 14, the same or corresponding parts as those in FIG. In FIG. 14, reference numeral 36 denotes an image composition device (image composition means) for composing a generated image from two image frames.
[0062]
FIG. 15 is an explanatory diagram showing the operation of the third embodiment. In FIG. 15, the same or corresponding parts as in FIG. In FIG. 15, 37 is an image frame of the viewpoint closest to the designated viewpoint position 8 of the video image data 25 selected before the transition, and 38 is a composite image obtained by combining the two image frames 32 and 37.
[0063]
The spatial expression device using a plurality of video images according to the third embodiment is such that the video is gradually changed with a predetermined frame width at the transition point of the video image data in the generated video. Discontinuity is not necessarily perceived at the transition point of video image data. Therefore, in order not to make the discontinuity noticeable, the video is gradually changed from one to the other.
[0064]
Next, the operation will be described.
FIG. 16 is a flowchart showing the operation of the third embodiment. The same steps as those in the flowchart showing the operation of the first embodiment shown in FIG. 9 and the flowchart showing the operation of the second embodiment shown in FIG.
First, in step ST301, a variable R indicating whether or not it is a transition area is initialized to “0”. When the variable R is “0”, normal image generation is performed, and when the variable R is positive, the transition image is regarded as a transition area to synthesize two image frames to obtain a generated image.
In step ST302, it is determined whether or not the region is a transition region based on the variable R. Since the variable R is “0” in the first process, the process proceeds to a normal step ST3.
[0065]
The processing from step ST3 to step ST202 is executed, and in step ST202, k _new Is not equal to k, the process proceeds to step ST303. In step ST303, it is determined that the transition area starts from here, and the variable R is set to W. This W is a positive integer and is the number of frames of a generated image generated by combining two image frames, that is, the width of the transition area. This value W is determined in advance, for example, 15 frames corresponding to 0.5 seconds.
The value of k is set to k _old Move to k _new Is newly stored in k. Thereafter, the process proceeds to step ST8.
[0066]
In this step ST8, since an image frame is selected from the kth video image data, k = k is obtained through step ST303. _new An image frame 32 is selected from the first video image data 31.
[0067]
On the other hand, if the variable R is not “0” in step ST302, since it is a transition area, processing in the transition area from step ST304 is performed.
In step ST304, k is the same as in step ST8. _old An image frame 37 whose viewpoint position is closest to the transition point x indicated by reference numeral 34 is selected from the individual video image data 31. this is,
[0068]
[Equation 5]

[0069]
N satisfying _old The second image frame.
In the subsequent step ST306, the nth image frame 32 and k of the kth video image data 31 newly selected by the image composition device 36 are displayed. _old N of the video data 25 of the first video _old The second image frame 37
[0070]
[Formula 6]

[0071]
A synthesized image 38 synthesized with the function f is obtained as shown in FIG. This means that the ratio of the video frame after the transition is gradually increased according to the variable R, and the video after the transition is completely switched after the Wth frame. In this equation (6), the coefficient for the image frame represents multiplying the pixel value of the image by the coefficient.
[0072]
In step ST307, the composite image 38 is displayed as the presentation image 13 by the image display device 19. Also in this case, the frame speed is made to coincide with the value at the time of shooting.
In step ST308, the variable R is decreased by “1”. The process so far is the process of the transition area, and then the process proceeds to step ST4.
[0073]
FIG. 15 is an explanatory diagram of the operation described above. The image frame 20a of the video image data 25 becomes the presentation image 13a by the velocity vector 28a at the designated viewpoint position 8a, whereas the velocity vector at the designated viewpoint position 8b. 28b changes to become a transition point 34 to the video image data 31. At this time, a composite image 38 is created from the image frame 32 of the video image data 31 and the image frame 37 of the video image data 25, and this is used as the presentation image 13b. This composition processing is performed on the presentation images for W frames after the transition point 34.
[0074]
As described above, in the third embodiment, the transition area of the width W frame is set at the transition point where the video is shifted, and the video before and after the transition is gradually and gradually changed in that area. There is an effect that a spatial expression device using a plurality of video images for synthesizing a generated image in which the transition unit is not noticeable is obtained.
[0075]
Embodiment 4 FIG.
FIG. 17 is a block diagram showing a spatial expression apparatus using a plurality of video images according to the fourth embodiment. In FIG. 17, the same or corresponding parts as those in FIG. In FIG. 17, reference numeral 44 denotes a video image input device (video image input means) for inputting a plurality of video image data.
[0076]
FIG. 18 is an explanatory diagram showing the operation of the fourth embodiment. In FIG. 18, the same or corresponding parts as in FIG. In FIG. 18, 39 is the (k + 1) th video image data, 40 is the kth video image data, and 41 is the speed V at which the k + 1th video image data 39 is captured. _{k + 1} , A velocity vector 42, and a velocity V when shooting the k-th video image data 40 _k A speed vector 43 represents the end point of the photographing path 6.
[0077]
In the fourth embodiment, the video image data shooting speed is determined in advance, and the video image data is input by the video image input device 44 and stored in the storage device 16. The operation of spatial expression after the input of video image data is the same as that of the first embodiment shown in the flowchart of FIG.
[0078]
If the moving speed is within a certain range, for example, when reproducing a landscape when driving a car or train or reproducing a walking tour of a scenic spot, the minimum and maximum speeds that can be taken are determined naturally. K value and each shooting speed V _k It becomes a problem to decide.
In the fourth embodiment, the lowest possible speed is V ₁ Thereafter, based on this, the shooting speed V of the (k + 1) th video image data 39 is _{k + 1} Is the shooting speed V of the k-th video image data 40. _k To be a constant value r times that of V, that is, V _{k + 1} = R · V _k And set. In this way, V _k When the value becomes equal to or greater than the maximum speed that can be taken, k is set to K. Since the value of this magnification r need only be larger than 1, it is set to 2, for example.
[0079]
Shooting speed V _k Video video data is selected and the moving speed v is determined by the image frame. _q When the generated image 14 is obtained, the apparent movement of the subject on the generated image 14 is the v of the actual movement. _q / V _k Doubled. Since this value is preferably closer to 1, v shown in Equation (1) _q / V _k Absolute value of the difference between 1 and 1 | (v _q / V _k ) -1 | is taken as an error ratio. Such a shooting speed V _k According to the setting method, V _k ≦ v <V _{k + 1} = RV _k If there is a speed value V in the range, if the speed value V gives the maximum value s of the error ratio, the following equation holds.
[0080]
[Expression 7]

[0081]
If s is calculated | required from this,
[0082]
[Equation 8]

[0083]
V _k It does not depend on. Therefore, in the fourth embodiment, by selecting the video image data 25 according to the condition of the expression (1), the apparent movement of the subject is | 1 ± (r−1) / (r + 1) | times the actual movement. When r is 2, it can always be suppressed within the range of 0.67 times to 1.33 times.
[0084]
Also, as shown in FIG. 18, since the shooting path 6 is fixed from the start point 21 to the end point 43, the shooting viewpoint position 10 is set according to the velocity vectors 41 and 42 at the time of shooting, respectively. V _{k + 1} Is V _k The number of image frames in the (k + 1) th video image data 39 is ½ of the kth video image data 40. Therefore, even if the total number of k is from 1 to K, it can be kept within twice the number of image frames of the first video image data.
[0085]
In general, when shooting at a shooting speed of r times, the total number of image frames is r / (r-1) times or less.
[0086]
In accordance with the method described above, the video image input device 44 shoots the video image data 7 at a shooting speed of r times on the shooting path 6, and stores the video image data 7, the shooting speed, and the viewpoint position information. 16 to store.
[0087]
As described above, in the fourth embodiment, since the shooting speed of the video image data 7 is set to be a constant value multiple, the error rate of the movement of the subject is constant within the given speed range. There is an effect that it is possible to obtain a spatial expression device using a plurality of video images that can be suppressed within the limit and that requires a small amount of data.
[0088]
Embodiment 5 FIG.
The storage device 16 in each of the embodiments described above can use a main storage device of a computer, a magnetic disk device, a video tape device, or a video tape.
[0089]
Embodiment 6 FIG.
In the above embodiment, the speed adjustment device 17, the frame selection device 18, the mismatch degree calculation device 29, the image composition device 36, and the like are used. However, these operations are executed by software using a computer. You may comprise.
[0090]
Embodiment 7 FIG.
In each of the above embodiments, the frame speed of the generated video 14 is the same as that of the video video data 7, but it may be configured differently.
[0091]
Embodiment 8 FIG.
In each of the above embodiments, the shooting path 6 is a straight line. However, the present invention is not limited to this, and the distance on the path from the starting point 21 of the curved shooting path can be expressed as x even if it is set to a curved line. You can do the same by replacing it.
In addition, an arbitrary shooting route may be represented as a segment in a segmented manner and executed for each segment.
[0092]
Embodiment 9 FIG.
In each of the above embodiments, the optical axis direction of the video camera 5 has been described as the x-axis direction. However, the present invention is not limited to this. For example, the video camera 5 can be similarly executed in a direction orthogonal to the x-axis.
[0093]
Embodiment 10 FIG.
In each of the above embodiments, the image frame 9 and the presentation image 13 are described as having the same size and angle of view. By using the presentation image 13, the change in the line of sight can be expressed at the time of video generation.
[0094]
Embodiment 11 FIG.
In each of the above embodiments, the horizontal axis of the video image data and the presentation image is described as being parallel to the horizontal plane. However, the present invention is not limited to this.
[0095]
Embodiment 12 FIG.
In each of the above embodiments, the shooting speed V of each video image data _k However, the present invention is not limited to this, and even if the speed is changed on the shooting path, the speed relative to the viewpoint position is clear, and the video image data of a plurality of speeds at each viewpoint position. Can be operated in the same manner.
[0096]
Embodiment 13 FIG.
In each of the above embodiments, the video image data is selected by the equation (1). However, the present invention is not limited to this. For example, the speed difference | V _k -V _q The video image data that minimizes | may be selected. In this case as well, the range of the error ratio of the motion of the subject is still limited by the method for determining the video image data shooting speed in the fourth embodiment.
[0097]
Embodiment 14 FIG.
In the third embodiment, the calculation performed by the image synthesizing device 36 has been described as the interpolated mixture of pixel values shown in Expression (6). However, the feature point that represents the same point in the subject between the two converted images to be synthesized. It is also possible to perform so-called morphing, in which pixel values are mixed after moving and deforming each other so that they are placed on the same pixel.
[0098]
Embodiment 15 FIG.
In the second embodiment, the disparity calculation unit 29 calculates the sum of squares of pixel value differences for each pixel between image frames as a measure of disagreement. However, the present invention is not limited to this. You may comprise so that the sum total of the absolute value of the difference of a pixel value or the number of pixels with a difference of a pixel value larger than a certain fixed value may be calculated as a measure of a mismatch degree.
[0099]
Embodiment 16 FIG.
In the second embodiment, the mismatch degree calculation by the mismatch degree calculation device 29 is performed every time an image frame of new video image data is selected. However, the mismatch degree is calculated in advance between image frames close to the viewpoint position. It is also possible to obtain a transferable viewpoint position area and to determine whether or not to shift while referring to the result during the image generation operation.
[0100]
Embodiment 17. FIG.
In the fourth embodiment, the video image data shooting speed V _k However, it may be configured to calculate the magnification of the photographing speed on the basis of the allowable value of the error rate of the movement of the subject and the storage capacity for the image frame.
[0101]
Embodiment 18 FIG.
In each of the above embodiments, the video image data is always selected according to the equation (1). _q Is the value near the boundary where the k-th video image data and the (k + 1) -th video image data are selected, and if the value changes finely, the video image data used for presentation is frequently switched. In order to prevent this, in order to give priority to the currently selected k-th video image data, only α is used for the k-th video image data.
[0102]
[Equation 9]

[0103]
You may comprise as.
[0104]
For the same reason, when the kth video image data is newly selected, at least a certain number of presentation images may be generated using the kth video image data. .
[0105]
【The invention's effect】
As described above, according to the present invention, an image frame that matches the position of the designated viewpoint and the movement speed of the designated viewpoint is selected and presented from a plurality of video image data having different movement speeds at the time of shooting. Since it is configured to create a generated video, it is possible to select an image frame that matches the specified viewpoint position and moving speed, and even if the moving speed of the viewpoint is arbitrarily changed, the movement of the subject is correctly reproduced There is an effect that can generate a possible video.
[0106]
According to the present invention, since the video image data whose ratio between the moving speed of the designated viewpoint and the video image data shooting speed is closest to 1 is selected, the movement and speed of the subject are reproduced most naturally. There is an effect that an image close to the actual movement can be generated.
[0107]
According to the present invention, since the image frame having the photographing viewpoint position closest to the position of the designated viewpoint is selected and presented, it is possible to generate an image that correctly reproduces the landscape from the viewpoint position.
[0108]
According to the present invention, since the shooting path is a straight line, the optical axis is directed in the traveling direction, and the video image data shot while moving at a constant speed is used, the viewpoint moving speed can be arbitrarily changed. Even if it does, it becomes possible to produce | generate the image | video which can reproduce a to-be-photographed object's movement correctly, and there exists an effect which can be easily applied to a train, a driving simulator, etc. of a car with many scenes which move forward, especially looking forward.
[0109]
According to the present invention, when the degree of inconsistency with the image frame of the newly selected video image data is large, the image frame is selected from the previously used video image data and presented. There is an effect that it is possible to generate a generated video in which discontinuities do not appear.
[0110]
According to the present invention, the degree of inconsistency is calculated by calculating the sum of the squares of the differences between the pixel values of the previously presented image frame and the image frame of the newly selected video image data. The calculation can be easily performed numerically, and a generated image without noticeable discontinuity can be generated.
[0111]
According to the present invention, when shifting to the image frame of the newly selected video image data, the selected image frame and the image frame in the previously used video image data are combined. There is an effect that it is possible to generate a generated video in which discontinuities due to differences in shooting conditions between the video image data and the like are not noticeable.
[0112]
According to the present invention, in the composition between the image frames, the composition is made by mixing the pixel values and gradually increasing the mixing ratio of the image frames of the new video image data. In addition, smooth transition between the video image data is realized, and there is an effect that it is possible to generate a generated video in which discontinuity at the transition point does not appear remarkably.
[0113]
According to the present invention, since the moving speed at the time of shooting of the video image data is set for each constant value multiple and the video image data having a different shooting speed is obtained, the moving speed and the actual speed of the subject in the generated video are obtained. Ratio can be kept within a certain range, the amount of video image data can be reduced, and even when the moving speed of the viewpoint is arbitrarily changed, it is possible to generate an image that can correctly reproduce the movement of the subject.
[0114]
According to the present invention, since the moving speed at the time of shooting the video image data is set every 2 times and the video image data having different shooting speeds is obtained, the moving speed of the subject in the generated image and the actual speed In addition, the number of image frames of the video image data held in the storage device can be made less than twice the number of image frames of the slowest video image data, and the moving speed of the viewpoint can be reduced. Even if the position is arbitrarily changed, it is possible to generate an image that can accurately reproduce the movement of the subject.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a spatial expression device using a plurality of video images according to Embodiment 1 of the present invention.
FIG. 2 is an explanatory diagram showing an operation of the space expression device using a plurality of video images according to the first embodiment of the present invention.
FIG. 3 is an explanatory diagram showing viewpoint positions and shooting speeds of video image data according to the first embodiment of the present invention.
FIG. 4 is an explanatory diagram showing an operation of the space expression device using a plurality of video images according to the first embodiment of the present invention.
FIG. 5 is an explanatory diagram illustrating a video image data selection operation of the spatial expression device using a plurality of video images according to the first embodiment of the present invention;
FIG. 6 is an explanatory diagram showing an operation of the space expression device using a plurality of video images according to the first embodiment of the present invention.
FIG. 7 is an explanatory diagram showing storage data such as the number of frames, shooting speed, viewpoint position of each image frame, etc., for video image data of the space representation device with a plurality of video images in Embodiment 1 of the present invention;
FIG. 8 is an explanatory diagram showing an operation result of the spatial expression device using a plurality of video images according to the first embodiment of the present invention.
FIG. 9 is a flowchart showing an operation of the space expression device using a plurality of video images according to the first embodiment of the present invention.
FIG. 10 is a block diagram showing a spatial expression device using a plurality of video images according to Embodiment 2 of the present invention.
FIG. 11 is an explanatory diagram showing an operation of the space expression device using a plurality of video images according to the second embodiment of the present invention.
FIG. 12 is an explanatory diagram illustrating an operation result of the space expression device using a plurality of video images according to the second embodiment of the present invention.
FIG. 13 is a flowchart showing an operation of the space expression device using a plurality of video images according to the second embodiment of the present invention.
FIG. 14 is a block diagram showing a spatial expression device using a plurality of video images according to Embodiment 3 of the present invention.
FIG. 15 is an explanatory diagram showing an operation of the space expression device using a plurality of video images according to the third embodiment of the present invention.
FIG. 16 is a flowchart showing an operation of the space expression device using a plurality of video images according to the third embodiment of the present invention.
FIG. 17 is a block diagram showing a spatial expression device using a plurality of video images according to Embodiment 4 of the present invention;
FIG. 18 is an explanatory diagram showing an operation of the space expression device using a plurality of video images according to the fourth embodiment of the present invention.
FIG. 19 is a block diagram showing a conventional space expression device using a plurality of video images.
FIG. 20 is an explanatory diagram showing an operation of a conventional space expression device using a plurality of video images.
FIG. 21 is an explanatory diagram showing an operation of a conventional space expression device using a plurality of video images.
FIG. 22 is an explanatory diagram illustrating an example of an operation result of a conventional space expression device using a plurality of video images.
FIG. 23 is an explanatory diagram showing an example of an operation result of a conventional space expression device using a plurality of video images.
[Explanation of symbols]
16 storage devices (storage means), 17 speed adjustment device (speed adjustment means), 18 frame selection device (frame selection means), 19 image display device (image display means), 29 inconsistency degree calculation device (inconsistency degree calculation means), 36 image composition device (image composition means), 44 video image input device (video image input means).

Claims

Storage means for storing a plurality of video image data captured at different speeds on the same route, and a recording speed of the video image data and a shooting viewpoint position of each image frame;
A speed adjusting means for inputting a moving speed of a designated viewpoint designated with respect to the shooting path of the video image data;
Among the plurality of video image data stored in the storage means, based on the position of the designated viewpoint designated with respect to the shooting path of the video image data and the moving speed of the designated viewpoint input by the speed adjusting means. A frame selecting means for selecting an image frame indicating a scene that matches the position of the designated viewpoint and the moving speed;
Based on the image frame selected by the frame selection means, the scene that matches the position of the designated viewpoint and the moving speed is sequentially presented as a presentation image, and as a result, an image display means for expressing the space with the resulting video And a spatial expression device using a plurality of video images.

Frame selection means
2. The apparatus according to claim 1, wherein the video image data having a ratio between the moving speed of the designated viewpoint and the shooting speed of the video image data that is closest to 1 is selected.

Frame selection means
3. A spatial expression apparatus using a plurality of video images according to claim 1, wherein an image frame having a photographing viewpoint position closest to the position of the designated viewpoint is selected.

Each video video data is
The space of a plurality of video images according to any one of claims 1 to 3, wherein a photographing path that is a straight line is photographed at a constant speed with an optical axis directed in a traveling direction thereof. Expression device.

Having a mismatch degree calculation means for calculating a mismatch degree between image frames;
Frame selection means
When the selected video image data is different from the previously selected video image data, the degree of inconsistency between the selected image frame calculated by the inconsistency calculating means and the previously presented image frame is inconsistent 5. The plurality of video images according to claim 1, wherein an image frame is selected again from the previously presented video image data. Spatial expression device.

Disagreement calculation means
6. A spatial expression apparatus using a plurality of video images according to claim 5, wherein the degree of inconsistency is calculated from a sum of squares of pixel values for each pixel between image frames.

There is image compositing means that composes a plurality of image frames selected by the frame selecting means from the previously selected video image data and newly selected video image data into a single image for the number of preset presentation images. And
Frame selection means
If the newly selected video image data is different from the previously selected video image data, an image frame is generated from the previously selected video image data and the newly selected video image data by the number of preset presentation images. 5. The space expression apparatus using a plurality of video images according to any one of claims 1 to 4, wherein the selection is performed.

The image synthesizing unit mixes the pixel values of each pixel for two image frames selected by the frame selection unit to be synthesized for the number of preset presentation images, and gradually adds the newly selected video image data. 8. The apparatus for spatially expressing a plurality of video images according to claim 7, wherein the presentation image is synthesized by performing a synthesis process for increasing a mixing ratio of pixel values of an image frame.

A video image input means is provided for capturing a plurality of video image data with different shooting speeds, which is a moving speed at the time of shooting, by setting the moving speed at the time of shooting on the shooting route by a fixed multiple. 5. The space expression apparatus using a plurality of video images according to any one of claims 1 to 4, wherein:

The video image input means
10. The space expression apparatus for a plurality of video images according to claim 9, wherein a shooting speed that is a moving speed at the time of shooting is set every two times.