JP4019785B2

JP4019785B2 - 画像表示システムと画像処理装置及び画像表示方法

Info

Publication number: JP4019785B2
Application number: JP2002130592A
Authority: JP
Inventors: 哲二郎近藤; 大介菊地
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-05-02
Filing date: 2002-05-02
Publication date: 2007-12-12
Anticipated expiration: 2022-05-02
Also published as: JP2003323170A

Description

【０００１】
【発明の属する技術分野】
この発明は画像表示システムと画像処理装置及び画像表示方法に関する。詳しくは、撮影画像の画像信号と撮影方向の動きに応じた動き情報を生成する。また、撮影画像よりも広画角の画像表示領域を設けるもとして、表示信号に基づき画像表示を行う。ここで、表示信号に基づく画像が、撮影画像の表示位置を動き情報に基づき画像表示領域で移動する画像となるように、画像信号と動き情報に基づき表示信号を生成することにより、画像の動きに応じて画像表示位置を移動させて、臨場感の高い画像表示を行うものである。
【０００２】
【従来の技術】
従来の画像表示システム、例えば放送信号をテレビジョン装置で受信して画面上にテレビジョン番組の画像を表示する画像表示システムや、画像投影装置を用いてスクリーン中央に画像を投影する画像表示システムでは、固定画枠内に様々の画像を表示することを想定して番組や映画の制作が行われている。例えば、動きのある被写体を撮影する場合には、この被写体が固定画枠内の位置となるように、被写体の動きに合わせてビデオカメラの撮影方向を移動させることが行われている。この場合、被写体の動きが大きくとも被写体の画像は固定画枠内の位置とされており、視聴者は背景の動き量や動き方向によって被写体がどのように動いているかを認識することができる。
【０００３】
【発明が解決しようとする課題】
ところで、撮影された広い空間を固定画枠の２次元平面上に射影する画像表示システムでは、人間の錯覚を用いて空間の広がりやその中の動きを表現しているため、現実空間との不整合による不自然さが付きまとう。例えば、被写体が動いている場合、現実空間では被写体の動きに合わせて視点を移動させなければ、被写体を認識し続けることができない。しかし、上述の画像表示システムでは、視聴者が視点の位置を固定画枠内に固定しておくだけで、被写体を認識し続けることが可能となると共に、錯覚によって視点を移動させたこととなり、不自然さが付きまとう。
【０００４】
また上述したように、番組や映画の制作は、固定画枠内に様々の画像を表示することを想定して行われていることから、画像の表現力が狭められてしまい、より現実的な画像表示を行うことができない。
【０００５】
さらに、撮影された自然画像を画像表示システムで表示する場合に限らず、編集された画像や、ゲーム、ＣＧ、アニメなどのように画像をつくって表示する場合も同様のことが言える。
【０００６】
そこで、この発明では、臨場感が高く不自然さのない画像表示を行うことができる画像表示システムを提供するものである。
【０００７】
【課題を解決するための手段】
この発明に係る画像表示システムは、撮影方向を移動して撮影し取得される撮影画像を表示する画像表示システムであって、前記撮影画像よりも広画角の画像表示領域を有して当該撮影画像を表示する表示手段と、前記撮影に基づく撮影画像の画像信号を生成すると共に前記撮影方向の動きに応じた動き情報を生成する情報生成手段と、前記情報生成手段により生成された前記動き情報に基づいて前記画像表示領域における前記撮影画像の表示位置を決定する表示位置算出手段と、前記表示位置算出手段によって決定された前記表示位置に前記撮影画像を表示するための表示信号を前記画像信号から生成する信号生成手段とを備え、前記表示手段は、前記信号生成手段によって生成された前記表示信号に基づいて前記画像表示領域に前記撮影画像を表示し、前記表示位置算出手段は、前記動き情報に基づいて決定された前記表示位置に表示される表示画像が、前記画像表示領域を超えると判定した場合には、当該表示画像が当該画像表示領域を超えないように前記表示位置を設定することを特徴とするものである。
【０００８】
また画像処理装置は、撮影方向を移動して撮影し取得される撮影画像の画像信号と、前記撮影方向の動きに応じた動き情報とを用いて画像を処理する画像処理装置であって、前記撮影方向の動きに応じた動き情報に基づいて、前記撮影画像よりも広画角の画像表示領域に当該撮影画像の表示位置を決定する表示位置算出手段と、前記表示位置算出手段で決定された表示位置に前記撮影画像を移動させる画像移動手段と、前記画像移動手段によって移動された表示位置に前記撮影画像を表示する表示信号を前記画像信号から生成する表示信号生成手段とを有し、前記表示位置算出手段は、前記動き情報に基づいて決定された前記表示位置に表示される表示画像が、前記画像表示領域を超えると判定した場合には、当該表示画像が当該画像表示領域を超えないように前記表示位置を設定することを特徴とするものである。
【０００９】
さらに、画像表示方法は、撮影方向を移動して撮影し取得される撮影画像を表示する画像表示方法であって、前記撮影に基づく撮影画像の画像信号を生成すると共に前記撮影方向の動きに応じた動き情報を生成する第１ステップと、生成した前記動き情報に基づいて前記撮影画像よりも広画角の画像表示領域における前記撮影画像の表示位置を決定する第２ステップと、決定された前記表示位置に前記撮影画像を表示するための表示信号を前記画像信号から生成する第３ステップと、生成された前記表示信号に基づいて前記画像表示領域に前記撮影画像を表示するする第４ステップとを有し、前記第２ステップでは、決定された前記表示位置に表示される表示画像が、前記画像表示領域を超えると判定した場合、当該表示画像が当該画像表示領域を超えないように前記表示位置を決定することを特徴とするものである。
【００１０】
この発明においては、動き情報生成手段が撮像手段に取り付けられて、あるいは、撮像手段の撮影方向を制御するために用いる情報が動き情報とされて、撮影画像の画像信号と撮影方向の動きに応じた動き情報が画像信号と動き情報が同時に生成される。また、撮影画像よりも広画角の画像表示領域が設けられて、表示信号に基づき画像表示が行われる。ここで、表示信号に基づく画像が、撮影画像の表示位置を動き情報に基づき画像表示領域で移動されて、例えば撮影方向の動きと撮影画像の表示位置の移動が等しくなるように、画像信号と動き情報に基づき表示信号が生成される。また、生成された画像信号と動き情報は伝送路を介して伝送されて、この伝送された画像信号と動き情報に基づき表示信号が生成される。あるいは、画像信号と動き情報が蓄積されて、その後蓄積された画像信号や動き情報が読み出されて表示信号の生成が行われる。
【００１１】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明に係る画像表示システムの全体構成を示している。この画像表示システムでは、情報取得装置１０と画像処理装置２０および画像表示装置３０を用いて構成されている。
【００１２】
情報取得装置１０は、撮影画像の画像信号ＤＶと画像の動きを示す動き情報ＭＶを生成して画像処理装置２０に供給する。画像処理装置２０は、画像信号ＤＶと動き情報ＭＶに基づき、撮影画像の表示位置を画像の動きに応じて移動させる表示位置移動処理を行う。さらに、この表示位置移動処理後の画像信号に基づいて、画像表示装置３０に応じた表示信号ＤＳを生成する。画像表示装置３０は、広画角の画像表示領域を有しており、表示信号ＤＳに基づいて画像表示を行う。例えば３つのスクリーンをユーザＶＰの前面および両側面に配置して広画角の画像表示領域を形成する。さらに、各スクリーン３１L，３１C，３１Rに対応して設けたプロジェクタ３２L，３２C，３２Rから画像を投影する。このように、広画角の画像表示領域に画像を表示するためプロジェクタ３２L，３２C，３２Rを用いる場合、画像処理装置２０は表示信号ＤＳとして、プロジェクタ３２Lに供給する表示信号ＤＳL、プロジェクタ３２Cに供給する表示信号ＤＳC、プロジェクタ３２Rに供給する表示信号ＤＳRを生成する。
【００１３】
図２は情報取得装置１０と画像処理装置２０の構成を示す図である。情報取得装置１０は、撮像部（例えばビデオカメラ）１１と、この撮像部１１の撮影方向についての動きを取得して動き情報ＭＶを生成する動き情報生成部１２を有している。
【００１４】
撮像部１１は、撮影画像の画像信号ＤＶを生成して画像処理装置２０に供給する。動き情報生成部１２は、撮像部１１における撮影方向を手動で動かす場合、例えば磁気センサや三次元ジャイロなどを用いた角速度センサあるいは三次元加速度センサ等を用いて構成する。このセンサを撮像部１１に取り付けて撮像部１１の姿勢変化を検出することで、撮影方向についての動きを取得する。さらに、取得した動きを示すセンサ信号を動き情報ＭＶとして画像処理装置２０に供給する。
【００１５】
また、撮像部１１における撮影方向が遠隔制御される場合、この遠隔制御のための制御データを動き情報ＭＶとして用いる。例えば図３に示すように、外部の遠隔制御装置から動き情報ＭＶとして制御データが供給されたとき、この動き情報ＭＶを制御部１６に供給すると共に、画像処理装置２０に供給する。制御部１６は、供給された動き情報ＭＶに基づき駆動信号ＧＭを生成して方向調整部１７に供給する。方向調整部１７は、例えば雲台を用いて構成されてていると共に、この方向調整部１７には撮像部１１が取り付けられている。方向調整部１７は駆動信号ＧＭに基づき撮像部１１の撮影方向を変更して、動き情報ＭＶに基づいたパン動作やチルト動作を行う。このように動き情報ＭＶとして制御データを用いる場合、センサ等を撮像部１１に設ける必要がないので、情報取得装置１０が安価で簡単な構成となる。
【００１６】
画像処理装置２０の表示位置算出部２１は、情報取得装置１０から供給された動き情報ＭＶに基づき画像の表示位置を決定して、この決定した表示位置を示す表示位置情報ＰＳを画像移動部２２に供給する。画像移動部２２は、情報取得装置１０から供給された画像信号ＤＶに基づく画像の表示位置を、表示位置算出部２１から供給された表示位置情報ＰＳで示された位置に設定する。例えば、図４に示すように、スクリーン３１L，３１C，３１Rで形成される画像表示領域ＡＲに対応させて画像メモリ２２１を設けるものとし、画像信号ＤＶを画像メモリ２２１に書き込む際の書き込み位置を、表示位置情報ＰＳに基づいて制御することで、画像の表示位置を表示位置情報ＰＳで示された位置に設定できる。
【００１７】
表示信号生成部２３は、表示位置が移動された画像を表示するための表示信号ＤＳを画像表示装置３０に応じて生成する。例えば画像表示装置３０がスクリーン３１L，３１C，３１Rを用いて構成されている場合、これらのスクリーン３１L，３１C，３１Rを用いて表示位置の移動が行われた画像を表示するため表示信号ＤＳL，ＤＳC，ＤＳRを生成して画像表示装置３０に供給する。
【００１８】
ここで、上述したように、画像移動部２２では、画像表示領域ＡＲに対応して設けた画像メモリ２２１を用いて、表示位置の移動された画像の画像信号を記憶する場合、画像メモリ２２１の各スクリーンに対応する領域毎に信号を読み出すことで、表示信号ＤＳL，ＤＳC，ＤＳRを簡単に生成できる。例えばスクリーン３１Lに対応した領域２２１Lから信号を読み出すことで表示信号ＤＳLを簡単に生成できる。同様に、スクリーン３１C，３１Rに対応した領域２２１C，２２１Rから信号を読み出すことで表示信号ＤＳC，ＤＳRを簡単に生成できる。なお、画像メモリ２２１において、画像信号ＤＶが書き込まれていない領域に黒レベルの信号を書き込むものとすれば、スクリーン上に撮影画像のみを表示できる。
【００１９】
また画像移動部２２は、１画面分の画像信号ＤＶを記憶する画像メモリと、記憶されている画像信号ＤＶを読み出す際に、表示位置情報ＰＳに基づいて読み出しアドレス位置を変換するアドレス変換回路を設けるものとしても良い。この場合、表示信号生成部２３は、画像表示領域ＡＲ上の位置を指定して画像メモリに対する信号の読み出しを行い、読み出された信号を用いて表示信号ＤＳL，ＤＳC，ＤＳRを生成する。ここで、画像移動部２２は、指定された画像表示領域ＡＲ上の位置が画像の表示位置となったときに、画像メモリに記憶されている画像信号ＤＶが読み出されるようにアドレス変換を行う。このようにアドレス変換を行えば、画像表示領域分の記憶容量を有した画像メモリを用いることなく設けることなく表示信号ＤＳL，ＤＳC，ＤＳRを生成できる。なお、指定された画像表示領域ＡＲ上の位置が画像の表示位置でないときには、黒レベルの信号を表示信号生成部２３に供給することで、スクリーン上に撮影画像のみを表示できる。
【００２０】
次に画像提示システムの動作について説明する。ここで、情報取得装置１０の撮像部１１は、例えばＮＴＳＣ方式などのＳＤサイズ（７２０画素×４８０ライン）の画像信号ＤＶを生成する。また画像表示装置３０における画像表示領域ＡＲのサイズは、例えばＳＤサイズの画面を横方向に３画面並べたサイズ（２１６０画素×４８０ライン）として、撮像部１１での撮影画像よりも広画角の画像表示領域を設ける。なお、本実施の形態では、説明を簡単とするため、画像信号ＤＶに基づく画像の垂直方向サイズと画像表示領域ＡＲの垂直方向サイズが等しい場合を説明する。
【００２１】
情報取得装置１０の動き情報生成部１２は、センサからの出力信号や制御データに基づき、動き情報ＭＶとして例えば水平方向の向きの角速度Ｙaωを生成する。画像処理装置２０の表示位置算出部２１は、動き情報ＭＶに基づいて画像の表示位置を算出する。この表示位置の算出では、撮像部１１の撮影方向と視聴者から見たときの画像提示方向が一致するように表示位置を設定する。このため、図５に示すように、撮像部１１の基準方向ＲＦを視聴者から見たときの正面方向として、図５Ａに示すように撮像部１１の撮影方向が基準方向ＲＦに対して右方向に角度「φ」を有する場合、図５Ｂに示すように、画像提示方向は正面方向に対して右方向に角度「φ」を有するものとする。なお、図５において、角度「θ」は、視聴者が１つのスクリーン全面を認識する際の水平方向の視野角である。つまり３つのスクリーンを用いて、視野角「３θ」の範囲内で画像表示が行われる。
【００２２】
このように、画像表示の範囲が限られている場合、撮像部１１の撮影方向に応じて画像の表示位置を移動させると、角度「φ」が大きい場合には、画像の表示位置がスクリーンから外れてしまう。そこで、限られた画像表示範囲内で撮像部１１の水平動きをなるべく忠実に表現するために、動き情報生成部１２から動き情報ＭＶとして供給された角速度Ｙaωに従って画像の表示位置を移動させる。
【００２３】
図６は、表示位置の算出動作を示している。表示する画像の更新周波数、例えばフレーム周波数が６０Ｈｚのとき、（１／６０）秒あたりの撮像部１１の移動角度は、角速度Ｙaωを時間で除することにより算出でき、この移動角度を「ω」とする。なお、図６に示すように、画像表示領域ＡＲは多角面となっているため、厳密には画像上の座標と水平方向の角度は異なるが、画像表示領域ＡＲを円柱面に近似して、水平方向角度と水平方向の座標位置は線形の関係にあると仮定して計算する。
【００２４】
このように表示位置の算出のための条件設定を行う場合、図６Ａに示すように「ｎ−１」フレームと「ｎ」フレームとの間に撮影方向が移動角度ωだけ移動されていることが動き情報ＭＶで示されたとき、この移動角度ωを式（１）に代入することで、図６Ｂに示すように、表示する「ｎ」フレーム画像の中心を示す表示位置「Ｘn」を決定できる。
Ｘn＝Ｘn-1＋ω（Ｌ／θ）・・・（１）
なお、「Ｌ」は１画面の水平画素数（例えばＬ＝７２０画素）であり、「θ」は上述のように水平方向の視野角（例えば４８度）である。また、「Ｘn-1」は１フレーム前の画像の座標を示しており、「Ｘn」の単位は画素となる。
【００２５】
ここで、正面を座標の基準「０」としたとき、表示位置「Ｘn」が「−Ｌ」よりも小さくなる場合や表示位置「Ｘn」が「Ｌ」よりも大きくなると、表示画像が画像表示領域ＡＲを超えてしまう。このため、表示位置「Ｘn」が「−Ｌ≦Ｘn≦Ｌ」の条件を満たすとき、画像の中心が式（１）で算出した表示位置「Ｘn」となるように表示画像の移動を行う。また、表示位置「Ｘn」が「Ｘn＜−Ｌ」の条件を満たすとき、表示画像が画像表示領域ＡＲを超えてしまうことがないように、画像表示領域ＡＲの左側端と表示画像の左側端が一致するように表示画像の位置を設定する。さらに、表示位置「Ｘn」が「Ｘn＞Ｌ」の条件を満たすとき、表示画像が画像表示領域ＡＲを超えてしまうことがないように、画像表示領域ＡＲの右側端と表示画像の右側端が一致するように表示画像の位置を設定する。
【００２６】
このように表示位置を決定することで、図７Ａに示すように、撮像部１１では動きのある被写体ＯＢが撮影画面の中央位置となるように撮影を行って画像信号ＤＶを生成したとき、画像表示装置３０のスクリーンには、図７Ｂに示すように、動きのある被写体ＯＢが、実際の動き合わせて移動して表示されるので、臨場感が高く不自然さのない画像表示を行うことができる。また、基準方向に対する撮影方向の角度「φ」が大きくなっても、表示画像が画像表示領域ＡＲから外れてしまうことも防止できる。
【００２７】
さらに、実際の動きに合わせて表示位置を移動させて画像表示を行う処理は、リアルタイムあるいは非リアルタイムのいずれでも行うことができる。
リアルタイムで画像表示を行う場合、図８に示すように、情報取得装置１０には画像信号ＤＶと動き情報ＭＶに基づいて伝送信号ＴＤを生成して送信する送信部１９を設ける。また、画像処理装置２０は、伝送信号ＴＤを受信して、動き情報ＭＶを表示位置算出部２１に供給すると共に画像信号ＤＶを画像移動部２２に供給する受信部２５を設け、送信部１９と受信部２５とを有線あるいは無線の伝送路を介して接続する。なお、送信部１９では符号化処理を行うと共に受信部２５では復号化処理を行うものとすれば、伝送信号ＴＤの信号量を削減できる。また、多重化処理等を行うものとすれば、異なる番組等の画像を同時に伝送できる。
【００２８】
非リアルタイムで画像表示を行う場合、図９Ａに示すように、情報取得装置１０で生成した画像信号ＤＶと動き情報ＭＶを情報蓄積装置４０に供給する。情報蓄積装置４０は、光学的手段や磁気的手段を用いて、画像信号ＤＶと動き情報ＭＶを記録媒体に蓄積する。なお、記録媒体は、情報蓄積装置４０に固定されているものであっても良く、また交換可能なものであっても良い。画像表示を行う際には、情報蓄積装置４０に蓄積されている画像信号ＤＶと動き情報ＭＶを読み出して画像処理装置２０に供給することで、上述のように画像の動きにあわせて表示位置を移動させることができる。なお、画像信号ＤＶと動き情報ＭＶを情報蓄積装置４０に蓄積する場合、画像信号ＤＶと動き情報ＭＶのタイミングが一致しないと、画像の動きと表示位置の移動が同期しなくなり、画像の動きが無いときに表示位置が移動されてしまう等の不具合を生じるおそれがある。このため、画像信号ＤＶと動き情報ＭＶを同期して再生できるように情報蓄積装置４０に蓄積させる。
【００２９】
また、情報蓄積装置４０に蓄積する情報は、画像信号ＤＶと動き情報ＭＶに限られるものではなく、図９Ｂに示すように、画像処理装置２０で生成した表示信号ＤＳL，ＤＳC，ＤＳRを蓄積することもできる。この情報蓄積装置４０に蓄積されている表示信号ＤＳL，ＤＳC，ＤＳRを読み出して画像表示装置３０に供給すれば、画像の動きにあわせて表示位置を移動させることができる。
【００３０】
このように、情報蓄積装置４０に画像信号ＤＶと動き情報ＭＶを蓄積すれば、表示信号ＤＳL，ＤＳC，ＤＳRを蓄積する場合に比べて情報量を少なくできる。また、表示信号ＤＳL，ＤＳC，ＤＳRを蓄積すれば、画像表示の際に演算処理を行う必要がないので、容易に画像表示を行える。
【００３１】
さらに、リアルタイムあるいは非リアルタイムで画像表示を行うことができるので、例えば局側では、番組の送信あるいは配信時に画像信号ＤＶと動き情報ＭＶを同時に送信する。また視聴者側には、画像処理装置２０や画像表示装置３０を設けるものとすれば、臨場感の高い番組視聴が可能となる。また、上述の図９における情報蓄積装置４０として磁気テープや光ディスク等を用いるものとして、図１０Ａに示すように配布や販売が可能なパッケージメディア化すれば、このパッケージメディア４１をプレーヤ５０で再生することにより、臨場感の高い画像提示を行うことができる。さらに、臨場感の高い画像提示を行うことができるコンテンツを広く流通させることができる。なお、パッケージメディア４１に画像信号ＤＶと動き情報ＭＶを記録する場合、プレーヤ５０は、上述の画像処理装置２０の機能を有するものとする。
【００３２】
また、情報蓄積装置４０としてハード・ディスク装置等のストレージ４２を用いるものとすれば、図１０Ｂに示すように、フィルムを用いることなくスクリーンに画像を表示する電子映画館等になどに対して、ストレージ４２に記憶されている情報を配信することで、より現実的で臨場感の高い映画鑑賞が可能になる。なお、ストレージ４２に画像信号ＤＶと動き情報ＭＶを記録する場合、ストレージ再生装置５５は、上述の画像処理装置２０の機能を有するものとする。
【００３３】
ところで、上述の実施の形態では、水平方向にのみ画像を移動する場合について説明したが、画像表示領域ＡＲの垂直方向のサイズが表示画像のサイズよりも大きい場合には、水平方向の場合と同様にして垂直方向の画像の移動を行うこともできる。また、スクリーン３１L，３１C，３１Rで構成される多面スクリーンに限られるものではなく、曲面スクリーンやシリンドリカルスクリーン、あるいは３６０度スクリーンなどであっても同様の処理が可能である。
【００３４】
【発明の効果】
この発明によれば、動き情報に基づいて撮影画像よりも広画角の画像表示領域における撮影画像の表示位置を決定し、この表示位置に撮影画像を表示するための表示信号を画像信号から生成し、この表示信号に基づいて画像表示領域に撮影画像を表示する。このように、撮影画像の動きに応じて画像表示位置を移動するので、臨場感の高い画像表示を行うことができる。
また、例えば、表示位置に表示される表示画像が、画像表示領域を超えると判定した場合、当該表示画像が当該画像表示領域を超えないように表示位置を決定する。これにより、基準方向に対する撮影方向の角度が大きくなった場合に、表示画像が画像表示領域から外れてしまうことを防止できる。
【００３５】
また、動き情報生成手段が撮像手段に取り付けられて、画像信号と動き情報が同時に生成される。また、撮像手段の撮影方向を制御するために用いる情報が動き情報とされるので、画像の動きにあわせて表示位置を移動させることができる。
【００３６】
さらに、撮影方向の動きと撮影画像の表示位置の移動が等しくなるように表示信号が生成されるので、視聴者は現実と同じ空間あるいは動きを視聴時に取得することができる。
【００３７】
また、生成された画像信号と動き情報が伝送路を介して伝送されて処理されるので、リアルタイムで画像表示を行うことができる。また、画像信号と動き情報が蓄積されて、その後蓄積された画像信号や動き情報が読み出されて表示信号の生成が行われるので、非リアルタイムでも臨場感の高い画像表示を行うことができる。
【図面の簡単な説明】
【図１】画像表示システムを示す図である。
【図２】情報取得装置と画像処理装置の構成を示す図である。
【図３】情報取得装置の他の構成を示す図である。
【図４】画像メモリの構成を示す図である。
【図５】撮影方向と撮像提示方向の関係を示す図である。
【図６】表示位置の算出動作を示す図である。
【図７】画像表示システムの動作を示す図である。
【図８】リアルタイムで画像表示を行う場合の構成を示す図である。
【図９】非リアルタイムで画像表示を行う場合の構成を示す図である。
【図１０】非リアルタイムで画像表示を行う場合の他の構成を示す図である。
【符号の説明】
１０・・・情報取得装置、１１・・・撮像部、１２・・・動き情報生成部、１６・・・制御部、１７・・・方向調整部、１９・・・送信部、２０・・・画像処理装置、２１・・・表示位置算出部、２２・・・画像移動部、２３・・・表示信号生成部、２５・・・受信部、３０・・・画像表示装置、４０・・・情報蓄積装置、４１・・・パッケージメディア、４２・・・ストレージ、５０・・・プレーヤ、５５・・・ストレージ再生装置、２２１・・・画像メモリ

Claims

撮影方向を移動して撮影し取得される撮影画像を表示する画像表示システムであって、
前記撮影画像よりも広画角の画像表示領域を有して当該撮影画像を表示する表示手段と
、
前記撮影に基づく撮影画像の画像信号を生成すると共に前記撮影方向の動きに応じた動き情報を生成する情報生成手段と、
前記情報生成手段により生成された前記動き情報に基づいて前記画像表示領域における前記撮影画像の表示位置を決定する表示位置算出手段と、
前記表示位置算出手段によって決定された前記表示位置に前記撮影画像を表示するための表示信号を前記画像信号から生成する信号生成手段とを備え、
前記表示手段は、
前記信号生成手段によって生成された前記表示信号に基づいて前記画像表示領域に前記撮影画像を表示し、
前記表示位置算出手段は、
前記動き情報に基づいて決定された前記表示位置に表示される表示画像が、前記画像表示領域を超えると判定した場合には、当該表示画像が当該画像表示領域を超えないように前記表示位置を設定する
ことを特徴とする画像表示システム。
前記表示位置算出手段で決定された表示位置に、前記撮影画像を移動させる画像移動手段を更に有し、
前記信号生成手段は、前記画像移動手段によって移動された位置に前記撮影画像を表示するように前記表示信号を生成する
ことを特徴とする請求項１に記載の画像表示システム。
前記情報生成手段は、撮影画像の画像信号を生成する撮像手段と、前記動き情報を生成する動き情報生成手段を有し、
前記動き情報生成手段はセンサを用いて形成し、
前記動き情報生成手段を前記撮像手段に取り付けることで、前記画像信号と前記動き情報を同時に生成する
ことを特徴とする請求項１記載の画像表示システム。
前記情報生成手段は、撮影画像の画像信号を生成する撮像手段と、前記撮像手段の撮影方向を制御する方向制御手段とを有し、
前記方向制御手段で撮影方向を制御するために用いる情報を前記動き情報とすることで、前記画像信号と前記動き情報を同時に生成する
ことを特徴とする請求項１記載の画像表示システム。
前記信号生成手段は、前記撮影方向の動きと前記撮影画像の表示位置の移動が等しくなるように前記表示信号を生成する
ことを特徴とする請求項１記載の画像表示システム。
前記情報生成手段で生成された画像信号を、伝送路を介して前記画像移動手段に供給し、
前記情報生成手段で生成された動き情報を、伝送路を介して前記表示位置算出手段に供給する
ことを特徴とする請求項２記載の画像表示システム。
前記情報生成手段で生成された画像信号と動き情報を、情報蓄積手段に蓄積し、
前記画像処理手段は、前記情報蓄積手段に蓄積されている画像信号と動き情報を用いて前記表示信号を生成する
ことを特徴とする請求項１記載の画像表示システム。
撮影方向を移動して撮影し取得される撮影画像の画像信号と、前記撮影方向の動きに応じた動き情報とを用いて画像を処理する画像処理装置であって、
前記撮影方向の動きに応じた動き情報に基づいて、前記撮影画像よりも広画角の画像表示領域に当該撮影画像の表示位置を決定する表示位置算出手段と、
前記表示位置算出手段で決定された表示位置に前記撮影画像を移動させる画像移動手段と、
前記画像移動手段によって移動された表示位置に前記撮影画像を表示する表示信号を前記画像信号から生成する表示信号生成手段とを有し、
前記表示位置算出手段は、
前記動き情報に基づいて決定された前記表示位置に表示される表示画像が、前記画像表示領域を超えると判定した場合には、当該表示画像が当該画像表示領域を超えないように前記表示位置を設定する
ことを特徴とする画像処理装置。
前記表示位置算出手段は、前記動き情報に基づき、前記撮影方向の動きと前記撮影画像の表示位置の移動が等しくなるように前記表示位置を決定することを特徴とする請求項８記載の画像処理装置。
撮影方向を移動して撮影し取得される撮影画像を表示する画像表示方法であって、
前記撮影に基づく撮影画像の画像信号を生成すると共に前記撮影方向の動きに応じた動き情報を生成する第１ステップと、
生成した前記動き情報に基づいて前記撮影画像よりも広画角の画像表示領域における前記撮影画像の表示位置を決定する第２ステップと、
決定された前記表示位置に前記撮影画像を表示するための表示信号を前記画像信号から生成する第３ステップと、
生成された前記表示信号に基づいて前記画像表示領域に前記撮影画像を表示するする第４ステップとを有し、
前記第２ステップでは、
決定された前記表示位置に表示される表示画像が、前記画像表示領域を超えると判定した場合、当該表示画像が当該画像表示領域を超えないように前記表示位置を決定する
ことを特徴とする画像表示方法。
前記撮影方向の動きと前記撮影画像の表示位置の移動が等しくなるように前記表示信号を生成する
ことを特徴とする請求項１０記載の画像表示方法。