JP4148671B2 - 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム - Google Patents
表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP4148671B2 JP4148671B2 JP2001340429A JP2001340429A JP4148671B2 JP 4148671 B2 JP4148671 B2 JP 4148671B2 JP 2001340429 A JP2001340429 A JP 2001340429A JP 2001340429 A JP2001340429 A JP 2001340429A JP 4148671 B2 JP4148671 B2 JP 4148671B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- display
- image data
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、異なる視点、あるいは異なる視線方向からの複数の画像について、予め定められたデータ出力順による表示処理態様と、ユーザが自己の意思をもって画像選択を行なう表示処理態様とを自在に切り替えることを可能とした表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
近年、パノラマ、全天球画像など、視点を様々に移動可能とした画像データの利用が盛んになりつつある。例えば、ＤＶＤ、ＣＤ等の記憶媒体に複数の視点位置、視線方向からある被写体を撮影した画像を蓄積し、蓄積画像をＣＲＴ、液晶表示装置等に表示する際に、ユーザがコントローラの操作によって、自由な位置に視点を移動させて、被写体の像を観察するシステムが実現されている。また、インターネット等の通信システムを介して複数の視点位置、視線方向からある被写体を撮影した画像を配信し、ユーザがＰＣ等のマウス操作により、好みの視点位置、視線方向からの画像をディスプレイに表示するシステム等が構築されている。
【０００３】
視点を様々に移動可能とした画像データは、例えば複数の異なる視点位置に配置したカメラによって撮影した複数の画像をつなぎ合わせて合成することによって生成される。カメラ間の画像は、画像データの補正処理として例えばビューインタポレーション等の手法により、隣接カメラの撮影画像に基づいて生成することが可能である。動画像においては、複数のカメラの撮影した動画像データの時間的な同期処理を行なった上で同様に生成することが可能となる。このような全方位映像の生成手法は、例えば文献「Ｓ．Ｅ．Ｃｈｅｎ”ck time VR-An Image-Based Approach to virtual Environment Navigation", Computer Graphics SIGGRAPH,pp.29-38,1995」等に記載されている。
【０００４】
視点を自由に変更できる画像を、例えばＤＶＤ等の記憶媒体から読み出してディスプレイにおいて再生する場合には、どの視点位置からのデータを表示するかをユーザが自ら選択するか、あるいは、あらかじめ画像データに付随するプログラムに従って表示するかのいずれかの処理を実行することとなる。また、インターネット、あるいは衛星を介したプロードキャスト等のデータ配信システムにおいては、データ配信元から送信される複数の視点画像からの画像からユーザが１つの視点画像を選択して表示したり、あるいは配信元においてあらかじめ定めた代表画像のみをディスプレイに表示する等の処理が実行されることになる。
【０００５】
表示画像が静止画像である場合には、ユーザは、好みの視点画像を持つ静止画像を時間にとらわれることなく順次、例えばＤＶＤ等の記憶媒体から読み出して表示することが可能であるが、動画像である場合には、ユーザは、動画像を観察しながら、視点位置を移動させる処理を例えばマウス、あるいは所定のコントローラ等の入力装置を介して実行することになる。
【０００６】
一方、ユーザの視点位置の入力を不要とし、予め動画像データに対応して設定されたプログラムに従って、様々な視点位置からの画像を切り替えて表示する手法もある。
【０００７】
【発明が解決しようとする課題】
このような、パノラマ、全天球動画など、視点を様々に移動可能とした動画の表示処理において、ユーザによる画像を観察しながらの視点位置の切り替え処理は、ユーザの積極的な視点選択意思が継続している場合には有効であるが、ユーザの視点選択意思が減退した場合には操作の煩わしさを感じることになる。ユーザによる視点位置の移動コマンドがコントローラから入力されない限り、最後に入力した視点位置からの動画像がその後、継続して表示されることになり、単調な動画像表示となってしまう。一方、予め動画像データに対応して設定されたプログラムに従った画像表示処理は、ユーザによる意思とは無関係な視点位置の画像を表示することになる。
【０００８】
このように、視点を様々に移動可能とした動画の表示処理において、ユーザによる視点位置の入力を継続させることは、操作の煩わしさという問題を生じ、一方、動画像の設定プログラムに従った表示は、ユーザによる意思を反映させない画像表示という問題を生じさせる。
【０００９】
本発明は、上記問題点に鑑みてなされたものであり、視点を様々に移動可能とした動画の表示処理において予め定められたデータ出力順による表示処理態様と、ユーザが自己の意思をもって画像選択を行なう表示処理態様とを自在に切り替えることを可能とした表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の第１の側面は、
動画像データから選択または合成される連続的に変更可能な特定視点からの画像を表示手段に出力する表示画像制御処理装置であり、
前記特定視点を決定することにより、前記動画像データから前記表示手段に表示すべき画像の決定処理を実行する制御手段を有し、
前記制御手段は、動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかを選択して実行する構成を有し、
プリセットモードの実行中に、前記視点設定コマンドの入力を条件として、マニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成を有し、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行する構成を有し、
前記入力手段は、視点設定コマンドとして、画像の視点位置、視線方向、画角の少なくともいずれかをユーザ入力により指定した視点設定コマンドを出力する構成であり、前記制御手段は、画像の視点位置、視線方向、画角の少なくともいずれかを指定した視点設定コマンドに対応する視点画像に切り替える処理を実行する構成であることを特徴とする表示画像制御処理装置にある。
【００１３】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記センサは、視点設定コマンドとして、画像の視点位置、視線方向、画角の少なくともいずれかをセンサによる検出情報に基づいて指定したコマンドを出力する構成であり、前記制御手段は、画像の視点位置、視線方向、画角の少なくともいずれかを指定した視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成であることを特徴とする。
【００１４】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記センサは、方向検出機能を持つジャイロを備えた構成であり、ジャイロによって取得される方向情報に基づくデータを前記視点設定コマンドとして出力する構成であり、前記制御手段は、ジャイロによって取得される方向情報に基づくデータを含む視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記センサは、ユーザの顔の撮影画像に基づく画像分析処理に基づく視線方向検出処理手段を備えた構成であり、画像分析処理によって取得される方向情報に基づくデータを前記視点設定コマンドとして出力する構成であり、前記制御手段は、前記画像分析処理によって取得される方向情報に基づくデータを含む視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成であることを特徴とする。
【００１６】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記制御手段は、複数視点からの画像を含む動画像データに基づいて、該動画像データには含まれない視点画像を合成し、合成画像を前記表示手段に出力する構成を有することを特徴とする。
【００１７】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記制御手段は、複数視点からの画像を含む動画像データに対応する表示可能な視点位置データ、および該表示手段に表示中の画像の視点位置識別データを、該表示手段に表示する処理を実行する構成を有することを特徴とする。
【００１８】
さらに、本発明の表示画像制御処理装置の一実施態様において、複数視点からの画像を含む動画像データは、離間した複数の被写体位置各々に対応して設定された複数の視点画像を含み、前記制御手段は、前記離間した複数の被写体位置各々に対応して設定された複数の視点画像を含む動画像データに基づいて、前記表示手段に表示すべき画像の決定処理を実行する構成を有することを特徴とする。
【００１９】
本発明の第２の側面は、
動画像データを保持し、動画像データの配信を実行するサーバと、
前記サーバから受信する動画像データに基づく画像表示処理を実行するユーザシステムとによって構成される動画像情報送受信システムであり、
前記ユーザシステムは、表示手段に表示すべき画像の決定処理を実行する制御手段を有し、
前記制御手段は、動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかを選択して実行する構成を有し、
プリセットモードの実行中に、前記視点設定コマンドの入力を条件として、マニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成を有し、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行する構成を有する構成を有することを特徴とする動画像情報送受信システムにある。
【００２０】
さらに、本発明の動画像情報送受信システムの一実施態様において、前記サーバは、動画像データに含まれる全視点画像データの配信を実行し、前記ユーザシステムは、前記動画像データに含まれる全視点画像データ、および、前記プリセット表示画像プログラムを格納する記憶手段を有し、前記制御手段は、プリセットモードにおいては、前記プリセット表示画像プログラムに従った特定視点画像データを出力し、マニュアルモードにおいては、視点設定コマンドに対応する特定視点画像データを出力する構成であることを特徴とする。
【００２１】
さらに、本発明の動画像情報送受信システムの一実施態様において、前記サーバは、動画像データに含まれる特定視点画像データの配信を実行し、前記ユーザシステムは、プリセットモードにおいては、前記サーバにおいて設定されたプリセット表示画像プログラムに従った特定視点画像データを前記サーバから受信し、受信データを表示手段に出力し、マニュアルモードにおいては、視点設定コマンドに対応する画像指定情報を前記サーバに送信するとともに、前記サーバにおいて該画像指定情報に従って送信される画像データを受信し、前記視点設定コマンドに対応する特定視点画像データを表示手段に出力する構成であることを特徴とする。
【００２２】
さらに、本発明の第３の側面は、
動画像データから選択または合成される連続的に変更可能な特定視点からの画像を表示手段に出力する表示画像制御処理方法であり、
動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかのモードに設定するモード設定ステップと、
前記モード設定ステップにおいて設定したモードに従って、前記特定視点を決定することにより、前記動画像データから前記表示手段に表示すべき画像の決定処理を実行する画像決定ステップとを有し、さらに、
前記プリセットモードにおいて、前記視点設定コマンドの入力を条件としてマニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行するステップと、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行するステップとを有し、
マニュアルモードにおける前記画像決定ステップは、画像の視点位置、視線方向、画角の少なくともいずれかを指定した視点設定コマンドに対応する視点画像への切り替え処理を実行するステップであることを特徴とする表示画像制御処理方法にある。
【００２５】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記センサは、方向検出機能を持つジャイロを備えた構成であり、ジャイロによって取得される方向情報に基づくデータを前記視点設定コマンドとして出力し、マニュアルモードにおける前記画像決定ステップは、前記ジャイロによって取得される方向情報に基づくデータを含む視点設定コマンドに対応する視点画像へ切り替える処理を実行するステップであることを特徴とする。
【００２６】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記センサは、ユーザの顔の撮影画像に基づく画像分析処理に基づく視線方向検出処理手段を備えた構成であり、画像分析処理によって取得される方向情報に基づくデータを前記視点設定コマンドとして出力し、マニュアルモードにおける前記画像決定ステップは、前記画像分析処理によって取得される方向情報に基づくデータを含む視点設定コマンドに対応する視点画像へ切り替える処理を実行するステップであることを特徴とする。
【００２７】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記表示画像制御処理方法は、さらに、複数視点からの画像を含む動画像データに基づいて、該動画像データには含まれない視点画像を合成し、合成画像を前記表示手段に出力するステップを含むことを特徴とする。
【００２８】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記表示画像制御処理方法は、さらに、複数視点からの画像を含む動画像データに対応する表示可能な視点位置データ、および該表示手段に表示中の画像の視点位置識別データを、該表示手段に表示する処理を実行するステップを有することを特徴とする。
【００２９】
さらに、本発明の表示画像制御処理方法の一実施態様において、複数視点からの画像を含む動画像データは、離間した複数の被写体位置各々に対応して設定された複数の視点画像を含み、前記表示画像制御処理方法は、さらに、前記離間した複数の被写体位置各々に対応して設定された複数の視点画像を含む動画像データに基づいて、前記表示手段に表示すべき画像の決定処理を実行するステップを有することを特徴とする。
【００３０】
さらに、本発明の第４の側面は、
動画像データを保持し、動画像データの配信を実行するサーバと、
前記サーバから受信する動画像データに基づく画像表示処理を実行するユーザシステムとによって構成される動画像情報送受信システムにおける動画像情報送受信方法であり、
前記ユーザシステムは、動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかを選択して実行し、
プリセットモードの実行中に、前記視点設定コマンドの入力を条件として、マニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行し、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行することを特徴とする動画像情報送受信方法にある。
【００３１】
さらに、本発明の動画像情報送受信方法の一実施態様において、前記サーバは、動画像データに含まれる全視点画像データの配信を実行し、前記ユーザシステムは、前記動画像データに含まれる全視点画像データ、および、前記プリセット表示画像プログラムを記憶手段に格納し、プリセットモードにおいては、前記プリセット表示画像プログラムに従った特定視点画像データを出力し、マニュアルモードにおいては、視点設定コマンドに対応する特定視点画像データを出力することを特徴とする。
【００３２】
さらに、本発明の動画像情報送受信方法の一実施態様において、前記サーバは、動画像データに含まれる特定視点画像データの配信を実行し、前記ユーザシステムは、プリセットモードにおいては、前記サーバにおいて設定されたプリセット表示画像プログラムに従った特定視点画像データを前記サーバから受信し、受信データを表示手段に出力し、マニュアルモードにおいては、視点設定コマンドに対応する画像指定情報を前記サーバに送信するとともに、前記サーバにおいて該画像指定情報に従って送信される画像データを受信し、前記視点設定コマンドに対応する特定視点画像データを表示手段に出力することを特徴とする。
【００３３】
本発明の第５の側面は、
動画像データから選択または合成される連続的に変更可能な特定視点からの画像を表示手段に出力する表示画像制御処理を実行するコンピュータ・プログラムであって、
動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかのモードに設定するモード設定ステップと、
前記モード設定ステップにおいて設定したモードに従って、前記特定視点を決定することにより、前記動画像データから前記表示手段に表示すべき画像の決定処理を実行する画像決定ステップとを有し、さらに、
前記プリセットモードにおいて、前記視点設定コマンドの入力を条件としてマニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行するステップと、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行するステップとを有し、
マニュアルモードにおける前記画像決定ステップは、画像の視点位置、視線方向、画角の少なくともいずれかを指定した視点設定コマンドに対応する視点画像への切り替え処理を実行するステップとして実行することを特徴とするコンピュータ・プログラムにある。
【００３４】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００３６】
【発明の実施の形態】
以下、本発明の表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法について、図面を参照しながら詳細に説明する。
【００３７】
複数視点からの画像データを含む動画像データは、例えばＤＶＤ、ＣＤ等の記憶媒体に記憶され、ＣＲＴ、ＬＣＤ等の表示手段において表示されたり、あるいはインターネット、その他、無線、有線のデータ配信網を介してユーザに配信され、ユーザの持つ端末等のディスプレイにおいて表示される。
【００３８】
図１に本発明のシステムの適用可能な動画像コンテンツの利用形態の概念図を示す。動画像コンテンツは、コンテンツ提供サイト１８０のサーバ１８１から衛星、インターネット他、有線、無線のデータ通信網１７０を介してユーザサイト１００に配信されたり、あるいは、例えばフラッシュメモリ等の記憶素子を持つ着脱可能なメモリ１５１、あるいはＤＶＤ、ＣＤ等の記憶媒体１５２に格納され、ユーザサイトに提供される。
【００３９】
ユーザサイト１００には、ディスプレイを持つ例えばデスクトップＰＣ１０１、ノート型ＰＣ１０２、携帯電話端末１０３、ヘッドマウントディスプレイ１０４等においてネットワークを介して受信したコンテンツ、あるいは記憶媒体に格納された動画像コンテンツを再生する。ユーザサイトには代表的な装置を示してあるが、この他にもテレビ画像受信機、ゲーム装置等の各種機器が使用可能である。また、コンテンツ提供サイトもインターネットを介したデータ配信を実行するサービスプロバイダや、放送局等が含まれる。
【００４０】
本発明で取り扱うデータは、複数視点からの画像データを含む動画像である。このような複数視点からの動画像は、複数の異なる視点からの画像を撮影するカメラの画像データに基づいて制作される。なお、本明細書において説明する複数視点からの画像とは、異なる位置に配置したカメラによって取得される画像のみならず、撮影方向、画角等が異なる画像も含むものである。すなわち、空間上の離間した異なる位置に配置されたカメラによって撮影される各画像が複数視点からの画像データであることは勿論、さらに、空間上の１つの点を中心点とした回りの画像、例えば３６０度画像、全方位画像を構成する画像の各々も複数視点からの画像データであり、同一点からの異なる方向を撮影した画像、または異なる画角で撮影した個々の画像も視点位置の異なる画像データであると定義する。
【００４１】
また、以下、説明する本発明のシステムにおいては、異なる位置、または方向、または画角等を設定し、異なる画像を撮影する複数のカメラによって取得された画像に基づいて生成されるカメラ間画像についても、ユーザが異なる視点からの画像として指定可能な構成を持つものであり、例えば複数のカメラによって撮影された画像に基づいて、あらかじめパノラマ画像、３６０度画像、全方位画像、全天球画像等を生成し、この生成画像中から任意の視点を設定して、ディスプレイに表示する構成も含むものである。このような複数視点からの画像データの生成処理については、例えば、文献「Ｓ．Ｅ．Ｃｈｅｎ”ck time VR-An Image-Based Approach to virtual Environment Navigation", Computer Graphics SIGGRAPH,pp.29-38,1995」等に記載されている。
【００４２】
視点位置の異なる画像データの構成例について、図を参照して説明する。図２に示すカメラ配置Ａは、被写体２０１を被写体２０１の周囲にほぼ等間隔に配置した５台のカメラＡ１〜Ａ５によって撮影する構成を示したものである。５台のカメラＡ１〜Ａ５によって撮影した複数の動画像データは、各々が同期したデータとして、記憶媒体に格納され、あるいはネットワークを介する配信データとされる。例えば図２に示すカメラ配置構成で撮影された動画像データ中の、時間：ｔ１におけるフレームデータは、図２のデータ構成に示すデータ態様として記憶媒体に格納、または配信される。ユーザによる視点位置指定、あるいはプリセットされた視点位置に従って、５台のカメラＡ１〜Ａ５によって撮影した複数の動画像データの中から１つの動画像データが選択されてユーザの持つ表示装置に表示される。
【００４３】
図３に示すカメラ配置Ｂは、被写体２１１を前方から３つの異なる角度、正面、右斜め前、左斜め前、各方向において近距離、中距離、遠距離の３つの異なる距離にカメラ位置を設定し、これらの９つのカメラ位置にカメラＢ１〜Ｂ９を配置して撮影する構成を示している。このカメラ配置を採用した場合には、９つの動画像データについて、図２に示したと同様、複数の動画像データを同期データとして記憶媒体に格納、またはデータ通信網を介して配信する。
【００４４】
図４に示すカメラ配置Ｃは、被写体２２１を被写体２２１の周囲にほぼ等間隔に配置した５台のカメラＣ１〜Ｃ５によって撮影するとともに、被写体２２２を被写体２２２の周囲にほぼ等間隔に配置した５台のカメラＣ６〜Ｃ１０によって撮影する構成例を示している。なお、この場合は、被写体２２１、被写体２２２は特定の異なる物体、あるいは人物であってもよいし、また、サッカーフィールドにおける右サイドと左サイドといった異なる領域をそれぞれ被写体２２１と被写体２２２として設定する構成としてもよい。この図４に示すカメラ配置を採用した場合には、１０の動画像データについて、図２に示したと同様、複数の動画像データを同期データとして記憶媒体に格納、またはデータ通信網を介して配信する。
【００４５】
図５に示すカメラ配置Ｄ，Ｅは、撮影方向をカメラ位置を中心として周囲の３６０度平面（Ｄ）、あるいは全天球方向（Ｅ）とした構成である。カメラ配置Ｄは、平面軸の中心点２３１の周囲の画像を撮影するようにカメラＤ１〜Ｄ８を配置して、平面３６０度の画像を撮影する構成であり、カメラ配置Ｅは、球体の中心点２３２の周囲の画像を撮影するようにカメラＥ１〜Ｅｎを配置して、全天球の画像を撮影する構成である。この図５に示すカメラ配置を採用した場合には、カメラ数に対応する動画像データについて、図２に示したと同様、複数の動画像データを同期データとして記憶媒体に格納、またはデータ通信網を介して配信する。
【００４６】
なお、図２〜図５に示すカメラ配置以外にも様々なカメラ配置が可能である。例えば、図５に示すカメラ配置Ｄ，Ｅの構成、すなわち、カメラ位置を中心として周囲の３６０度平面（Ｄ）、あるいは全天球方向（Ｅ）とした構成を、先に説明した図４に示すと同様に複数の異なる位置に設定して、複数の異なる位置からの３６０度平面（Ｄ）、あるいは全天球方向（Ｅ）の画像を撮影する構成としてもよい。
【００４７】
なお、各カメラによって撮影された複数の画像は、図２を用いて説明したように、カメラ毎の個別の画像データとして記憶媒体に格納、またはデータ通信網を介して配信し、選択画像をユーザのディスプレイに表示する。なお、カメラ間の画像データをビューインタポレーション等の画像合成技術を用いて生成し、あらかじめパノラマ画像、３６０度画像、全方位画像、全天球画像等を生成して生成画像からユーザが任意の視点を選択してディスプレイに表示することが可能である。すなわち、上述の図２〜図５に示すカメラ配置のように異なる位置、または方向、または画角等を設定した複数のカメラによって取得された画像に基づいて生成されるカメラ間画像についても、ユーザが異なる視点からの画像として指定可能な構成を持つ。例えば複数のカメラによって撮影された画像に基づいて、あらかじめパノラマ画像、３６０度画像、全方位画像、全天球画像等を生成し、この生成画像中から任意の視点を設定して、ディスプレイに表示することが可能である。
【００４８】
このような様々な視点からのデータを含む動画像データを記憶媒体から再生、あるいは配信データ中から選択してユーザ所有のディスプレイに表示する処理態様としては、大きく分けて２つの態様がある。１つは、ユーザによる視点位置指定に基づいて、指定された画像を選択して、あるいは合成して表示するマニュアルモード処理態様であり、もう１つは、予め動画像に対応して設定された表示プログラムに従って、様々な視点位置からの動画像データを順次切り替えて表示するプリセットモード処理態様である。
【００４９】
動画像の表示シーケンスを設定したプリセット表示画像プログラムの一例について、図６を用いて説明する。図６（ａ）に示すように、プログラムは、時間（Ｔ）に対応した視点位置データ（Ａ）、視線方向データ（Ｂ）、画角（Ｃ１）、その他の設定データＤ…の各パラメータによって構成される。プリセット表示画像プログラムは、このように、表示画像を特定する時系列データとして構成される。この、プリセット表示画像プログラムに従った画像表示態様がプリセットモードである。
【００５０】
時間：Ｔ１，Ｔ２・・は、動画像コンテンツの表示プログラムの開始からの経過時間を示し、視点位置データ：Ａ１，Ａ２・・は、各時点Ｔｎおいて切り替えるべき視点位置を示す。例えば図６（ｂ）に示すように被写体等の基準位置Ｐを中心とした座標位置情報とした場合、Ａｎ＝（ｘ，ｙ）として設定される。視線方向データ：Ｂ１，Ｂ２・・は、各時点Ｔｎにおいて切り替えるべき視線方向を示す。例えば図６（ｂ）に示すようにベクトルデータ（Ｖｘ，Ｖｙ）が適用可能である。また、画角データ：Ｃ１，Ｃ２・・は、各時点Ｔｎにおいて切り替えるべき画角を示す。画角データとしては、図６（ｂ）に示すように角度データ（θ）が適用可能である。なお、図６（ｂ）に示す例は、２次元平面における各情報構成例を示してあるが、３次元情報として各データを構成することも可能である。
【００５１】
図６（ａ）に示すようなプリセット表示画像プログラムに従って動画像データをユーザのディスプレイに表示する場合は、プログラム開始時間からの経過時間に従って、プログラムに従った、視点位置、視線位置、画角の設定画像を表示する。経過時間は、タイマ等によって計測してもよいが、コンテンツの各フレームに対応して設定された付帯情報としてのフレームナンバ等の識別データを再生時間に対応付けて用いてもよい。所定時間あたり規定フレーム数、例えばｎフレーム／ｓの再生処理を実行する場合には、再生フレーム数に対応させた時間計測が可能となる。
【００５２】
例えば先に説明した図２のような５つのカメラ配置によって、５つの画像から選択された画像のみが表示可能な構成においては、プログラムの設定情報は、５つのカメラのいずれかの視点位置、視線位置、画角の情報として設定される。また、ビューインタポレーション等によって実際の撮影画像間の画像、例えば３６０度の全方位画像を予め格納、または配信、あるいはユーザのシステム内で合成処理を実行する場合には、プログラムの設定情報は、実際の撮影カメラの視点位置、視線位置、画角の情報のみならず、その他の位置情報等が設定可能であり、設定情報に従って画像をユーザのディスプレイに表示する。
【００５３】
本発明のシステムでは、様々な視点からの動画像データを記憶媒体から再生、あるいは配信データ中から選択してユーザ所有のディスプレイに表示する際、前述した２つの処理態様、すなわち、ユーザによる視点位置等の指定情報に基づいて、指定された画像を選択して、あるいは合成して表示するマニュアル処理態様と、予め動画像に対応して設定された表示プログラムに従って、様々な視点位置からの動画像データを順次切り替えて表示するプリセット処理態様とを任意のタイミングで切り替えることが可能な構成を持つ。
【００５４】
動画像をネットワークを介して受信、あるいは記憶媒体から読み出して再生する表示画像制御処理装置の構成例を図７に示す。
【００５５】
表示画像制御処理装置３００には、インターネット配信データ、あるいはブロードキャストデータ等を受信する通信インタフェース３０１を有し、画像配信サイトから送信されるパノラマ、全天球動画など異なる視点位置からの動画像データを含むコンテンツを受信する。また、記憶媒体インタフェース３０２は、ＤＶＤ、フラッシュメモリ等、各種記憶媒体３２０との間のデータ転送用インタフェースであり、異なる視点位置からの動画像データを含むコンテンツを記憶媒体３２０からデータ処理装置３００に撮り込むためのインタフェースである。
【００５６】
画像配信サイトから送信されるコンテンツ、あるいは記憶媒体３２０に格納されるコンテンツは、多くの場合、データ量削減のために符号化されており、デコード処理部３０３においてデコード処理が実行された後、表示制御部３０８の制御のもとに、表示装置３１０において表示する。
【００５７】
予め動画像に対応して設定された表示プログラムに従った動画像データを表示するプリセット処理態様での表示の際には、様々な視点からの動画像データを、設定された表示プログラムに従って、設定パラメータに従った視点位置、視点方向、画角を持つ動画像データを選択、または合成処理を実行して表示装置３１０に表示する。
【００５８】
一方、ユーザによる視点位置等の指定情報に基づいて、指定された画像を選択して、あるいは合成して表示するマニュアル処理においては、表示画像の視点位置等のコントロール情報を、コントローラ３１１からのユーザ入力、あるいは、角度情報取得装置等のセンサ３１２からの方向データ等の入力に基づいて、表示画像が選択、または合成処理がなされて表示装置３１０に表示される。
【００５９】
表示画像制御処理装置３００の受信部３０７は、コントローラ３１１、またはセンサ３１２から送信される信号（例えば赤外線信号）を受信して、制御部（ＣＰＵ）３０４に出力する。コントローラ３１１、またはセンサ３１２から送信される信号は、表示画像の指定情報であり、例えばパノラマ、全天球動画像における表示位置の設定情報としての情報であり、図６を参照して説明したプリセット表示画像プログラムに含まれる視点位置データ（Ａ）、視線方向データ（Ｂ）、画角（Ｃ１）、その他の設定データＤ…の各パラメータの少なくともいずれかに対応する情報を含むデータである。
【００６０】
センサ３１２は、例えば３軸ジャイロ等の角度センサをユーザの頭部に装着し、ユーザの視線方向を角度情報として取得するヘッドトラッカ等によって構成され、ユーザの見ている方向に対応する視点位置情報を入力する。表示画像制御処理装置は、コントローラ３１１からのユーザ入力、あるいはセンサ３１２から入力される情報を、先に図６を参照して説明したプリセット表示画像プログラムにおけると同様のパラメータに変換して、設定パラメータに従った視点位置、視点方向、画角を持つ動画像データを選択、または合成処理によって生成して表示装置３１０に表示する。
【００６１】
なお、センサ３１２は、上述の３軸ジャイロを用いた構成のみならず、例えばユーザの顔を撮影し、撮影画像を分析することによって、ユーザの視線方向等のデータを取得する構成を持つものでもよい。このような構成の場合は、画像分析によって取得したユーザの視点方向等のデータを表示画像制御処理装置に入力する。
【００６２】
表示画像制御処理装置３００における記憶部は、受信データの記憶、各種処理プログラムの記憶、プリセット表示画像プログラムの記憶、あるいはＣＰＵ３０４におけるワークエリアとしての記憶領域等に用いられる記憶部であり、ＲＡＭ、ＲＯＭ等によって構成される。タイマ３０６は、画像表示プログラムの開始からの時間を計測する際等に使用される。
【００６３】
図８にコントローラ３１１の構成例を示す。コントローラ３１１は、パワースイッチ３５１、コンテンツ選択スイッチ３５２、音量設定部３５３、視点位置移動部３５４、視線方向設定部３５５、ズームイン設定部３５６、ズームアウト設定部３５７、カメラ選択部３５８を有する。
【００６４】
コントローラの各操作部の操作に基づいて設定されたデータがコントローラ前面のデータ送信部（例えば赤外光発光部）３５９から処理指令コマンド（視点設定コマンド）として送信され、表示画像制御処理装置３００の受信部３０７によって受信されて画像の視点位置、視線方向、画角等のパラメータとして設定されて、各パラメータに対応する画像が選択または合成されて、表示装置３１０に表示される。
【００６５】
視点位置移動部３５４における設定が視点位置パラメータ、視線方向設定部３５５における設定が視線方向パラメータ、ズームイン設定部３５６における設定が画角パラメータに相当するデータとして表示画像制御処理装置３００に送信される。なお、図８に示すコントローラの構成は一例に過ぎず、その他の構成とすることも可能である。例えばジョイステイックのような操作部を設けて、ジョイスティックの操作に応じて視点位置、視線方向、画角等の各種設定情報を出力する構成としてもよい。
【００６６】
図９は、センサ３１２の一実施例の詳細構成を示すブロック図である。変位検出手段としての３軸ジャイロ３６１は、Ｘ軸、Ｙ軸、Ｚ軸の各座標軸に対応したジャイロ３６２，３６３，３６４からなる。ジャイロは、振動している物体に回転角速度を加えると、その振動と直角方向にコリオリ力Ｆ＝２ｍｖω（ただし、ｍは質量、ｖは速度、ωは角速度）を生じる特性を有している。角速度ωは、コリオリ力Ｆに比例することになり、コリオリ力Ｆを検出することにより、回転角速度が検出可能となる。
【００６７】
各ジャイロ３６２，３６３，３６４には、それぞれ駆動用圧電磁器と検出用圧電磁器（図示せず）が設けられており、駆動用圧電磁器にはオシレータの発振出力である交番信号が印加されるようになされている。この状態で、ジャイロが回転されると、検出用圧電磁器にコリオリ力Ｆが加わり、電圧Ｅが発生する。
【００６８】
各ジャイロ３６２，３６３，３６４に備えられた検出用圧電磁器より出力される微小な電圧は、アンプ３６５，３６６，３６７において増幅され、Ａ／Ｄ変換器３７１，３７２，３７３おいてデジタル・データに変換される。
【００６９】
それぞれのジャイロ３６２，３６３，３６４に加わった角速度ωと、発生する電圧Ｅは、比例関係を有しており、例えば、ジャイロ３６２がＸ軸回りに右方向に回転させたとき、電圧Ｅが上昇し、左方向に回転させたとき、電圧Ｅが下降するように配置される。
【００７０】
インタフェース３７７は、Ａ／Ｄ変換器３７１，３７２，３７３より供給された３軸ジャイロの検出信号をバスを介してＣＰＵ(Central processing Unit)３７４に供給する。ＣＰＵ３７４は、バスを介して入力する３軸ジャイロの検出信号に基づいて、ロール角、ピッチ角、及びヨー角、それぞれの角度データ、およびＸ，Ｙ，Ｚ各軸方向における振動特性データを取得する。
【００７１】
演算処理手段としてのＣＰＵ３７４は、算出したロール角、ピッチ角、及びヨー角、それぞれの角度データ、Ｘ，Ｙ，Ｚ各軸方向における振動特性データをバスを介してＲＡＭ３７６に蓄積し、さらに蓄積データに基づいて操作情報への変換のための演算処理を実行し、変換した操作情報を通信インタフェース３７８を介して表示画像制御処理装置３００側へ出力する。ＲＯＭ（Read-Only-Memory）３７５は、ＣＰＵ３７４が実行するプログラム、あるいは演算パラメータとしての固定データを格納する。ＣＰＵ３７４の変換処理によって取得した操作情報は、必要に応じてＲＡＭ（Random Access Memory）３７６に蓄積する。また、ＲＡＭ（Random Access Memory）３７６は、ＣＰＵ３７４の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用される。
【００７２】
通信インタフェース３７８は、表示画像制御処理装置３００の受信部３０７に対して例えば赤外光等による無線通信を実行し、ＣＰＵ３７４による演算の結果、３軸ジャイロ３６１の動きに基づいて生成された画像設定指令情報が出力される。
【００７３】
表示画像制御処理装置３００は、コントローラ３１１、センサ３１２等から画像の視点位置、視線方向、画角等の各種設定指令情報（以下、視点設定コマンドという）を受信すると受信コマンドに応じて画像の選択、または合成処理を実行する。先に説明したように、本発明の表示画像制御処理装置は、ユーザ指定情報により画像の視点位置等を設定するマニュアルモードと、予め画像に対応して設定されたプログラムに従って画像を出力するプリセットモードとを有する。
【００７４】
表示画像制御処理装置３００は、コントローラ３１１、センサ３１２等からの視点設定コマンドの受信を検出した時点で、プリセットモードにある場合であっても、マニュアルモードに移行し、コントローラ等から受信する視点設定コマンドに基づく視点位置、視線方向、画角等の各種設定パラメータに従った画像に切り替えた画像の表示処理を実行する。また、表示画像制御処理装置３００は、コントローラ３１１、センサ３１２等から画像の視点設定コマンドを受信を検出した時点で、すでにマニュアルモードにある場合には、マニュアルモードを継続し、コントローラ等から新たに受信する視点位置、視線方向、画角等の各種設定パラメータに従った画像に切り替えた画像の表示処理を実行する。
【００７５】
さらに、マニュアルモードの実行中に、予め定められた時間（閾値時間：Ｔａ）、コントローラ３１１、センサ３１２等から、新たな画像の視点設定コマンドを受信しなかった場合には、マニュアルモードからプリセットモードに切り替える処理を実行する。時間の計測は、図７に示す表示画像制御処理装置３００のタイマ３０６が実行する。
【００７６】
図１０にコントローラによる処理を実行する際に表示装置における表示例を示す。表示装置３８０の右上の表示領域３８１には、現在のモードがマニュアルモードであるか、プリセットモードであるかの情報が表示される。表示装置３８０の右下の表示領域３８２には、現在表示されている画像がどの視点位置からの画像であるかが表示される。例えば図１０（ａ）の表示態様は、表示装置３８０の表示画像が先に図３を用いて説明したカメラ配置により被写体を撮影した画像データから選択可能な画像であることを示し、現在、表示中の画像はカメラ位置３８３の位置にほぼ相当する位置からの画像であることを示している。図１０（ｂ）の表示態様は、表示装置３８０の表示画像が先に図２を用いて説明した被写体に対して３６０度周囲に配置したカメラによる撮影画像データから選択可能な画像であることを示し、現在、表示中の画像はカメラ位置３８４の位置にほぼ相当する位置からの画像であることを示している。図１０（ｃ）の表示態様は、表示装置３８０の表示画像が先に図４を用いて説明した２つの被写体に対してそれぞれ３６０度周囲に配置したカメラによる撮影画像データから選択可能な画像であることを示し、現在、表示中の画像はカメラ位置３８５の位置にほぼ相当する位置からの画像であることを示している。図１０（ｄ）の表示態様は、表示装置３８０の表示画像が先に図５を用いて説明した平面３６０度、または全天球型の画像撮影用のカメラ配置による撮影画像データから選択可能な画像であることを示し、現在、表示中の画像はカメラ位置３８６の位置にほぼ相当する位置からの画像であることを示している。
【００７７】
なお、先に図５を参照して説明したカメラ配置、すなわち、平面の周囲３６０度画像を撮影し、表示する構成においても、図１０（ａ）、（ｂ）、（ｃ）と同様のカメラ位置識別表示を用いることが可能である。ただし、この場合は、カメラの撮影方向が外側に向かっていることを示すことになる。
【００７８】
ユーザは、例えばコントローラのスイッチ操作により、これらの視点位置を変更することが可能となる。例えば図８に示すコントローラの視点位置移動部３５４の操作により、図１０（ａ）の場合であれば、９箇所のカメラ位置を順次変更することが可能であり、図１０（ｂ）の場合であれば、５箇所のカメラ位置を順次変更することが可能であり、図１０（ｃ）の場合であれば、１０箇所のカメラ位置を順次変更することが可能となる。図１０（ｄ）の場合であれば、設定されたカメラ数：ｎ箇所のカメラ位置を順次変更することが可能となる。
【００７９】
図１１に本発明の表示画像制御処理装置におけるマニュアルモードと、プリセットモードとの移行処理態様を説明する図を示す。図１１に示すように、予め画像に対応して設定されたプログラムに従った視点位置、視線方向、画角等を設定した出力画像としてのプリセット画像４０１と、コントローラ、センサからの視点設定コマンドに基づいて視点位置、視線方向、画角等が設定されたマニュアル設定画像４０２との間で、コントローラからの入力に基づいてプリセット画像４０１からマニュアル設定画像４０２に移行する。また、予め定められた時間（閾値時間：Ｔａ）、コントローラ等から、新たな画像の視点設定コマンドを受信しなかった場合には、マニュアル設定画像４０２からプリセット画像４０１に移行する。
【００８０】
マニュアル設定画像４０２の表示処理中に、予め定められた時間（閾値時間：Ｔａ）以内にコントローラ等から、新たな画像の視点設定コマンドを受信した場合には、コントローラ等から新たに受信した視点位置、視線方向、画角等の各種設定パラメータに従ったマニュアル設定画像４０３に切り替える処理を実行する。マニュアル設定画像４０３の表示中に予め定められた時間（閾値時間：Ｔａ）、コントローラ等から、新たな画像の視点設定コマンドを受信しなかった場合には、マニュアル設定画像４０３からプリセット画像４０１に移行し、閾値時間：Ｔａ以内にコントローラ等から、新たな画像の視点設定コマンドを受信した場合には、新たな視点設定コマンドに基づくマニュアル設定画像４０４に切り替える処理を実行する。以下、同様に、閾値時間：Ｔａ以内にコントローラ等から、新たな画像の視点設定コマンドを受信した場合には、マニュアル設定画像４０５に切り替える処理を実行する。
【００８１】
このように、本発明の表示画像制御処理装置においては、ユーザの指定した視点設定コマンドに基づく画像を任意のタイミングで設定可能であり、また、視点設定コマンドを一定時間、入力しない場合には、プリセットモードに切り替えられるので、ユーザの興味のある部分においてのみユーザの設定を有効にすることが可能となるとともに、視点設定コマンドとして最後に設定した視点位置に画像が固定された単調な画像が表示されることがなくなる。
【００８２】
図１２に表示画像の、マニュアルモードと、プリセットモードとの移行処理を時間の経過に対応する処理として説明する図を示す。図１２は、横軸に時間（ｔ）、縦軸に視線方向を示した図である。この図は視線方向のみのデータを示しているが、この他にも視点位置、画角についても同様のシーケンスでの処理が実行される。
【００８３】
まず、時間Ｔ０からＴ１までは、コントローラからの視点設定コマンド入力がない状態であり、この期間はプリセットモードによって、画像に対応して設定された視線方向パラメータに基づいて画像表示がなされる。時間Ｔ１において、ユーザがコントローラまたはセンサから視点設定コマンドを送信すると、プリセットモードからマニュアルモードに切り替えられ、その後、時間Ｔ２まで継続して、または断続的にユーザによるコントローラまたはセンサから視点設定コマンドの送信が実行され、マニュアルモードが継続され、視点設定コマンドに基づいて視線方向が切り替えられた画像が表示される。
【００８４】
時間Ｔ２から時間Ｔ３まで継続してコントローラからの視点設定コマンド入力がなく、コマンド非入力時間が閾値時間：Ｔａに達したと判定されると、マニュアルモードからプリセットモードへ移行し、画像に対応して予め設定された視線方向パラメータに基づく画像が表示される。
【００８５】
なお、時間Ｔ３において、閾値時間：Ｔａに達したと判定された場合に、プリセットモードに従った画像を表示装置に表示することになるが、この際の表示コンテンツのフレームは、マニュアルモード終了時点（Ｔ＝Ｔ３）に時間的に継続するフレームであるポイントＰ１としたり、または、プリセットモードからマニュアルモードに切り替えたポイントＰ３としたり、あるいは、例えばコンテンツが複数曲の音楽コンテンツである場合などにおいては、曲の区切りポイントＰ２とするなど、設定に従って各種の移行ポイントを設定することが可能である。
【００８６】
記憶媒体からコンテンツを読み出して表示装置に表示する場合と、サーバからの配信コンテンツを表示装置に表示する場合の処理例について、図１３、図１４を参照して説明する。
【００８７】
図１３は、複数視点画像データを格納したＤＶＤ、ＣＤ等の記憶媒体５３１から表示画像制御処理装置５２１、コントローラ５２２、またはセンサ５２３からなるユーザシステム５２０が画像を読み出して表示装置５３２に画像を表示する構成例である。
【００８８】
この構成において、プリセットモードに従った画像は、表示画像制御処理装置５２１またはコントローラ５２２において再生コンテンツの指定がなされると、指定コンテンツに対応するプリセット表示画像プログラムが、記憶媒体５３１から読み出されて表示画像制御処理装置５２１内の記憶部（図７に示す記憶部３０５）に格納される。また、コンテンツがどのような複数視点画像を保有しているかについての情報も併せて取得し、表示画像制御処理装置５２１内の記憶部に格納する。例えば先に図２を参照して説明した３６０度画像、図３を参照して説明した９つの位置の情報である。これらの情報は、コンテンツの表示装置５３２に対する表示時に、先に図１０を参照して説明した各態様で操作用情報として表示される。
【００８９】
コンテンツの再生がまず記憶部に格納されたプリセット表示画像プログラムに従って開始され、プリセット表示画像プログラムに設定された視点位置、視線方向、画角の各パラメータに対応した画像データが記憶媒体５３１から読み出されて表示装置５３２に表示される。
【００９０】
その後、コントローラ５２２、またはセンサ５２３からの視点設定コマンドが表示画像制御処理装置５２１に入力されると、表示画像制御処理装置５２１は、受信した視点設定コマンドに対応する視点位置、視線方向、画角を持つ画像を記憶媒体５３１から取得するために、視点設定コマンドに対応する視点位置、視線方向、画角に従って、これらのパラメータに最も近いパラメータを持つ画像を選択し、選択画像の指定情報に従って記憶媒体５３１から対応する画像データを取得する。
【００９１】
例えば、３６０度画像データが記憶媒体に格納されている場合は、視点設定コマンドで任意に指定した角度に完全一致するデータを記憶媒体から読み出すことが可能となるが、図２を参照して説明したように５つのカメラからの画像のみが記憶媒体に格納されている場合には、視点設定コマンドに対応する視点位置、視線方向、画角にもっとも近い画像を取得して表示する。なお、先に説明した様に複数のカメラから取得した画像に基づいてカメラ間の画像をビューインタポレーション等の手法によって生成する処理を表示画像制御処理装置５２１内で実行する構成としてもよく、この場合には、同一フレームに属する複数の異なる視点位置からの画像データを記憶媒体から読み出して、表示画像制御処理装置５２１内で、視点設定コマンドに対応する視点位置、視線方向、画角に対応する画像を生成する処理を実行し、生成した画像を表示装置５３２に表示する。
【００９２】
図１４（ａ）は、複数視点画像データをサーバからネットワークを介して受信する構成であり、サーバ５４１から表示画像制御処理装置５２１、コントローラ５２２、またはセンサ５２３からなるユーザシステム５２０が画像を受信して表示装置５４２に画像を表示する構成例である。
【００９３】
この構成において、サーバ５４１から表示画像制御処理装置５２１に対しては、複数視点画像データの全体データが配信され、表示画像制御処理装置５２１内の記憶部（図７に示す記憶部３０５）に全体データを格納する。例えば先に図２を参照して説明した３６０度画像、図３を参照して説明した９つの位置のすべての画像情報等である。さらに、コンテンツに対応するプリセット表示画像プログラムについても、サーバ５４１から表示画像制御処理装置５２１に送信され、記憶部に格納される。また、コンテンツがどのような複数視点画像を保有しているかについての情報も併せて取得し、表示画像制御処理装置５２１内の記憶部に格納する。これらの情報は、コンテンツの表示装置５４２に対する表示時に、先に図１０を参照して説明した各態様で操作用情報として表示される。
【００９４】
コンテンツの再生がまず記憶部に格納されたプリセット表示画像プログラムに従って開始され、プリセット表示画像プログラムに設定された視点位置、視線方向、画角の各パラメータに対応した画像データが表示画像制御処理装置３００内の記憶部３０５から読み出されて表示装置５４２に表示される。
【００９５】
その後、コントローラ５２２、またはセンサ５２３からの視点設定コマンドが表示画像制御処理装置５２１に入力されると、表示画像制御処理装置５２１は、受信した視点設定コマンドに対応する視点位置、視線方向、画角を持つ画像を記憶部３０５から取得するために、視点設定コマンドに対応する視点位置、視線方向、画角に従って、これらのパラメータに最も近いパラメータを持つ画像を選択し、選択画像の指定情報に従って記憶部３０５から対応する画像データを取得する。この際、前述の例と同様、ビューインタポレーション等の手法によって画像の生成処理を実行する構成としてもよい。
【００９６】
図１４（ｂ）は、図１４（ａ）と同様、複数視点画像データをサーバからネットワークを介して受信する構成であるが、本構成では、サーバ５４３から表示画像制御処理装置５２１に対しては、表示画像制御処理装置５２１から要求のあった視点画像データのみが配信される。
【００９７】
表示画像制御処理装置５２１からコンテンツ要求がなされるとプリセット表示画像プログラムに従った特定の視点画像データがユーザシステム５２０の表示画像制御処理装置５２１に送信され、表示画像制御処理装置は、受信データを表示装置５４４に送信する。なお、サーバ５４３から表示画像制御処理装置５２１に対しては、コンテンツがどのような複数視点画像を保有しているかについての情報も送信され、その態様に従って、表示装置５４４には、先に図１０を参照して説明した操作用情報が表示される。
【００９８】
その後、コントローラ５２２、またはセンサ５２３からの視点設定コマンドが表示画像制御処理装置５２１に入力されると、表示画像制御処理装置５２１は、受信した視点設定コマンドに対応する視点位置、視線方向、画角を持つ画像をサーバ５４３から取得するために、視点設定コマンド、またはコマンドに基づいて算出した視点位置、視線方向、画角情報、あるいはこれらの視点位置、視線方向、画角情報に基づいて選択される画像指定情報のいずれかをサーバ５４３に送信する。
【００９９】
サーバ５４３は、表示画像制御処理装置５２１から受信した情報に基づいて表示用の画像データを選択し、表示画像制御処理装置５２１に送信する。なお、３６０度画像データが記憶媒体に格納されている場合は、視点設定コマンドで任意に指定した角度に完全一致するデータをサーバが抽出して送信することが可能となるが、限られた位置のカメラからの画像のみをサーバ５４３が有する場合には、視点設定コマンドに対応する視点位置、視線方向、画角にもっとも近い画像を取得して送信する。
【０１００】
なお、先に説明した様に複数のカメラから取得した画像に基づいてカメラ間の画像をビューインタポレーション等の手法によって生成する処理をサーバ５４３において実行し、視点設定コマンドで指定した情報に一致する画像データを生成してユーザシステム５２０に送信する構成としてもよい。また、画像合成処理を表示画像制御処理装置５２１内で実行する構成としてもよく、この場合には、合成処理に必要となる同一フレームに属する複数の異なる視点位置からの画像データをサーバ５４３が選択して、ユーザシステム５２０に送信し、ユーザシステム５２０内の表示画像制御処理装置５２１において、視点設定コマンドに対応する視点位置、視線方向、画角に対応する画像を生成する処理を実行し、生成した画像を表示装置５４４に表示する構成としてもよい。
【０１０１】
画像配信を実行するサーバの構成例を図１５に示す。ＣＰＵ(Central processing Unit)７１１は、各種アプリケーションプログラムや、ＯＳ（Operating System）を実行するプロセッサである。ＲＯＭ（Read-Only-Memory）７１２は、ＣＰＵ７１１が実行するプログラム、あるいは演算パラメータとしての固定データを格納する。ＲＡＭ（Random Access Memory）７１３は、ＣＰＵ７１１の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用される。
【０１０２】
ＨＤＤ７１４はハードディスクの制御を実行し、ハードディスクに対する各種データ、プログラムの格納処理および読み出し処理を実行する。バス７２０はＰＣＩ（Peripheral Component Internet/Interface）バス等により構成され、各モジュール、入出力インタフェース７２１を介した各入手力装置とのデータ転送を可能にしている。
【０１０３】
入力部７１５は、例えばキーボード、ポインティングデバイス等によって構成され、ＣＰＵ７１１に各種のコマンド、データを入力する。出力部７１６は、例えばＣＲＴ、液晶ディスプレイ等であり、各種情報をテキストまたはイメージ等により表示する。
【０１０４】
通信部７１７はユーザサイトとの双方向通信処理を実行し、ＣＰＵ７１１の制御の下に、各記憶部から供給されたデータ、あるいはＣＰＵ７１１によって処理されたデータを送信したり、ユーザサイトからのコントロール情報を受信する処理を実行する。
【０１０５】
ドライブ７１８は、フロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどの記録媒体７１９の記録再生を実行するドライブであり、各記録媒体７１９からのプログラムまたはデータ再生、記録媒体７１９に対するプログラムまたはデータ格納を実行する。
【０１０６】
各記憶媒体に記録されたプログラムまたはデータを読み出してＣＰＵ７１１において実行または処理を行なう場合は、読み出したプログラム、データは入出力インタフェース７２１、バス７２０を介して例えば接続されているＲＡＭ７１３に供給される。サーバは、ユーザサイトの表示画像制御処理装置からの画像指定情報を受信し、指定された画像をパケット化して、ユーザサイトに送信する処理等を実行する。
【０１０７】
次に、図１６に本発明の表示画像制御処理装置において実行される表示画像の選択、すなわちプリセットモードとマニュアルモードとの移行処理を中心として説明する処理フローを示す。図１６の処理フローの各ステップについて説明する。
【０１０８】
ステップＳ１０１では、まず、記憶媒体から読み出した、またはサーバ等から配信された画像を画像に対応するプリセット表示画像プログラムに従って選択される画像、すなわちプリセット画像を表示装置に表示する。ステップＳ１０２では、ユーザコマンドの入力の有無を判定する。これは、コントローラまたはセンサからの視点設定コマンドを受信したか否かを判定する処理である。
【０１０９】
ユーザコマンドの入力がない場合は、プリセット画像の表示を継続して実行する。ユーザコマンドの入力があった場合は、ステップＳ１０３に進み、コントローラまたはセンサからの視点設定コマンドに基づいて、コマンドに対応する視点位置、視線方向、画角等を持つ画像、すなわちマニュアルモード画像を表示装置に表示する。
【０１１０】
このマニュアルモード画像の表示開始時点で、ステップＳ１０４のタイマＯＮ設定が実行される。ステップＳ１０５では、コントローラまたはセンサからの最後の視点設定コマンド入力からの経過時間と、予め定められた時間（閾値時間：Ｔａ）との比較が実行され、閾値時間：Ｔａ以内に、新たな視点設定コマンドを受信した場合は、ステップＳ１０３でコマンドに対応する視点位置、視線方向、画角等を持つ画像、すなわちマニュアルモード画像の表示を継続して実行する。
【０１１１】
閾値時間：Ｔａ以内に、新たな視点設定コマンドを受信しなかった場合は、ステップＳ１０６に進み、プリセット表示画像プログラムに従って選択される画像、すなわちプリセット画像を表示装置に表示する。なお、先に図１２を参照して説明したように、マニュアルモードからプリセットモードに復帰する場合のコンテンツの画像は、マニュアルモードの終了フレームに継続するフレームの画像を表示、または、マニュアルモードの開始ポイントに戻ってプリセット画像を表示、あるいは曲の区切り等のポイントに戻って画像を表示するなどの処理を予め設定した設定情報に従って実行する。なお、フローには示していないが、マニュアルモードからプリセットモードへの移行処理は、コントローラからモード移行コマンドを発行し、表示画像制御処理装置がモード移行コマンドを受信した場合にも実行される。
【０１１２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１１３】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１１４】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１１５】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１１６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【０１１７】
【発明の効果】
以上説明してきたように、本発明の構成によれば、様々な視点からの動画像データを記憶媒体から再生、あるいはサーバからインターネット等のネットワーク、あるいはブロードキャスト配信データとして受信して表示装置に表示する際、ユーザの操作するコントローラまたはヘッドトラッカ等のセンサからの視点設定コマンドに基づく視点位置等の指定情報に基づく選択画像、あるいは合成して生成した合成画像を表示するマニュアル処理態様と、予め動画像に対応して設定された表示プログラムに従って、様々な視点位置からの動画像データを順次切り替えて表示するプリセット処理態様とを任意のタイミングで切り替えることが可能となる。
【０１１８】
さらに、本発明の表示画像制御処理装置においては、ユーザの指定した視点設定コマンドに基づく画像を任意のタイミングで設定可能であり、また、視点設定コマンドを一定時間、入力しない場合には、プリセットモードに切り替えられるので、ユーザの興味のある部分においてのみユーザの設定を有効にすることが可能となるとともに、視点設定コマンドとして最後に設定した視点位置に画像が固定された単調な画像が表示されることがなくなる。
【図面の簡単な説明】
【図１】本発明の表示画像制御処理装置を適用した処理を実行するシステム例を説明する図である。
【図２】複数視点画像のデータ取得処理およびデータ構成例について説明する図である。
【図３】複数視点画像のデータ取得処理例について説明する図である。
【図４】複数視点画像のデータ取得処理例について説明する図である。
【図５】複数視点画像のデータ取得処理例について説明する図である。
【図６】本発明の表示画像制御処理装置において処理される画像に対応するパラメータ構成を説明する図である。
【図７】本発明の表示画像制御処理装置の構成例を示すブロック図である。
【図８】本発明の表示画像制御処理装置のコントローラ構成例を示す図である。
【図９】本発明の表示画像制御処理装置のセンサ構成例を示す図である。
【図１０】本発明の表示画像制御処理装置を適用した画像表示例を示す図である。
【図１１】本発明の表示画像制御処理装置におけるモード遷移について説明する図である。
【図１２】本発明の表示画像制御処理装置におけるモード遷移を時間経過とともに示す図である。
【図１３】本発明の表示画像制御処理装置において記憶媒体からコンテンツを再生するデータ処理例を説明する図である。
【図１４】本発明の表示画像制御処理装置においてサーバから受信するコンテンツを再生するデータ処理例を説明する図である。
【図１５】本発明の表示画像制御処理装置において処理するコンテンツを提供するサーバのシステム構成例を説明する図である。
【図１６】本発明の表示画像制御処理装置においてコンテンツを表示する際のモード移行処理について説明するフロー図である。
【符号の説明】
１００ ユーザサイト
１０１ デスクトップＰＣ
１０２ ノートＰＣ
１０３ 携帯電話
１０４ ヘッドマウントディスプレイ
１５１ メモリ
１５２ ディスク
１７０ データ通信網
１８０コンテンツ提供サイト
１８１ サーバ
２０１，２１１，２２１，２２２ 被写体
３０１ 通信インタフェース
３０２ 記憶媒体インタフェース
３０３ デコード処理部
３０４ 制御部
３０５ 記憶部
３０６ タイマ
３０７ 受信部
３０８ 表示制御部
３１０ 表示装置
３１１ コントローラ
３１２ センサ
３５１ パワースイッチ
３５２ コンテンツ選択スイッチ
３５３ 音量設定部
３５４ 視点位置設定部
３５５ 視線方向設定部
３５６ ズームイン設定部
３５７ ズームアウト設定部
３５８ カメラ選択部
３６１ ３軸ジャイロ
３６２ ジャイロ（ピッチ）
３６３ ジャイロ（ヨー）
３６４ ジャイロ（ロール）
３６５，３６６，３６７ アンプ
３７１，３７２，３７３ Ａ／Ｄ変換器
３７４ ＣＰＵ
３７５ ＲＯＭ
３７６ ＲＡＭ
３７７ インタフェース
３７８ 通信インタフェース
３８０ 表示装置
３８１，３８２ 表示領域
４０１ プリセット画像
４０２〜４０５ マニュアル設定画像
５２０ ユーザシステム
５２１ 表示画像制御処理装置
５２２ コントローラ
５２３ センサ
５３１ 記憶媒体
５３２ 表示装置
５４１，５４３ サーバ
５４２，５４４ 表示装置
７１１ ＣＰＵ
７１２ ＲＯＭ
７１３ ＲＡＭ
７１４ ＨＤＤ
７１５ 入力部
７１６ 出力部
７１７ 通信部
７１８ ドライブ
７１９ 記憶媒体
７２０ バス
７２１ 入出力インタフェース
【発明の属する技術分野】
本発明は、表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、異なる視点、あるいは異なる視線方向からの複数の画像について、予め定められたデータ出力順による表示処理態様と、ユーザが自己の意思をもって画像選択を行なう表示処理態様とを自在に切り替えることを可能とした表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
近年、パノラマ、全天球画像など、視点を様々に移動可能とした画像データの利用が盛んになりつつある。例えば、ＤＶＤ、ＣＤ等の記憶媒体に複数の視点位置、視線方向からある被写体を撮影した画像を蓄積し、蓄積画像をＣＲＴ、液晶表示装置等に表示する際に、ユーザがコントローラの操作によって、自由な位置に視点を移動させて、被写体の像を観察するシステムが実現されている。また、インターネット等の通信システムを介して複数の視点位置、視線方向からある被写体を撮影した画像を配信し、ユーザがＰＣ等のマウス操作により、好みの視点位置、視線方向からの画像をディスプレイに表示するシステム等が構築されている。
【０００３】
視点を様々に移動可能とした画像データは、例えば複数の異なる視点位置に配置したカメラによって撮影した複数の画像をつなぎ合わせて合成することによって生成される。カメラ間の画像は、画像データの補正処理として例えばビューインタポレーション等の手法により、隣接カメラの撮影画像に基づいて生成することが可能である。動画像においては、複数のカメラの撮影した動画像データの時間的な同期処理を行なった上で同様に生成することが可能となる。このような全方位映像の生成手法は、例えば文献「Ｓ．Ｅ．Ｃｈｅｎ”ck time VR-An Image-Based Approach to virtual Environment Navigation", Computer Graphics SIGGRAPH,pp.29-38,1995」等に記載されている。
【０００４】
視点を自由に変更できる画像を、例えばＤＶＤ等の記憶媒体から読み出してディスプレイにおいて再生する場合には、どの視点位置からのデータを表示するかをユーザが自ら選択するか、あるいは、あらかじめ画像データに付随するプログラムに従って表示するかのいずれかの処理を実行することとなる。また、インターネット、あるいは衛星を介したプロードキャスト等のデータ配信システムにおいては、データ配信元から送信される複数の視点画像からの画像からユーザが１つの視点画像を選択して表示したり、あるいは配信元においてあらかじめ定めた代表画像のみをディスプレイに表示する等の処理が実行されることになる。
【０００５】
表示画像が静止画像である場合には、ユーザは、好みの視点画像を持つ静止画像を時間にとらわれることなく順次、例えばＤＶＤ等の記憶媒体から読み出して表示することが可能であるが、動画像である場合には、ユーザは、動画像を観察しながら、視点位置を移動させる処理を例えばマウス、あるいは所定のコントローラ等の入力装置を介して実行することになる。
【０００６】
一方、ユーザの視点位置の入力を不要とし、予め動画像データに対応して設定されたプログラムに従って、様々な視点位置からの画像を切り替えて表示する手法もある。
【０００７】
【発明が解決しようとする課題】
このような、パノラマ、全天球動画など、視点を様々に移動可能とした動画の表示処理において、ユーザによる画像を観察しながらの視点位置の切り替え処理は、ユーザの積極的な視点選択意思が継続している場合には有効であるが、ユーザの視点選択意思が減退した場合には操作の煩わしさを感じることになる。ユーザによる視点位置の移動コマンドがコントローラから入力されない限り、最後に入力した視点位置からの動画像がその後、継続して表示されることになり、単調な動画像表示となってしまう。一方、予め動画像データに対応して設定されたプログラムに従った画像表示処理は、ユーザによる意思とは無関係な視点位置の画像を表示することになる。
【０００８】
このように、視点を様々に移動可能とした動画の表示処理において、ユーザによる視点位置の入力を継続させることは、操作の煩わしさという問題を生じ、一方、動画像の設定プログラムに従った表示は、ユーザによる意思を反映させない画像表示という問題を生じさせる。
【０００９】
本発明は、上記問題点に鑑みてなされたものであり、視点を様々に移動可能とした動画の表示処理において予め定められたデータ出力順による表示処理態様と、ユーザが自己の意思をもって画像選択を行なう表示処理態様とを自在に切り替えることを可能とした表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の第１の側面は、
動画像データから選択または合成される連続的に変更可能な特定視点からの画像を表示手段に出力する表示画像制御処理装置であり、
前記特定視点を決定することにより、前記動画像データから前記表示手段に表示すべき画像の決定処理を実行する制御手段を有し、
前記制御手段は、動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかを選択して実行する構成を有し、
プリセットモードの実行中に、前記視点設定コマンドの入力を条件として、マニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成を有し、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行する構成を有し、
前記入力手段は、視点設定コマンドとして、画像の視点位置、視線方向、画角の少なくともいずれかをユーザ入力により指定した視点設定コマンドを出力する構成であり、前記制御手段は、画像の視点位置、視線方向、画角の少なくともいずれかを指定した視点設定コマンドに対応する視点画像に切り替える処理を実行する構成であることを特徴とする表示画像制御処理装置にある。
【００１３】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記センサは、視点設定コマンドとして、画像の視点位置、視線方向、画角の少なくともいずれかをセンサによる検出情報に基づいて指定したコマンドを出力する構成であり、前記制御手段は、画像の視点位置、視線方向、画角の少なくともいずれかを指定した視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成であることを特徴とする。
【００１４】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記センサは、方向検出機能を持つジャイロを備えた構成であり、ジャイロによって取得される方向情報に基づくデータを前記視点設定コマンドとして出力する構成であり、前記制御手段は、ジャイロによって取得される方向情報に基づくデータを含む視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記センサは、ユーザの顔の撮影画像に基づく画像分析処理に基づく視線方向検出処理手段を備えた構成であり、画像分析処理によって取得される方向情報に基づくデータを前記視点設定コマンドとして出力する構成であり、前記制御手段は、前記画像分析処理によって取得される方向情報に基づくデータを含む視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成であることを特徴とする。
【００１６】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記制御手段は、複数視点からの画像を含む動画像データに基づいて、該動画像データには含まれない視点画像を合成し、合成画像を前記表示手段に出力する構成を有することを特徴とする。
【００１７】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記制御手段は、複数視点からの画像を含む動画像データに対応する表示可能な視点位置データ、および該表示手段に表示中の画像の視点位置識別データを、該表示手段に表示する処理を実行する構成を有することを特徴とする。
【００１８】
さらに、本発明の表示画像制御処理装置の一実施態様において、複数視点からの画像を含む動画像データは、離間した複数の被写体位置各々に対応して設定された複数の視点画像を含み、前記制御手段は、前記離間した複数の被写体位置各々に対応して設定された複数の視点画像を含む動画像データに基づいて、前記表示手段に表示すべき画像の決定処理を実行する構成を有することを特徴とする。
【００１９】
本発明の第２の側面は、
動画像データを保持し、動画像データの配信を実行するサーバと、
前記サーバから受信する動画像データに基づく画像表示処理を実行するユーザシステムとによって構成される動画像情報送受信システムであり、
前記ユーザシステムは、表示手段に表示すべき画像の決定処理を実行する制御手段を有し、
前記制御手段は、動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかを選択して実行する構成を有し、
プリセットモードの実行中に、前記視点設定コマンドの入力を条件として、マニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成を有し、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行する構成を有する構成を有することを特徴とする動画像情報送受信システムにある。
【００２０】
さらに、本発明の動画像情報送受信システムの一実施態様において、前記サーバは、動画像データに含まれる全視点画像データの配信を実行し、前記ユーザシステムは、前記動画像データに含まれる全視点画像データ、および、前記プリセット表示画像プログラムを格納する記憶手段を有し、前記制御手段は、プリセットモードにおいては、前記プリセット表示画像プログラムに従った特定視点画像データを出力し、マニュアルモードにおいては、視点設定コマンドに対応する特定視点画像データを出力する構成であることを特徴とする。
【００２１】
さらに、本発明の動画像情報送受信システムの一実施態様において、前記サーバは、動画像データに含まれる特定視点画像データの配信を実行し、前記ユーザシステムは、プリセットモードにおいては、前記サーバにおいて設定されたプリセット表示画像プログラムに従った特定視点画像データを前記サーバから受信し、受信データを表示手段に出力し、マニュアルモードにおいては、視点設定コマンドに対応する画像指定情報を前記サーバに送信するとともに、前記サーバにおいて該画像指定情報に従って送信される画像データを受信し、前記視点設定コマンドに対応する特定視点画像データを表示手段に出力する構成であることを特徴とする。
【００２２】
さらに、本発明の第３の側面は、
動画像データから選択または合成される連続的に変更可能な特定視点からの画像を表示手段に出力する表示画像制御処理方法であり、
動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかのモードに設定するモード設定ステップと、
前記モード設定ステップにおいて設定したモードに従って、前記特定視点を決定することにより、前記動画像データから前記表示手段に表示すべき画像の決定処理を実行する画像決定ステップとを有し、さらに、
前記プリセットモードにおいて、前記視点設定コマンドの入力を条件としてマニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行するステップと、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行するステップとを有し、
マニュアルモードにおける前記画像決定ステップは、画像の視点位置、視線方向、画角の少なくともいずれかを指定した視点設定コマンドに対応する視点画像への切り替え処理を実行するステップであることを特徴とする表示画像制御処理方法にある。
【００２５】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記センサは、方向検出機能を持つジャイロを備えた構成であり、ジャイロによって取得される方向情報に基づくデータを前記視点設定コマンドとして出力し、マニュアルモードにおける前記画像決定ステップは、前記ジャイロによって取得される方向情報に基づくデータを含む視点設定コマンドに対応する視点画像へ切り替える処理を実行するステップであることを特徴とする。
【００２６】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記センサは、ユーザの顔の撮影画像に基づく画像分析処理に基づく視線方向検出処理手段を備えた構成であり、画像分析処理によって取得される方向情報に基づくデータを前記視点設定コマンドとして出力し、マニュアルモードにおける前記画像決定ステップは、前記画像分析処理によって取得される方向情報に基づくデータを含む視点設定コマンドに対応する視点画像へ切り替える処理を実行するステップであることを特徴とする。
【００２７】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記表示画像制御処理方法は、さらに、複数視点からの画像を含む動画像データに基づいて、該動画像データには含まれない視点画像を合成し、合成画像を前記表示手段に出力するステップを含むことを特徴とする。
【００２８】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記表示画像制御処理方法は、さらに、複数視点からの画像を含む動画像データに対応する表示可能な視点位置データ、および該表示手段に表示中の画像の視点位置識別データを、該表示手段に表示する処理を実行するステップを有することを特徴とする。
【００２９】
さらに、本発明の表示画像制御処理方法の一実施態様において、複数視点からの画像を含む動画像データは、離間した複数の被写体位置各々に対応して設定された複数の視点画像を含み、前記表示画像制御処理方法は、さらに、前記離間した複数の被写体位置各々に対応して設定された複数の視点画像を含む動画像データに基づいて、前記表示手段に表示すべき画像の決定処理を実行するステップを有することを特徴とする。
【００３０】
さらに、本発明の第４の側面は、
動画像データを保持し、動画像データの配信を実行するサーバと、
前記サーバから受信する動画像データに基づく画像表示処理を実行するユーザシステムとによって構成される動画像情報送受信システムにおける動画像情報送受信方法であり、
前記ユーザシステムは、動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかを選択して実行し、
プリセットモードの実行中に、前記視点設定コマンドの入力を条件として、マニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行し、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行することを特徴とする動画像情報送受信方法にある。
【００３１】
さらに、本発明の動画像情報送受信方法の一実施態様において、前記サーバは、動画像データに含まれる全視点画像データの配信を実行し、前記ユーザシステムは、前記動画像データに含まれる全視点画像データ、および、前記プリセット表示画像プログラムを記憶手段に格納し、プリセットモードにおいては、前記プリセット表示画像プログラムに従った特定視点画像データを出力し、マニュアルモードにおいては、視点設定コマンドに対応する特定視点画像データを出力することを特徴とする。
【００３２】
さらに、本発明の動画像情報送受信方法の一実施態様において、前記サーバは、動画像データに含まれる特定視点画像データの配信を実行し、前記ユーザシステムは、プリセットモードにおいては、前記サーバにおいて設定されたプリセット表示画像プログラムに従った特定視点画像データを前記サーバから受信し、受信データを表示手段に出力し、マニュアルモードにおいては、視点設定コマンドに対応する画像指定情報を前記サーバに送信するとともに、前記サーバにおいて該画像指定情報に従って送信される画像データを受信し、前記視点設定コマンドに対応する特定視点画像データを表示手段に出力することを特徴とする。
【００３３】
本発明の第５の側面は、
動画像データから選択または合成される連続的に変更可能な特定視点からの画像を表示手段に出力する表示画像制御処理を実行するコンピュータ・プログラムであって、
動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかのモードに設定するモード設定ステップと、
前記モード設定ステップにおいて設定したモードに従って、前記特定視点を決定することにより、前記動画像データから前記表示手段に表示すべき画像の決定処理を実行する画像決定ステップとを有し、さらに、
前記プリセットモードにおいて、前記視点設定コマンドの入力を条件としてマニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行するステップと、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行するステップとを有し、
マニュアルモードにおける前記画像決定ステップは、画像の視点位置、視線方向、画角の少なくともいずれかを指定した視点設定コマンドに対応する視点画像への切り替え処理を実行するステップとして実行することを特徴とするコンピュータ・プログラムにある。
【００３４】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００３６】
【発明の実施の形態】
以下、本発明の表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法について、図面を参照しながら詳細に説明する。
【００３７】
複数視点からの画像データを含む動画像データは、例えばＤＶＤ、ＣＤ等の記憶媒体に記憶され、ＣＲＴ、ＬＣＤ等の表示手段において表示されたり、あるいはインターネット、その他、無線、有線のデータ配信網を介してユーザに配信され、ユーザの持つ端末等のディスプレイにおいて表示される。
【００３８】
図１に本発明のシステムの適用可能な動画像コンテンツの利用形態の概念図を示す。動画像コンテンツは、コンテンツ提供サイト１８０のサーバ１８１から衛星、インターネット他、有線、無線のデータ通信網１７０を介してユーザサイト１００に配信されたり、あるいは、例えばフラッシュメモリ等の記憶素子を持つ着脱可能なメモリ１５１、あるいはＤＶＤ、ＣＤ等の記憶媒体１５２に格納され、ユーザサイトに提供される。
【００３９】
ユーザサイト１００には、ディスプレイを持つ例えばデスクトップＰＣ１０１、ノート型ＰＣ１０２、携帯電話端末１０３、ヘッドマウントディスプレイ１０４等においてネットワークを介して受信したコンテンツ、あるいは記憶媒体に格納された動画像コンテンツを再生する。ユーザサイトには代表的な装置を示してあるが、この他にもテレビ画像受信機、ゲーム装置等の各種機器が使用可能である。また、コンテンツ提供サイトもインターネットを介したデータ配信を実行するサービスプロバイダや、放送局等が含まれる。
【００４０】
本発明で取り扱うデータは、複数視点からの画像データを含む動画像である。このような複数視点からの動画像は、複数の異なる視点からの画像を撮影するカメラの画像データに基づいて制作される。なお、本明細書において説明する複数視点からの画像とは、異なる位置に配置したカメラによって取得される画像のみならず、撮影方向、画角等が異なる画像も含むものである。すなわち、空間上の離間した異なる位置に配置されたカメラによって撮影される各画像が複数視点からの画像データであることは勿論、さらに、空間上の１つの点を中心点とした回りの画像、例えば３６０度画像、全方位画像を構成する画像の各々も複数視点からの画像データであり、同一点からの異なる方向を撮影した画像、または異なる画角で撮影した個々の画像も視点位置の異なる画像データであると定義する。
【００４１】
また、以下、説明する本発明のシステムにおいては、異なる位置、または方向、または画角等を設定し、異なる画像を撮影する複数のカメラによって取得された画像に基づいて生成されるカメラ間画像についても、ユーザが異なる視点からの画像として指定可能な構成を持つものであり、例えば複数のカメラによって撮影された画像に基づいて、あらかじめパノラマ画像、３６０度画像、全方位画像、全天球画像等を生成し、この生成画像中から任意の視点を設定して、ディスプレイに表示する構成も含むものである。このような複数視点からの画像データの生成処理については、例えば、文献「Ｓ．Ｅ．Ｃｈｅｎ”ck time VR-An Image-Based Approach to virtual Environment Navigation", Computer Graphics SIGGRAPH,pp.29-38,1995」等に記載されている。
【００４２】
視点位置の異なる画像データの構成例について、図を参照して説明する。図２に示すカメラ配置Ａは、被写体２０１を被写体２０１の周囲にほぼ等間隔に配置した５台のカメラＡ１〜Ａ５によって撮影する構成を示したものである。５台のカメラＡ１〜Ａ５によって撮影した複数の動画像データは、各々が同期したデータとして、記憶媒体に格納され、あるいはネットワークを介する配信データとされる。例えば図２に示すカメラ配置構成で撮影された動画像データ中の、時間：ｔ１におけるフレームデータは、図２のデータ構成に示すデータ態様として記憶媒体に格納、または配信される。ユーザによる視点位置指定、あるいはプリセットされた視点位置に従って、５台のカメラＡ１〜Ａ５によって撮影した複数の動画像データの中から１つの動画像データが選択されてユーザの持つ表示装置に表示される。
【００４３】
図３に示すカメラ配置Ｂは、被写体２１１を前方から３つの異なる角度、正面、右斜め前、左斜め前、各方向において近距離、中距離、遠距離の３つの異なる距離にカメラ位置を設定し、これらの９つのカメラ位置にカメラＢ１〜Ｂ９を配置して撮影する構成を示している。このカメラ配置を採用した場合には、９つの動画像データについて、図２に示したと同様、複数の動画像データを同期データとして記憶媒体に格納、またはデータ通信網を介して配信する。
【００４４】
図４に示すカメラ配置Ｃは、被写体２２１を被写体２２１の周囲にほぼ等間隔に配置した５台のカメラＣ１〜Ｃ５によって撮影するとともに、被写体２２２を被写体２２２の周囲にほぼ等間隔に配置した５台のカメラＣ６〜Ｃ１０によって撮影する構成例を示している。なお、この場合は、被写体２２１、被写体２２２は特定の異なる物体、あるいは人物であってもよいし、また、サッカーフィールドにおける右サイドと左サイドといった異なる領域をそれぞれ被写体２２１と被写体２２２として設定する構成としてもよい。この図４に示すカメラ配置を採用した場合には、１０の動画像データについて、図２に示したと同様、複数の動画像データを同期データとして記憶媒体に格納、またはデータ通信網を介して配信する。
【００４５】
図５に示すカメラ配置Ｄ，Ｅは、撮影方向をカメラ位置を中心として周囲の３６０度平面（Ｄ）、あるいは全天球方向（Ｅ）とした構成である。カメラ配置Ｄは、平面軸の中心点２３１の周囲の画像を撮影するようにカメラＤ１〜Ｄ８を配置して、平面３６０度の画像を撮影する構成であり、カメラ配置Ｅは、球体の中心点２３２の周囲の画像を撮影するようにカメラＥ１〜Ｅｎを配置して、全天球の画像を撮影する構成である。この図５に示すカメラ配置を採用した場合には、カメラ数に対応する動画像データについて、図２に示したと同様、複数の動画像データを同期データとして記憶媒体に格納、またはデータ通信網を介して配信する。
【００４６】
なお、図２〜図５に示すカメラ配置以外にも様々なカメラ配置が可能である。例えば、図５に示すカメラ配置Ｄ，Ｅの構成、すなわち、カメラ位置を中心として周囲の３６０度平面（Ｄ）、あるいは全天球方向（Ｅ）とした構成を、先に説明した図４に示すと同様に複数の異なる位置に設定して、複数の異なる位置からの３６０度平面（Ｄ）、あるいは全天球方向（Ｅ）の画像を撮影する構成としてもよい。
【００４７】
なお、各カメラによって撮影された複数の画像は、図２を用いて説明したように、カメラ毎の個別の画像データとして記憶媒体に格納、またはデータ通信網を介して配信し、選択画像をユーザのディスプレイに表示する。なお、カメラ間の画像データをビューインタポレーション等の画像合成技術を用いて生成し、あらかじめパノラマ画像、３６０度画像、全方位画像、全天球画像等を生成して生成画像からユーザが任意の視点を選択してディスプレイに表示することが可能である。すなわち、上述の図２〜図５に示すカメラ配置のように異なる位置、または方向、または画角等を設定した複数のカメラによって取得された画像に基づいて生成されるカメラ間画像についても、ユーザが異なる視点からの画像として指定可能な構成を持つ。例えば複数のカメラによって撮影された画像に基づいて、あらかじめパノラマ画像、３６０度画像、全方位画像、全天球画像等を生成し、この生成画像中から任意の視点を設定して、ディスプレイに表示することが可能である。
【００４８】
このような様々な視点からのデータを含む動画像データを記憶媒体から再生、あるいは配信データ中から選択してユーザ所有のディスプレイに表示する処理態様としては、大きく分けて２つの態様がある。１つは、ユーザによる視点位置指定に基づいて、指定された画像を選択して、あるいは合成して表示するマニュアルモード処理態様であり、もう１つは、予め動画像に対応して設定された表示プログラムに従って、様々な視点位置からの動画像データを順次切り替えて表示するプリセットモード処理態様である。
【００４９】
動画像の表示シーケンスを設定したプリセット表示画像プログラムの一例について、図６を用いて説明する。図６（ａ）に示すように、プログラムは、時間（Ｔ）に対応した視点位置データ（Ａ）、視線方向データ（Ｂ）、画角（Ｃ１）、その他の設定データＤ…の各パラメータによって構成される。プリセット表示画像プログラムは、このように、表示画像を特定する時系列データとして構成される。この、プリセット表示画像プログラムに従った画像表示態様がプリセットモードである。
【００５０】
時間：Ｔ１，Ｔ２・・は、動画像コンテンツの表示プログラムの開始からの経過時間を示し、視点位置データ：Ａ１，Ａ２・・は、各時点Ｔｎおいて切り替えるべき視点位置を示す。例えば図６（ｂ）に示すように被写体等の基準位置Ｐを中心とした座標位置情報とした場合、Ａｎ＝（ｘ，ｙ）として設定される。視線方向データ：Ｂ１，Ｂ２・・は、各時点Ｔｎにおいて切り替えるべき視線方向を示す。例えば図６（ｂ）に示すようにベクトルデータ（Ｖｘ，Ｖｙ）が適用可能である。また、画角データ：Ｃ１，Ｃ２・・は、各時点Ｔｎにおいて切り替えるべき画角を示す。画角データとしては、図６（ｂ）に示すように角度データ（θ）が適用可能である。なお、図６（ｂ）に示す例は、２次元平面における各情報構成例を示してあるが、３次元情報として各データを構成することも可能である。
【００５１】
図６（ａ）に示すようなプリセット表示画像プログラムに従って動画像データをユーザのディスプレイに表示する場合は、プログラム開始時間からの経過時間に従って、プログラムに従った、視点位置、視線位置、画角の設定画像を表示する。経過時間は、タイマ等によって計測してもよいが、コンテンツの各フレームに対応して設定された付帯情報としてのフレームナンバ等の識別データを再生時間に対応付けて用いてもよい。所定時間あたり規定フレーム数、例えばｎフレーム／ｓの再生処理を実行する場合には、再生フレーム数に対応させた時間計測が可能となる。
【００５２】
例えば先に説明した図２のような５つのカメラ配置によって、５つの画像から選択された画像のみが表示可能な構成においては、プログラムの設定情報は、５つのカメラのいずれかの視点位置、視線位置、画角の情報として設定される。また、ビューインタポレーション等によって実際の撮影画像間の画像、例えば３６０度の全方位画像を予め格納、または配信、あるいはユーザのシステム内で合成処理を実行する場合には、プログラムの設定情報は、実際の撮影カメラの視点位置、視線位置、画角の情報のみならず、その他の位置情報等が設定可能であり、設定情報に従って画像をユーザのディスプレイに表示する。
【００５３】
本発明のシステムでは、様々な視点からの動画像データを記憶媒体から再生、あるいは配信データ中から選択してユーザ所有のディスプレイに表示する際、前述した２つの処理態様、すなわち、ユーザによる視点位置等の指定情報に基づいて、指定された画像を選択して、あるいは合成して表示するマニュアル処理態様と、予め動画像に対応して設定された表示プログラムに従って、様々な視点位置からの動画像データを順次切り替えて表示するプリセット処理態様とを任意のタイミングで切り替えることが可能な構成を持つ。
【００５４】
動画像をネットワークを介して受信、あるいは記憶媒体から読み出して再生する表示画像制御処理装置の構成例を図７に示す。
【００５５】
表示画像制御処理装置３００には、インターネット配信データ、あるいはブロードキャストデータ等を受信する通信インタフェース３０１を有し、画像配信サイトから送信されるパノラマ、全天球動画など異なる視点位置からの動画像データを含むコンテンツを受信する。また、記憶媒体インタフェース３０２は、ＤＶＤ、フラッシュメモリ等、各種記憶媒体３２０との間のデータ転送用インタフェースであり、異なる視点位置からの動画像データを含むコンテンツを記憶媒体３２０からデータ処理装置３００に撮り込むためのインタフェースである。
【００５６】
画像配信サイトから送信されるコンテンツ、あるいは記憶媒体３２０に格納されるコンテンツは、多くの場合、データ量削減のために符号化されており、デコード処理部３０３においてデコード処理が実行された後、表示制御部３０８の制御のもとに、表示装置３１０において表示する。
【００５７】
予め動画像に対応して設定された表示プログラムに従った動画像データを表示するプリセット処理態様での表示の際には、様々な視点からの動画像データを、設定された表示プログラムに従って、設定パラメータに従った視点位置、視点方向、画角を持つ動画像データを選択、または合成処理を実行して表示装置３１０に表示する。
【００５８】
一方、ユーザによる視点位置等の指定情報に基づいて、指定された画像を選択して、あるいは合成して表示するマニュアル処理においては、表示画像の視点位置等のコントロール情報を、コントローラ３１１からのユーザ入力、あるいは、角度情報取得装置等のセンサ３１２からの方向データ等の入力に基づいて、表示画像が選択、または合成処理がなされて表示装置３１０に表示される。
【００５９】
表示画像制御処理装置３００の受信部３０７は、コントローラ３１１、またはセンサ３１２から送信される信号（例えば赤外線信号）を受信して、制御部（ＣＰＵ）３０４に出力する。コントローラ３１１、またはセンサ３１２から送信される信号は、表示画像の指定情報であり、例えばパノラマ、全天球動画像における表示位置の設定情報としての情報であり、図６を参照して説明したプリセット表示画像プログラムに含まれる視点位置データ（Ａ）、視線方向データ（Ｂ）、画角（Ｃ１）、その他の設定データＤ…の各パラメータの少なくともいずれかに対応する情報を含むデータである。
【００６０】
センサ３１２は、例えば３軸ジャイロ等の角度センサをユーザの頭部に装着し、ユーザの視線方向を角度情報として取得するヘッドトラッカ等によって構成され、ユーザの見ている方向に対応する視点位置情報を入力する。表示画像制御処理装置は、コントローラ３１１からのユーザ入力、あるいはセンサ３１２から入力される情報を、先に図６を参照して説明したプリセット表示画像プログラムにおけると同様のパラメータに変換して、設定パラメータに従った視点位置、視点方向、画角を持つ動画像データを選択、または合成処理によって生成して表示装置３１０に表示する。
【００６１】
なお、センサ３１２は、上述の３軸ジャイロを用いた構成のみならず、例えばユーザの顔を撮影し、撮影画像を分析することによって、ユーザの視線方向等のデータを取得する構成を持つものでもよい。このような構成の場合は、画像分析によって取得したユーザの視点方向等のデータを表示画像制御処理装置に入力する。
【００６２】
表示画像制御処理装置３００における記憶部は、受信データの記憶、各種処理プログラムの記憶、プリセット表示画像プログラムの記憶、あるいはＣＰＵ３０４におけるワークエリアとしての記憶領域等に用いられる記憶部であり、ＲＡＭ、ＲＯＭ等によって構成される。タイマ３０６は、画像表示プログラムの開始からの時間を計測する際等に使用される。
【００６３】
図８にコントローラ３１１の構成例を示す。コントローラ３１１は、パワースイッチ３５１、コンテンツ選択スイッチ３５２、音量設定部３５３、視点位置移動部３５４、視線方向設定部３５５、ズームイン設定部３５６、ズームアウト設定部３５７、カメラ選択部３５８を有する。
【００６４】
コントローラの各操作部の操作に基づいて設定されたデータがコントローラ前面のデータ送信部（例えば赤外光発光部）３５９から処理指令コマンド（視点設定コマンド）として送信され、表示画像制御処理装置３００の受信部３０７によって受信されて画像の視点位置、視線方向、画角等のパラメータとして設定されて、各パラメータに対応する画像が選択または合成されて、表示装置３１０に表示される。
【００６５】
視点位置移動部３５４における設定が視点位置パラメータ、視線方向設定部３５５における設定が視線方向パラメータ、ズームイン設定部３５６における設定が画角パラメータに相当するデータとして表示画像制御処理装置３００に送信される。なお、図８に示すコントローラの構成は一例に過ぎず、その他の構成とすることも可能である。例えばジョイステイックのような操作部を設けて、ジョイスティックの操作に応じて視点位置、視線方向、画角等の各種設定情報を出力する構成としてもよい。
【００６６】
図９は、センサ３１２の一実施例の詳細構成を示すブロック図である。変位検出手段としての３軸ジャイロ３６１は、Ｘ軸、Ｙ軸、Ｚ軸の各座標軸に対応したジャイロ３６２，３６３，３６４からなる。ジャイロは、振動している物体に回転角速度を加えると、その振動と直角方向にコリオリ力Ｆ＝２ｍｖω（ただし、ｍは質量、ｖは速度、ωは角速度）を生じる特性を有している。角速度ωは、コリオリ力Ｆに比例することになり、コリオリ力Ｆを検出することにより、回転角速度が検出可能となる。
【００６７】
各ジャイロ３６２，３６３，３６４には、それぞれ駆動用圧電磁器と検出用圧電磁器（図示せず）が設けられており、駆動用圧電磁器にはオシレータの発振出力である交番信号が印加されるようになされている。この状態で、ジャイロが回転されると、検出用圧電磁器にコリオリ力Ｆが加わり、電圧Ｅが発生する。
【００６８】
各ジャイロ３６２，３６３，３６４に備えられた検出用圧電磁器より出力される微小な電圧は、アンプ３６５，３６６，３６７において増幅され、Ａ／Ｄ変換器３７１，３７２，３７３おいてデジタル・データに変換される。
【００６９】
それぞれのジャイロ３６２，３６３，３６４に加わった角速度ωと、発生する電圧Ｅは、比例関係を有しており、例えば、ジャイロ３６２がＸ軸回りに右方向に回転させたとき、電圧Ｅが上昇し、左方向に回転させたとき、電圧Ｅが下降するように配置される。
【００７０】
インタフェース３７７は、Ａ／Ｄ変換器３７１，３７２，３７３より供給された３軸ジャイロの検出信号をバスを介してＣＰＵ(Central processing Unit)３７４に供給する。ＣＰＵ３７４は、バスを介して入力する３軸ジャイロの検出信号に基づいて、ロール角、ピッチ角、及びヨー角、それぞれの角度データ、およびＸ，Ｙ，Ｚ各軸方向における振動特性データを取得する。
【００７１】
演算処理手段としてのＣＰＵ３７４は、算出したロール角、ピッチ角、及びヨー角、それぞれの角度データ、Ｘ，Ｙ，Ｚ各軸方向における振動特性データをバスを介してＲＡＭ３７６に蓄積し、さらに蓄積データに基づいて操作情報への変換のための演算処理を実行し、変換した操作情報を通信インタフェース３７８を介して表示画像制御処理装置３００側へ出力する。ＲＯＭ（Read-Only-Memory）３７５は、ＣＰＵ３７４が実行するプログラム、あるいは演算パラメータとしての固定データを格納する。ＣＰＵ３７４の変換処理によって取得した操作情報は、必要に応じてＲＡＭ（Random Access Memory）３７６に蓄積する。また、ＲＡＭ（Random Access Memory）３７６は、ＣＰＵ３７４の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用される。
【００７２】
通信インタフェース３７８は、表示画像制御処理装置３００の受信部３０７に対して例えば赤外光等による無線通信を実行し、ＣＰＵ３７４による演算の結果、３軸ジャイロ３６１の動きに基づいて生成された画像設定指令情報が出力される。
【００７３】
表示画像制御処理装置３００は、コントローラ３１１、センサ３１２等から画像の視点位置、視線方向、画角等の各種設定指令情報（以下、視点設定コマンドという）を受信すると受信コマンドに応じて画像の選択、または合成処理を実行する。先に説明したように、本発明の表示画像制御処理装置は、ユーザ指定情報により画像の視点位置等を設定するマニュアルモードと、予め画像に対応して設定されたプログラムに従って画像を出力するプリセットモードとを有する。
【００７４】
表示画像制御処理装置３００は、コントローラ３１１、センサ３１２等からの視点設定コマンドの受信を検出した時点で、プリセットモードにある場合であっても、マニュアルモードに移行し、コントローラ等から受信する視点設定コマンドに基づく視点位置、視線方向、画角等の各種設定パラメータに従った画像に切り替えた画像の表示処理を実行する。また、表示画像制御処理装置３００は、コントローラ３１１、センサ３１２等から画像の視点設定コマンドを受信を検出した時点で、すでにマニュアルモードにある場合には、マニュアルモードを継続し、コントローラ等から新たに受信する視点位置、視線方向、画角等の各種設定パラメータに従った画像に切り替えた画像の表示処理を実行する。
【００７５】
さらに、マニュアルモードの実行中に、予め定められた時間（閾値時間：Ｔａ）、コントローラ３１１、センサ３１２等から、新たな画像の視点設定コマンドを受信しなかった場合には、マニュアルモードからプリセットモードに切り替える処理を実行する。時間の計測は、図７に示す表示画像制御処理装置３００のタイマ３０６が実行する。
【００７６】
図１０にコントローラによる処理を実行する際に表示装置における表示例を示す。表示装置３８０の右上の表示領域３８１には、現在のモードがマニュアルモードであるか、プリセットモードであるかの情報が表示される。表示装置３８０の右下の表示領域３８２には、現在表示されている画像がどの視点位置からの画像であるかが表示される。例えば図１０（ａ）の表示態様は、表示装置３８０の表示画像が先に図３を用いて説明したカメラ配置により被写体を撮影した画像データから選択可能な画像であることを示し、現在、表示中の画像はカメラ位置３８３の位置にほぼ相当する位置からの画像であることを示している。図１０（ｂ）の表示態様は、表示装置３８０の表示画像が先に図２を用いて説明した被写体に対して３６０度周囲に配置したカメラによる撮影画像データから選択可能な画像であることを示し、現在、表示中の画像はカメラ位置３８４の位置にほぼ相当する位置からの画像であることを示している。図１０（ｃ）の表示態様は、表示装置３８０の表示画像が先に図４を用いて説明した２つの被写体に対してそれぞれ３６０度周囲に配置したカメラによる撮影画像データから選択可能な画像であることを示し、現在、表示中の画像はカメラ位置３８５の位置にほぼ相当する位置からの画像であることを示している。図１０（ｄ）の表示態様は、表示装置３８０の表示画像が先に図５を用いて説明した平面３６０度、または全天球型の画像撮影用のカメラ配置による撮影画像データから選択可能な画像であることを示し、現在、表示中の画像はカメラ位置３８６の位置にほぼ相当する位置からの画像であることを示している。
【００７７】
なお、先に図５を参照して説明したカメラ配置、すなわち、平面の周囲３６０度画像を撮影し、表示する構成においても、図１０（ａ）、（ｂ）、（ｃ）と同様のカメラ位置識別表示を用いることが可能である。ただし、この場合は、カメラの撮影方向が外側に向かっていることを示すことになる。
【００７８】
ユーザは、例えばコントローラのスイッチ操作により、これらの視点位置を変更することが可能となる。例えば図８に示すコントローラの視点位置移動部３５４の操作により、図１０（ａ）の場合であれば、９箇所のカメラ位置を順次変更することが可能であり、図１０（ｂ）の場合であれば、５箇所のカメラ位置を順次変更することが可能であり、図１０（ｃ）の場合であれば、１０箇所のカメラ位置を順次変更することが可能となる。図１０（ｄ）の場合であれば、設定されたカメラ数：ｎ箇所のカメラ位置を順次変更することが可能となる。
【００７９】
図１１に本発明の表示画像制御処理装置におけるマニュアルモードと、プリセットモードとの移行処理態様を説明する図を示す。図１１に示すように、予め画像に対応して設定されたプログラムに従った視点位置、視線方向、画角等を設定した出力画像としてのプリセット画像４０１と、コントローラ、センサからの視点設定コマンドに基づいて視点位置、視線方向、画角等が設定されたマニュアル設定画像４０２との間で、コントローラからの入力に基づいてプリセット画像４０１からマニュアル設定画像４０２に移行する。また、予め定められた時間（閾値時間：Ｔａ）、コントローラ等から、新たな画像の視点設定コマンドを受信しなかった場合には、マニュアル設定画像４０２からプリセット画像４０１に移行する。
【００８０】
マニュアル設定画像４０２の表示処理中に、予め定められた時間（閾値時間：Ｔａ）以内にコントローラ等から、新たな画像の視点設定コマンドを受信した場合には、コントローラ等から新たに受信した視点位置、視線方向、画角等の各種設定パラメータに従ったマニュアル設定画像４０３に切り替える処理を実行する。マニュアル設定画像４０３の表示中に予め定められた時間（閾値時間：Ｔａ）、コントローラ等から、新たな画像の視点設定コマンドを受信しなかった場合には、マニュアル設定画像４０３からプリセット画像４０１に移行し、閾値時間：Ｔａ以内にコントローラ等から、新たな画像の視点設定コマンドを受信した場合には、新たな視点設定コマンドに基づくマニュアル設定画像４０４に切り替える処理を実行する。以下、同様に、閾値時間：Ｔａ以内にコントローラ等から、新たな画像の視点設定コマンドを受信した場合には、マニュアル設定画像４０５に切り替える処理を実行する。
【００８１】
このように、本発明の表示画像制御処理装置においては、ユーザの指定した視点設定コマンドに基づく画像を任意のタイミングで設定可能であり、また、視点設定コマンドを一定時間、入力しない場合には、プリセットモードに切り替えられるので、ユーザの興味のある部分においてのみユーザの設定を有効にすることが可能となるとともに、視点設定コマンドとして最後に設定した視点位置に画像が固定された単調な画像が表示されることがなくなる。
【００８２】
図１２に表示画像の、マニュアルモードと、プリセットモードとの移行処理を時間の経過に対応する処理として説明する図を示す。図１２は、横軸に時間（ｔ）、縦軸に視線方向を示した図である。この図は視線方向のみのデータを示しているが、この他にも視点位置、画角についても同様のシーケンスでの処理が実行される。
【００８３】
まず、時間Ｔ０からＴ１までは、コントローラからの視点設定コマンド入力がない状態であり、この期間はプリセットモードによって、画像に対応して設定された視線方向パラメータに基づいて画像表示がなされる。時間Ｔ１において、ユーザがコントローラまたはセンサから視点設定コマンドを送信すると、プリセットモードからマニュアルモードに切り替えられ、その後、時間Ｔ２まで継続して、または断続的にユーザによるコントローラまたはセンサから視点設定コマンドの送信が実行され、マニュアルモードが継続され、視点設定コマンドに基づいて視線方向が切り替えられた画像が表示される。
【００８４】
時間Ｔ２から時間Ｔ３まで継続してコントローラからの視点設定コマンド入力がなく、コマンド非入力時間が閾値時間：Ｔａに達したと判定されると、マニュアルモードからプリセットモードへ移行し、画像に対応して予め設定された視線方向パラメータに基づく画像が表示される。
【００８５】
なお、時間Ｔ３において、閾値時間：Ｔａに達したと判定された場合に、プリセットモードに従った画像を表示装置に表示することになるが、この際の表示コンテンツのフレームは、マニュアルモード終了時点（Ｔ＝Ｔ３）に時間的に継続するフレームであるポイントＰ１としたり、または、プリセットモードからマニュアルモードに切り替えたポイントＰ３としたり、あるいは、例えばコンテンツが複数曲の音楽コンテンツである場合などにおいては、曲の区切りポイントＰ２とするなど、設定に従って各種の移行ポイントを設定することが可能である。
【００８６】
記憶媒体からコンテンツを読み出して表示装置に表示する場合と、サーバからの配信コンテンツを表示装置に表示する場合の処理例について、図１３、図１４を参照して説明する。
【００８７】
図１３は、複数視点画像データを格納したＤＶＤ、ＣＤ等の記憶媒体５３１から表示画像制御処理装置５２１、コントローラ５２２、またはセンサ５２３からなるユーザシステム５２０が画像を読み出して表示装置５３２に画像を表示する構成例である。
【００８８】
この構成において、プリセットモードに従った画像は、表示画像制御処理装置５２１またはコントローラ５２２において再生コンテンツの指定がなされると、指定コンテンツに対応するプリセット表示画像プログラムが、記憶媒体５３１から読み出されて表示画像制御処理装置５２１内の記憶部（図７に示す記憶部３０５）に格納される。また、コンテンツがどのような複数視点画像を保有しているかについての情報も併せて取得し、表示画像制御処理装置５２１内の記憶部に格納する。例えば先に図２を参照して説明した３６０度画像、図３を参照して説明した９つの位置の情報である。これらの情報は、コンテンツの表示装置５３２に対する表示時に、先に図１０を参照して説明した各態様で操作用情報として表示される。
【００８９】
コンテンツの再生がまず記憶部に格納されたプリセット表示画像プログラムに従って開始され、プリセット表示画像プログラムに設定された視点位置、視線方向、画角の各パラメータに対応した画像データが記憶媒体５３１から読み出されて表示装置５３２に表示される。
【００９０】
その後、コントローラ５２２、またはセンサ５２３からの視点設定コマンドが表示画像制御処理装置５２１に入力されると、表示画像制御処理装置５２１は、受信した視点設定コマンドに対応する視点位置、視線方向、画角を持つ画像を記憶媒体５３１から取得するために、視点設定コマンドに対応する視点位置、視線方向、画角に従って、これらのパラメータに最も近いパラメータを持つ画像を選択し、選択画像の指定情報に従って記憶媒体５３１から対応する画像データを取得する。
【００９１】
例えば、３６０度画像データが記憶媒体に格納されている場合は、視点設定コマンドで任意に指定した角度に完全一致するデータを記憶媒体から読み出すことが可能となるが、図２を参照して説明したように５つのカメラからの画像のみが記憶媒体に格納されている場合には、視点設定コマンドに対応する視点位置、視線方向、画角にもっとも近い画像を取得して表示する。なお、先に説明した様に複数のカメラから取得した画像に基づいてカメラ間の画像をビューインタポレーション等の手法によって生成する処理を表示画像制御処理装置５２１内で実行する構成としてもよく、この場合には、同一フレームに属する複数の異なる視点位置からの画像データを記憶媒体から読み出して、表示画像制御処理装置５２１内で、視点設定コマンドに対応する視点位置、視線方向、画角に対応する画像を生成する処理を実行し、生成した画像を表示装置５３２に表示する。
【００９２】
図１４（ａ）は、複数視点画像データをサーバからネットワークを介して受信する構成であり、サーバ５４１から表示画像制御処理装置５２１、コントローラ５２２、またはセンサ５２３からなるユーザシステム５２０が画像を受信して表示装置５４２に画像を表示する構成例である。
【００９３】
この構成において、サーバ５４１から表示画像制御処理装置５２１に対しては、複数視点画像データの全体データが配信され、表示画像制御処理装置５２１内の記憶部（図７に示す記憶部３０５）に全体データを格納する。例えば先に図２を参照して説明した３６０度画像、図３を参照して説明した９つの位置のすべての画像情報等である。さらに、コンテンツに対応するプリセット表示画像プログラムについても、サーバ５４１から表示画像制御処理装置５２１に送信され、記憶部に格納される。また、コンテンツがどのような複数視点画像を保有しているかについての情報も併せて取得し、表示画像制御処理装置５２１内の記憶部に格納する。これらの情報は、コンテンツの表示装置５４２に対する表示時に、先に図１０を参照して説明した各態様で操作用情報として表示される。
【００９４】
コンテンツの再生がまず記憶部に格納されたプリセット表示画像プログラムに従って開始され、プリセット表示画像プログラムに設定された視点位置、視線方向、画角の各パラメータに対応した画像データが表示画像制御処理装置３００内の記憶部３０５から読み出されて表示装置５４２に表示される。
【００９５】
その後、コントローラ５２２、またはセンサ５２３からの視点設定コマンドが表示画像制御処理装置５２１に入力されると、表示画像制御処理装置５２１は、受信した視点設定コマンドに対応する視点位置、視線方向、画角を持つ画像を記憶部３０５から取得するために、視点設定コマンドに対応する視点位置、視線方向、画角に従って、これらのパラメータに最も近いパラメータを持つ画像を選択し、選択画像の指定情報に従って記憶部３０５から対応する画像データを取得する。この際、前述の例と同様、ビューインタポレーション等の手法によって画像の生成処理を実行する構成としてもよい。
【００９６】
図１４（ｂ）は、図１４（ａ）と同様、複数視点画像データをサーバからネットワークを介して受信する構成であるが、本構成では、サーバ５４３から表示画像制御処理装置５２１に対しては、表示画像制御処理装置５２１から要求のあった視点画像データのみが配信される。
【００９７】
表示画像制御処理装置５２１からコンテンツ要求がなされるとプリセット表示画像プログラムに従った特定の視点画像データがユーザシステム５２０の表示画像制御処理装置５２１に送信され、表示画像制御処理装置は、受信データを表示装置５４４に送信する。なお、サーバ５４３から表示画像制御処理装置５２１に対しては、コンテンツがどのような複数視点画像を保有しているかについての情報も送信され、その態様に従って、表示装置５４４には、先に図１０を参照して説明した操作用情報が表示される。
【００９８】
その後、コントローラ５２２、またはセンサ５２３からの視点設定コマンドが表示画像制御処理装置５２１に入力されると、表示画像制御処理装置５２１は、受信した視点設定コマンドに対応する視点位置、視線方向、画角を持つ画像をサーバ５４３から取得するために、視点設定コマンド、またはコマンドに基づいて算出した視点位置、視線方向、画角情報、あるいはこれらの視点位置、視線方向、画角情報に基づいて選択される画像指定情報のいずれかをサーバ５４３に送信する。
【００９９】
サーバ５４３は、表示画像制御処理装置５２１から受信した情報に基づいて表示用の画像データを選択し、表示画像制御処理装置５２１に送信する。なお、３６０度画像データが記憶媒体に格納されている場合は、視点設定コマンドで任意に指定した角度に完全一致するデータをサーバが抽出して送信することが可能となるが、限られた位置のカメラからの画像のみをサーバ５４３が有する場合には、視点設定コマンドに対応する視点位置、視線方向、画角にもっとも近い画像を取得して送信する。
【０１００】
なお、先に説明した様に複数のカメラから取得した画像に基づいてカメラ間の画像をビューインタポレーション等の手法によって生成する処理をサーバ５４３において実行し、視点設定コマンドで指定した情報に一致する画像データを生成してユーザシステム５２０に送信する構成としてもよい。また、画像合成処理を表示画像制御処理装置５２１内で実行する構成としてもよく、この場合には、合成処理に必要となる同一フレームに属する複数の異なる視点位置からの画像データをサーバ５４３が選択して、ユーザシステム５２０に送信し、ユーザシステム５２０内の表示画像制御処理装置５２１において、視点設定コマンドに対応する視点位置、視線方向、画角に対応する画像を生成する処理を実行し、生成した画像を表示装置５４４に表示する構成としてもよい。
【０１０１】
画像配信を実行するサーバの構成例を図１５に示す。ＣＰＵ(Central processing Unit)７１１は、各種アプリケーションプログラムや、ＯＳ（Operating System）を実行するプロセッサである。ＲＯＭ（Read-Only-Memory）７１２は、ＣＰＵ７１１が実行するプログラム、あるいは演算パラメータとしての固定データを格納する。ＲＡＭ（Random Access Memory）７１３は、ＣＰＵ７１１の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用される。
【０１０２】
ＨＤＤ７１４はハードディスクの制御を実行し、ハードディスクに対する各種データ、プログラムの格納処理および読み出し処理を実行する。バス７２０はＰＣＩ（Peripheral Component Internet/Interface）バス等により構成され、各モジュール、入出力インタフェース７２１を介した各入手力装置とのデータ転送を可能にしている。
【０１０３】
入力部７１５は、例えばキーボード、ポインティングデバイス等によって構成され、ＣＰＵ７１１に各種のコマンド、データを入力する。出力部７１６は、例えばＣＲＴ、液晶ディスプレイ等であり、各種情報をテキストまたはイメージ等により表示する。
【０１０４】
通信部７１７はユーザサイトとの双方向通信処理を実行し、ＣＰＵ７１１の制御の下に、各記憶部から供給されたデータ、あるいはＣＰＵ７１１によって処理されたデータを送信したり、ユーザサイトからのコントロール情報を受信する処理を実行する。
【０１０５】
ドライブ７１８は、フロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどの記録媒体７１９の記録再生を実行するドライブであり、各記録媒体７１９からのプログラムまたはデータ再生、記録媒体７１９に対するプログラムまたはデータ格納を実行する。
【０１０６】
各記憶媒体に記録されたプログラムまたはデータを読み出してＣＰＵ７１１において実行または処理を行なう場合は、読み出したプログラム、データは入出力インタフェース７２１、バス７２０を介して例えば接続されているＲＡＭ７１３に供給される。サーバは、ユーザサイトの表示画像制御処理装置からの画像指定情報を受信し、指定された画像をパケット化して、ユーザサイトに送信する処理等を実行する。
【０１０７】
次に、図１６に本発明の表示画像制御処理装置において実行される表示画像の選択、すなわちプリセットモードとマニュアルモードとの移行処理を中心として説明する処理フローを示す。図１６の処理フローの各ステップについて説明する。
【０１０８】
ステップＳ１０１では、まず、記憶媒体から読み出した、またはサーバ等から配信された画像を画像に対応するプリセット表示画像プログラムに従って選択される画像、すなわちプリセット画像を表示装置に表示する。ステップＳ１０２では、ユーザコマンドの入力の有無を判定する。これは、コントローラまたはセンサからの視点設定コマンドを受信したか否かを判定する処理である。
【０１０９】
ユーザコマンドの入力がない場合は、プリセット画像の表示を継続して実行する。ユーザコマンドの入力があった場合は、ステップＳ１０３に進み、コントローラまたはセンサからの視点設定コマンドに基づいて、コマンドに対応する視点位置、視線方向、画角等を持つ画像、すなわちマニュアルモード画像を表示装置に表示する。
【０１１０】
このマニュアルモード画像の表示開始時点で、ステップＳ１０４のタイマＯＮ設定が実行される。ステップＳ１０５では、コントローラまたはセンサからの最後の視点設定コマンド入力からの経過時間と、予め定められた時間（閾値時間：Ｔａ）との比較が実行され、閾値時間：Ｔａ以内に、新たな視点設定コマンドを受信した場合は、ステップＳ１０３でコマンドに対応する視点位置、視線方向、画角等を持つ画像、すなわちマニュアルモード画像の表示を継続して実行する。
【０１１１】
閾値時間：Ｔａ以内に、新たな視点設定コマンドを受信しなかった場合は、ステップＳ１０６に進み、プリセット表示画像プログラムに従って選択される画像、すなわちプリセット画像を表示装置に表示する。なお、先に図１２を参照して説明したように、マニュアルモードからプリセットモードに復帰する場合のコンテンツの画像は、マニュアルモードの終了フレームに継続するフレームの画像を表示、または、マニュアルモードの開始ポイントに戻ってプリセット画像を表示、あるいは曲の区切り等のポイントに戻って画像を表示するなどの処理を予め設定した設定情報に従って実行する。なお、フローには示していないが、マニュアルモードからプリセットモードへの移行処理は、コントローラからモード移行コマンドを発行し、表示画像制御処理装置がモード移行コマンドを受信した場合にも実行される。
【０１１２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１１３】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１１４】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１１５】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１１６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【０１１７】
【発明の効果】
以上説明してきたように、本発明の構成によれば、様々な視点からの動画像データを記憶媒体から再生、あるいはサーバからインターネット等のネットワーク、あるいはブロードキャスト配信データとして受信して表示装置に表示する際、ユーザの操作するコントローラまたはヘッドトラッカ等のセンサからの視点設定コマンドに基づく視点位置等の指定情報に基づく選択画像、あるいは合成して生成した合成画像を表示するマニュアル処理態様と、予め動画像に対応して設定された表示プログラムに従って、様々な視点位置からの動画像データを順次切り替えて表示するプリセット処理態様とを任意のタイミングで切り替えることが可能となる。
【０１１８】
さらに、本発明の表示画像制御処理装置においては、ユーザの指定した視点設定コマンドに基づく画像を任意のタイミングで設定可能であり、また、視点設定コマンドを一定時間、入力しない場合には、プリセットモードに切り替えられるので、ユーザの興味のある部分においてのみユーザの設定を有効にすることが可能となるとともに、視点設定コマンドとして最後に設定した視点位置に画像が固定された単調な画像が表示されることがなくなる。
【図面の簡単な説明】
【図１】本発明の表示画像制御処理装置を適用した処理を実行するシステム例を説明する図である。
【図２】複数視点画像のデータ取得処理およびデータ構成例について説明する図である。
【図３】複数視点画像のデータ取得処理例について説明する図である。
【図４】複数視点画像のデータ取得処理例について説明する図である。
【図５】複数視点画像のデータ取得処理例について説明する図である。
【図６】本発明の表示画像制御処理装置において処理される画像に対応するパラメータ構成を説明する図である。
【図７】本発明の表示画像制御処理装置の構成例を示すブロック図である。
【図８】本発明の表示画像制御処理装置のコントローラ構成例を示す図である。
【図９】本発明の表示画像制御処理装置のセンサ構成例を示す図である。
【図１０】本発明の表示画像制御処理装置を適用した画像表示例を示す図である。
【図１１】本発明の表示画像制御処理装置におけるモード遷移について説明する図である。
【図１２】本発明の表示画像制御処理装置におけるモード遷移を時間経過とともに示す図である。
【図１３】本発明の表示画像制御処理装置において記憶媒体からコンテンツを再生するデータ処理例を説明する図である。
【図１４】本発明の表示画像制御処理装置においてサーバから受信するコンテンツを再生するデータ処理例を説明する図である。
【図１５】本発明の表示画像制御処理装置において処理するコンテンツを提供するサーバのシステム構成例を説明する図である。
【図１６】本発明の表示画像制御処理装置においてコンテンツを表示する際のモード移行処理について説明するフロー図である。
【符号の説明】
１００ ユーザサイト
１０１ デスクトップＰＣ
１０２ ノートＰＣ
１０３ 携帯電話
１０４ ヘッドマウントディスプレイ
１５１ メモリ
１５２ ディスク
１７０ データ通信網
１８０コンテンツ提供サイト
１８１ サーバ
２０１，２１１，２２１，２２２ 被写体
３０１ 通信インタフェース
３０２ 記憶媒体インタフェース
３０３ デコード処理部
３０４ 制御部
３０５ 記憶部
３０６ タイマ
３０７ 受信部
３０８ 表示制御部
３１０ 表示装置
３１１ コントローラ
３１２ センサ
３５１ パワースイッチ
３５２ コンテンツ選択スイッチ
３５３ 音量設定部
３５４ 視点位置設定部
３５５ 視線方向設定部
３５６ ズームイン設定部
３５７ ズームアウト設定部
３５８ カメラ選択部
３６１ ３軸ジャイロ
３６２ ジャイロ（ピッチ）
３６３ ジャイロ（ヨー）
３６４ ジャイロ（ロール）
３６５，３６６，３６７ アンプ
３７１，３７２，３７３ Ａ／Ｄ変換器
３７４ ＣＰＵ
３７５ ＲＯＭ
３７６ ＲＡＭ
３７７ インタフェース
３７８ 通信インタフェース
３８０ 表示装置
３８１，３８２ 表示領域
４０１ プリセット画像
４０２〜４０５ マニュアル設定画像
５２０ ユーザシステム
５２１ 表示画像制御処理装置
５２２ コントローラ
５２３ センサ
５３１ 記憶媒体
５３２ 表示装置
５４１，５４３ サーバ
５４２，５４４ 表示装置
７１１ ＣＰＵ
７１２ ＲＯＭ
７１３ ＲＡＭ
７１４ ＨＤＤ
７１５ 入力部
７１６ 出力部
７１７ 通信部
７１８ ドライブ
７１９ 記憶媒体
７２０ バス
７２１ 入出力インタフェース
Claims (20)
- 動画像データから選択または合成される連続的に変更可能な特定視点からの画像を表示手段に出力する表示画像制御処理装置であり、
前記特定視点を決定することにより、前記動画像データから前記表示手段に表示すべき画像の決定処理を実行する制御手段を有し、
前記制御手段は、動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかを選択して実行する構成を有し、
プリセットモードの実行中に、前記視点設定コマンドの入力を条件として、マニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成を有し、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行する構成を有し、
前記入力手段は、視点設定コマンドとして、画像の視点位置、視線方向、画角の少なくともいずれかをユーザ入力により指定した視点設定コマンドを出力する構成であり、前記制御手段は、画像の視点位置、視線方向、画角の少なくともいずれかを指定した視点設定コマンドに対応する視点画像に切り替える処理を実行する構成であることを特徴とする表示画像制御処理装置。 - 前記センサは、視点設定コマンドとして、画像の視点位置、視線方向、画角の少なくともいずれかをセンサによる検出情報に基づいて指定したコマンドを出力する構成であり、
前記制御手段は、画像の視点位置、視線方向、画角の少なくともいずれかを指定した視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成であることを特徴とする請求項１に記載の表示画像制御処理装置。 - 前記センサは、方向検出機能を持つジャイロを備えた構成であり、ジャイロによって取得される方向情報に基づくデータを前記視点設定コマンドとして出力する構成であり、
前記制御手段は、ジャイロによって取得される方向情報に基づくデータを含む視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成であることを特徴とする請求項１に記載の表示画像制御処理装置。 - 前記センサは、ユーザの顔の撮影画像に基づく画像分析処理に基づく視線方向検出処理手段を備えた構成であり、画像分析処理によって取得される方向情報に基づくデータを前記視点設定コマンドとして出力する構成であり、
前記制御手段は、前記画像分析処理によって取得される方向情報に基づくデータを含む視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成であることを特徴とする請求項１に記載の表示画像制御処理装置。 - 前記制御手段は、
複数視点からの画像を含む動画像データに基づいて、該動画像データには含まれない視点画像を合成し、合成画像を前記表示手段に出力する構成を有することを特徴とする請求項１に記載の表示画像制御処理装置。 - 前記制御手段は、
複数視点からの画像を含む動画像データに対応する表示可能な視点位置データ、および該表示手段に表示中の画像の視点位置識別データを、該表示手段に表示する処理を実行する構成を有することを特徴とする請求項１に記載の表示画像制御処理装置。 - 複数視点からの画像を含む動画像データは、離間した複数の被写体位置各々に対応して設定された複数の視点画像を含み、
前記制御手段は、前記離間した複数の被写体位置各々に対応して設定された複数の視点画像を含む動画像データに基づいて、前記表示手段に表示すべき画像の決定処理を実行する構成を有することを特徴とする請求項１に記載の表示画像制御処理装置。 - 動画像データを保持し、動画像データの配信を実行するサーバと、
前記サーバから受信する動画像データに基づく画像表示処理を実行するユーザシステムとによって構成される動画像情報送受信システムであり、
前記ユーザシステムは、表示手段に表示すべき画像の決定処理を実行する制御手段を有し、
前記制御手段は、動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかを選択して実行する構成を有し、
プリセットモードの実行中に、前記視点設定コマンドの入力を条件として、マニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行する構成を有し、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行する構成を有する構成を有することを特徴とする動画像情報送受信システム。 - 前記サーバは、動画像データに含まれる全視点画像データの配信を実行し、
前記ユーザシステムは、前記動画像データに含まれる全視点画像データ、および、前記プリセット表示画像プログラムを格納する記憶手段を有し、
前記制御手段は、
プリセットモードにおいては、前記プリセット表示画像プログラムに従った特定視点画像データを出力し、
マニュアルモードにおいては、視点設定コマンドに対応する特定視点画像データを出力する構成であることを特徴とする請求項８に記載の動画像情報送受信システム。 - 前記サーバは、動画像データに含まれる特定視点画像データの配信を実行し、
前記ユーザシステムは、
プリセットモードにおいては、前記サーバにおいて設定されたプリセット表示画像プログラムに従った特定視点画像データを前記サーバから受信し、受信データを表示手段に出力し、
マニュアルモードにおいては、視点設定コマンドに対応する画像指定情報を前記サーバに送信するとともに、前記サーバにおいて該画像指定情報に従って送信される画像データを受信し、前記視点設定コマンドに対応する特定視点画像データを表示手段に出力する構成であることを特徴とする請求項８に記載の動画像情報送受信システム。 - 動画像データから選択または合成される連続的に変更可能な特定視点からの画像を表示手段に出力する表示画像制御処理方法であり、
動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかのモードに設定するモード設定ステップと、
前記モード設定ステップにおいて設定したモードに従って、前記特定視点を決定することにより、前記動画像データから前記表示手段に表示すべき画像の決定処理を実行する画像決定ステップとを有し、さらに、
前記プリセットモードにおいて、前記視点設定コマンドの入力を条件としてマニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行するステップと、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行するステップとを有し、
マニュアルモードにおける前記画像決定ステップは、画像の視点位置、視線方向、画角の少なくともいずれかを指定した視点設定コマンドに対応する視点画像への切り替え処理を実行するステップであることを特徴とする表示画像制御処理方法。 - 前記センサは、方向検出機能を持つジャイロを備えた構成であり、ジャイロによって取得される方向情報に基づくデータを前記視点設定コマンドとして出力し、
マニュアルモードにおける前記画像決定ステップは、
前記ジャイロによって取得される方向情報に基づくデータを含む視点設定コマンドに対応する視点画像へ切り替える処理を実行するステップであることを特徴とする請求項１１に記載の表示画像制御処理方法。 - 前記センサは、ユーザの顔の撮影画像に基づく画像分析処理に基づく視線方向検出処理手段を備えた構成であり、画像分析処理によって取得される方向情報に基づくデータを前記視点設定コマンドとして出力し、
マニュアルモードにおける前記画像決定ステップは、
前記画像分析処理によって取得される方向情報に基づくデータを含む視点設定コマンドに対応する視点画像へ切り替える処理を実行するステップであることを特徴とする請求項１１に記載の表示画像制御処理方法。 - 前記表示画像制御処理方法は、さらに、
複数視点からの画像を含む動画像データに基づいて、該動画像データには含まれない視点画像を合成し、合成画像を前記表示手段に出力するステップを含むことを特徴とする請求項１１に記載の表示画像制御処理方法。 - 前記表示画像制御処理方法は、さらに、
複数視点からの画像を含む動画像データに対応する表示可能な視点位置データ、および該表示手段に表示中の画像の視点位置識別データを、該表示手段に表示する処理を実行するステップを有することを特徴とする請求項１１に記載の表示画像制御処理方法。 - 複数視点からの画像を含む動画像データは、離間した複数の被写体位置各々に対応して設定された複数の視点画像を含み、
前記表示画像制御処理方法は、さらに、
前記離間した複数の被写体位置各々に対応して設定された複数の視点画像を含む動画像データに基づいて、前記表示手段に表示すべき画像の決定処理を実行するステップを有することを特徴とする請求項１１に記載の表示画像制御処理方法。 - 動画像データを保持し、動画像データの配信を実行するサーバと、
前記サーバから受信する動画像データに基づく画像表示処理を実行するユーザシステムとによって構成される動画像情報送受信システムにおける動画像情報送受信方法であり、
前記ユーザシステムは、動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかを選択して実行し、
プリセットモードの実行中に、前記視点設定コマンドの入力を条件として、マニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行し、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行することを特徴とする動画像情報送受信方法。 - 前記サーバは、動画像データに含まれる全視点画像データの配信を実行し、
前記ユーザシステムは、
前記動画像データに含まれる全視点画像データ、および、前記プリセット表示画像プログラムを記憶手段に格納し、
プリセットモードにおいては、前記プリセット表示画像プログラムに従った特定視点画像データを出力し、
マニュアルモードにおいては、視点設定コマンドに対応する特定視点画像データを出力することを特徴とする請求項１７に記載の動画像情報送受信方法。 - 前記サーバは、動画像データに含まれる特定視点画像データの配信を実行し、
前記ユーザシステムは、
プリセットモードにおいては、前記サーバにおいて設定されたプリセット表示画像プログラムに従った特定視点画像データを前記サーバから受信し、受信データを表示手段に出力し、
マニュアルモードにおいては、視点設定コマンドに対応する画像指定情報を前記サーバに送信するとともに、前記サーバにおいて該画像指定情報に従って送信される画像データを受信し、前記視点設定コマンドに対応する特定視点画像データを表示手段に出力することを特徴とする請求項１７に記載の動画像情報送受信方法。 - 動画像データから選択または合成される連続的に変更可能な特定視点からの画像を表示手段に出力する表示画像制御処理を実行するコンピュータ・プログラムであって、
動画像データに対応付けられ、表示画像を特定する時系列データとして構成されるプリセット表示画像プログラムに従った画像表示態様としてのプリセットモードと、ユーザ入力手段またはセンサからの視点設定コマンド入力に基づいて表示画像を特定するマニュアルモードの各モードのいずれかのモードに設定するモード設定ステップと、
前記モード設定ステップにおいて設定したモードに従って、前記特定視点を決定することにより、前記動画像データから前記表示手段に表示すべき画像の決定処理を実行する画像決定ステップとを有し、さらに、
前記プリセットモードにおいて、前記視点設定コマンドの入力を条件としてマニュアルモードへの移行処理を実行し、前記表示手段に出力する画像を、前記特定視点を連続的に変更する視点設定コマンドに対応する視点画像へ切り替える処理を実行するステップと、
マニュアルモード実行中、あらかじめ定められた閾値時間：Ｔａ以内に新たな視点設定コマンドの入力がないことを条件として、
（ａ）マニュアルモードの終了ポイント、または、
（ｂ）マニュアルモードの開始ポイント、または、
（ｃ）前記動画像データ中のコンテンツ区切りポイント、
上記（ａ）〜（ｃ）いずれかのポイントを、予め設定された移行ポイント情報に従って選択し、該移行ポイントからプリセットモードでの画像表示をただちに実行するステップとを有し、
マニュアルモードにおける前記画像決定ステップは、画像の視点位置、視線方向、画角の少なくともいずれかを指定した視点設定コマンドに対応する視点画像への切り替え処理を実行するステップとして実行することを特徴とするコンピュータ・プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001340429A JP4148671B2 (ja) | 2001-11-06 | 2001-11-06 | 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム |
| US10/287,149 US7576742B2 (en) | 2001-11-06 | 2002-11-04 | Picture display controller, moving-picture information transmission/reception system, picture display controlling method, moving-picture information transmitting/receiving method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001340429A JP4148671B2 (ja) | 2001-11-06 | 2001-11-06 | 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003143505A JP2003143505A (ja) | 2003-05-16 |
| JP4148671B2 true JP4148671B2 (ja) | 2008-09-10 |
Family
ID=19154629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001340429A Expired - Lifetime JP4148671B2 (ja) | 2001-11-06 | 2001-11-06 | 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7576742B2 (ja) |
| JP (1) | JP4148671B2 (ja) |
Families Citing this family (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1519582A4 (en) * | 2002-06-28 | 2007-01-31 | Sharp Kk | Image data delivery system, image data sending device therefor and image data receiving device therefor |
| JP2005050037A (ja) | 2003-07-31 | 2005-02-24 | Canon Inc | 画像処理方法および装置 |
| US8553113B2 (en) * | 2003-08-20 | 2013-10-08 | At&T Intellectual Property I, L.P. | Digital image capturing system and method |
| US10417298B2 (en) * | 2004-12-02 | 2019-09-17 | Insignio Technologies, Inc. | Personalized content processing and delivery system and media |
| US7710452B1 (en) | 2005-03-16 | 2010-05-04 | Eric Lindberg | Remote video monitoring of non-urban outdoor sites |
| JP2007020092A (ja) * | 2005-07-11 | 2007-01-25 | Matsushita Electric Ind Co Ltd | 画像表示装置、画像表示方法および画像表示システム |
| CN101263548B (zh) * | 2005-09-15 | 2010-05-26 | 夏普株式会社 | 影像传送装置和使用该装置的显示系统 |
| JP4793449B2 (ja) * | 2006-11-10 | 2011-10-12 | 三菱電機株式会社 | ネットワーク映像合成表示システム |
| US20080226281A1 (en) * | 2007-03-13 | 2008-09-18 | Real D | Business system for three-dimensional snapshots |
| JP5239881B2 (ja) * | 2008-03-31 | 2013-07-17 | カシオ計算機株式会社 | 画像表示装置、画像表示処理プログラム、及び、画像表示方法 |
| KR101502419B1 (ko) * | 2008-07-11 | 2015-03-13 | 삼성디스플레이 주식회사 | 다시점 영상 표시방법, 이를 수행하기 위한 표시장치 |
| JP5451022B2 (ja) * | 2008-10-02 | 2014-03-26 | キヤノン株式会社 | 放送受信装置及びその制御方法 |
| JP5096302B2 (ja) * | 2008-12-12 | 2012-12-12 | 株式会社キーエンス | 撮像装置 |
| JP5096303B2 (ja) * | 2008-12-12 | 2012-12-12 | 株式会社キーエンス | 撮像装置 |
| US9037992B2 (en) * | 2008-12-29 | 2015-05-19 | International Business Machines Corporation | System and method for changing system modes |
| US20100259595A1 (en) * | 2009-04-10 | 2010-10-14 | Nokia Corporation | Methods and Apparatuses for Efficient Streaming of Free View Point Video |
| JP5182229B2 (ja) * | 2009-06-02 | 2013-04-17 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN101990034A (zh) * | 2009-08-07 | 2011-03-23 | 鸿富锦精密工业（深圳）有限公司 | 影像调整系统及方法 |
| JP5404338B2 (ja) * | 2009-11-17 | 2014-01-29 | キヤノン株式会社 | コンテンツ再生装置及びその制御方法 |
| JP5418386B2 (ja) * | 2010-04-19 | 2014-02-19 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5835932B2 (ja) * | 2010-07-02 | 2015-12-24 | キヤノン株式会社 | 画像処理装置、及びその制御方法 |
| JP5990309B2 (ja) * | 2010-07-02 | 2016-09-14 | キヤノン株式会社 | 画像処理装置、及びその制御方法 |
| EP2408196B1 (en) * | 2010-07-14 | 2017-01-11 | Alcatel Lucent | A method, server and terminal for generating a composite view from multiple content items |
| JP2012039220A (ja) * | 2010-08-04 | 2012-02-23 | Nec Personal Computers Ltd | 映像再生装置及びその制御方法 |
| US20120038668A1 (en) * | 2010-08-16 | 2012-02-16 | Lg Electronics Inc. | Method for display information and mobile terminal using the same |
| JP5250598B2 (ja) * | 2010-10-05 | 2013-07-31 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置および画像表示方法 |
| US8836771B2 (en) * | 2011-04-26 | 2014-09-16 | Echostar Technologies L.L.C. | Apparatus, systems and methods for shared viewing experience using head mounted displays |
| JP5367034B2 (ja) * | 2011-08-24 | 2013-12-11 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
| JP5726779B2 (ja) * | 2012-02-13 | 2015-06-03 | 日本電信電話株式会社 | 映像視聴システム及び映像視聴システムの制御方法 |
| CN103870102B (zh) * | 2012-12-13 | 2017-12-12 | 腾讯科技（武汉）有限公司 | 图片切换方法及装置 |
| JP5942844B2 (ja) * | 2012-12-25 | 2016-06-29 | カシオ計算機株式会社 | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
| US9282309B1 (en) | 2013-12-22 | 2016-03-08 | Jasmin Cosic | Methods, systems and apparatuses for multi-directional still pictures and/or multi-directional motion pictures |
| US10102226B1 (en) | 2015-06-08 | 2018-10-16 | Jasmin Cosic | Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures |
| US10129579B2 (en) * | 2015-10-15 | 2018-11-13 | At&T Mobility Ii Llc | Dynamic video image synthesis using multiple cameras and remote control |
| US9888284B2 (en) * | 2015-10-26 | 2018-02-06 | Nokia Technologies Oy | Method and apparatus for improved streaming of immersive content |
| KR102438199B1 (ko) * | 2015-12-24 | 2022-08-30 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 장치의 설정 값을 변경하는 방법 |
| JPWO2017119034A1 (ja) | 2016-01-06 | 2018-11-22 | ソニー株式会社 | 撮影システム、撮影方法およびプログラム |
| JP2017187757A (ja) * | 2016-03-30 | 2017-10-12 | ＴｓＺ株式会社 | 画像表示装置 |
| US10165258B2 (en) * | 2016-04-06 | 2018-12-25 | Facebook, Inc. | Efficient determination of optical flow between images |
| WO2017183292A1 (ja) * | 2016-04-20 | 2017-10-26 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および画像決定方法 |
| JP6580516B2 (ja) * | 2016-05-02 | 2019-09-25 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および画像決定方法 |
| CN109792537B (zh) * | 2016-09-29 | 2023-06-23 | 皇家飞利浦有限公司 | 用于提供图像的装置和方法以及图像处理装置和系统 |
| JP6853013B2 (ja) * | 2016-10-26 | 2021-03-31 | グリー株式会社 | 情報処理システム、情報処理方法、および情報処理プログラム |
| EP3322186A1 (en) * | 2016-11-14 | 2018-05-16 | Thomson Licensing | Method and device for transmitting data representative of an image |
| JP7212611B2 (ja) * | 2017-02-27 | 2023-01-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
| JP6508376B2 (ja) * | 2018-03-01 | 2019-05-08 | キヤノンマーケティングジャパン株式会社 | 撮像装置、撮像システム、その制御方法及びプログラム |
| JP7249755B2 (ja) * | 2018-10-26 | 2023-03-31 | キヤノン株式会社 | 画像処理システムおよびその制御方法、プログラム |
| JP6632703B2 (ja) * | 2018-12-27 | 2020-01-22 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
| JP7384576B2 (ja) * | 2019-06-06 | 2023-11-21 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置、表示制御方法、及び表示制御プログラム |
| CN111510370B (zh) * | 2020-04-09 | 2023-09-05 | 京东方科技集团股份有限公司 | 内容处理方法及装置、计算机介质和电子设备 |
| CN113572975B (zh) | 2020-04-29 | 2023-06-06 | 华为技术有限公司 | 视频播放方法、装置及系统、计算机存储介质 |
| CN113253843B (zh) * | 2021-05-24 | 2023-05-09 | 哈尔滨工业大学 | 一种基于全景图的室内虚拟漫游实现方法及实现系统 |
Family Cites Families (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8706348D0 (en) * | 1987-03-17 | 1987-04-23 | Quantel Ltd | Electronic image processing systems |
| US4888203A (en) * | 1987-11-13 | 1989-12-19 | Massachusetts Institute Of Technology | Hydrolysis-induced vapor deposition of oxide films |
| EP0486475B1 (en) * | 1988-03-03 | 1997-12-03 | Asahi Glass Company Ltd. | Amorphous oxide film and article having such film thereon |
| JP2768732B2 (ja) * | 1989-05-01 | 1998-06-25 | 神鋼パンテック株式会社 | 加熱脱気超純水装置 |
| US5282850A (en) * | 1989-07-25 | 1994-02-01 | Smith & Nephew Richards, Inc. | Artificial heart components with wear resistant coatings of reduced thrombogenicity |
| US5545208A (en) * | 1990-02-28 | 1996-08-13 | Medtronic, Inc. | Intralumenal drug eluting prosthesis |
| US5146557A (en) * | 1990-07-27 | 1992-09-08 | General Electric Company | User interface for a golf green and a golf putt modelling system |
| US5205921A (en) * | 1991-02-04 | 1993-04-27 | Queen's University At Kingston | Method for depositing bioactive coatings on conductive substrates |
| JP3017301B2 (ja) * | 1991-02-18 | 2000-03-06 | 大阪酸素工業株式会社 | 不動態膜の形成方法 |
| US5259935A (en) * | 1991-05-03 | 1993-11-09 | The Boc Group, Inc. | Stainless steel surface passivation treatment |
| US5147370A (en) * | 1991-06-12 | 1992-09-15 | Mcnamara Thomas O | Nitinol stent for hollow body conduits |
| US5211663A (en) * | 1991-06-24 | 1993-05-18 | Smith & Nephew Richards, Inc. | Passivation methods for metallic medical implants |
| US5344455A (en) * | 1992-10-30 | 1994-09-06 | Medtronic, Inc. | Graft polymer articles having bioactive surfaces |
| US5275696A (en) * | 1993-05-03 | 1994-01-04 | The United States Of America As Represented By The Secretary Of The Navy | Stainless steel surface treatment |
| JP3218802B2 (ja) * | 1993-05-07 | 2001-10-15 | 株式会社神戸製鋼所 | 半導体製造装置用ステンレス鋼材の表面処理法 |
| DE69434685T2 (de) * | 1993-08-04 | 2006-09-14 | Canon K.K. | Bildverarbeitungsverfahren und -gerät |
| EP0641132B1 (en) * | 1993-08-26 | 1999-04-14 | Matsushita Electric Industrial Co., Ltd. | Stereoscopic image pickup apparatus |
| US5645740A (en) * | 1993-11-01 | 1997-07-08 | Naiman; Charles S. | System and assemblage for producing microtexturized substrates and implants |
| JPH07184089A (ja) * | 1993-12-21 | 1995-07-21 | Canon Inc | ビデオカメラ |
| EP0684585B1 (en) * | 1994-04-22 | 2003-02-05 | Canon Kabushiki Kaisha | Image forming method and apparatus |
| US5838906A (en) * | 1994-10-17 | 1998-11-17 | The Regents Of The University Of California | Distributed hypermedia method for automatically invoking external application providing interaction and display of embedded objects within a hypermedia document |
| US5637113A (en) * | 1994-12-13 | 1997-06-10 | Advanced Cardiovascular Systems, Inc. | Polymer film for wrapping a stent structure |
| JPH08202281A (ja) * | 1995-01-30 | 1996-08-09 | Olympus Optical Co Ltd | 頭部装着型映像表示装置システム |
| US5642185A (en) * | 1995-03-07 | 1997-06-24 | Eastman Kodak Company | Automatic termination of screen saver mode on a display of reproduction apparatus |
| US5729471A (en) * | 1995-03-31 | 1998-03-17 | The Regents Of The University Of California | Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene |
| US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
| JP3352562B2 (ja) * | 1995-03-31 | 2002-12-03 | 東芝機械株式会社 | プロセスコントローラのマンマシンインタフェース装置 |
| US5841409A (en) * | 1995-04-18 | 1998-11-24 | Minolta Co., Ltd. | Image display apparatus |
| US5675364A (en) * | 1995-04-28 | 1997-10-07 | Dell Usa, L.P. | Display wakeup control |
| US6283857B1 (en) * | 1996-09-24 | 2001-09-04 | Nintendo Co., Ltd. | Three-dimensional image processing apparatus with enhanced automatic and user point of view control |
| US6208379B1 (en) * | 1996-02-20 | 2001-03-27 | Canon Kabushiki Kaisha | Camera display control and monitoring system |
| US6788314B1 (en) * | 1996-03-22 | 2004-09-07 | Interval Research Corporation | Attention manager for occupying the peripheral attention of a person in the vicinity of a display device |
| US6139434A (en) * | 1996-09-24 | 2000-10-31 | Nintendo Co., Ltd. | Three-dimensional image processing apparatus with enhanced automatic and user point of view control |
| US6111582A (en) * | 1996-12-20 | 2000-08-29 | Jenkins; Barry L. | System and method of image generation and encoding using primitive reprojection |
| JP3009633B2 (ja) * | 1997-04-03 | 2000-02-14 | コナミ株式会社 | 画像装置、画像表示方法および記録媒体 |
| US6307563B2 (en) * | 1997-04-30 | 2001-10-23 | Yamaha Corporation | System for controlling and editing motion of computer graphics model |
| US6215505B1 (en) * | 1997-06-20 | 2001-04-10 | Nippon Telegraph And Telephone Corporation | Scheme for interactive video manipulation and display of moving object on background image |
| JP3127137B2 (ja) * | 1997-08-14 | 2001-01-22 | 株式会社ナムコ | 画像生成装置及び情報記憶媒体 |
| US6028584A (en) * | 1997-08-29 | 2000-02-22 | Industrial Technology Research Institute | Real-time player for panoramic imaged-based virtual worlds |
| US6246801B1 (en) * | 1998-03-06 | 2001-06-12 | Lucent Technologies Inc. | Method and apparatus for generating selected image views from a larger image having dependent macroblocks |
| US6466207B1 (en) * | 1998-03-18 | 2002-10-15 | Microsoft Corporation | Real-time image rendering with layered depth images |
| US6144375A (en) * | 1998-08-14 | 2000-11-07 | Praja Inc. | Multi-perspective viewer for content-based interactivity |
| US6256037B1 (en) * | 1998-11-27 | 2001-07-03 | Dicomit Dicom Information Technologies Corp. | Method and system for selecting at least one optimal view of a three dimensional image |
| JP3634677B2 (ja) * | 1999-02-19 | 2005-03-30 | キヤノン株式会社 | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 |
| US6285394B1 (en) * | 1999-05-10 | 2001-09-04 | James L. F. Huang | Video monitoring system |
| US20010037509A1 (en) * | 2000-03-02 | 2001-11-01 | Joel Kligman | Hybrid wired/wireless video surveillance system |
| JP2001325612A (ja) * | 2000-03-08 | 2001-11-22 | Sony Computer Entertainment Inc | ゲーム再生方法、記録媒体、プログラムおよびエンタテインメントシステム |
| US6724385B2 (en) * | 2000-03-08 | 2004-04-20 | Sony Computer Entertainment Inc. | Method of replaying game, recording medium, program, and entertainment system |
| AU2001264954A1 (en) * | 2000-05-25 | 2001-12-03 | Realitybuy, Inc. | A real time, three-dimensional, configurable, interactive product display systemand method |
| US20020063714A1 (en) * | 2000-10-04 | 2002-05-30 | Michael Haas | Interactive, multimedia advertising systems and methods |
| JP2002209208A (ja) * | 2001-01-11 | 2002-07-26 | Mixed Reality Systems Laboratory Inc | 画像処理装置及びその方法並びに記憶媒体 |
-
2001
- 2001-11-06 JP JP2001340429A patent/JP4148671B2/ja not_active Expired - Lifetime
-
2002
- 2002-11-04 US US10/287,149 patent/US7576742B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003143505A (ja) | 2003-05-16 |
| US20030122949A1 (en) | 2003-07-03 |
| US7576742B2 (en) | 2009-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4148671B2 (ja) | 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム | |
| JP5406813B2 (ja) | パノラマ画像表示装置およびパノラマ画像表示方法 | |
| JP4098808B2 (ja) | 遠隔映像表示方法、映像取得装置及びその方法とそのプログラム | |
| JP6992338B2 (ja) | 通信システム、通信管理方法、プログラム、システム及び通信方法 | |
| JP5724230B2 (ja) | 表示制御装置、表示制御方法、プログラム | |
| US8867886B2 (en) | Surround video playback | |
| JP7017175B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| CN107396085A (zh) | 一种全视点视频图像的处理方法及系统 | |
| JP2019118026A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP6816465B2 (ja) | 画像表示システム、通信システム、画像表示方法、及びプログラム | |
| WO2020017354A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2022186117A (ja) | 通信端末、画像通信システム、画像表示方法およびプログラム | |
| JP2021097326A (ja) | 通信端末、撮影システム、画像処理方法及びプログラム | |
| JP2018088605A (ja) | 情報処理装置、表示制御装置、制御方法、及びプログラム | |
| CN112188219A (zh) | 视频接收方法和装置以及视频发送方法和装置 | |
| KR20180059285A (ko) | 가상현실 영상을 제공하는 미디어 재생 장치 및 영상 제공 서버 | |
| JP2021087136A (ja) | 通信端末、撮影システム、画像処理方法及びプログラム | |
| JP2020154460A (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
| EP4436190A1 (en) | Display terminal, communication system, and method for displaying | |
| JP5646033B2 (ja) | 画像表示装置および画像表示方法 | |
| EP4436191A1 (en) | Display terminal, communication system, display method, and carrier means | |
| JP7794411B2 (ja) | 自由視点映像の弾幕コメントを表示するための方法、装置及びシステム | |
| JP7319340B2 (ja) | 配信サーバ、配信方法及びプログラム | |
| JP6970143B2 (ja) | 配信サーバ、配信方法及びプログラム | |
| KR20180059281A (ko) | 타임 슬라이스 영상을 제공하는 사용자 단말 및 영상 제공 서버 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040305 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040525 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050128 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051111 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051208 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060512 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080526 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080624 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4148671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |