JP4367970B2 - 受信装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、放送システムなどに適用して好適な受信装置に関する。詳しくは、画像情報として全方位映像情報を送出できるようにし、受信側では同時に送信された付加情報を選択することで、任意の撮像アングルでの映像や全方位のパンニング映像を自由に選択できるようにして、全方位映像の視聴を可能にしたものである。
【０００２】
【従来の技術】
ディジタル技術の発展に伴い、放送界でも放送信号を含めた各種情報をディジタル化したインタラクティブ形式の統合ディジタル放送システム（ＩＳＤＢ（Integrated Services Digital Broadcasting）システムという）が研究・開発されている。
【０００３】
具体的には、このＩＳＤＢシステムとは現行の放送信号（標準テレビジョン信号、ハイビジョン信号）を始めとして、ソフトウエアやファクシミリなどのデータ、さらには音声、文字、図形、画像などのマルチメディア情報をそれぞれディジタル化（符号化）し、それらを統合多重化した上で、伝送形態に合致した変調処理を施して送受信するようにした放送システムのことである。
【０００４】
放送信号を含めた各種情報を統合多重化する場合、これらの情報の他に受信側での制御情報として使用する付加情報も同時に統合多重化されて送信することができる。統合化されたＩＳＤＢ用放送信号（ディジタル信号）は地上波、衛星波、光ケーブルなどを利用して送信される。
【０００５】
受信端末側では、統合化されたＩＳＤＢ用放送信号を受信して目的の信号を弁別することによってそれをモニタに表示させて通常のテレビ放送として楽しむことができることは勿論、記録手段を用いて記録（保存）したり、他の端末に転送したりすることができる。さらに受信した付加情報を利用すれば、モニタ制御、記録制御さらにはモニタされた画像に対する加工制御など、ユーザの好みに応じて受信情報を利用できることになる。つまり、対話形式（インタラクティブ）の放送システムを構築できる。
【０００６】
【発明が解決しようとする課題】
したがってこのＩＳＤＢシステムを利用すれば、送信される付加情報が多種、多様になる程、ユーザに対するサービス内容が向上し、より双方向的な放送システムを構築できる。
【０００７】
さて、現行の放送システムでは１つのカメラアングルから撮像された映像を視聴するだけであるが、撮像カメラを３６０°回して撮像したパノラマ映像を見たいような場合がある。例えば自然紀行番組で、アフリカやモンゴルのような大草原をテーマとした番組であったり、山頂からの眺望を撮像しているようなときも３６０°の映像を楽しみたい要求にかられることがある。そうするためには、複数台の撮像カメラで撮像した映像を複数のチャネルを使用して同時に送出する必要があるので、現行放送システムではその要求に応えることはできない。これはいわば受動的・一方的なシステムであるからである。
【０００８】
複数チャネルを使用して同時にそれぞれのカメラアングルからの映像を送り、視聴者側でそれらから任意の映像を選択できれば、希望するアングルの映像を充分堪能できるばかりか、３６０°の大パノラマ映像をパンニング映像として楽しむことができ、取材現場と同じ臨場感に溢れた映像を視聴者自らの手で制作できる。
【０００９】
そこで、この発明はこのような課題を達成できるようにしたものであって、画像情報の１つとして全方位映像情報を送出し、一方視聴者側ではその映像を選択することによってパンニング映像などの全方位映像を楽しむことができるようにした受信装置を提案するものである。
【００１２】
【課題を解決するための手段】
請求項１に記載したこの発明に係る受信装置では、０°〜３６０°を撮像範囲とする全方位映像情報のうちの各々異なる角範囲に対応する複数の映像情報が符号化された複数の符号化情報と、複数の映像情報の各々を識別する複数の識別情報を有する付加情報が符号化された符号化付加情報とが多重化されて送信される放送信号を受信する装置であって、上記放送信号を受信して選局する選局手段と、上記選局手段により選局された上記特定の放送信号を少なくとも複数の符号化情報、及び符号化付加情報に分離する信号分離手段と、上記複数の符号化情報の各々を復号して０°〜３６０°を撮像範囲とする全方位映像情報のうちの各々が異なる角範囲に対応する複数の映像情報を出力する複数の復号手段と、上記符号化付加情報を復号して上記複数の映像情報を各々識別する複数の識別情報を有する付加情報を出力する付加情報復号手段と、付加情報復号手段により出力された上記付加情報を参照し、かつ、入力される制御信号に応じて上記複数の映像情報を選択的にテレビモニタに出力するように制御する制御手段とを備え、上記複数の復号手段は、少なくとも、第１の符号化情報を復号して全方位映像情報のうちの第１の角範囲に対応する第１の映像情報を出力する第１の復号手段と、第２の符号化情報を復号して全方位映像情報のうちの第２の角範囲に対応する第２の映像情報を出力する第２の復号手段と、第３の符号化情報を復号して全方位映像情報のうちの第３の角範囲に対応する第３の映像情報を出力する第３の復号手段とを有し、上記付加情報復号手段は、上記符号化付加情報を復号して少なくとも上記第１、上記第２、及び上記第３の映像情報を識別する第１、第２、及び第３の識別情報を有する上記付加情報を出力し、上記制御手段は、上記第１、上記第２、及び上記第３の識別情報を有する上記付加情報を参照し、かつ、入力される制御信号に応じて上記第１、上記第２、及び上記第３の映像情報を選択的にテレビモニタに出力するように制御し、少なくとも、上記第１、上記第２、及び上記第３の識別情報に対応するメニュー画面をテレビモニタに出力するように制御し、更に、パンニングモードを示すメニュー画面をテレビモニタに出力するように制御し、外部から少なくとも上記第１、上記第２、及び上記第３の識別情報のうちの一の識別情報を選択する選択信号が入力されたとき、上記メモリ手段に一時的に記憶される上記一の識別情報に対応する映像情報を上記テレビモニタに出力するように制御し、外部から上記パンニングモードを選択する選択信号が入力されたとき、上記メモリ手段に一時的に記憶される少なくとも上記第１、上記第２、及び上記第３の映像情報を、読み出し位置が水平方向に徐々にシフトされるようにして読み出して上記テレビモニタに出力するように制御する。
【００１４】
請求項２に記載したこの発明に係る受信装置において、上記第１、上記第２、及び上記第３の映像情報は、同じ撮像アングルを有するカメラにより、当該順に互いに隣接する角範囲が撮像された映像情報である。
請求項３に記載したこの発明に係る受信装置において、少なくとも、上記第１、上記第２、及び上記第３の復号手段により復号された上記第１、上記第２、及び上記第３の映像情報を一時的に記憶するメモリ手段を備え、上記制御手段は、入力される制御信号に応じて、上記メモリ手段に一時的に記憶される少なくとも上記第１、上記第２、及び上記第３の映像情報を選択的にテレビモニタに出力するように制御する。
請求項４に記載したこの発明に係る受信装置において、上記制御手段に対して上記一の識別情報或いは上記パンニングモードを選択する制御信号を送信するリモートコントロール装置を備える。
請求項５に記載したこの発明に係る受信装置において、上記第１の復号手段は、上記第１の映像情報と共に符号化された、指向性マイクにより集音された第１の音声信号も復号し、上記第２の復号手段は、上記第２の映像情報と共に符号化された、指向性マイクにより集音された第２の音声信号も復号し、上記第３の復号手段は、上記第３の映像情報と共に符号化された、指向性マイクにより集音された第３の音声信号も復号し、上記制御手段は、上記選択的に出力される映像情報に対応する上記音声信号を出力するように制御する。
請求項６に記載したこの発明に係る受信装置において、上記複数の識別情報は、上記複数の映像情報を各々撮像したカメラを識別する識別情報である。
請求項７に記載したこの発明に係る受信装置において、上記複数の識別情報は、上記複数の映像情報を撮像したカメラの撮像アングルを識別する識別情報である。
【００１５】
付加情報として用いられる識別子などによってその映像は、どのカメラアングルから撮られた映像であるかを認識できるので、識別子などを指定することで特定のカメラアングルからの映像を選択・表示できる。カメラアングルを特定の方向からパンニングするように識別子を選択すればパンニングした全方位映像を楽しむことができる。
【００１６】
撮像アングルは互いにオーバーラップするように撮像されているので、左右の映像の連続性がくずれることもないので、パンニング映像に適している。撮像カメラの切り替えと同時に音声の切り替えも行なわれるのでその映像にふさわしい音を聴取できる。
【００１７】
【発明の実施の形態】
続いて、この発明に係る受信装置の実施の一形態を、図面を参照して詳細に説明する。
【００１８】
図１はこの発明に係るＩＳＤＢ用送信装置１０の一形態を示す要部の系統図であって、本例では説明の便宜上統合されて送信されるメイン情報としては、標準テレビジョン信号と、同一番組を複数のチャネルを使用して伝送する多チャネル多重番組の放送信号であるものとする。そのそれぞれには制御情報などの付加情報が付加されて多重化される。付加情報は多種多様な情報が考えられる。標準テレビジョン信号に関してはタイムコードなどが考えられる。
【００１９】
図１を参照すると、端子１２ａには標準テレビジョン信号のうち映像信号ＳＮＶが、端子１２ｂにはそれに付随した音声信号ＳＮＡが供給され、符号化部１４で圧縮などを含めた適切な符号化処理が施される。この符号化処理に同期して付加情報発生手段１６が動作して、制御情報などの付加情報が生成される。本例では付加情報としてタイムコードを例示するので、タイムコード発生部１６として構成される。符号化された標準テレビジョン信号およびタイムコードＴＣは多重化部２０に供給されて他の情報と共に多重化処理がなされる。
【００２０】
ソース例としては標準テレビジョン信号の他に全方位映像情報がある。全方位映像とは図２に示すように、０°〜３６０°の全範囲を撮像範囲とするもので、本例では３６０°の範囲がｎ等分される。図２の例では３等分され、ほぼ１２０°角範囲がカメラアングル（撮像アングル）となる。３等分は一例であって、ｎは多い方が好ましい。
【００２１】
ｎ等分したそれぞれの位置で撮像情報を得るには、最も簡単な例としては３台の撮像カメラを用意し、図２のように例えばＡカメラでは０°から１２０°の角範囲を撮像し、Ｂカメラは同一地点で１２０°から２４０°の角範囲を撮像する。同様にＣカメラは同じ地点で２４０°から３６０°の角範囲を撮像する。カメラアングルは実際には図３のように所定の角範囲Ｌ（５°〜１０°の範囲）だけ隣接撮像カメラ間でオーバーラップさせて撮像される。一部撮像されていない区域が発生しないようにするためである。
【００２２】
３台のカメラで撮像されたその分割映像素材ＳＡ，ＳＢ，ＳＣは図１に示す符号化部２２Ａ，２２Ｂ，２２Ｃで上述したと同じ符号化処理が施される。分割映像素材ＳＡ，ＳＢ，ＳＣはそれぞれ映像信号ＳＡＶ，ＳＢＶ，ＳＣＢと対応する音声信号ＳＡＡ，ＳＢＡ，ＳＣＡで構成され、音声信号は指向性の強いマイクで集音されたものが使用される。カメラアングルに最適な音声信号とするためである。
【００２３】
端子２４にはこれら複数の分割映像素材ＳＡ，ＳＢ，ＳＣに対する付加情報が供給される。この付加情報とは各撮像カメラＡ，Ｂ，Ｃを識別するための識別子（Ａカメラ，Ｂカメラ，Ｃカメラなど）、各撮像カメラのカメラアングルθ（時計方向を基準としたときのそれぞれの撮像角範囲）、パンニング方向、パンイング速度などである。オーバーラップ角は均等にオーバーラップさせているので、画面の繋ぎ目はその１／２の角位置となる。これらの付加情報は上述した分割映像素材と同期して符号化部２６に供給されてディジタル化される。
【００２４】
それぞれから得られた符号化情報や付加情報はそれぞれ図１に示す多重化部２０において多重される。多重化部２０では、例えば符号化情報のそれぞれに対してパケット化し、それに誤り訂正のための符号化を施したもの同士を伝送フレーム単位で多重してビットストリーム化するような処理が行なわれる。上述した付加情報やメイン情報の種別などはパケット化するときそのヘッダ（パケットヘッダ）に挿入するか、非映像期間（ブランキング期間など）に挿入することができる。
【００２５】
多重化したデータは送信部３４で送信手段（例えば放送衛星）に適した送信形態となされたＩＳＤＢ用放送信号に変調されたのち、この例ではアップコンバータ３６を経て送信アンテナ（パラボラアンテナ）３８で放送衛星に向けて送信される。
【００２６】
図４は上述したようなＩＳＤＢ用放送信号を受信するこの発明に係る受信装置４０の一例を示す。
【００２７】
受信アンテナ（パラボラアンテナ）４２で受信した衛星波はダウンコンバータ４４によって１ＧＨｚ帯にダウンコンバートされ、その後ＩＳＤＢ用チューナ４６に供給されて選局処理が行なわれる。そのため端子４８よりの選局信号ＳＣによって文字放送を含めた特定チャネルのＩＳＤＢ用放送信号が選局される。
【００２８】
選局されたＩＳＤＢ用放送信号は信号分離部５０に供給されて、本来のメイン情報と付加情報に分離される。例えば標準テレビジョン信号のうち特定のチャネルが選局されたときには、標準テレビジョン信号とこの特定チャネルに付随する付加情報（タイムコードなど）とに分離される。
【００２９】
分離されたメイン情報は復号部５２（５２Ａ）に供給されて復号処理が行なわれる。その後切り替えスイッチ５４を介してモニタ５６に供給されて映像が映し出される。
【００３０】
メイン情報として上述した全方位映像素材を取り扱う場合であって、カメラアングルが３分割されているときは、少なくともさらに３つの復号部５２Ｂ，５２Ｃ，５２Ｄが必要である。そしてそれらの復号された映像素材のうち映像信号は画面合成用のメモリ手段５８において一時的に蓄えられる。メモリ手段５８を使用することによって定められたカメラアングルの映像の他に、任意のカメラアングルでの映像をモニタ５６に映し出すことができる。この点については後述する。メモリ手段５８としてはアクセスの速い半導体メモリ（ＲＡＭなど）が好適である。
【００３１】
復号された映像素材のうち音声信号は音声処理部６０に供給されて、分離・合成などの音声処理が施されて、単一チャネルの音声信号若しくは複数チャネルを用いた合成音声信号などとして出力される。この出力音声信号と上述した画像合成後の映像信号が切り替えスイッチ５４に供給されて復号部５２Ａからの映像素材とのスイッチングが行なわれる。したがってあるときは全方位映像素材が選択されて映し出される。
【００３２】
信号分離部５０で分離された付加情報は専用の復号部６２で復号された後メモリ手段５８と制御部６４とに供給される。そして、得られた付加情報を参照しながら制御部６４からの制御信号に基づいてメモリ手段５８に対するデータ読み出し制御がなされ、また音声処理部６０での音声処理制御が実行される。切り替えスイッチ５４は制御部６４の出力で制御される。
【００３３】
マイコンで構成された制御部６４はコマンダ６８からのリモコン制御によって表示モードを変更したり、モニタ内容を選択するための制御信号が生成される。コマンダ６８は例えば図５に示すように電源スイッチ７０の他、チャネル選局用のテンキー（１０キー）７２、順次選局スイッチ７４、ボリュームスイッチ７６が設けられ、さらにモニタ６０に対する表示モード選択スイッチ７８が設けられる。カーソルキー８０は画面に表示されたカーソルＫ（図６参照）を移動させるキーであって、撮像カメラの指定などに使用される。
【００３４】
上述したメモリ手段５８では制御部６４の介在の下で以下のような画像処理が行なわれるが、その処理例はあくまで一例であって、提示例に制限されるものではない。
【００３５】
標準テレビジョン信号などを表示しているときは今まで通りの１画面表示となるので、その復号出力はメモリ手段５８を介すことなく直接切り替えスイッチ５４に供給される。
【００３６】
表示モード選択スイッチ７８を使用して全方位映像が可能な多チャネル多重番組（全方位表示モード）が選択されたときは、図６のように画面上に合成表示されたメニュー画面Ｍを見ながら付加情報の選択が行なわれる。付加情報として撮像カメラを例示すると、図６のように使用された撮像カメラがカメラアングルの順序で表示される。
【００３７】
カーソルＫによって例えば「Ａ」をクリックすると、Ａカメラで撮像された映像Ａ′（図３）が選択表示される。ユーザが準にＡ→Ｂ→Ｃと選択すると、Ａカメラで撮像された映像Ａ′がＢカメラの映像Ｂ′に切り替わり、その後Ｃカメラの映像Ｃ′に自動的に切り替わる。これで１２０°ずつ方位を変えた３６０°のパノラマ映像を楽しむことができる。
【００３８】
またメニュー画面ＭからパンニングモードＰを選択すると、メモリ手段５８からのデータ読み出し状態が制御されて全方位のパンニング映像となる。ここに、パンニングとは撮像しながらカメラの方向を水平に一定速度で旋回させる撮像手法のことである。
【００３９】
パンニングモードＰが選択されると、Ａカメラの映像Ａ′からＢカメラの映像Ｂ′へと水平方向に切り替えられるように、読み出される水平位置が徐々にパンニング方向にシフトされる。この読み出し動作がＣカメラの映像Ｃ′の最後の映像データまで続けられる。
【００４０】
このような映像データに対する読み出しを行なうことによって起点から３６０°の方向にパノラマ映像を楽しむことができる。隣接撮像カメラ間では所定のオーバーラップＬを設けているので、パンニング時一部撮像されていない区域が存在するようなことはなくなる。したがって映像Ａ′とＢ′との間、Ｂ′とＣ′との間のように映像が切り替わるところでもスムーズなパンニング映像が得られることになる。オーバーラップ区間は補間処理してデータを出力させてもよい。
【００４１】
メモリ手段５８に対する読み出し方向を逆にすればパンニング方向を逆転したパンニング映像が得られるので、別の楽しみ方が可能である。パンニングの読み出し速度を可変することによっても面白い映像を楽しむことができるから色々な楽しみ方をユーザ自らの手で開発できる。
【００４２】
映像のパンニングと同時に音声処理部６０が制御されてその映像に即した音声信号が出力されるから、臨場感溢れる音場を実現できる。したがってこのパンニング映像は草原や山頂、海岸、船上、飛行機からの映像などのとき、特に威力を発揮する。これらのパンニングのひな型を予め数種類用意しておき、これをユーザが選択するようにソフトウエアを構成することもできる。
【００４３】
【発明の効果】
以上のように、この発明に係る受信装置では、放送信号の一態様として、全方位映像素材が付加情報と共に送信され、受信側では映像素材を選択するか、若しくは逐次映像素材を連続的に選択して映し出すことができるようにしたものである。
【００４４】
これによれば、カメラアングルごとの全方位映像を切り替えながら楽しむことができるのは勿論のこと、メモリ手段でのデータ読み出しを工夫することで、パンニング手法をソフトウエアによって実現できるから、特に草原や山頂、海岸、船上、飛行機からユーザ自身で３６０°旋回して景色を楽しむごとき映像映出が可能になる。したがって今までには得られないユーザ参加型のテレビ放送を享受できる特徴を有するので、この発明はディジタル放送用のＩＳＤＢシステムに適用して極めて好適である。
【図面の簡単な説明】
【図１】この発明に係るＩＳＤＢ用送信装置の実施の一形態を示す要部の系統図である。
【図２】全方位映像の説明図である。
【図３】カメラアングルと撮像範囲との関係を示す図である。
【図４】 この発明に係るＩＳＤＢ用受信装置の実施の一形態を示す要部の系統図である。
【図５】コマンダの具体例を示す構成図である。
【図６】 メニュー表示例を示す図である。
【符号の説明】
１０ ＩＳＤＢ用送信装置
１４，２２Ａ〜２２Ｃ 符号化部
１６，タイムコード発生部
２０ 多重化部
４６ ＩＳＤＢ用チューナ
５２，６２ 復号部
５８ 画面合成部
５６ モニタ
６４ 制御部

Claims (7)

1. ０°〜３６０°を撮像範囲とする全方位映像情報のうちの各々異なる角範囲に対応する複数の映像情報が符号化された複数の符号化情報と、複数の映像情報の各々を識別する複数の識別情報を有する付加情報が符号化された符号化付加情報とが多重化されて送信される放送信号を受信する装置であって、
   上記放送信号を受信して選局する選局手段と、
   上記選局手段により選局された上記特定の放送信号を少なくとも複数の符号化情報、及び符号化付加情報に分離する信号分離手段と、
   上記複数の符号化情報の各々を復号して０°〜３６０°を撮像範囲とする全方位映像情報のうちの各々が異なる角範囲に対応する複数の映像情報を出力する複数の復号手段と、
   上記符号化付加情報を復号して上記複数の映像情報を各々識別する複数の識別情報を有する付加情報を出力する付加情報復号手段と、
   付加情報復号手段により出力された上記付加情報を参照し、かつ、入力される制御信号に応じて上記複数の映像情報を選択的にテレビモニタに出力するように制御する制御手段とを備え、
   上記複数の復号手段は、少なくとも、
   第１の符号化情報を復号して全方位映像情報のうちの第１の角範囲に対応する第１の映像情報を出力する第１の復号手段と、
   第２の符号化情報を復号して全方位映像情報のうちの第２の角範囲に対応する第２の映像情報を出力する第２の復号手段と、
   第３の符号化情報を復号して全方位映像情報のうちの第３の角範囲に対応する第３の映像情報を出力する第３の復号手段とを有し、
   上記付加情報復号手段は、
   上記符号化付加情報を復号して少なくとも上記第１、上記第２、及び上記第３の映像情報を識別する第１、第２、及び第３の識別情報を有する上記付加情報を出力し、
   上記制御手段は、
   上記第１、上記第２、及び上記第３の識別情報を有する上記付加情報を参照し、かつ、入力される制御信号に応じて上記第１、上記第２、及び上記第３の映像情報を選択的にテレビモニタに出力するように制御し、
   少なくとも、上記第１、上記第２、及び上記第３の識別情報に対応するメニュー画面をテレビモニタに出力するように制御し、
   更に、パンニングモードを示すメニュー画面をテレビモニタに出力するように制御し、
   外部から少なくとも上記第１、上記第２、及び上記第３の識別情報のうちの一の識別情報を選択する選択信号が入力されたとき、上記メモリ手段に一時的に記憶される上記一の識別情報に対応する映像情報を上記テレビモニタに出力するように制御し、
   外部から上記パンニングモードを選択する選択信号が入力されたとき、上記メモリ手段に一時的に記憶される少なくとも上記第１、上記第２、及び上記第３の映像情報を、読み出し位置が水平方向に徐々にシフトされるようにして読み出して上記テレビモニタに出力するように制御する受信装置。
2. 上記第１、上記第２、及び上記第３の映像情報は、同じ撮像アングルを有するカメラにより、当該順に互いに隣接する角範囲が撮像された映像情報である請求項１記載の受信装置。
3. 少なくとも、上記第１、上記第２、及び上記第３の復号手段により復号された上記第１、上記第２、及び上記第３の映像情報を一時的に記憶するメモリ手段を備え、
   上記制御手段は、入力される制御信号に応じて、上記メモリ手段に一時的に記憶される少なくとも上記第１、上記第２、及び上記第３の映像情報を選択的にテレビモニタに出力するように制御する請求項１記載の受信装置。
4. 上記制御手段に対して上記一の識別情報或いは上記パンニングモードを選択する制御信号を送信するリモートコントロール装置を備える請求項１記載の受信装置。
5. 上記第１の復号手段は、上記第１の映像情報と共に符号化された、指向性マイクにより集音された第１の音声信号も復号し、
   上記第２の復号手段は、上記第２の映像情報と共に符号化された、指向性マイクにより集音された第２の音声信号も復号し、
   上記第３の復号手段は、上記第３の映像情報と共に符号化された、指向性マイクにより集音された第３の音声信号も復号し、
   上記制御手段は、上記選択的に出力される映像情報に対応する上記音声信号を出力するように制御する請求項１記載の受信装置。
6. 上記複数の識別情報は、上記複数の映像情報を各々撮像したカメラを識別する識別情報である請求項１記載の受信装置。
7. 上記複数の識別情報は、上記複数の映像情報を撮像したカメラの撮像アングルを識別する識別情報である請求項１記載の受信装置。

Images