JP5532864B2

JP5532864B2 - 再生装置、立体映像記録再生方法、及び再生方法

Info

Publication number: JP5532864B2
Application number: JP2009269904A
Authority: JP
Inventors: 俊夫黒岩
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2009-11-27
Filing date: 2009-11-27
Publication date: 2014-06-25
Anticipated expiration: 2029-11-27
Also published as: JP2011114641A

Description

本発明は、記録装置、再生装置、立体映像記録再生方法、記録方法、及び再生方法に関する。

ハイビジョン放送の普及と並行して、従来のDVD画質を超える映画ソフトを視聴可能とする、青色レーザーを用いて光ディスクを再生する装置が普及しつつある。このような装置においては、水平解像度1920ドット、垂直解像度1080ドット、フレームレート30フレーム/秒の高品位なビデオ映像が再生可能である。主たるソフトは映画ソフトであるため、字幕を表示する必要があるが、字幕の言語をユーザーが切り替えられるように、前記ビデオ映像と独立した形で任意の図形が表示可能なようにビットマップ画像が圧縮した状態で前記ビデオ映像と共に記録されている。このビットマップ画像は再生されて前記ビデオ映像にオーバーレイ表示するために、通常ビデオ映像と同一の解像度を持つ。

これら映像の高品位化と同時に、最近注目されているのが立体映像である。映画館では映画を立体映像として楽しむ環境の整備が進行中であり、これら立体映像コンテンツをDVD等の媒体に記録して、家庭のディスプレイで楽しむ様々な方法が提案されるのは当然である。立体映像は視差のある2つの映像、いわゆる右目用映像と左目用映像、を視聴者の各眼へ独立して届けることを基本的な原理としている。したがって通常映像と比較すると伝送或いは、記録再生で扱う情報量が倍増する可能性があることがひとつの課題として存在する。

立体映像技術に関する提案のひとつとして特許文献１に挙げる技術がある。特許文献１には右目用映像と左目用映像を伝送或いは記録再生する際に、各映像の水平方向の画素について半減する処理を実施した後に右目用映像と左目用映像を横方向に合併し、画素数において通常（すなわち立体で無い）映像と同等とする技術が開示されている。このようにして出来上がった映像を以降、サイドバイサイド映像、或いはSBS映像と呼ぶことにする。特許文献１によれば伝送或いは記録再生システムでは通常映像とSBS映像の差は透過的であるため、例えば、SBS映像を従来と同様の圧縮方式を適用した上で、DVDに記録することができ、視聴者は通常のDVDプレーヤーで再生を行い、適切なディスプレイ装置に出力することによって立体映像を楽しむことができるのである。

特表２００５−５２２９５８号公報

前記技術は既存の伝送路、或いは記録再生システムを利用して、立体映像を視聴者に届けることができるという大きな利点を有している反面、通常映像と比較して片眼あたりの水平方向の画素数は半減しているのであり、表示に際して、水平方向に画素補間を行って表示するが、解像度の低下は避けられない。映像の高品位化への流れの中で、立体の2つの各映像は、少なくとも、通常映像と同等の品位が必要となってくるであろう。

ふさわしい解決策としては、通常映像と同等の各眼用映像を用意し、2つを同時に記録再生することであるが、再生装置としては、立体映像を再生するために、従来映像を再生することと比較して倍の再生能力が要求されるのであり、従来機器では再生できないという問題がある。また立体映像用の2つの映像と、通常再生、或いはSBS映像による立体再生用の映像を両方記録しておき、各種再生装置で適宜選択的に再生することが考えられるが、従来、自動的な選択を行わせることができなかった。

本発明が対象とする再生装置は以下の3種である。

1、従来から用いられている再生装置であり、1つの映像が再生可能である。したがって左目用映像、右目用映像、もしくはSBS映像を選択して再生することが可能である。このような再生装置では、映像出力に際して、映像の表示装置に対して、立体表示用の映像を出力しているかどうかの識別信号を送出できないのが普通である。

2、１つの映像が再生可能な再生装置であって、映像出力に際して、映像の表示装置に対して、立体表示用の映像を出力しているかどうかの識別信号を送出可能であり、SBS映像を選択して再生する場合に上記識別信号を出力する再生装置。

3、２つの映像を再生可能な再生装置であって、映像出力に際して、映像の表示装置に対して、立体表示用の映像を出力しているかどうかの識別信号を送出可能であり、各眼用映像の同時再生、もしくはSBS映像を選択して再生する場合に上記識別信号を出力する再生装置。

上記課題を解決するために、本発明の記録装置は、立体映像再生であることを示す標示情報の出力が可能な再生装置において、記録媒体から、右目用映像か、左目用映像か、或いは結合映像かを識別する映像の属性情報を読み取り、再生能力に対応して映像を選択し、再生出力を行う再生出力手段と、複数映像データの同時伸長処理が不可能で前記結合映像を選択して再生するときに、前記結合映像を再生すると共に、前記標示情報を出力する情報出力手段とを備える。

本発明の立体映像記録再生方法は、立体映像を記録再生するために、記録装置は、記録媒体に対して右目用映像と左目用映像を記録するか、或いは右目用映像と左目用映像から水平解像度を半分に低減し、横方向に結合した結合映像を記録するか、或いは右目用映像と左目用映像と結合映像を記録し、さらに、映像の属性情報として、右目用映像か、左目用映像か、或いは結合映像かを識別可能とする情報を映像信号と共に記録し、再生装置は、記録媒体から前記属性情報を読み取り、映像を選択して再生出力を行う装置であって、再生映像の出力と共に立体映像の再生であるかどうかを示す標示情報を出力可能な再生装置を含み、前記標示情報の出力が可能な再生装置であって、複数映像の同時再生が不可能な再生装置は、前記結合映像を選択して再生すると共に、立体映像再生であることを示す標示情報を出力する。

本発明の再生方法は、立体映像再生であることを示す標示情報の出力が可能な再生装置の再生方法であるとともに、記録媒体から、右目用映像か、左目用映像か、或いは結合映像かを識別する映像の属性情報を読み取り、再生能力に対応して映像を選択し、再生出力を行う、再生方法であって、複数映像データの同時伸長処理が不可能で前記結合映像を選択して再生するときに、前記結合映像を再生すると共に、前記標示情報を出力する。

本発明によれば、従来の映像コンテンツに追加する形で立体映像コンテンツを伝送、或いは記録再生する場合に、再生装置の能力にしたがって、映像コンテンツを選択して、再生することが可能になるので、互換性の問題を小さくすることができる。

本発明に係る記録装置を示す図本発明に係るストリーム属性情報の構成例を示す図本発明に係る再生装置の例を示す図本発明に係る再生装置の別の例を示す図本発明に係る再生装置の別の例を示す図本発明に係るストリーム属性情報の別の構成例を示す図

図1に本発明を適用した、記録装置を示す。本記録装置は立体映像表示のために制作された、視差を持つ1組の映像、すなわち右目用映像と左目用映像を入力とする。このような映像は通常動画像であり、動画像が存在する期間にわたり処理が実行される。まず入力映像はＳＢＳ処理部１１へ入力される。ＳＢＳ処理部１１においては、各眼用映像フレームにおいて水平方向の画素を半分に間引いた後に、横方向に合併し、サイドバイサイド映像（SBS映像）を作成する。たとえば各眼用映像フレームが水平1920画素、垂直1080画素の解像度である場合、合併前の各眼画像は水平方向が960画素に間引かれており、左右を合併し、再び水平1920画素、垂直1080画素の映像フレームを得る。

これらの3つの映像フレームは圧縮処理部１２へ転送され、映像圧縮処理が実行される。圧縮処理はよく知られたMPEG方式の圧縮を適用してよい。

各映像フレームごとの圧縮結果である映像圧縮データはフォーマット処理部１３へ入力される。フォーマット処理部１３においてはパケット化を基本技術とする映像データの多重化処理が行われる。例えば、MPEG方式の多重化処理によって、トランスポートストリームと呼ばれる多重化映像ストリームを得ることができる。この多重化において、各映像データは識別情報が付されたパケットに格納されるため、復号側において各映像データを分離することが可能である。MPEG方式ではPIDという識別情報が規定されており、各パケットの先頭部分に格納され、分離処理が可能となっている。

フォーマット処理部１３は多重化処理と同時に、多重化映像ストリームの内容に関する情報であるストリーム属性情報を作成し出力する。

記録処理部１４においては、多重化映像ストリームとストリーム情報を光ディスク１５に記録するために、訂正符号の付加、ディジタル変調の適用を実行する。

ストリーム属性情報についてさらに説明する。

ストリーム属性情報は多重化を受けた、各映像データに関する属性情報がデータテーブルの形態で記録されたものである。その構成例を図２に示す。

各映像データは、前記多重化時のPID、映像の符号化方式、映像の解像度、フレームレート、コンテンツ識別を属性情報として持つ。コンテンツ識別欄にはその映像コンテンツの立体視聴における種別を記録することができる。図２の例ではPIDが0x1011(0xは１６進数表示であることを示す)である映像データは右目用映像であり、PIDが0x1012である映像データは左目用映像であり、PIDが0x1013である映像データはサイドバイサイド映像であることが識別可能である。映像データが立体視聴に関係のない、通常コンテンツの場合はコンテンツ識別の欄を空欄とすることができる。

或いは、右目用映像の場合、PIDの下位4ビットが0x1となるように符号化し、左目用映像の場合、PIDの下位4ビットが0x2となるように符号化し、サイドバイサイド映像の場合、PIDの下位4ビットが0x3となるように符号化し、立体視聴に関係の無い通常コンテンツの場合はPIDの下位4ビットが0x4となるように符号化してもよい。この場合、データテーブルにコンテンツ識別欄を新たに追加する必要がなくなり、再生装置におけるデータテーブルの処理を単純化することができる。

このようなストリーム属性情報のテーブルは適切な符号化が施され、光ディスク１５の所定の位置に記録される。

図3に本発明を実施する再生装置の一例を示す。先の記録装置で作成された光ディスク１５を再生するものである。再生処理部３１は光ディスクの記録データを読み取り、復調、訂正処理を実行した上で、先に説明したストリーム属性情報と多重化映像ストリームを出力する。逆フォーマット処理部３２はストリーム属性情報を処理すると共に、多重化映像ストリームから所望の映像データを分離して伸長処理部３３へ出力する。伸長処理部３３は圧縮処理されている映像データを伸長し、映像フレームの列として映像を出力する。

図3に示される再生装置は従来の再生装置に対して、逆フォーマット処理部３２において、ストリーム属性情報を処理するように変更した再生装置であり、伸長処理部３３は1つの映像データの伸長を行う能力を有しており、伸長された映像はそのまま出力される。したがって逆フォーマット処理部３２においては図2に示されるストリーム属性情報を受信した際には、コンテンツ識別情報を読み取り、例えば右目用映像であるPIDが0x1011の映像データを多重化ストリームから分離して伸長処理部３３へ供給する。

このようにして、本再生装置においては、右目用映像が自動的に選択され再生されるので、見かけ上通常の映像再生と同様の再生を実行できる。

図４に別の再生装置の例を示す。この再生装置は1つの映像データの伸長処理のみに対応することは図3の再生装置と同様であるが、映像処理部４４を備え、SBS映像を適切な形式の映像出力へ変換する機能を有する。逆フォーマット処理部４２はストリーム属性情報を受信し、サイドバイサイド映像コンテンツを優先して自動選択する。すなわち図２の例ではPIDが0x1013である映像データを多重化映像ストリームから分離し、伸長処理部４３へ供給する。伸長処理部４３においては映像の伸長処理が行われる。映像処理部４４では供給される映像フレームを一時記憶し、水平方向の画素について2倍の補間処理を行い、合併している左右の映像について左側、右側、左側、右側のシーケンスで順次出力する。この処理によって水平画素数1920、垂直画素数1080の解像度、フレームレート60フレーム／秒で立体映像を出力することができる。このような出力形態はページフリッピングと呼ばれ、適切な表示装置で立体視を楽しむことができる。再生装置は表示装置に対して、映像出力がページフリッピングで送出されていることを通知しなければならない。したがって、逆フォーマット処理部４２はSBS映像を選択分離した際に、図４に示すように映像処理部４４を制御し、映像に対する付加情報としてページフリッピングモードで出力している旨を示す識別情報を映像情報と共に出力させる。このような出力形態として、完全なデジタル伝送を行い、映像の情報と補助情報との時分割多重による伝送が可能なHDMI(登録商標)(High-Definition Multimedia Interface)等を用いることが望ましい。

図５に別の再生装置の例を示す。この再生装置は先の例と異なり、伸長処理部Ａ５３と伸長処理部Ｂ５４を備え、2つの映像データを同時に伸長処理することが可能である。逆フォーマット処理部５２ではストリーム属性情報を受信し、右目用映像データと左目用映像データを多重化映像ストリームから分離し、それぞれ伸長処理部Ａ５３、伸長処理部Ｂ５４へ供給する。すなわち図２の例ではPIDが0x1011である右目用映像データとPIDが0x1012である左目用映像データを分離・供給するように動作する。映像処理部５５では2つの伸長処理部から供給される映像フレームを一時記憶し、左側、右側、左側、右側のシーケンスで順次出力する。この処理によって水平画素数1920、垂直画素数1080の解像度、フレームレート60フレーム／秒で立体映像を出力することができる。再生装置は表示装置に対して、映像出力がページフリッピングで送出されていることを通知しなければならない。したがって、逆フォーマット処理部５２は左右ペア映像を選択分離した際に、図５に示すように映像処理部５５を制御し、映像に対する付加情報としてページフリッピングモードで出力している旨を示す識別情報を映像情報と共に出力させる。このような出力形態として、完全なデジタル伝送を行い、映像の情報と補助情報との時分割多重による伝送が可能なHDMIを用いることが望ましい。本再生装置を用いた場合、先の再生装置の例と異なり、画素の補間処理が不要であり、より高品位な立体映像を楽しむことができる。

図3、図4、図5に示される再生装置の映像出力に接続される表示装置がSBS映像を受信し、処理した上で立体視聴のための表示ができることが予め判っている場合は、上記再生装置は多重化映像ストリーム中からSBS映像を選択し、図4の映像処理部４４や図5の映像処理部５５における処理をバイパスしてSBS映像をそのまま表示装置に出力できるように、再生装置を構成してもよい。この場合、出力における付加情報としてページフリッピングモードで出力している旨を示す識別情報に代えて、SBSモードで出力している旨を示す識別情報を出力することが望ましい。

実施例1においては、撮影によるビデオコンテンツの記録再生について述べたが、映画ソフト等では、ビデオに合わせて表示するための字幕が用意されている場合が多い。したがって、ビデオを立体視する場合、字幕も立体視のための処理を行うほうが、違和感が少なく、好ましいのである。

字幕はグラフィクスデータの一種であり、ビデオと圧縮符号化方式が異なるが、図1に示す記録装置、図3、図４、図5の再生装置を応用することにより、ビデオと共に記録再生を実現できる。ビデオに加えてグラフィクスを記録再生する場合は図2に示すビデオ用のストリーム属性情報に加えて図6に示すグラフィクス用のストリーム属性情報を記録する。

図6の例は3種のグラフィクスデータが記録されていることを示しており、各グラフィクスは、多重化時のPID、グラフィクスの符号化方式、グラフィクスの解像度、フレームレート、コンテンツ識別を属性情報として持つ。グラフィクスの符号化方式としては例えばPNG(Portable Network Graphics)等の標準的な方式を用いることができる。コンテンツ識別欄ではそのグラフィクスの立体視聴における種別を記録することができる。図６の例ではPIDが0x1200であるグラフィクスデータは右目用映像であり、PIDが0x1201であるグラフィクスデータは左目用映像であり、PIDが0x1202であるグラフィクスデータはサイドバイサイド映像であることが識別可能である。グラフィクスデータが立体視聴に関係のない、通常コンテンツの場合はコンテンツ識別の欄を空欄とすることができる。

或いは実施例1と同様にコンテンツ識別の欄を追加せず、PIDの下位4ビットにコンテンツ識別情報を割り当てることができる。

図3、図４、図5の再生装置においては実施例1の動作をグラフィクスデータに対しても実行することによって、ビデオにマッチしたグラフィクスを表示することができ、立体映像をより楽しむことができる。

１１ＳＢＳ処理部
１２圧縮処理部
１３フォーマット処理部
１４記録処理部
１５光ディスク
３１再生処理部
３２逆フォーマット処理部
３３伸長処理部
４１再生処理部
４２逆フォーマット処理部
４３伸長処理部
４４映像処理部
５１再生処理部
５２逆フォーマット処理部
５３伸長処理部Ａ
５４伸長処理部Ｂ
５５映像処理部

Claims

立体映像再生であることを示す標示情報の出力が可能な再生装置において、
記録媒体から、右目用映像か、左目用映像か、或いは結合映像かを識別する映像の属性情報を読み取り、再生能力に対応して映像を選択し、再生出力を行う再生出力手段と、
複数映像データの同時伸長処理が不可能で前記結合映像を選択して再生するときに、前記結合映像を再生すると共に、前記標示情報を出力する情報出力手段と
を備えることを特徴とする再生装置。
立体映像を記録再生するために、記録装置は、記録媒体に対して右目用映像と左目用映像を記録するか、或いは右目用映像と左目用映像から水平解像度を半分に低減し、横方向に結合した結合映像を記録するか、或いは右目用映像と左目用映像と結合映像を記録し、さらに、映像の属性情報として、右目用映像か、左目用映像か、或いは結合映像かを識別可能とする情報を映像信号と共に記録し、
再生装置は、記録媒体から前記属性情報を読み取り、映像を選択して再生出力を行う装置であって、再生映像の出力と共に立体映像の再生であるかどうかを示す標示情報を出力可能な再生装置を含み、
前記標示情報の出力が可能な再生装置であって、複数映像の同時再生が不可能な再生装置は、前記結合映像を選択して再生すると共に、立体映像再生であることを示す標示情報を出力する
ことを特徴とする立体映像記録再生方法。
立体映像再生であることを示す標示情報の出力が可能な再生装置の再生方法であるとともに、記録媒体から、右目用映像か、左目用映像か、或いは結合映像かを識別する映像の属性情報を読み取り、再生能力に対応して映像を選択し、再生出力を行う、再生方法であって、
複数映像データの同時伸長処理が不可能で前記結合映像を選択して再生するときに、前記結合映像を再生すると共に、前記標示情報を出力する再生方法。