JP5369952B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、情報処理装置および情報処理方法に関し、より詳細には、立体視映像や立体視画像とこれに重畳して表示される付加情報との表示を制御する情報処理装置および情報処理方法に関する。

近年、立体視方式で動画像や静止画を記録する撮像装置や、記録装置が開発されている。かかる方式で記録された動画像や静止画は、立体視映像あるいは立体視画像として出力され、ユーザはより臨場感のある撮影した動画像や静止画を視聴することができる。

こうした立体視映像や立体視画像をより視聴し易くするための手法が提案されてきている。例えば、特許文献１には、背景画像に合成対象画像を合成して印刷用の立体画像を生成する処理を実行する立体画像生成装置が開示されている。かかる立体画像生成装置は、合成対象画像の配置位置に対応する背景画像の部位についての奥行き情報を取得し、当該奥行き情報に対応する合成対象画像の眼数の合成対象画像を背景画像に合成して印刷用の立体画像を生成する。このように合成対象画像の眼数を決定することにより、観察し易い印刷用の立体画像を生成することができる。

特開２００９−５９１１３号公報

記録された立体視映像や立体視画像を再生する際、再生装置により、撮影日時や字幕などの付加情報を表示させて、立体視映像や立体視画像に関連する情報をユーザが一度に視認できるようにすることもできる。付加情報は、例えば字幕を、記録された立体視映像や立体視画像に対して映像や画像として画面上の縦横の指定された固定位置に奥行き方向距離を固定位置で重畳して表示させることができる。このように立体視映像や立体視画像に対して付加情報を重畳して表示する場合にも、ユーザの視聴し易い映像や画像の提供が要求される。

従来は、立体視映像や立体視画像の内容を考慮することなく固定位置に付加情報を表示させていた。しかし、映像撮影時には様々な映像が撮影される可能性がある。付加情報も、字幕情報以外に、計時情報、カメラ撮影の際の撮影に関する計量情報、メディア記録データ量情報などが一緒に記録される。特に立体視方式で記録された映像では映像中のオブジェクトの奥行き方向の位置も認識できるが、この奥行き方向の位置は各オブジェクトによって異なり、時々刻々と変化する。また、撮影者のその場の撮影状況、撮影創意発想により、撮影画角としてのテレ／ワイドのズーム操作または切り替え操作が予測なく行われ変化する可能性がある。

このような映像内容の変化は映像を撮影する前には予測することができないため、付加情報を画面上の縦横の定められた固定位置に奥行き方向距離を固定して表示させると、付加情報によって立体視映像の表示が妨げられ、立体視映像の表示が乱れる可能性があるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、立体視映像と付加情報とを重ねて表示する場合にも視聴し易い立体視映像を提供することが可能な、新規かつ改良された、情報処理装置および情報処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮影、録画の際に決定される立体視映像データに含まれるオブジェクトの奥行き方向における位置を表す奥行き情報に基づいて、立体視映像データと重畳して表示する付加情報データの付加情報表示領域内における立体視映像データのオブジェクトの表示位置が最前方となる奥行き方向の位置を示すピーク値を検出する奥行き情報検出部と、付加情報データの奥行き情報と、立体視映像データのピーク値とを比較して、付加情報表示領域内における立体視映像データと付加情報の表示位置との奥行き方向における位置関係を検出する比較検出部と、立体視映像データと付加情報の表示位置との奥行き方向における位置関係に応じて、立体視映像データおよび付加情報の表示位置を制御する制御部と、を備える、情報処理装置が提供される。

本発明によれば、付加情報表示領域における立体視映像データのオブジェクトと付加情報データの奥行き情報に基づいて、立体視映像データおよび付加情報データの表示位置を制御する。撮影あるいは映像記録時に光学的あるいは電子的にテレ、ワイドにズームして映像表示画角を変化させ遠方の被写体オブジェクトを拡大または縮小して記録、再生する場合に、立体視映像データと付加情報データの立体視表示画面上の奥行き方向における位置関係を考慮して表示制御可能に、映像データおよび付加情報を記録することにより、視認しやすい立体視映像データを提供することができる。

ここで、制御部は、比較検出部により立体視映像データのオブジェクトが付加情報より前方に表示されると判断されたとき、付加情報表示領域内の立体視映像データのオブジェクトを付加情報より後方に表示することができる。

また、比較検出部により立体視映像データのオブジェクトが付加情報より前方に表示される超過時間を検出する超過時間検出部をさらに備えてもよい。このとき、奥行き情報検出部は、立体視映像データの基本単位毎に、付加情報表示領域におけるオブジェクトの表示位置が最前方となる奥行き方向の位置を示す単位ピーク値として検出し、比較検出部は、付加情報データの奥行き方向の位置と単位ピーク値とを比較して、付加情報表示領域内における立体視映像データのオブジェクトと付加情報との位置関係を検出し、制御部は、超過時間が第１の閾値時間を超えた場合に、付加情報表示領域内の立体視映像データのオブジェクトを付加情報より後方に表示する。

さらに、制御部は、超過時間が第１の閾値時間を超えた場合に、立体視映像データおよび付加情報データの表示制御の実行可否をユーザに選択させるメッセージを通知してもよい。

また、制御部は、重複表示させる付加情報データに属し、付加情報視認向上のため備えている背景映像を、当該背景映像と重複する立体視映像データのオブジェクトが視認できるように透過率を上げて表示してもよい。なお、背景映像としては、例えば画面の所定領域に占有表示する文字背景などがある。

あるいは、制御部は、比較検出部により立体視映像データのオブジェクトが付加情報より前方に表示されると判断されたとき、立体視映像データのオブジェクトと重複する部分を当該オブジェクトに隠すように付加情報データを表示することもできる。

ここで、比較検出部により立体視映像データのオブジェクトが付加情報より前方に表示される超過時間を検出する超過時間検出部をさらに備えることもできる。例えば、前方に表示される超過時間が一瞬だと検出され、付属情報表示の視聴の妨げとはならない超過時間と判断された場合に、自然にそのまま一瞬だけ前方に表示させる。このとき、奥行き情報検出部は、立体視映像データの基本単位毎に、付加情報表示領域におけるオブジェクトの表示位置の奥行き方向の位置の平均である単位平均値を検出し、比較検出部は、付加情報データの奥行き方向の位置と単位平均値とを比較して、付加情報表示領域内における立体視映像データのオブジェクトと付加情報との位置関係を検出し、制御部は、超過時間が第２の閾値時間を超えた場合に、立体視映像データのオブジェクトと重複する部分を当該オブジェクトに隠すように付加情報データを表示する。

また、制御部は、超過時間が第２の閾値時間を超えた場合に、立体視映像データおよび付加情報データの表示制御の実行可否をユーザに選択させるメッセージを通知してもよい。

付加情報データの奥行き方向における表示位置は固定とすることができる。

また、立体視映像データおよび付加情報データは、ＡＶＣＨＤフォーマットで記録されている。立体視映像データの基本単位ごとの奥行き情報は、当該基本単位ごとの立体視映像データとともに記録されるようにしてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、立体視映像データに含まれるオブジェクトの奥行き方向における位置を表す奥行き情報に基づいて、立体視映像データと重畳して表示する付加情報データの付加情報表示領域内における立体視映像データのオブジェクトの表示位置が最前方となる奥行き方向の位置を示すピーク値を検出するステップと、付加情報データの奥行き情報と、立体視映像データのピーク値とを比較するステップと、付加情報データの奥行き情報と立体視映像データのピーク値との比較結果から、付加情報表示領域内における立体視映像データと付加情報の表示位置との奥行き方向における位置関係を検出するステップと、立体視映像データと付加情報の表示位置との奥行き方向における位置関係に応じて、立体視映像データおよび付加情報の表示位置を制御するステップと、を含む、情報処理方法が提供される。

以上説明したように本発明によれば、立体視映像と付加情報とを重ねて表示する場合にも視聴し易い立体視映像を提供することが可能な、情報処理装置および情報処理方法を提供することができる。

立体視映像ストリームのみを表示させる非表示モードでの表示状態を示す説明図である。 押さえ込み表示制御モードでの立体視映像ストリームおよびOverlayBitmapの表示状態を示す説明図である。 埋め込み表示制御モードでの立体視映像ストリームおよびOverlayBitmapの表示状態を示す説明図である。 本発明の第１の実施形態にかかる撮像記録装置の入力記録処理部を示すブロック図である。 立体視映像ＲＵＶと記録メディアとの関係を示す説明図である。 同実施形態にかかる撮像記録装置の再生出力処理部を示すブロック図である。 立体視映像ストリームを再生可能な、一般的な再生装置の構成を示すブロック図である。 同実施形態にかかる表示制御部を備える再生装置の構成を示すブロック図である。 立体視映像ストリームのOverlayBitmapの表示制御に用いる情報の構成を示す説明図である。 同実施形態にかかる表示制御部による押さえ込み表示制御モード時の表示制御方法を示すフローチャートである。 同実施形態にかかる表示制御部による埋め込み表示制御モード時の表示制御方法を示すフローチャートである。 １つのストリームが記録される場合のストリーム管理ファイルへの記録方式を示す説明図である。 ２つのストリームが記録される場合のストリーム管理ファイルへの記録方式を示す説明図である。 本発明の第２の実施形態にかかる立体視映像ストリームおよびOverlayBitmapのＭＰ４立体視ストリームへの変換処理を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態（立体視映像ストリームおよびOverlayBitmapの表示制御）
２．第２の実施形態（ＡＶＣＨＤフォーマットにより記録された立体視映像ストリームとＭＰ４ストリームとの変換）

＜１．第１の実施形態＞
［表示制御モードの説明］
まず、図１〜図３に基づいて、本発明の第１の実施形態にかかる再生装置による、立体視映像ストリームおよび付加情報であるOverlayBitmapの表示制御モードについて説明する。なお、図１は、OverlayBitmapを表示せず、立体視映像ストリームのみを表示させる非表示モードでの表示状態を示す説明図である。図２は、押さえ込み表示制御モードでの立体視映像ストリームおよびOverlayBitmapの表示状態を示す説明図である。図３は、埋め込み表示制御モードでの立体視映像ストリームおよびOverlayBitmapの表示状態を示す説明図である。

ここで、「押さえ込み表示制御モード」および「埋め込み表示制御モード」は、本実施形態の説明において立体視表示装置上で再生表示される、立体視映像ストリームの奥行き方向表示位置と付属情報を立体視表示するOverlayBitmapの奥行き方向表示位置の相互の奥行き方向の位置関係を制御する概念として定義したもので、その詳細は後述する。

本実施形態にかかる再生装置は、表示制御モードに応じて立体視映像ストリームおよびOverlayBitmapの表示を制御する表示制御部を備え、視聴し易い立体視映像ストリームを提供する。表示制御部は、例えば、OverlayBitmapの表示によって立体視映像ストリームの表示内容を妨げないように制御したり、OverlayBitmapが視認し易い適切な位置に表示されるように制御したりする。このような表示制御を行うため、本実施形態では３つの表示制御モードを設けている。

まず、OverlayBitmapを表示せず、立体視映像ストリームのみを表示させる非表示モードでは、図１に示すように、撮影時に記録された状態で立体視映像ストリームが表示される。図１では、表示領域２５０内に複数のオブジェクト２１０、２２０、２３０が表示されている。立体視映像ストリームの再生映像が立体視映像表示装置上に表示されるとき、オブジェクト２１０、２２０、２３０は、左右視差で立体視されるように、左眼映像と右眼映像とから構成されている。オブジェクト＃１（２１０）についてみると、実際の映像を用いた左眼映像２１０ａと、左眼画像２１０ａを左側に水平オフセットして生成された右眼映像２１０ｂとから、立体視されるオブジェクト＃１（２１０）は構成されている。

立体視映像ストリーム内の各オブジェクトおよび背景の奥行き情報は、デプスマップ（ＤｅｐｔｈＭａｐ）データとして保持されている。デプスマップデータは、１画面内における各ピクセルあるいはマクロブロックごとのデプスマップ値からなるデータである。デプスマップ値は、映像を撮影するカメラ部のＡＦ（ＡｕｔｏＦｏｃｕｓ）制御情報のうちレンズ被写界深度を用いて生成される値である。デプスマップ値は、光学および電子ズームとフォーカス焦点操作によって測定される被写体距離に対応させて近距離に大きい値を、遠距離に小さい値を割り当てて生成される。本実施形態では、被写体測定距離に８ビット値である２の８乗値を割り当て、１０進数表記法で無限遠方を０、最も近い距離を２５５とする１０進数値で表現される、カメラ撮影において撮影情報として取得するデプスマップ値を使用する。

ここで、デプスマップデータの生成方法の一例について説明する。まず、レンズワイド端で、絞り解放にしてレンズ被写界深度を最も浅く制御し、レンズ焦点を無限遠（＞５ｍ）に設定する。ここで無限遠を＞５ｍとするのは、レンズが広角側のワイド端とされる画角（例えば３５ｍｍフィルム判換算の画角で２８ｍｍ相当）であれば、５ｍ以遠の被写体には左右視差での立体感は知覚困難なことが知られているためである。この状態で、画面内領域のフォーカスする映像領域を把握し、その領域を背景領域に設定する。背景領域のデプスマップ値は０ビットとする。

次いで、レンズワイド端で、絞り解放にしてレンズ被写界深度を最も浅く制御した状態で、レンズ焦点を近距離（０．５ｍ）に設定する。ここで近距離を０．５ｍとするのは、レンズがワイド端とされる画角（例えば３５ｍｍフィルム判換算の画角で２８ｍｍ相当）であっても、０．５ｍより近い距離の被写体では、人間の左右の眼の瞳の間隔距離は０．１ｍ未満であり、視聴者が固定位置で視聴する前提での立体視映像表示では、左右視差での立体感を過大に知覚させることは視聴上不適切であるからである。また、視聴者が数１０ｃｍ以上を左右の眼の間隔が位置関係を保ったまま横平行移動することによって前景と背景とがずれてゆくように見えることで感じる距離感は、本実施形態の左右立体視映像が与える距離感とは異なり区別される。

この状態で、画面内領域のフォーカスする映像領域を把握し、その領域を最近距離点に設定する。最近距離点のデプスマップ値は、２の８乗ビットに割り当てた本実施例の場合、８ビット、２の８乗範囲での最大値である１０進数値２５５とする。

その後、レンズワイド端で、絞り解放にしてレンズ被写界深度を最も浅く制御した状態で、レンズ焦点を近距離（０．５ｍ）から無限遠（＞５ｍ）まで順次変化させる。このとき、レンズ焦点の距離ごとに、フォーカスする画面内領域差分を指数関数的に表したビット値が割り当てられる。そして、レンズ位置制御で距離測定が行われ、これに同期して順次画面内領域のフォーカスする映像領域が記録される。例えば、測定距離が１ｍのときのデプスマップ値は２の８乗での１０進数値１８０となり、例えば、測定距離が２ｍのときのデプスマップ値は１００となる。

そして、デプスマップ値範囲内の被写体オブジェクト群を個別や集合グループでオブジェクト認識する。撮影開始時にデプスマップ値を初期設定した後は、撮像対象のオブジェクトを動きベクトルで追従して輪郭認識を続け、光学系であるズームレンズおよびフォーカスレンズからレンズ焦点測定距離を把握する。このようにして、継続してデプスマップデータの各デプスマップ値を各被写体オブジェクトの映像輪郭内領域に割り当てることができる。

また、光学レンズテレ端での撮影の場合のデプスマップ生成を説明する。このとき、絞り解放にしてレンズ被写界深度を最も浅く制御して距離測定を行う。テレ端には２種類あり、光学レンズによる動画の画角拡大する高い倍率の得られる光学ズームと、高解像度撮像素子の一部を用いて動画の画角拡大する、倍率の乏しい電子ズームとがある。通常、２眼の左右視差の撮影でだけ立体視撮影する場合は光学ズーム時には左右視差が生じないので立体視撮影は困難とされてきた。しかし、本実施形態ではデプスマップストリームを映像撮影記録に用いることによって解決している。すなわち、画角をテレ端で撮影された場合でも被写体との距離測定によりデプスマップストリームを生成して映像記録し、再生出力時に撮影時の映像とデプスマップストリームから左右視差による立体視映像ストリームとして出力するので、光学ズーム撮影時にも立体視映像撮影を可能としている。

レンズを光学ズームのテレ端に設定し、レンズ焦点を無限遠方（＞５００ｍ）に設定する。ここで、レンズが望遠側のテレ端とされる画角（例えば３５ｍｍフィルム版換算の画角で１３５ｍｍ相当など）の場合、ワイド端画角での被写体に対するフォーカス焦点制御によるデプスマップ割り当てと同様に、デプスマップに割り当てる測定距離が＜５０ｍより近距離であるとき８ビットの１０進数表記２５５を割り当て、＞５００ｍより遠距離であるとき８ビットの１０進数表記０を割り当てる。これらの間での測定距離に対応するデプスマップの１０進表記値は、このズーム画角の場合も、上記と同様に、５０ｍから５００ｍを指数直線な８ビットの１０進数表記値でそれぞれ割り当てることとする。

光学レンズ群を構成するズームレンズ群およびフォーカスレンズ群のズーム時の動作は、まず、ズームレンズ群の制御位置で画角が決定され、次にフォーカスレンズ群の焦点制御によって被写体に焦点が合わせられる。これにより、目標とする被写体の鮮明な映像を撮影することができる。このときのズームレンズ群のレンズ機構内部位置とそれに対応するフォーカスレンズ群のフォーカスしたときの制御位置の特性はレンズ設計製造時に一意に決定されており、ズーム画角拡大時にもフォーカス位置によって距離が測定可能に構成される。これにより、ワイド端画角の場合と同様に、光学ズームや電子ズームでズームして画角を拡大した場合であっても、デプスマップを割り当てることによって立体視可能な映像の撮影記録を実現することができる。

立体視映像ストリームは、このように被写体オブジェクトのデプスマップデータとして奥行き情報を管理している。図１に示す映像においては、測定距離が最も近いオブジェクト＃１（２１０）のデプスマップ値は３つのオブジェクトの中で最大となる（例えば、測定距離１ｍのとき８ビットの１０進数表記１８０）。そして、オブジェクト＃１（２１０）より奥側に位置するオブジェクト＃２（２２０）、オブジェクト＃３（２３０）のデプスマップ値は、奥側に向かうにつれて小さくなる（例えば、ワイド端画角の場合、測定距離２ｍのとき８ビットの１０進数表記１００、測定距離５ｍのとき８ビットの１０進数表記０）。

次に、本実施形態の説明上で規定する押さえ込み表示制御モードで表示制御されると、立体視映像ストリームおよびOverlayBitmapは図２に示すように表示されるようになる。押さえ込み表示制御モードでは、表示制御部は、OverlayBitmapの表示領域（以下、「ＯＢ表示領域」とする。）２５２に表示される立体視映像ストリームのオブジェクトを常に、OverlayBitmapの表示位置より視聴者からみて立体視画面表示の奥側に表示させるように制御する。

例えば、撮影された立体視映像ストリームよりも字幕や時刻情報等の付加情報を優先して表示させたい場合に、本実施形態の説明上で規定する押さえ込み表示制御モードを用いることができる。押さえ込み表示制御モードにおいては、表示制御部は、図２に示すように、ＯＢ表示領域２５２に位置するオブジェクト＃１（２１０）を、OverlayBitmapの表示位置よりも奥側となるように制御する。これにより、ＯＢ表示領域２５２にオブジェクトが位置するために、付加情報が当該オブジェクトによって視認できなくなるのを防止することが実現できる。

一方、本実施形態の説明上で規定する埋め込み表示制御モードで表示制御されると、立体視映像ストリームおよびOverlayBitmapは図３に示すように表示されるようになる。埋め込み表示制御モードでは、表示制御部は、ＯＢ表示領域２５２に表示される立体視映像ストリームのオブジェクトを、OverlayBitmapの表示位置より、立体視映像表示装置を視聴している視聴者からみて、奥手前前方側に表示させるように制御する。このとき、OverlayBitmapは、オブジェクト＃１（２１０）と重複する部分はオブジェクト＃１（２１０）によって隠れる。埋め込み表示制御モードでは、埋め込み表示制御モードでは、OverlayBitmapによって立体視映像ストリームの表示を妨げないようにすることが実現できる。

このように、本実施形態にかかる再生装置は、デプスマップデータに基づいて、立体視映像ストリームおよびOverlayBitmapの表示を制御することにより、視聴し易い立体視映像ストリームを提供することができる。以下では、本実施形態にかかる再生装置の構成と、これによる表示制御方法について詳細に説明する。

［撮像記録装置の構成］
本実施形態にかかる再生装置について説明する前に、図４〜図６に基づいて、撮像部によって撮像された映像を記録する本実施形態にかかる撮像記録装置について説明する。なお、図４は、本実施形態にかかる撮像記録装置１００の入力記録処理部を示すブロック図である。図５は、立体視映像ＲＵＶと記録メディアとの関係を示す説明図である。図６は、本実施形態にかかる撮像記録装置１００の再生出力処理部を示すブロック図である。

本実施形態では、撮像記録装置によって撮影された映像を立体視映像ストリームとしてＡＶＣＨＤフォーマットで記録し、記録された立体視映像ストリームを再生装置により再生する場合を例に説明する。ここで、本実施形態にかかる撮像記録装置１００は、記録された立体視映像ストリームを再生する再生機能も備えるものとする。撮像記録装置１００としては、例えばフラッシュメモリドライブやハードディスク等の記録メディアに、立体視方式で立体視映像ストリームとデプスマップデータとをエンコードして記録し、記録した立体視映像ストリームを再生することの可能なカメラ一体型ビデオや、動画撮影機能付きのデジタルカメラ、映像携帯機器等が想定される。

（撮像記録装置の入力記録処理部の構成および機能）
本実施形態にかかる撮像記録装置１００の入力記録処理部は、図４に示すように、映像を撮像する撮像部として機能するカメラ部、カメラ制御部１１０、マイク１２２およびマイク音声入力部１２０を備える。カメラ制御部１１０は、撮像素子やレンズ等からなるカメラ部を制御して、カメラ部が撮影した映像を取得する。マイク音声入力部１２０には、マイク１２２により取得された、望ましくはステレオ音声方式または５．１ｃｈサラウンド音声方式で、音声情報が入力される。

カメラ制御部１１０は、カメラ部により撮影された記録映像ストリームをエンコード部１３０へ出力する。また、マイク音声入力部１２０は、マイク１２２から入力された音声情報をエンコード部１３０へ出力する。エンコード部１３０は、カメラ制御部１１０から入力された記録映像ストリームをエンコードし（主映像エンコード）、マイク音声入力部１２０から入力された音声情報をエンコードする（音声エンコード）。

また、カメラ制御部１１０は、付加情報のOverlayBitmapを生成するため、映像撮影時の撮影情報パラメータとして、撮影時刻、撮影カメラ制御パラメータなどの、付加情報データをエンコード部１３０へ出力する。本実施形態では、特に撮影映像の時刻情報を付加情報として記録する場合を説明する。このとき、撮像記録装置１００は、撮影映像の時刻情報のフォントデータを、個々のフォント図形としてＡＶＣＨＤフォーマットで規定された圧縮方式で圧縮された状態でフォントデータ用記憶部（図示せず。）に記憶している。撮像記録装置１００は、記憶部から取得したフォントをOverlayBitmapデータとして配列して、カメラ制御部１１０から入力された撮影映像の時刻情報の画像を生成する。そして、このOverlayBitmapストリームを、エンコード部１３０は、生成された撮影映像の時刻情報の画像としてエンコードする（OverlayBitmapエンコード）。

ここで、Ｂｌｕ−Ｒａｙ（登録商標）／ＡＶＣＨＤでの字幕データである、OverlayBitmapデータについて説明する。OverlayBitmapデータのストリーム種別は、トランスポートストリームを構成するデータ種別である。OverlayBitmapは、以下のような制御仕様を有している。

まず、表示形式（例えば記録日時について、ＹＭＤ、ＤＭＹ、記録しない等）は、記録開始までにユーザにより指定され設定される。これらの設定は記録中に変更させなくともよい。OverlayBitmapは動画記録時に記録される。記録日時はストリーム内部に記述される時刻情報、ModifiedDVPackの時刻情報と同じとすることができる。なお、表示形式で「OverlayBitmapを記録しない」が指定された場合は、OverlayBitmapストリームそのものを記録しないようにする。光ディスク再生機（例えば、Ｂｌｕ−Ｒａｙ（登録商標）プレーヤ、ＡＶＣＨＤ記録ＤＶＤプレーヤ）では、ユーザ操作により、OverlayBitmapの表示/非表示を切り替えることができる。

OverlayBitmap１個のデータ(DisplaySet)は、次に示す各セグメントで構成される。１ＥＰ（ＥｎｔｒｙＰｏｉｎｔ）には、１個のデータ(DisplaySet)が記録される。１ＥＰには、機能ごとに５セグメント（ＰＣＳ、ＷＤＳ、ＰＤＳ、ＯＤＳ、ＥＮＤ；＝５ＰＥＳＰａｃｋｅｔ）が設けられる。

ＰＣＳ（ＳｅｇＰＣＳ；Presentation Composition Segment情報）は、表示構成（presentation）を定義するセグメントデータである。表示される文字等のオブジェクトは、各々がフォントのビットマップデータである。かかるデータは、そのままではなく、圧縮されて記録される。ＷＤＳ（ＳｅｇＷＤＳ；Window Definition Segment情報）は、１画面構成定義（Window
Definition）するセグメントデータである。ＰＤＳ（ＳｅｇＰＤＳ；Palette Definition
Segment情報）は、カラーパレット定義（palette）するセグメントデータである。表示される各文字フォントデータは各々ビットマップの圧縮データであるが、その表示色はこの数値データにより指定される。ＯＤＳ（ＳｅｇＯＤＳ；Object Definition Segment情報）（ＲＬＥ除く）は、表示オブジェクトを定義するセグメントデータである。ＥＮＤ（ＳｅｇＥＮＤ；End of Display Set Segment情報）は、表示データセットの終了を示すセグメントデータである。

これらのセグメントデータは、ＴＳストリームの、１ＥＰ（ここでは、１ＧＯＰを１５ビデオフレームで構成する例について説明する）に、DisplaySetとして纏められたデータ集合を一緒に同居させる形で記録される。１ＥＰには、ビデオフレーム（Video Frame （I-pic/P-pic/B-pic））がデータとして含まれている。現在のＡＶＣＨＤ方式ＨＤビデオカメラの記録映像ストリーム例では、OverlayBitmapデータは１ＧＯＰに１個あるＩピクチャの直後に、以下のDisplaySetを、各ビデオフレームの再生画像表示時刻ＰＴＳ（PresentationTimeStamp）に対応するように、対応するＰＴＳを付加して、纏めて記録される。

本実施形態において想定する再生プレーヤは、再生時にこのOverlayBitmapをよみとって再生する。記録され、再生時に映像に重ねられるOverlayBitmapは、縦列が「Ｄｉｓｐｌａｙ／Ｓｅｔ／ＰＣＳ／ＷＤＳ／ＰＤＳ／ＯＤＳ／ＥＮＤ」からなる１つのセグメントを、１ＥＰに含まれる１５個の各ビデオフレームにそれぞれ対応するように、横列に１５個並べて構成されている。なお、ＷＤＳ、ＰＤＳ、ＯＤＳは、１ＥＰにおいて１回定義されればよいため、２つ目以降のセグメントは「Ｄｉｓｐｌａｙ／Ｓｅｔ／ＰＣＳ／ＥＮＤ」のように構成されている。ここでは、１ＥＰに１５のセグメントが含まれる例を示したが、データ量にもよるが、１ＥＰに約１０〜１５個のセグメントを含むことができる。

文字フォントのビットマップデータは、単純なデータ圧縮であるランレングス（RunLength）符号化圧縮を用いる仕様に定められている。１文字フォントデータは、例えば１０［Pixel］×１４［Line］で構成することができる。プログレッシブ方式のフレーム映像ストリームの字幕ではそのままでよいが、インターレース方式のフィールド映像ストリームの字幕ではＴｏｐ／Ｂｏｔｔｏｍが決められる。なお、ＴＳストリームのOverlayBitmapを含む各セグメント種別と名称は、後述する図９に示すようになっている。

なお、エンコード部１３０は、カメラ制御部１１０から入力された撮影映像の時刻情報を映像ストリーム内部の付加情報としても保持しており、記録映像ストリーム、音声情報、OverlayBitmap、後述する映像デプスマップ情報とともに、それぞれデータ種別ごとにＴＳパケットにＰＩＤを付与してエンコードする。

一方、立体視映像ストリームを生成するために用いられる、オブジェクトの奥行情報の分布を示すデプスマップデータがデプスマップ処理部１５０により生成される。デプスマップ処理部１５０は、カメラ部から取得される映像情報およびＡＦ制御情報を用いて、８ビット値の１０進表記の２５５〜０、光学レンズのワイド画角（例えば３５ミリフィルム判画角で２８ミリ相当）の撮影状態で０・５〜５ｍ距離での撮影時の被写体オブジェクト群のメタ映像判別に基づいた光学画角制御（光学ズーム）と光学フォーカス制御による測定距離情報処理データに基づき、デプスマップデータを生成する。デプスマップデータは、上述した方法により生成される。

デプスマップ処理部１５０は、生成したデプスマップデータのうち、映像の立体表示部分である映像デプスマップ情報をエンコード部１３０へ出力する。エンコード部１３０は、デプスマップ処理部１５０から入力された映像デプスマップ情報を撮影映像の時間情報とともにエンコードする（デプスマップ映像エンコード）。

また、デプスマップ処理部１５０は、カメラ部のＡＦ制御情報に基づいて、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）ごとのデプスマップのピーク値および平均値を検出する。さらに、デプスマップ処理部１５０は、ＧＯＰごとのデプスマップのピーク値および平均値を用いて、１動画チャプタにおけるデプスマップのピーク値および平均値を算出する。これらの値は、本実施形態の表示制御に用いられる。デプスマップ処理部１５０は、検出したデプスマップのピーク値および平均値をデプスマップ属性情報として後述する記憶部へ出力する。

上記処理によって生成された各種エンコード情報およびデプスマップ属性情報は、ＲＵＶ（Ｒｅｃｏｒｄｉｎｇ Ｕｎｉｔ ｏｆ Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｕｎｉｔ）作成記録処理部１４０へ出力され、ＡＶＣＨＤフォーマットで各種エンコード情報およびデプスマップ属性情報が記憶部１４２に記録される。記憶部１４２は、例えば、フラッシュメモリカードや内蔵するフラッシュメモリ、ＳＳＤなどのメモリドライブや、ハードディスクおよび円盤型磁性体ディスクなどの磁気ディスクや、ＣＤ−ＲＷ（Ｃｏｍｐａｃｔ Ｄｉｓｃ ＲｅＷｒｉｔａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）−ＲＷ／／＋ＲＷ／ＲＡＭ（Ｒａｍｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）あるいはＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））−ＲＥなどの光ディスク等の記録媒体である。

ＡＶＣＨＤフォーマットは、ビデオデータとオーディオデータとが多重化されたＡＶストリームを記録可能な記録媒体に記録する記録フォーマットである。ビデオカメラ等で撮像された動画像ストリームは、ＭＰＥＧ２−ＴＳストリームに符号化されて、ＡＶＣＨＤフォーマットに従って記録される際に、ファイルとして記録媒体に記録される。このファイルがストリーム管理ファイルである。ストリーム管理ファイルは、概略すると、Indexファイル、MovieObjectファイル、MoviePlayListファイル、ClipInfoファイルの４つのファイルから構成される。なお、ＡＶＣＨＤフォーマットについての詳細な説明は後述する。

立体視映像ストリームは、図５に示すように、記録媒体への記録単位であるＲＵＶを複数のＧＯＰから構成し、ＲＵＶごとに順次記憶部１４２に記録される。ＲＵＶを構成するＧＯＰの数は、記録媒体の記録単位によって規定される。各ＧＯＰは、主映像ＧＯＰおよび当該主映像ＧＯＰのデプスマップ映像からなる。主映像ＧＯＰおよびそのデプスマップ映像は、完全同一時刻タイムスタンプで記録される。また、ＲＵＶが記憶部１４２に記憶されると、記録した追記論理アドレスを記憶部１４２上の記録位置情報として、ＲＵＶに付加される。記録位置情報は、ＡＶＣＨＤのストリーム管理ファイルのClipInfoファイルのＥＰ＿Ｍａｐに記録される。ＥＰ＿Ｍａｐは、記録媒体上の記録されたストリームのＥＰ（Ｅｎｔｒｙ Ｐｏｉｎｔ）の論理アドレス位置と記録コンテンツストリームの時刻タイムスタンプとの対応テーブルである。なお、ＥＰは、ＡＶＣＨＤフォーマットでの記録媒体への基本アクセス単位である。

また、本実施形態にかかる立体視映像ＲＵＶには、それぞれ記録された映像ストリームが立体視映像であるか否かを示す立体属性フラグが設けられている。立体属性フラグは、デプスマップ方式であるか否かを示す第１の立体属性情報と、左右視差像方式（Binoclar Disparity方式）であるか否かを示す第２の立体属性情報とからなる。本実施形態のようにストリームが１つである場合に、立体視映像ストリームを記録したとき、第１の立体属性情報がＴＲＵＥとなり、第２の立体属性情報はＦＡＬＳＥとなる。立体属性フラグは、ＡＶＣＨＤのストリーム管理ファイルの各ファイルおよびストリームのModifiedDVPack１４４の新規拡張定義フィールドに記録される。

また、各種エンコード情報およびデプスマップ属性情報は、ＡＶＣＨＤフォーマットのストリーム管理ファイル内の所定のファイル１４６にも記録される。ストリーム管理ファイル内の所定のファイル１４６には、例えば、記憶部１４２に記録されるＡＶＣＨＤフォーマットのストリーム属性情報や、時刻タイムスタンプに対応する論理アドレス位置情報が記録される。また、ストリーム管理ファイル内のファイル１４６には、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）操作コンテンツインデックスフォーマットの時刻タイムスタンプに対応するストリーム属性各種情報が記録される。

（撮像記録装置の再生出力処理部の構成および機能）
一方、本実施形態にかかる撮像記録装置１００は、記録された立体視映像ストリームを再生する再生出力処理部を備える。ただし、本実施形態にかかる再生出力処理部は、後述する表示制御モードに応じて立体視映像ストリームおよびOverlayBitmapの表示を制御する表示制御部を備える再生装置ではなく、立体視映像ストリームのみを再生するものであるとする。再生出力処理部は、図６に示すように、ＲＵＶ再生処理部１６０により、記憶部１４２に記録されたＡＶＣＨＤフォーマットのストリーム管理ファイルから、エンコードされた映像ストリーム、音声情報、映像デプスマップ情報をデコードして再生する。

ＲＵＶ再生処理部１６０は、記憶部１４２に記録された情報を取得して、出力処理部１７０へ出力する。出力処理部１７０は、エンコードされている映像ストリーム、音声情報、映像デプスマップ情報をデコードする（主映像デコード、音声デコード、デプスマップ映像デコード）。

また、ＲＵＶ再生処理部１６０は、ストリーム管理ファイルのModifiedDVPack１４４の新規拡張定義フィールドに記憶されたデプスマップ属性情報からデプスマップのピーク値および平均値や、時刻情報およびカメラ情報を出力処理部１７０へ出力する。なお、立体視映像ストリームおよび時刻情報は、出力処理部１７０によるディスクダブリング時におけるOverlayBitmap書き込み処理にも用いられる。

出力処理部１７０は、デコードした再生映像ストリームを映像出力制御部１８２へ出力し、デコードした音声情報を音声出力部１８４へ出力する。映像出力制御部１８２は、映像ストリームに対して表示するための処理を行い、処理された映像ストリームを文字データ情報重畳表示処理部１８６へ出力する。文字データ情報重畳表示処理部１８６は、後述するデプスマップ映像レベル付加処理部１９４から入力された時刻情報やカメラ情報を文字情報として映像ストリームに重畳し、表示装置２００へ出力する。音声出力部１８４は、音声情報を表示装置２００へ出力する。

また、出力処理部１７０は、デコードした映像デプスマップ情報をデプスマップ映像レベル適応処理部１９２へ出力し、時刻情報およびカメラ情報をデプスマップ映像レベル付加処理部１９４へ出力する。デプスマップ映像レベル適応処理部１９２およびデプスマップ映像レベル付加処理部１９４には、ストリーム管理ファイルの所定のファイル１４６から取得されたＵＩ操作コンテンツインデックスフォーマット時刻タイムスタンプに対応するストリーム属性各種情報も入力される。デプスマップ映像レベル付加処理部１９４は、付加処理した情報をデプスマップ映像レベル適応処理部１９２および文字データ情報重畳表示処理部１８６へ出力する。デプスマップ映像レベル適応処理部１９２は、生成したデプスマップ映像を、立体表示可能な表示装置２００へ出力する。

撮像記録装置１００の再生出力処理部から映像ストリーム、音声情報およびデプスマップ映像が入力された表示装置２００は、左右視差映像復元処理部２０２により映像の復元処理を行う。これにより、表示装置２００は、立体視映像ストリームの奥行き感を再現して表示することができる。

以上、本実施形態にかかる撮像記録装置１００の構成について説明した。かかる撮像記録装置１００は、本実施形態にかかる再生装置に接続することにより、再生出力処理部によって撮像記録装置１００に接続された表示装置２００に立体視映像ストリームを表示させたように、立体視映像ストリームを表示させることができる。以下で説明する本実施形態にかかる再生装置は、撮像記録装置１００により生成されたデプスマップに基づいて、立体視映像ストリームおよびOverlayBitmapを表示制御する表示制御部を備える。以下、図７〜図１１に基づいて、本実施形態にかかる表示制御部を備える再生装置の構成とこれによる表示制御について、詳細に説明する。

なお、図７は、立体視映像ストリームを再生可能な、一般的な再生装置の構成を示すブロック図である。図８は、本実施形態にかかる表示制御部を備える再生装置の構成を示すブロック図である。図９は、立体視映像ストリームのOverlayBitmapの表示制御に用いる情報の構成を示す説明図である。図１０は、本実施形態にかかる表示制御部による押さえ込み表示制御モード時の表示制御方法を示すフローチャートである。図１１は、本実施形態にかかる表示制御部による埋め込み表示制御モード時の表示制御方法を示すフローチャートである。

［再生装置の構成］
図７に示す再生装置の構成は、映像ストリームや音声情報等をデコードする一般的な再生装置の構成にデプスマップをデコードする機能を設けた構成となっている。再生装置は、映像ストリームの読み出し先からＡＶＣＨＤフォーマットのストリーム管理ファイル（ＩＦＯ）に記録された立体属性フラグを読み込む。再生装置のＰＩＤセレクタは、立体属性フラグの第１の立体属性情報がＦＡＬＳＥである場合には、２次元の映像ストリームを再生する処理を行う。一方、立体属性フラグの第１の立体属性情報がＴＲＵＥである場合には、ＰＩＤセレクタは、立体視映像ストリームを再生する処理を行う。ＰＩＤセレクタは、読み込んだ映像ストリーム中の個々のパケットに種別ごとに付与されているＰＩＤに応じて、デプスマップとその他の情報とを切り分けるように構成する。これにより、不要なデプスマップデータパケットが従来の２次元平面視映像ビデオデコード側に入力しないようにすることができ、映像ストリーム再生の下位互換性を保持することができる。

再生装置は、図７に示すとおり、ＴＳストリーム（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ、以下ＴＳストリームと略す）形式の映像ストリームが記録されたときにＴＳパケット種別によってＰＩＤが各パケットに付与されているから、ＰＩＤセレクタによって各ＰＩＤに応じて各パケットを種別に切り分けて、各パケットをパケットＥＳバッファに蓄積した後各種情報をデコードして、映像ストリームや音声情報、システム制御情報、その他のＰＢデータを表示装置へ出力する構成をとる。デプスマップストリームにおいても同様に、再生装置は、ＰＩＤセレクタによって切り分けられたデプスマップストリームをデコードし、デコード後のデプスマップストリームを出力する。

表示装置がデプスマップストリームを入力として受け付ける立体視映像表示装置の場合は、本実施形態の再生装置からデプスマップストリームを出力する。また、左右視差ある２系統映像ストリームのみを入力として受け付ける立体視映像表示装置の場合は、デプスマップ情報から左右視差映像を生成して左右視差２系統映像入力のみの立体視映像表示装置へ出力する。本実施形態では撮影時に同時に記録しているデプスマップストリームを保持しているので、本来左右視差のまったくない望遠画角のテレ端ズーム撮影映像ストリームであっても、ワイド端広角撮影映像ストリームの場合と同様に、デプスマップ情報から左右視差映像を生成して表示装置へ出力する。

また、再生装置は、映像ストリームを構成するセグメントの一つであるＰＣＲを取り出し、ＳＴＣ（System Time Clock）から同期再生のための時間情報であるＰＴＳ（Presentation
Time Stamp）およびＤＴＳ（Decoding Time Stamp）を生成する。ＰＴＳは、ＰＥＳ(Packetized Elementary Stream)ヘッダに記載された再生表示時刻タイムスタンプであり、ＤＴＳは、ＰＥＳヘッダに記載されたデコード時刻タイムスタンプである。ＰＴＳおよびＤＴＳは各種情報をデコードするデコード部に入力されて、デコード後の各種情報に付与される。ＰＴＳおよびＤＴＳは、デコード後の映像ストリームとデプスマップ映像とを対応付けるために用いられる。

本実施形態にかかる表示制御部を備える再生装置のより詳細な構成を、図８に示す。本実施形態にかかる表示制御部１７４は、デプスマップ映像をデコードするデプスマップ映像デコード部１７３に設けられる。表示制御部１７４には、主映像デコード部１７１によりデコードされた映像ストリームと、ＯＢデコード部１７２によりデコードされたOverlayBitmapと、デコードされたデプスマップ映像とが入力される。表示制御部１７４は、入力されたこれらの情報および図１〜図３に示した表示制御モードに基づいて、立体視映像ストリームおよびOverlayBitmapの表示を制御する。

主映像デコード部１７１は、映像ストリームをデコードして表示制御部１７４に出力する。また、デプスマップ映像デコード部１７３は、撮影時に映像ストリームの内容に応じて記憶された、１ＥＰ（あるいはＧＯＰ）単位ごとのModifiedDVPack１４４の情報を読み出して、デプスマップのピーク値および平均値を示すデプスマップ属性情報を取得する。そして、デプスマップ映像デコード部１７３は、取得したデプスマップ属性情報を、デプスマップ映像の表示位置を制御する表示制御部１７４へ出力する。

ＯＢデコード部１７２は、OverlayBitmapデータのビットマップ画像データをデコードする。ＯＢデコード部１７２は、デコードされたビットマップ画像データを構成して、グラフィックコントローラ（Graphic Controller）によりビットマップ画像データが表示領域２５０上のどの位置に表示されるものであるか判定する。こうして表示領域２５０内でのOverlayBitmapデータの表示位置を把握すると、ＯＢデコード部１７２は、OverlayBitmapデータの位置情報を表示制御部１７４に提供する。

また、グラフィックコントローラは、OverlayBitmapデータの位置情報の出力処理を行うとともに、構成したビットマップ画像データの平面や色を決定する処理を行い、表示装置へ出力する。なお、立体視映像ストリームの各ＥＰのOverlayBitmapのセグメントには、上述したように、表示構成情報定義（ＰＣＳ）や、色パレット定義（ＰＤＳ）、ウィンドウ映像定義（ＷＤＳ）、表示オブジェクト定義（ＯＤＳ）等の情報が含まれている。これらの情報を用いることにより、OverlayBitmapの画像を構成することができる。

表示制御部１７４は、入力された上記情報を用いて、立体視映像ストリームとOverlayBitmapの表示を制御する。ここで、表示制御部１７４による表示制御処理について説明する前に、この表示制御処理に用いられる各種情報について説明する。

図９に示すように、立体視映像ストリームの表示領域２５０に対して、OverlayBitmapを表示するＯＢ表示領域２５２が設定されている。例えば、OverlayBitmapデータとして表示される付加情報が字幕や時刻である場合、表示領域２５０内の右隅や下部、あるいは上部等の所定の位置にＯＢ表示領域２５２が設定される。ＯＢ表示領域２５２に表示されるOverlayBitmapの奥行き方向における位置は、本実施形態にかかる表示制御処理では表示なしモード、押さえ込み表示モード、埋め込み表示モードのどの場合も常に固定で、視聴者から立体視映像表示装置をみるとき立体視映像ストリームの前方向側に重ねて表示される。

一方、立体視映像ストリームの表示される被写体オブジェクトは、デプスマップ情報により、OverlayBitmap表示なしモードでは固定にされるが、押さえ込み表示モード、埋め込み表示モードではそれぞれ１映像チャプタ再生期間中は、ストリーム管理ＤＢファイルに記録の際にデプスマップのチャプタ内の映像のデプスマップストリームのピーク値、平均値が登録されているので、その値に対応して画面全体の映像側のデプスマップ情報を一定の固定比率で減じて立体視の奥行き情報を低減するように構成する。そのため、立体視映像ストリームの奥行き情報として、図４に示した撮像記録装置１００のデプスマップ処理部１５０は、ＯＢ表示領域２５２内におけるＥＰ（ＧＯＰ）単位のデプスマップのピーク値および平均値を検出する。

ここで、図９とともに図４のシステム図に基づいて、このストリームが記録されるときの、立体視映像ストリーム記録の際の各映像のデプスマップ情報記録と、そのピーク値の詳細を説明する。１つのＥＰ（ＧＯＰ）は、複数のセグメントにより構成されている。図４の記録側のデプスマップ処理部１５０は、ＥＰ（ＧＯＰ）単位のデプスマップのピーク値（DepthMapGOP_PeakValue）および平均値（DepthMapGOP_AverageValue）を、ストリーム管理ＤＢファイルの所定フィールドに記録している。再生時には再生開始準備中のタイミングでこれらの情報が取得され、指定された再生１チャプタでのデプスマップ値のピークを一瞬で取得し、判断し映像ストリームのデプスマップの値を演算処理して立体視映像表示の奥行き方向を制御する。

また、これとは別途に、デプスマップ処理部１５０は、記録時に、ＥＰ（ＧＯＰ）単位のデプスマップのピーク値および平均値を各ＥＰビデオフレームのＭＤＰ内に記録している。こうしてこのストリーム内へ記録しておくことにより、映像ストリームのアクセスを管理するストリーム管理ＤＢファイルが記録途中やメディア保存中、再生途中、編集途中に何らかの事故で壊れたとしても、映像ストリーム内部のＭＤＰａｃｋを参照することにより、非常に時間はかかるが、ＥＰ（ＧＯＰ）単位のデプスマップ属性情報を取得することができる。すなわち、このように構成することにより、修復可能な範囲でストリームを読み取り、壊れたストリーム管理ＤＢファイルを修復することが可能となる。また、映像ストリームとして属性情報の完全性を保持することもできる。

１回の記録開始／停止により取得されメディアに記録される１動画チャプタについて、各ＥＰ（ＧＯＰ）単位での、表示領域をＯＢ表示領域２５２内に限定する必要があればそれに応じた設定と制御によりＯＢ表示領域２５２内で、そうでなければ画面表示領域全体での、デプスマップ値のピーク値と平均値を取得する設定と制御を図４の記録側のデプスマップ処理部１５０に設定して検出制御し、映像デプスマップ値が取得されると、図９に示すように、映像デプスマップ値の時間変動を把握することができる。なお、図９に示す映像デプスマップ値は、各ＥＰ（ＧＯＰ）単位でのＯＢ表示領域２５２内のデプスマップの平均値とする。デプスマップ処理部１５０は、１動画チャプタ内での最大の映像デプスマップ値を当該動画チャプタにおけるデプスマップのピーク値とし、１動画チャプタ内での映像デプスマップ値の平均を当該動画チャプタにおけるデプスマップの平均値とする。

デプスマップ処理部１５０により検出された各動画チャプタのデプスマップのピーク値および平均値は、デプスマップ属性情報として、ストリーム管理ファイルのMoviePlayListファイルのExtentionDataのPlayItemに記録される。デプスマップ属性情報は、動画チャプタの記録停止後にストリーム管理ファイルに書き込みされるタイミングで記録される。

［表示制御部による表示制御処理］
このように撮影時に記録された動画チャプタ毎のデプスマップのピーク値および平均値を用いて、表示制御部１７４は再生時に立体視映像ストリームおよびOverlayBitmapの表示を制御する。本実施形態にかかる再生装置は、図１〜図３に示したように、立体視映像ストリームのみ表示してOverlayBitmapを表示しない非表示モード、押さえ込み表示制御モードおよび埋め込み表示制御モードの３つのモードで表示制御することができる。いずれのモードで表示制御するかは、撮影時やオーサリング時に予め設定することができる。再生装置は、設定された表示制御モードにしたがって、立体視映像ストリームおよびOverlayBitmapの表示を制御する。

（非表示モードでの表示制御処理）
まず、表示制御モードが非表示モードに設定されている場合、再生装置は、表示しないOverlayBitmapデータをデコードする必要はない。したがって、再生装置は、映像ストリーム、音声情報およびシステム情報をデコードして表示装置へ出力する。このとき、再生装置は、立体視映像ストリームおよびOverlayBitmapを表示制御する表示制御部１７４を機能させる必要はない。

（押さえ込み表示制御モードでの表示制御処理）
次に、表示制御モードが押さえ込み表示制御モードに設定されている場合には、表示制御部１７４により図１０に示す表示制御処理が実行される。表示制御部１７４は、まず、MoviePlayListファイルから動画チャプタごとのデプスマップのピーク値を取得する（ステップＳ１００）。そして、表示制御部１７４は、動画チャプタ単位で、デプスマップのピーク値がOverlayBitmapのデプスマップ値を超えているか否かを判定する（ステップＳ１０２）。

OverlayBitmapのデプスマップ値は、通常固定値とされる。例えば、０〜５ｍの距離での奥行きが映像で表わされているとき、奥行き２ｍの位置に固定でOverlayBitmapを表示させる。ステップＳ１０２にて、デプスマップのピーク値がOverlayBitmapのデプスマップ値を超えていないと判定された場合には、再生装置は、表示制御部１７４による表示制御をせずに、立体視映像ストリームの再生を開始する（ステップＳ１２０）。すなわち、立体視映像ストリームは、撮影時に記録された状態で表示され、OverlayBitmapは、ＯＢ表示領域２５２の固定の表示位置に表示される。

一方、ステップＳ１０２にて、デプスマップのピーク値がOverlayBitmapのデプスマップ値を超えたと判定された場合には、再生装置は、ＥＰ（ＧＯＰ）ごとのデプスマップのピーク値を、ClipInfoファイルからリスト取得する（ステップＳ１０４）。そして、ＥＰ（ＧＯＰ）ごとのデプスマップのピーク値がOverlayBitmapのデプスマップ値を超えるピーク値超過再生時間を取得する（ステップＳ１０６）。ピーク値超過再生時間は、ＥＰ（ＧＯＰ）再生時間単位で取得される。

本実施形態にかかる再生装置は、立体視映像ストリームをユーザが視聴し易くするように表示制御する。しかし、ＥＰ（ＧＯＰ）ごとのデプスマップのピーク値がOverlayBitmapのデプスマップ値を超えている状態では、立体視映像ストリームの手前視聴者側に重ねて表示されているOverlayBitmapのデプスマップによる立体視表示は、映像ストリームのオブジェクトのデプスマップによる立体視表示で表示が乱されてしまう。このため、OverlayBitmapにより表示する時刻や撮影情報、撮影時の各種情報等の付加情報をユーザは視認することができない。

そこで、表示制御部１７４は、押さえ込み表示制御モードにおいて、再生を開始するとき、まずストリーム管理ＤＢファイルから、撮影時にすでにファイルの指定フィールド位置に登録されている１チャプタ区間でのデプスマップのピーク値登録データを読み取り確認する。かかる処理は一瞬で完了する。そして、この映像ストリームのデプスマップストリームのピーク値登録データが、OverlayBitmapの付加情報表示するデプスマップで指定される画面上立体視表示位置、この場合は立体視画面視聴者が映像ストリームのオブジェクトに隠れていると判断された場合には、映像ストリームがOverlayBitmapの表示を妨げないよう、映像ストリームのオブジェクトの前方にOverlayBitmapの付加情報が表示されるように制御する。

特に望ましい実施形態としては、図６のデプスマップ映像レベル適応処理部１９２において、再生開始の最初にその１映像チャプタ開始から終了までの間での映像ストリームのデプスマップピーク値をストリーム管理ＤＢファイルの登録フィールドから取得して、チャプタ再生中のデプスマップ最大ピーク値がOverlayBitmapの立体視映像表示での重ね表示デプスマップ値を超えないための映像ストリーム側のデプスマップ減少比率を決定する。そして、その比率で再生する映像ストリームのデプスマップ値を一定比率で減ずる設定をデプスマップ映像レベル適応処理部１９２により設定してから再生開始することにより、１映像チャプタの再生中はその比率が変わらない一定の減少比率でデプスマップストリーム値を減少させて出力することを実現できる。

ここで、表示制御部１７４は、ピーク値超過再生時間が第１の閾値時間を超えたか否かを判定する（ステップＳ１０８）。第１の閾値時間は、任意に設定することができる。ＥＰ（ＧＯＰ）ごとのデプスマップのピーク値がOverlayBitmapのデプスマップ値を超えたのが第１の閾値時間より短い、僅かな時間であった場合にもＯＢ表示領域２５２における立体視映像ストリーム内のオブジェクトをOverlayBitmapの表示位置より奥側に表示させるようにすると、主表示内容である立体視映像ストリームの視聴をかえって妨げることになりかねない。そこで、表示制御部１７４は、ピーク値超過再生時間が第１の閾値時間を超えていないと判定した場合には、映像ストリームおよびOverlayBitmapの奥行き方向の位置を変更せず、撮影時に記録された状態で立体視映像ストリームを再生する（ステップＳ１２０）。

一方、ピーク値超過再生時間が第１の閾値時間を超えたと判定した場合には、再生装置は、再生装置に接続された表示装置に対して、ユーザに対するアラートメッセージを表示する指示を出力する構成にしてもよい。アラートメッセージは、OverlayBitmapの付加情報が視認できるように、押さえ込み表示制御を実行するか否かをユーザに選択させるためのメッセージである。このとき、再生装置はアラートメッセージに対するユーザ操作の入力待ち状態となる（ステップＳ１１０）。表示装置は、再生装置からの指示にしたがってアラートメッセージを表示する。ユーザは、表示装置に表示されたアラートメッセージに対して、押さえ込み表示制御を実行するか否かを選択して、選択した結果をリモートコントローラ等の入力装置（図示せず。）を用いて入力する。

ユーザが入力装置から入力した選択結果は、入力情報として再生装置に入力される。入力情報を受信した再生装置は、ユーザ操作の入力待ち状態を解除し、入力情報に基づいて押さえ込み表示制御を実行するか否かを判定する（ステップＳ１１６）。ユーザにより押さえ込み表示制御の実行が選択されなかった場合には、再生装置は、映像ストリームおよびOverlayBitmapの奥行き方向の位置を変更せず、撮影時に記録された状態で立体視映像ストリームを再生する（ステップＳ１２０）。一方、ユーザにより押さえ込み表示制御の実行が選択された場合には、表示制御部１７４は、映像ストリームの押さえ込み表示制御を実行する（ステップＳ１１８）。

映像ストリームの押さえ込み表示制御が実行されることにより、図２に示したように、ＯＢ表示領域２５２に位置する映像ストリームのオブジェクトが、ＯＢ表示領域２５２の立体視表示の奥行き方向位置よりも視聴者側から立体視表示装置をみて常に奥に位置するように表示される。図８の表示制御部１７４は、設定されたOverlayBitmapのデプスマップ値よりＯＢ表示領域２５２内の映像ストリームのオブジェクトのデプスマップ値が小さくなるように、映像ストリームのオブジェクトを含む映像画面全体の立体視表示装置の奥行き方向の表示位置を、デプスマップストリーム値の減少演算制御によって決定する。

このとき、映像ストリームのオブジェクトの、変更後のデプスマップ値は、例えば、減少処理後のデプスマップストリームのピーク値がOverlayBitmapのデプスマップ値より小さく、すなわち視聴者からみて立体視表示装置の奥行き方向の表示位置として、１映像チャプタ再生の開始から終了まで、OverlayBitmapが表示される立体視表示奥行き位置より常に奥に表示されるように、再生デコードデプスマップストリームに対する減少率を固定の値とすることができる。以上のように、図８の表示制御部１７４は、ＯＢ表示領域２５２内の映像ストリームのオブジェクトのデプスマップ値を一定比率で減少変更した状態に設定した後、立体視映像ストリームを再生する（ステップＳ１２０）。

また、図８のＯＢデコード部１７２のグラフィックコントローラ（GraphicController）は、OverlayBitmapの表示内容を変更することもできる。例えば、OverlayBitmapに字幕や時刻等の付加情報が表示される場合、文字以外の文字背景は透過率を高くして、背後にある立体視映像ストリームのオブジェクトをシースルーできるようにする。これにより、立体視映像ストリームよりも優先してOverlayBitmapを表示させつつ、情報性の低い背景部分については立体視映像ストリームの情報も表示されるようになる。

以上、図８の表示制御部１７４による映像ストリームの押さえ込み表示制御について説明した。押さえ込み表示制御処理を実行することにより、OverlayBitmapデータが映像ストリームのオブジェクトに隠れてしまうのを防止することができ、立体視映像ストリームを視聴するユーザに分かりやすく付加情報を提示できる。

（埋め込み表示制御モードでの表示制御処理）
次に、表示制御モードが埋め込み表示制御モードに設定されている場合には、表示制御部１７４により図１１に示す表示制御処理が実行される。図８に示す表示制御部１７４は、まず、MoviePlayListファイルから動画チャプタごとのデプスマップのピーク値を取得する（ステップＳ２００）。そして、この表示制御部１７４は、動画チャプタ単位で、デプスマップのピーク値がOverlayBitmapのデプスマップ値を超えているか否かを判定する（ステップＳ２０２）。１動画チャプタ内でOverlayBitmapのデプスマップ値をデプスマップのピーク値が一度も超えていなければ、埋め込み表示制御は実施する必要がないからである。

OverlayBitmapのデプスマップ値は、通常固定値とされる。ステップＳ２０２にて、デプスマップのピーク値がOverlayBitmapのデプスマップ値を超えていないと判定された場合には、再生装置は、図８の表示制御部１７４による表示制御をせずに、映像ストリームの再生を開始する（ステップＳ２２０）。ここまでの処理は、図１０に示した押さえ込み表示制御モードでのステップＳ１００およびＳ１０２の処理と同様である。

一方、ステップＳ２０２にて、デプスマップのピーク値がOverlayBitmapのデプスマップ値を超えたと判定された場合には、再生装置は、ＥＰ（ＧＯＰ）ごとのデプスマップの平均値を、ClipInfoファイルからリスト取得する（ステップＳ２０４）。そして、ＥＰ（ＧＯＰ）ごとのデプスマップの平均値がOverlayBitmapのデプスマップ値を超える平均値超過再生時間を取得する（ステップＳ２０６）。平均値超過再生時間は、ＥＰ（ＧＯＰ）再生時間単位で取得される。

本実施形態にかかる再生装置は、立体視映像ストリームをユーザが視聴し易くするように表示制御する。ここで、OverlayBitmapは通常固定位置に表示されるが、映像ストリームのオブジェクトの表示位置は時間の経過とともに変動するのが通常である。このため、動画チャプタの再生時に映像ストリームのオブジェクトが、OverlayBitmapよりも手前に表示されたり奥に表示されたりする。そうすると、１動画チャプタ中においてユーザがOverlayBitmapの付加情報を視認できる場合と視認できない場合とが生じてしまい、立体視映像ストリームの視聴がし難い状態となる。そこで、図８の表示制御部１７４は、埋め込み表示制御モードにおいて、映像ストリームのオブジェクトと重なるOverlayBitmapに対しては、ＯＢ表示領域２５２のうち映像ストリームのオブジェクトとの重複部分を隠すように表示画像処理制御をする。

ここで、特に、OverlayBitmap表示モードを選択している埋め込みモードで、OverlayBitmap表示内容を映像で隠す時間が、１映像再生チャプタ再生時間中の人間の視聴者感覚的な設定値で比較的長い時間であった場合にもOverlayBitmapを立体視映像ストリーム内のオブジェクトに埋め込むように表示させると、OverlayBitmapの付加情報を視認できない時間が増加し、せっかくOverlayBitmapを表示する表示モードを選らんでいるにもかかわらず、OverlayBitmapで表示される付加情報を立体視表示装置を見ている視聴者に十分に伝えることができなくなる。

したがって、指定された映像チャプタを再生開始する際には、図８の表示制御部１７４は、再生映像ストリームの該当する映像チャプタ区間のデプスマップのピーク値が超えることをまず確認し、映像ストリームのデプスマップストリームのピーク値がOverlayBitmap表示のデプスマップ値を超えることを判断する。表示制御部１７４は、この映像ストリームのデプスマップストリームの平均値がOverlayBitmap表示のデプスマップ値を超える超過再生時間が第２の閾値時間を超えていると判断された場合には、この押え込み表示モードで再生を開始してよいか、再生開始まえに判定する必要がある。なお、第２の閾値時間は、OverlayBitmap表示に割り当てられるデプスマップ値が映像ストリームのオブジェクト群がもつデプスマップストリームを超えるために、OverlayBitmapの表示情報が表示隠し処理によって見えなくなる時間が、視聴者にとって感覚的に許容できるかどうかを映像再生時間割合で設定した時間である。

ここで、図８の表示制御部１７４は、平均値超過再生時間が第２の閾値時間を超えたか否かを判定する（ステップＳ２０８）。第２の閾値時間は、任意に設定することができる。押さえ込み表示制御モードのときと同様、ＥＰ（ＧＯＰ）ごとのデプスマップの平均値がOverlayBitmapのデプスマップ値を超えたのが第２の閾値時間より短い、有意に僅かな時間であった場合ならOverlayBitmapを立体視映像ストリーム内のオブジェクトに埋め込むように表示させても、OverlayBitmapの付加情報を視認できない時間は視聴者の視聴の障害にならず、付加情報を十分に伝えることができる。したがって、表示制御部１７４は、平均値超過再生時間が第２の閾値時間を超えていないと判定した場合には、映像ストリームおよびOverlayBitmapの奥行き方向の位置を変更せず、そのまま撮影時に記録された状態で立体視映像ストリームを再生する（ステップＳ２２０）。

一方、有意に長い時間であった場合にOverlayBitmapを立体視映像ストリーム内のオブジェクトに埋め込むように表示させると、OverlayBitmapの付加情報を視認できない視聴者の視聴の障害になる時間期間が増加し、付加情報を十分に伝えることができなくなる。したがって、図８の表示制御部１７４は、平均値超過再生時間が第２の閾値時間を超えていると判定した場合には、OverlayBitmap表示モードの一つの埋め込みモードを選択しているのに、そのOverlayBitmap表示内容を視聴するのが妨げられるので、このままOverlayBitmap表示制御を埋め込みモードで再生開始してよいか、ユーザに確認をさせるのが望ましい。以下はその手順フローを説明する。

平均値超過再生時間が第２の閾値時間を超えたと判定した場合には、再生装置は、表示装置に対してユーザに対するアラートメッセージを表示する指示を出力する。アラートメッセージは、埋め込み表示制御を実行するか否かをユーザに選択させるためのメッセージとすることができる。このとき、再生装置はアラートメッセージに対するユーザ操作の入力待ち状態となる（ステップＳ２１０）。表示装置は、再生装置からの指示にしたがってアラートメッセージを表示する。ユーザは、表示装置に表示されたアラートメッセージに対して、埋め込み表示制御を実行するか否かを選択して、選択した結果を入力装置（図示せず。）を用いて入力する。

ユーザが入力装置から入力した選択結果は、入力情報として再生装置に入力される。入力情報を受信した再生装置は、ユーザ操作の入力待ち状態を解除し、入力情報に基づいて埋め込み表示制御を実行するか否かを判定する（ステップＳ２１６）。ユーザにより押さえ込み表示制御の実行が選択されなかった場合には、再生装置は、映像ストリームおよびOverlayBitmapの奥行き方向の位置を変更せず、撮影時に記録された状態で立体視映像ストリームを再生する（ステップＳ２２０）。一方、ユーザにより埋め込み表示制御の実行が選択された場合には、表示制御部１７４は立体視映像ストリームのオブジェクトに対する、OverlayBitmapの埋め込み表示制御を実行する（ステップＳ２１８）。

OverlayBitmapの埋め込み表示制御が実行されると、表示制御部１７４は、ＯＢデコード部１７２のグラフィックコントローラ（GraphicController）にOverlayBitmapの画像処理を行わせる。グラフィックコントローラ（GraphicController）は、OverlayBitmapと映像ストリームのオブジェクトとの重複部分に対して陰像処理し、映像ストリームのオブジェクトと重複するOverlayBitmapを隠す。これにより、OverlayBitmapを、図３に示すようにＯＢ表示領域２５２内の映像ストリームのオブジェクトに埋め込まれたように表示させることができる。

以上、埋め込み表示制御モードについて説明した。なお、ステップＳ２１２でのアラートメッセージは、例えば、押さえ込み表示制御モードと埋め込み表示制御モードとのうちいずれのモードで表示制御するか否かをユーザに選択させるためのメッセージとすることもできる。この場合、ユーザは、表示装置に表示されたアラートメッセージに対して、実行する表示制御モードを選択して、選択した結果を入力装置（図示せず。）を用いて入力する。

入力情報を受信した再生装置は、ユーザ操作の入力待ち状態を解除し、入力情報に基づいて実行する表示制御モードを判定する（ステップＳ２１６）。ユーザにより埋め込み表示制御の実行が選択された場合には、上記と同様、表示制御部は、OverlayBitmapの埋め込み表示制御を実行する（ステップＳ２１８）。一方、ユーザにより押さえ込み表示制御モードが選択された場合には、表示制御部は、上述した映像ストリームの押さえ込み表示制御を実行する。

また、上記で説明した、押さえ込み表示制御モードおよび埋め込み表示制御モードにおいては、アラートメッセージを表示させて、ユーザに対して表示制御処理を実行させるか否かを選択させることにより、ユーザの視聴しやすい形態を選択できるようにした。しかし、必ずしもアラートメッセージを表示させなくともよい。この場合、押さえ込み表示制御モードではピーク値超過再生時間が第１の閾値時間を超えた場合（Ｓ１０８）、埋め込み表示制御モードでは平均値超過再生時間が第２の閾値時間を超えた場合（Ｓ２０８）には、表示制御処理が実行される。

以上、本実施形態にかかる表示制御部１７４による表示制御処理について説明した。本実施形態にかかる再生装置によれば、映像ストリームの内容を考慮して、選択された表示制御モードに応じて、OverlayBitmapや映像ストリームの表示を処理し、ユーザの視聴しやすい立体視映像ストリームを提供することができる。

［立体視映像ストリームのＡＶＣＨＤストリーム管理ファイルへの記録］
最後に、本実施形態における立体視映像ストリームのＡＶＣＨＤストリーム管理ファイルへの記録方式について説明する。撮影時における記録やオーサリングにより、立体視映像ストリームはＡＶＣＨＤフォーマットのストリーム管理ファイルに記録される。

ストリーム管理ファイルは、Indexファイル、MovieObjectファイル、MoviePlayListファイル、ClipInfoファイルの４つのファイルからなる。Indexファイルは、動画チャプタ記録を管理するファイルである。本実施形態では、Indexファイルは、立体視映像ストリームであることを識別するための立体属性フラグを管理している。MovieObjectファイルは、アプリケーション記録フォーマットで決められたファイルであって、動画チャプタ記録を管理するファイルである。MoviePlayListファイルは、動画チャプタへのコンテンツごとのアクセスを記録単位、ＩＮ点ＯＵＴ点論理時刻指定で管理するファイルである。ClipInfoファイルは、クリップ情報ファイルで、立体視動画チャプタ内部ストリームへのアクセスを管理するファイルである。

このようなストリーム管理ファイルには、立体視映像ストリームに関するシステムデータが記録される。図１２に、１つのストリームが記録される場合のストリーム管理ファイルへの記録方式を示す。すなわち、ストリーム管理ファイルに記録されている立体属性フラグの第１の立体属性情報はＴＲＵＥであり、第２の立体属性情報がＦＡＬＳＥであるときの記録方式である。図１２に示すように、MoviePlayListファイルには、ＰＡＴ（Program Association
Table）およびＰＭＴ（Program Map Table）が記録される。ＰＭＴは、MoviePlayListファイルのデプスマップデータの拡張定義フィールドに記録される。本例では、記録されるストリーム数が１つであるからＰＡＴは１となる。また、ＰＭＴは、MoviePlayListファイルに記録される各ストリームを特定する固有値となる。

また、ClipInfoファイルには、MoviePlayListファイルにも記録されたＰＡＴおよびＰＭＴに加えて、立体視映像ストリームのビデオデータ、オーディオデータ、OverlayBitmapデータ、メニューデータ、およびデプスマップデータが記録される。ビデオデータには、ＰＣＲ（Program Clock Reference）、Ｉ−Ｐｉｃｔｕｒｅ、ＭＤＰ（ModifiedDVPack）、Ｐ−Ｐｉｃｔｕｒｅ、Ｂ−Ｐｉｃｔｕｒｅ等の情報が含まれる。オーディオデータには、ＡＣ−３、ＬＰＣＭ等の情報が含まれる。これらの情報は、ClipInfoファイルの拡張定義フィールドのＥＰ＿ｍａｐに登録される。

また、多数視点形式における立体視映像ストリームに対応する場合のストリーム管理ファイルへの記録方式を図１３に示す。図１３に示すストリーム管理ファイルには、２つのストリームが記憶されている。すなわち、ストリーム管理ファイルに記録されている立体属性フラグの第１の立体属性情報および第２の立体属性情報がともにＴＲＵＥであるときの記録方式である。

この場合も、MoviePlayListファイルに、ＰＡＴおよびＰＭＴが記録され、ClipInfoファイルに、ＰＡＴ、ＰＭＴ、立体視映像ストリームのビデオデータ、オーディオデータ、OverlayBitmapデータ、メニューデータ、およびデプスマップデータが記録される。本例では、記録されるストリーム数が２つであるからＰＡＴは２となる。立体視映像ストリームのビデオデータ、オーディオデータ、OverlayBitmapデータ、メニューデータ、およびデプスマップデータは、メインストリームおよびサブストリームのそれぞれについて記録される。

以上、本発明の第１の実施形態にかかる撮像記録装置１００および、記録された立体視映像ストリームを再生する再生装置の構成とこれによる表示制御方法について説明した。本実施形態によれば、撮像記録装置１００による撮影時に立体視方式で記録されたＴＳストリームを、本実施形態にかかる再生装置によりオーサリング出力するとき、映像ストリームのオブジェクトのデプスマップデータとOverlayBitmapのデプスマップ値に基づいて、映像ストリームおよびOverlayBitmapの表示を制御する。このように、映像ストリームの内容を考慮しながら映像ストリームおよびOverlayBitmapの表示を制御する。

本実施形態では、表示制御モードとして、OverlayBitmapの非表示モード、押さえ込み表示制御モード、埋め込み表示制御モードの３つのモードによって、ユーザにとって視聴しやすい表示となるように、表示制御する。これにより、OverlayBitmapが映像ストリームのオブジェクトに隠れてしまったり、OverlayBitmapが視認できたり隠れたりして表示状態が頻繁に切り替わったりするのを防止することができる。

また、本実施形態の記録再生装置１００は、デプスマップの適度な距離位置を設定してOverlayBitmapを立体視表示できるように、ＡＶＣＨＤフォーマットを拡張定義して立体視映像ストリームを構成し、メディアに記録する。これにより、ＡＶＣＨＤフォーマットで記録した立体視映像ストリームを、違和感なく表示させることができる。

＜２．第２の実施形態＞
次に、図１４に基づいて、第１の実施形態の拡張である、本発明の第２の実施形態にかかる立体視映像ストリームおよびOverlayBitmapのＭＰ４立体視ストリームへの変換処理について説明する。なお、図１４は、本実施形態にかかる立体視映像ストリームおよびOverlayBitmapのＭＰ４立体視ストリームへの変換処理を示す説明図である。図１４では、Ｐ４カムコーダのデプスマップ対応型ＭＰＥＧ−Ｃ ｐａｒｔ３映像をデプスマップ式のＡＶＣＨＤ立体視映像ストリームに変換する場合を示している。

［ＡＶＣＨＤフォーマットにより記録された立体視映像ストリームとＭＰ４ストリームとの変換］
近年では、ＭＰ４からＤＶＤやＡＶＣＨＤ、Ｂｌｕ−Ｒａｙ（登録商標）など光ディスク用映像アプリケーションフォーマットへのフォーマット変換に関する技術開発がなされている。ＭＰ４は、ＭＰＥＧ−４形式の圧縮動画データを格納するファイル形式の１つであって、ＩＳＯ／ＩＥＣ１４４９６規格で規定されている。しかし、今後、ＭＰ４カムコーダの映像をＡＶＣＨＤフォーマットで記録された映像ストリームに変換して記録媒体に保存したり、高画質なＡＶＣＨＤカムコーダのデプスマップ対応映像ストリームをＭＰ４ストリームに変換して保存したりすることが想定される。

そこで、本実施形態の説明では、ＭＰ４カムコーダのデプスマップ対応型ＭＰＥＧ−Ｃ ｐａｒｔ３映像をデプスマップ式のＡＶＣＨＤ立体視映像ストリームに変換してディスク等の記録媒体に記録したり、あるいは逆に高画質なＡＶＣＨＤカムコーダのデプスマップ対応立体視映像ストリームをＭＰ４カムコーダのＭＰＥＧ−Ｃｐａｒｔ３型のＭＰ４ストリームに変換して記録したりする変換処理について説明する。

１フレームの左右分割で画面左側にカラー映像、画面右側にデプスマップを表す白黒映像を画像処理で配置したＭＰ４映像ストリームを撮影するＭＰ４カムコーダを定義する。このとき、ＭＰ４からＡＶＣＨＤ方向への変換、あるいはＡＶＣＨＤからＭＰ４方向への変換は、それぞれのカム専用クレイドル内部のコンバータで行われる。入力された左右分割の映像ストリームは、３０フレーム／秒ごとに、カラー映像とデプスマップ映像に分離され、それぞれの映像について画面が水平伸長される。ここで、水平解像度不足を動きベクトルなどから補完する超解像技術をさらに適用してもよい。画面が水平伸長されると、対応する水平解像度ビット数に拡張され、それぞれ映像バッファ、デプスマップバッファに蓄積される。

映像バッファ、デプスマップバッファに蓄積に蓄積されたカラー映像およびデプスマップ映像をエンコードする際には、大別して２種類のファイルを保持するＭＰ４ストリームに対して、ＭＰ４アプリケーションフォーマットで規定されているＰＰＳやＳＰＳという映像管理信号をＡＶＣＨＤのストリームに埋め込み、ＰＩＤを打ち、エンコードする。ここで、スマートレンダリングと呼ばれる再ＭＵＸ（Ｄｅｍｕｘ／Ｍｕｘ）を実施することにより、再エンコード処理による画質劣化を防ぐことができる。また、デプスマップデータストリームがエンコード後に記録される際に、撮影時刻データがＭＰ４の管理情報から取得してＡＶＣＨＤストリームに埋め込まれる。

また、高画質なＡＶＣＨＤ方式で撮影したデプスマップ方式の立体視映像ストリームをＭＰ４映像ストリームに変換して記録するため、ＰＩＤでビデオデータ、オーディオデータ、およびデプスマップデータを抽出してデコードし、ＥＳレベルでＭＰ４にエンコードする。ＭＰ４では立体視ビデオにデプスマップを別データとして保持するフォーマット形式が決定されていないため、ＭＰＥＧ−Ｃ ｐａｒｔ３に指示される映像／ＤｅｐｔｈＭａｐに画面分割で出力されたものを１画面エンコードする。もちろん、本形式のように、ＭＰ４でも立体視映像ストリームがデプスマップデータを別メディアデータとして保持する形式が定義され、かつ、ＭＰ４およびＡＶＣＨＤ双方でのＨ．２６４／ＡＶＣ映像ストリーム圧縮方式に整合がとれれば、再エンコードが不要なスマートレンダリングでの再ＭＵＸダビングが可能になる。

ここで、ＭＰ４およびＡＶＣＨＤ双方でのＨ．２６４／ＡＶＣ映像ストリーム圧縮方式に整合がとれるという意味について解説する。ＭＰ４はネットワーク流通コンテンツ用途を主に発達してきた経緯から、通信環境の短い断続欠落発生にも圧縮映像ストリームの映像伸長デコード処理が破たんせず耐え得るように、映像ストリームが新たに開始できるＩピクチャフレーム（以下、これを「ＩＤＲ」と称する。）特性のＩピクチャを１、２秒に１個挿入して、ストリームデコードの破たんに耐え得るストリーム構成とされている。ＩＤＲとは、これに比較して、従来のＢｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標）に保存するためのＡＶＣＨＤおよびＢｌｕ−Ｒａｙ（登録商標）方式の映像アプリケーションフォーマットでのＨ．２６４／ＡＶＣ方式映像圧縮ストリームでは、同じデータ転送ビットレートでより高い画質、より効率よい圧縮を実現するために、このＩＤＲが１０秒に１回程度しか挿入されていなかった。

本実施形態の説明では、アプリケーションフォーマットとしてＭＰ４とＡＶＣＨＤ、Ｂｌｕ−Ｒａｙ（登録商標）を使う例を説明している。なお、ここで、再生デコード、再エンコードしてメディア記録する、実再生時間をかけて撮影立体映像をダビングするよりは、ユーザの便宜を図るために実再生時間よりも短縮したパケットデータダビング処理のみでのダビングが可能な、スマートレンダリングが望ましい。スマートレンダリングとは、映像の再生デコード、エンコード記録をせずに、ストリームの圧縮状態のまま、ＴＳストリームパケットのデマルチプレクス、マルチプレクスのみを行う方式である。Ｈ．２６４／ＡＶＣ映像圧縮方式でスマートレンダリングを実現するためには、次の要件がＭＰ４、ＡＶＣＨＤ双方のアプリケーションフォーマット方式側の再生システム装置側で追加対応され記録再生されることを前提とする。ＩＤＲ挿入区間のＭＰ４とＡＶＣＨＤ、Ｂｌｕ−Ｒａｙ（登録商標）双方のアプリケーションフォーマット方式でのＩＤＲを対応させておくこととする。

ここで、ＩＤＲを説明すると、ＭＰＥＧ映像圧縮の一つ、Ｈ.２６４／ＡＶＣのIフレームは、動画映像ストリームを構成する、画面上の一枚の画である。ＰピクチャやＢピクチャは、Ｉピクチャとの時間軸前後比較による差分映像成分である。Ｉピクチャは１画面空間内の圧縮映像である。あるピクチャを別ピクチャとの参照差分ピクチャで済ませることを時間軸圧縮といい、ＭＰＥＧで使用されている。Ｐピクチャは自身のピクチャの前の時刻のピクチャを参照し、Ｂフレームは自身のピクチャの前と後の時刻のピクチャを参照する参照関係をもつ。Ｉピクチャ以外は、参照関係の元になるピクチャが存在している。フレーム間の依存関係を「参照（reference）」と呼び、Ｉピクチャと、それを映像差分参照し依存するピクチャの１群をまとめてＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ぶ。

ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）フレームとは、ＭＰＥＧ圧縮の一つ、Ｈ．２６４／ＡＶＣ映像圧縮規格で新しく追加されたフレームであり、特にそのフレームから再生できるＩフレームとして機能し識別される。Ｈ．２６４／ＡＶＣ方式では、時間軸圧縮率向上のために、新たに複数参照、マルチプル・リファレンス（Ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ）が導入され使用されている。例えば、Ｐフレームは直前時刻のＩフレームを参照するだけではなく、それ以前の時刻のＩフレームも参照できる方式としている。この新定義方式によって、高い画質を保ったまま圧縮効率を向上することができるようになり、高画質ＨＤ動画圧縮に適する、とされ撮影、記録、映像コンテンツの圧縮ストリーム方式として広く使用されている。

しかし、このマルチプル・リファレンスの関係もはるか以前の時刻のフレームに参照関係をつくると、映像ストリームの途中が通信異常で壊れたときや編集カット作業で切断されたときに、それ以降デコードできなくなる影響を受ける期間が拡大し、参照関係のデータも膨大になる。このため、通信、メディア記録など使用用途に応じて、適切な所定の時間軸範囲でマルチリファレンスの参照関係を打ち切っておく必要がある。このマルチプル・リファレンス打ち切りフラグをもったＩピクチャをＩＤＲと呼び区別している。

また、ＭＰ４変換記録再生装置からＡＶＣＨＤ方式の記録再生装置への変換処理では、ＭＰ４の時刻情報を取得してOverlayBitmapを生成する。そして、OverlayBitmapにデプスマップ値を付与して、立体視画像の指定立体位置に固定配置する。

以上、本発明の第２の実施形態にかかる立体視映像ストリームおよびOverlayBitmapのＭＰ４立体視ストリームへの変換処理について説明した。このように、ＡＶＣＨＤフォーマットにより記録された立体視映像ストリームとＭＰ４ストリームとの変換を可能とすることも可能である。ＡＶＣＨＤフォーマットで記録された立体視映像ストリームが第１の実施形態で説明した記録方式であれば、表示制御部を備えた再生装置で再生する際に、立体視映像ストリームおよびOverlayBitmapの表示を上述の表示制御モードに応じて表示制御することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、撮像記録装置によって記録された映像を、表示制御部を備える再生装置によって立体視映像ストリームおよびOverlayBitmapの表示制御を行う公正としたが、本発明はかかる例に限定されない。例えば、図４および図６に示した記録再生装置の再生出力処理部に、本実施形態にかかる表示制御部を備えてもよい。この場合、例えば撮像記録装置であるカムコーダの表示部に表示される立体視映像ストリームおよびOverlayBitmapが、表示制御部により表示制御モードに応じて表示処理された状態で表示される。また、上記実施形態において表示制御部を備える装置は再生装置であったが、かかる例に限定されず、記録再生装置や、撮像記録再生装置等、立体視映像ストリームを再生可能な機能を有する装置に適用可能である。

１００ 撮像記録装置
１１０ カメラ制御部
１２０ マイク音声入力部
１３０ エンコード部
１４０ ＲＵＶ作成記録処理部
１４２ 記録部
１５０ デプスマップ処理部
１６０ ＲＵＶ再生処理部
１７０ デコード部
１７１ 主映像デコード部
１７２ ＯＢデコード部
１７３ デプスマップ映像デコード部
１７４ 表示制御部
２００ 表示装置
２１０、２２０、２３０ オブジェクト
２５０ 表示領域
２５２ ＯＢ表示領域

Claims (12)

1. 立体視映像データに含まれるオブジェクトの奥行き方向における位置を表す奥行き情報に基づいて、前記立体視映像データと重畳して表示する付加情報の付加情報表示領域内における前記立体視映像データの前記オブジェクトの表示位置が最前方となる奥行き方向の位置を示すピーク値を検出する奥行き情報検出部と、
   前記付加情報の奥行き情報と前記検出されたピーク値とにより得られる、前記立体視映像データと前記付加情報の表示位置との奥行き方向における位置関係に応じて、前記立体視映像データまたは前記付加情報のうち優先して表示させるデータの表示を妨げないように、前記立体視映像データおよび前記付加情報の表示を制御する制御部と、
   を備える、情報処理装置。
2. 前記制御部は、前記立体視映像データのオブジェクトが前記付加情報より前方に表示されるとき、前記付加情報表示領域内の前記立体視映像データのオブジェクトを前記付加情報より後方に表示する、請求項１に記載の情報処理装置。
3. 前記奥行き情報検出部は、前記立体視映像データの基本単位毎に、前記付加情報表示領域における前記オブジェクトの表示位置が最前方となる奥行き方向の位置を示す単位ピーク値を検出し、
   前記制御部は、前記付加情報の奥行き情報と前記検出された単位ピーク値とにより得られる、前記立体視映像データのオブジェクトが前記付加情報より前方に表示される超過時間が、第１の閾値時間を超えた場合に、前記付加情報表示領域内の前記立体視映像データのオブジェクトを前記付加情報より後方に表示する、請求項２に記載の情報処理装置。
4. 前記制御部は、前記超過時間が前記第１の閾値時間を超えた場合に、前記立体視映像データおよび前記付加情報の表示制御の実行可否をユーザに選択させるメッセージを通知する、請求項３に記載の情報処理装置。
5. 前記制御部は、前記付加情報の背景映像を、当該背景映像と重複する前記立体視映像データのオブジェクトが視認できるように透過率を上げて表示する、請求項２に記載の情報処理装置。
6. 前記制御部は、前記立体視映像データのオブジェクトが前記付加情報より前方に表示されるとき、前記立体視映像データのオブジェクトと重複する部分が当該オブジェクトに隠れるように前記付加情報を表示する、請求項１に記載の情報処理装置。
7. 前記奥行き情報検出部は、前記立体視映像データの基本単位毎に、前記付加情報表示領域における前記オブジェクトの表示位置の奥行き方向の位置の平均である単位平均値を検出し、
   前記制御部は、前記付加情報の奥行き情報と前記検出された単位平均値とにより得られる、前記立体視映像データのオブジェクトが前記付加情報より前方に表示される超過時間が、第２の閾値時間を超えた場合に、前記立体視映像データのオブジェクトと重複する部分が当該オブジェクトに隠れるように前記付加情報を表示する、請求項６に記載の情報処理装置。
8. 前記制御部は、前記超過時間が前記第２の閾値時間を超えた場合に、前記立体視映像データおよび前記付加情報の表示制御の実行可否をユーザに選択させるメッセージを通知する、請求項７に記載の情報処理装置。
9. 前記付加情報の奥行き方向における表示位置は固定である、請求項１〜８のいずれか１項に記載の情報処理装置。
10. 前記立体視映像データおよび前記付加情報は、ＡＶＣＨＤフォーマットで記録されている、請求項１〜９のいずれか１項に記載の情報処理装置。
11. 前記立体視映像データの基本単位ごとの奥行き情報は、当該基本単位ごとの前記立体視映像データとともに記録されている、請求項１０に記載の情報処理装置。
12. 立体視映像データに含まれるオブジェクトの奥行き方向における位置を表す奥行き情報に基づいて、前記立体視映像データと重畳して表示する付加情報の付加情報表示領域内における前記立体視映像データの前記オブジェクトの表示位置が最前方となる奥行き方向の位置を示すピーク値を検出するステップと、
    前記付加情報の奥行き情報と前記検出されたピーク値とにより得られる、前記立体視映像データと前記付加情報の表示位置との奥行き方向における位置関係に応じて、前記立体視映像データまたは前記付加情報のうち優先して表示させるデータの表示を妨げないように、前記立体視映像データおよび前記付加情報の表示を制御するステップと、
    を含む、情報処理方法。

Images