JP4272464B2

JP4272464B2 - Stereoscopic image correction apparatus and method

Info

Publication number: JP4272464B2
Application number: JP2003127207A
Authority: JP
Inventors: 誠人奥井; 淳洗井; 真樹小林; 文男岡野
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2003-05-02
Filing date: 2003-05-02
Publication date: 2009-06-03
Anticipated expiration: 2023-05-02
Also published as: JP2004336239A

Description

【０００１】
【発明の属する技術分野】
本発明は、レンズ群を利用した立体テレビジョン方式の立体映像システムにおいて、レンズ群により撮像された映像の各要素画像の位置を補正するための立体映像補正装置および方法に係り、特に、いわゆる、ＩＰ（Integral Photography）方式による立体映像において、より品質の高い再生像を提供することができる立体映像補正装置およびその方法に関するものである。
【０００２】
【従来の技術】
従来、立体撮像方式として、偏光眼鏡等によらない方式の開発や検討が行われている。偏光眼鏡等によらない３次元立体表示技術として、レンチキュラー板を用いた装置がすでに商品化されており、さらにレンチキュラー方式では不可能とされた、上下左右からでも認識可能な３次元立体画像を得ることのできるＩＰ方式の実用化が進められている。このＩＰ方式には、平面状に配列されたレンズ群あるいはピンホール群を用いた方式が知られている。
【０００３】
図１７および図１８を参照してレンズ群を用いた場合を例にして、ＩＰ方式の構成並びに立体表示の原理について説明する。
図１７は、従来のＩＰ方式における被写体の撮像方法を説明した図、図１８は、従来のＩＰ方式における立体像の観察方法を説明した図である。
図１７に示すように、レンズ群１０２は、被写体１０１の像を結像する作用を有する複数の凸レンズ（以下、各凸レンズを要素レンズという。）からなる。写真フィルム１０３は、撮像面として作用し、レンズ群１０２により結像された被写体１０１の複数の平面像（以下、個々の平面像を要素画像という。）が写真フィルム１０３上に撮像される。このレンズ群１０２は、通常、微小なレンズを縦横数百個以上同一平面状に並べて構成されるものであり、同図では、代表された一列分の要素レンズ１０２₁，１０２₂…１０２_nのみを図示している。
【０００４】
また、写真フィルム１０３とレンズ群１０２とは、平行に配置されており、両者の間隔は、レンズの焦点距離近傍となっている。なお、被写体１０１は、レンズ群１０２に対して写真フィルム１０３と反対位置にレンズの焦点距離より充分大きい距離を置いて設置されているものとする。被写体１０１からの出射光は、レンズの作用により、被写体１０１の倒立像を結像し、写真フィルム１０３上に各要素画像１０３₁，１０３₂…１０３_nとして撮像される。
各要素画像１０３₁，１０３₂…１０３_nは、各要素レンズ１０２₁，１０２₂…１０２_nの位置の違いによって、少しずつ異なる画像となっており、これによって、後記する被写体１０１の再生された立体画像における奥行きの情報が与えられることとなる。
【０００５】
このようにして撮像された各要素画像１０３₁，１０３₂…１０３_nを有する写真フィルム１０３は、写真現像後に、表示面として作用し、図１８に示すように、各要素画像１０４₁，１０４₂…１０４_nが、撮像時と同じ位置に配置されたレンズ群１０２を通じて、観察者１０５の目に立体再生像１０６として映るようになる。このことを図１７を用いて説明すれば、各要素画像１０３₁，１０３₂…１０３_nから発した光は、対応する要素レンズ１０２₁，１０２₂…１０２_nの作用により、図１７に示される光路の逆方向に進み、レンズ群１０２の正面で立体再生像１０６を形成する（特許文献１）。
【０００６】
なお、実際には、図１８の状態で観察者１０５が立体再生像１０６を見たときには、奥行きが反転して見える虚立体像となる。このため、奥行きの正しい立体像は、各要素画像１０４₁，１０４₂…１０４_nの中心を線対称の中心として、別途手段による点対称の位置変換処理等を行なうことにより得られるようになる（例えば、特開平１０−１５０６７５号公報）。
【０００７】
また、図１７において、写真フィルム１０３の代わりとして、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）などの光電変換を行うことのできる撮像素子を配置して、奥行きの正しい立体像を得るようにしても良い。
このようなＩＰ方式を用いたものにおいて、十分な立体感を得るためには、前記レンズ群１０２および写真フィルム１０３のサイズを大きくする必要がある。しかし、そうすると、各要素画像が形成される位置に配置される撮像素子を、一つの撮像素子で実現することは難しくなる。
【０００８】
そこで、撮像素子を用いる代わりに、レンズ群による各要素画像をテレビジョンカメラ等により直接撮像する手法が考えられる。
図１９は、このテレビジョンカメラを用いた方法を説明するための図であり、前記フィルム１０３の位置に、拡散特性を有する半透明の拡散スクリーン１１０が配置されている。
【０００９】
被写体１０１の各要素画像は、拡散スクリーン１１０上に結像され、それらは、拡散スクリーン１１０の後方に配置されたカメラ１１１のレンズ１１２を通じて撮像され、カメラ１１１の撮像板１１３上に結像される。これにより、要素画像群としての画像信号（テレビジョン信号）が得られる。
このテレビジョン信号は、図示しない表示装置に入力され、観察者は、その表示装置の表示面の全面に設置されたレンズ群（要素レンズ１０２₁，１０２₂…１０２_nと同様のもの。）を通じて、その表示装置を見ることにより、立体映像を見ることができる。
なお、前記拡散スクリーン１１０の特性による劣化を避けるために、同等の口径を有する図示しない凸レンズをレンズ群１０２とカメラ１１１との間に配置して、各要素画像を効果的に取得する方法などが、電子情報通信学会技術報告Ｖｏｌ．９５Ｎｏ．５８１ＩＥ９５−１４６に記載されている。
【００１０】
【特許文献１】
特開平８−２８９３２９号公報（段落番号［００１２］，図１）
【００１１】
【発明が解決しようとする課題】
前記ＩＰ方式により生成された立体映像において、充分な視域と解像度を確保するためには各要素画像の解像度を十分に確保することが必要になる。そのためには、要素画像数を充分な数量とするとともに、レンズを微小化することが必要になる。すなわち、立体映像の品質を向上させるためには、レンズをより微細に精度良く製作することが必要になってくる。
【００１２】
仮に、レンズ群の加工精度が充分でない場合には、レンズ群における配列精度、すなわち、各レンズ間のピッチにバラツキが生じてしまう。
従来の写真技術に基づくＩＰ方式においては、図１７，図１８に示すように、撮像された各要素画像は、そのまま現像され、撮像時のレンズ群１０２がそのまま用いられて表示が行われる。したがって、前記のようにレンズ群１０２の加工精度が充分ではなく、レンズの配列精度が低くても、前記レンズ群１０２は、撮像時と表示時が同位置で用いられ、撮像時と表示時とにおいて、レンズ群１０２の各レンズと各要素画像とが相互に対応したものとなっているので、レンズの配列精度の低さが生成される画像に影響を及ぼすようなことにはなりにくい。
【００１３】
これに対して、ＩＰ方式を、例えば、電子的な手段で実現する場合、一般的には、撮像におけるレンズ群と、表示におけるレンズ群は別のものを用いる。このため、撮像側と表示側とでは、製造時の製作精度、経年変化、温度や機械的な変形などによって、両者間のレンズ位置に差が生じやすく、各レンズの形成位置誤差により生じる再生像の歪みや解像度の低下を来たしやすかった。
図２０は、このような差が生じることによる不具合を説明するための図であり、同図（ａ）に示すように、撮像時に、図示しない被写体上の１点から発せられる光は、撮像レンズＳＬ１を通じて、撮像面Ｓ１上に形成される要素画像Ｇ１の一部Ｇ１ａとして記録される。
一方、表示時には、図２０（ｂ）に示すように、表示面Ｈ１上に形成される要素画像Ｇ１に対応する表示レンズＨＬ１の位置（実際のレンズ位置と表記）が、撮像レンズＳＬ１の位置（正しいレンズ位置と表記）と比べて前記理由等により変化することがあるため、要素画像Ｇ１の一部Ｇ１ａとして記録された部分は、撮像レンズＳＬ１を通る正しい光線の方向（イ）からずれて、表示レンズＨＬ１を通る実際の光線の方向（ロ）へ再現されることとなる。このため、立体再生像が歪んだり解像度が低下する等の不具合を生じる。
このような光線の誤差は、前記のように、レンズ群の加工精度を充分なものにするとともに整列させる手段の精度を向上させれば、解決されるものではあるが、実際には、コスト高となる点や、様々な撮像装置と表示装置との混在使用を考慮すると、現実的ではない。
【００１４】
本発明は、以上のような問題点に鑑み、撮像側と表示側とにおける各レンズの形成位置誤差により生じる再生像の歪みや解像度の低下を低減させることができ、品質の高い再生像の再生を可能とする立体映像補正装置および方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成するために本発明にかかる立体映像補正装置は、複数の撮像レンズによりなる撮像側レンズ群を用いて被写体の映像を撮像し、複数の表示レンズによりなる表示側レンズ群を通じて立体映像が生成されるようにした立体映像装置において、前記各撮像レンズの撮像側位置情報と、前記各表示レンズの表示側位置情報とに基づいて、前記映像の各要素画像の位置を補正する立体映像補正装置であって、撮像側位置情報取得手段と、表示側位置情報取得手段と、補正情報演算手段と、要素画像補正手段と、を具備した構成とした（請求項１）。
【００１６】
このように構成された立体映像補正装置によれば、撮像側位置情報取得手段により撮像側位置情報が取得されるとともに、表示側位置情報取得手段により表示側位置情報が取得される。補正情報演算手段は、これら取得された撮像側位置情報と表示側位置情報とを比較し、表示側レンズ群の各表示レンズの位置に、映像の各要素画像を適合させるための補正情報を表示側位置情報に基づいて演算する。
そして、要素画像補正手段は、撮像側レンズ群により撮像された映像を入力し、補正情報演算手段により算出された補正情報に基づいて、映像の各要素画像の位置を補正する。
すなわち、撮像側で撮像された映像の各要素画像は、要素画像補正手段による補正によって、表示側レンズ群の各レンズの位置に適合された状態に補正されることとなる。したがって、撮像側レンズ群と表示側レンズ群とにおける各撮像レンズと各表示レンズとの位置誤差によって生じる再現画像の相違を、表示側レンズ群に適合させるかたちで、少なくなるようにすることができ、映像の各要素画像は、光線再現誤差の少ない状態で表示されることとなる。これにより、再生像の歪みや解像度の低下を低減させることができ、高品質の再生像を再生することができるようになる。
【００１７】
また、本発明にかかる立体映像補正方法は、立体映像を構成する各要素画像の位置を、撮像側レンズ群および表示側レンズ群における各レンズの位置情報を用いてそれぞれ補正する立体映像補正方法であって、前記撮像側レンズ群の撮像側位置情報と、前記撮像側レンズ群の位置特定の基準となる撮像側基準位置情報とに基づいて、前記撮像側基準位置情報における各レンズの基準位置に、前記撮像側レンズ群により撮像された映像の各要素画像を適合させるための撮像側補正情報を演算し、この撮像側補正情報に基づいて前記撮像側レンズ群により撮像された前記各要素画像の位置補正を行うとともに、前記表示側レンズ群の表示側位置情報と、前記表示側レンズ群の位置特定の基準となる表示側基準位置情報とに基づいて、前記表示側基準位置情報における各レンズの基準位置に、前記撮像側補正情報により補正された映像の各要素画像を適合させるための表示側補正情報を演算し、この表示側補正情報に基づいて、前記撮像側補正情報により補正された映像の各要素画像の位置補正を行なうこととした（請求項２）。
【００１８】
この立体映像補正方法によれば、撮像側においては、撮像側レンズ群の撮像側位置情報と、撮像側レンズ群の位置特定の基準となる撮像側基準位置情報とに基づいて、撮像側基準位置情報における各レンズの基準位置に、撮像側レンズ群により撮像された映像の各要素画像を適合させるための撮像側補正情報が演算される。
また、表示側においては、撮像側で演算された撮像側補正情報に基づいて、撮像側レンズ群により撮像された各要素画像の位置補正を行うとともに、表示側レンズ群の表示側位置情報と、特定の基準となる表示側基準位置情報とに基づいて、表示側基準位置情報における各レンズの基準位置に、撮像側補正情報により補正された映像の各要素画像を適合させるための表示側補正情報が演算され、この表示側補正情報に基づいて、撮像側補正情報により補正された映像の各要素画像の位置補正が行われる。
すなわち、撮像側と表示側とのそれぞれにおいて、各要素画像は、算出された補正情報によって、特定の基準とされる撮像側基準位置情報と表示側基準位置情報とに適合されるように補正されることとなり、撮像側と表示側とに共通する標準化された状態に補正されることとなる。
【００１９】
さらに本発明にかかる立体映像補正方法は、複数のレンズによりなるレンズ群を用いて撮像された被写体の各要素画像の位置を補正するための立体映像補正方法であって、補正対象とする要素画像とその周辺の要素画像とで対応点探索を行い、この対応点探索により得られた対応点と前記補正対象とする要素画像に対応する撮像レンズの位置情報とにより、撮像時における該レンズと被写体との距離情報を演算し、この演算により算出された距離情報と、前記レンズ位置情報とに基づいて、前記要素画像上の部分ごとの位置補正量を演算するとともに、この位置補正量に基づいて前記要素画像の位置補正を行うこととした（請求項３）。
【００２０】
この立体映像補正方法によれば、補正対象とする要素画像およびその周辺の要素画像との対応点探索により、撮像時におけるレンズと被写体との距離情報の演算が、前記対応点探索により得られた対応点と要素画像に対応するレンズの位置情報とにより行われるので、撮像時における該レンズと被写体との距離がこの演算により算出されることとなる。そして、この演算により算出された距離情報と、前記レンズ位置情報とに基づいて、要素画像上の部分ごとの位置補正量が演算されるとともに、この位置補正量に基づいて、要素画像の位置補正が行われる。これにより、例えば、要素画像上の小部分ごとの位置補正量を求めることにより、要素画像のより細かい位置補正を行なうことができるようになり、より精度の高い位置補正を行なうことができる。
【００２１】
また、本発明にかかる立体映像補正装置は、複数の撮像レンズによりなる撮像側レンズ群を用いて被写体の映像を撮像し、複数のピンホールによりなる表示側ピンホール群を通じて立体映像が生成されるようにした立体映像システムにおいて、前記各撮像レンズの撮像側位置情報に基づいて、表示側で表示される前記映像の各要素画像の位置を補正する立体映像補正装置であって、撮像側位置情報取得手段と、位置制御情報を生成する位置制御情報生成手段と、位置制御情報を出力する出力手段と、を具備した構成とした（請求項４）。
【００２２】
このように構成された立体映像補正装置によれば、表示側ピンホール群の各ピンホールの形成位置を制御するための位置制御情報は、撮像側位置情報取得手段によって取得された撮像側位置情報に合致させて生成されるので、表示側ピンホール群の各ピンホールの形成位置は、撮像側レンズ群の各撮像レンズの形成位置と合致したものとなる。したがって、撮像側の各レンズ位置と表示側の各ピンホール位置とがほぼ同一となり、従来の、撮像側と表示側とで同じレンズ群を用いて映像を撮像し、再生をしたときのように、精度の高い立体画像が得られる。
【００２３】
【発明の実施の形態】
以下、添付図面を参照して、本発明の実施の形態を詳細に説明する。なお、説明において、同一要素には同一の符号を用い、重複する説明は省略する。
【００２４】
（第一の実施の形態）
図１は本発明の第一の実施の形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図であり、図２は立体映像補正装置の構成を示すブロック図、図３は要素画像の補正手順の説明図であり、（ａ）は撮像側位置情報に基づくレンズ位置を示した図、（ｂ）は撮像側位置情報に基づくレンズ位置と表示側位置情報に基づくレンズ位置とを示した図である。
【００２５】
図１に示すように、立体映像システム１は、被写体Ｐを撮像する撮像部１０と、被写体Ｐの映像を立体的に表示するための表示部２０と、前記撮像部１０で撮像された映像の各要素画像の形成位置を補正して表示部２０に送る立体映像補正装置３０を備えている。そして、撮像部１０は、被写体Ｐに向けて配置される撮像側レンズ群１１および被写体Ｐの像である各要素画像ＲＰを撮像する撮像手段１２を備えており、また、表示部２０は、前記要素画像ＲＰを表示する表示手段２１および表示側レンズ群２２とを備えている。さらに、撮像部１０は、撮像側レンズ群１１における各撮像レンズの位置情報となる撮像位置情報（位置情報ａ）を有しているとともに、表示部２０は、表示側レンズ群２２における各表示レンズの位置情報となる表示位置情報（位置情報ｂ）を有している。なお、このような立体映像システム１は、放送用テレビカメラや、一般ユーザが使用するビデオカメラ、デジタルカメラを用いることができる。
【００２６】
ここで、立体映像システム１の各構成要素について説明する。図１に示すように、撮像に用いられる撮像部１０の撮像側レンズ群１１の撮像レンズは、例えば、要素レンズ１１₁，１１₂…１１_nから構成されており、図１に示したように被写体Ｐからこれを見ると、正方格子状の配列となっている。また、レンズ配列として、ラインオフセット状の配列を有するものを用いてもよい。各要素レンズ１１は、公知の保持手段により保持されており、例えば、不図示のホルダに各要素レンズ１１を収めることなどにより形成される。また、各要素レンズ１１の隙間を埋める部材等により、要素レンズ１１を一体的に形成することも可能である。なお、本実施の形態において各要素レンズ１１は、両凸形状のレンズを用いているが、片凸形状のレンズ、凹形状を有するレンズ、非球面レンズ等を用いることもできる。また、要素レンズ１１の数や形状は、任意のものを選択することが可能であるが、本実施の形態では、高品質の立体映像が得られるように、微小の凸レンズからなるものを採用している。
【００２７】
なお、本実施の形態においては、図１に示した表示側レンズ群２２も同様の構成（要素レンズ２２₁，２２₂…２２_n）を有しているが、表示手段２１で用いられる表示画面の大きさに合わせて、その要素レンズ２２の大きさや、配列間隔が変更される。さらに、撮像側レンズ群１１や、表示側レンズ群２２を用いる代わりに、複数のピンホールからなるピンホール群を用いることもできる。
【００２８】
撮像部１０の撮像手段１２は、拡散スクリーンと、テレビジョンカメラとを備えており、拡散スクリーン上に結像された各要素画像を、カメラのレンズを通じて撮像し、カメラの撮像板上に結像された各要素画像を画像信号（例えば、テレビジョン信号）として出力するものである（図１９参照）。
【００２９】
図１に示した表示部２０の表示手段２１は、ＬＣＤやＥＬ素子、ＣＲＴ（Cathode Ray Tube）等の発光素子を備えたものを用いることができる。観察者１０５は、このようにして表示される複数の要素画像ＲＰを、表示側レンズ群２２を通して観察することで、所定の被写体Ｐを立体像として捉えることが可能になる。
【００３０】
立体映像補正装置３０は、図２に示すように、撮像側位置情報取得手段３１と、表示側位置情報取得手段３２と、補正情報演算手段３３と、要素画像補正手段３４とを備えている。
撮像側位置情報取得手段３１は、撮像部１０（図１参照）より撮像側レンズ群１１の位置情報ａを取得し、補正情報演算手段３３にその位置情報ａを出力する。表示側位置情報取得手段３２は、前記表示部２０（図１参照）の表示側レンズ群２２の位置情報ｂを取得し、補正情報演算手段３３にその位置情報ｂを出力する。
【００３１】
ここで、位置情報ａ，ｂは、各レンズの中心位置データからなるものであり、例えば、図３（ａ）に示すように、撮像側レンズ群１１を構成する面上の適当な基準点Ｄを定め、２次元座標（ｘ，ｙ）で与えることができる。これらの位置情報ａ，ｂは、工場等における製造検査時にデータとして得ることができる他、その後においてもレンズ配列を光学的手段などにより走査することによっても得ることができる。なお、位置情報ａ，ｂは、固定的なものであるので一度測定すれば充分であり、したがって、撮像部１０あるいは表示部２０に対して、後述するレンズ位置を比較する際の、固定化されたデータとして格納しておくことができる。
【００３２】
図２に示すように、補正情報演算手段３３は、撮像側位置情報取得手段３１により取得した位置情報ａと、表示側位置情報取得手段３２により取得した位置情報ｂとを比較し、表示側の位置情報ｂに基づいて、前記撮像手段１２（図１参照）より送られてきた映像の各要素画像ＲＰを、表示側レンズ群２２の各表示レンズの位置（位置情報ｂ）に適合させるための補正情報を演算するようになっている。ここで、この補正情報の演算を模式的に説明すると次のようになる。
図３（ｂ）に示すように、位置情報ａに基づく撮像側レンズ群１１の撮像レンズｎの位置は、前記のように（ｘ，ｙ）で求められる。ここで、撮像レンズｎに対応している表示側レンズ群２２の表示レンズｎの位置は、位置情報ｂにより（ｘ’，ｙ’）で与えられる。これらの撮像レンズｎと表示レンズｎとの間には、（ｘ’−ｘ，ｙ’−ｙ）で与えられるレンズ位置の誤差δが生じている。
【００３３】
このレンズ位置の誤差δにより生じる要素画像の位置ずれを図４を参照してさらに説明すると、次のようになる。
撮像時、撮像レンズｎを通じて撮像された要素画像ｎは、何も補正されない状態では、表示手段２１において、表示面Ｈ１上の所定の位置に表示されることとなるが、この要素画像ｎ上の一点Ｇからの光は、表示レンズｎを通じて表示されることとなるため、このままでは、表示レンズｎを通じる光線の方向（ロ）は、撮像時を基準とした本来あるべき正しい光線の方向（イ）と比べて、異なったものとなってしまう。
そこで、前記レンズ位置の誤差δ分（ｘ’−ｘ，ｙ’−ｙ）だけ、表示面Ｈ１上に表示される要素画像ｎを位置補正すると、要素画像ｎは、誤差δ分だけ移動されて、表示面Ｈ１上に要素画像δｎが形成される。この状態において、前記と同様に、要素画像δｎの一点Ｇから表示レンズｎを通じる光線の方向（ハ）を見てみると、光線の方向（ハ）は、前記光線の方向（ロ）に比べて光線の方向（イ）に近づいた状態となる。
したがって、要素画像δｎは、立体画像としてずれの少ない位置に補正されたことが分かる。
【００３４】
図２に示すように、要素画像補正手段３４は、撮像部１０（図１参照）の撮像手段１２より映像を入力し、補正情報演算手段３３により算出された補正情報に基づいて、映像の各要素画像の位置を補正するようになっている。
すなわち、映像の各要素画像すべてにおいて、前記補正情報に基づく位置補正が行われ、映像の各要素画像すべてが、表示側レンズ群２２の位置情報ｂに照らし合わされて補正される。
このように補正情報に基づいた処理が施されることにより、図４に示すように、再現される光線の方向（ハ）が本来の正しい光線の方向（イ）に近づいた状態となるように改善される。したがって、高品質の再生像を再生することができるようになる。
【００３５】
次に、図１から図３に基づいて、立体映像システム１における立体映像補正装置３０の動作について説明する。まず、図１，図２に示すように、立体映像補正装置３０の撮像側位置情報取得手段３１と表示側位置情報取得手段３２とにより、撮像側レンズ群１１の位置情報ａと表示側レンズ群２２の位置情報ｂとが取得され、これら位置情報ａ，ｂが補正情報演算手段３３に送られる。補正情報演算手段３３は、位置情報ａ，ｂを比較し、位置情報ｂに基づいて、撮像部１０から送られてきた映像の各要素画像の位置を、表示側レンズ群２２の各表示レンズの位置に適合させるための補正情報を演算する（図３（ｂ）参照）。このような補正情報の演算は、映像の各要素画像の全てに対して行われる。
【００３６】
要素画像補正手段３４（図２参照）は、表示部１０（図１参照）の撮像手段１２により撮像された映像を入力し、前記補正情報演算手段３３により算出された各補正情報に基づいて、前記映像の各要素画像の位置を補正する。
これにより、表示部２０の表示手段２１には、表示側レンズ群２２のレンズ位置に適合されて補正された映像が表示されることとなる。
【００３７】
以上説明したように、本実施形態の立体映像補正装置３０によれば、撮像部１０の撮像手段１２により撮像された映像の各要素画像が、表示側レンズ群２２の各レンズの位置情報ｂに適合されるように補正されることとなるので、違和感が少なく、高品質の再生像を再生することができるようになる。
【００３８】
なお、図５に示すように、立体映像システム１に、固設のハードディスクや、デジタルビデオディスクあるいは、ビデオテープ、または、データを電気的、磁気的に記憶する着脱可能なメモリ等、任意の記憶手段４０を採用することにより、この記憶手段４０を介して、撮像部１０から表示部２０へデータを受け渡すことができる。この場合、図５に示すように、立体映像補正装置３０は、表示部２０側に設けられて、表示部２０側において映像の各要素画像が補正されるように構成する。また、立体映像システム１の撮像部１０と表示部２０とが遠隔に配置されたシステムとされる場合には、入力端子や出力端子、伝送路などの通信手段を設けて、撮像部１０から表示部２０へ映像や位置情報ａが送られるように構成しても良い。
【００３９】
（第二の実施の形態）
次に、図６を参照して、本発明における第二の実施の形態に係る立体映像補正装置について説明する。図６は、立体映像補正装置が適用される立体映像システムを示したシステム構成図である。なお、図１ですでに説明した構成と同じ部材は同じ符号を付して説明を省略する。
本実施形態では、立体映像システム２を構成している撮像部１０と表示部２０とのそれぞれに撮像側立体映像補正装置３０ａ，表示側立体映像補正装置３０ｂが配置されて構成されている。さらに、撮像部１０は、撮像側レンズ群１１の位置特定の基準となる撮像側基準位置情報ａ’（基準位置情報ａ’）を記憶手段などに備えており、また、表示部２０は、表示側レンズ群２２の位置特定の基準となる表示側基準位置情報ｂ’（基準位置情報ｂ’）を記憶手段などに備えている。ここで、基準位置情報ａ’および基準位置情報ｂ’は、ともに、位置特定の基準となる情報として、設計値に対し誤差のない理想的なレンズ配列としたときの各レンズの位置情報（標準位置情報）を言う。さらに、撮像部１０は、送信手段１４を備えているとともに、表示部２０は、受信手段２４を備えており、伝送路ＤＲを介して送信手段１４から受信手段２４へデータが送られる。
【００４０】
撮像側立体映像補正装置３０ａは、図２に示した立体映像補正装置３０の構成要素を部分的に変更したものであり、図７に示すように、基準位置情報ａ’を取得するための撮像側基準位置情報取得手段３５を備えている。
撮像側立体映像補正装置３０ａにおける補正情報演算手段３３は、取得された基準位置情報ａ’と、撮像側位置情報取得手段３１により取得された位置情報ａとに基づいて、撮像側レンズ群１１（図６参照）により撮像された映像の各要素画像の位置を、基準位置情報ａ’における各レンズの基準位置に適合させるための補正情報を演算する。
要素画像補正手段３４は、撮像部１０（図６参照）の撮像手段１２より映像を入力し、補正情報演算手段３３により算出された補正情報に基づいて、映像の各要素画像の位置を補正するようになっている点は、第一の実施形態のものと同様ではあるが、映像の各要素画像が基準位置（標準位置）に適合されるように補正される点が異なる。
【００４１】
撮像側立体映像補正装置３０ａにより補正された映像は、図６に示すように、撮像部１０の送信手段１４により、伝送路ＤＲを介して表示部２０の受信手段２４に送られる。
【００４２】
表示側立体映像補正装置３０ｂは、撮像側立体映像補正装置３０ａと同様に、図２に示した立体映像補正装置３０の構成要素を部分的に変更したものであり、図８に示すように、基準位置情報ｂ’を取得するための表示側基準位置情報取得手段３６を備えている。
表示側立体映像補正装置３０ｂにおける補正情報演算手段３３は、取得された基準位置情報ｂ’と、表示側位置情報取得手段３１により取得された位置情報ｂとに基づいて、受信手段２４（図６参照）により受信された撮像部１０からの映像の各要素画像の位置を、基準位置情報ｂ’における各レンズの基準位置に適合させるための補正情報を演算するようになっている。
【００４３】
すなわち、このような立体映像システム２では、撮像部１０と表示部２０とのそれぞれにおいて、算出された補正情報に基づき、各要素画像が、基準位置情報ａ’，ｂ’に適合されるように補正されることとなり、これにより、撮像部１０側と表示部２０側とでそれぞれ標準化された状態に補正されることとなる。したがって、撮像部１０から表示部２０へ送られる映像データは、撮像側で補正されて標準化されたものとなる。これにより、表示部２０側においては、常に標準化された映像データが入力されるようになり、これに基づいて、その要素画像の位置の補正量は、小さいものとして想定すれば足りるようになる。したがって、再生像の歪みや解像度の低下を低減させることができ、高品質の立体映像を得ることができるようになる。
【００４４】
さらに、撮像部１０から表示部２０へは、標準化された映像データが送られることとなるので、撮像側レンズ群１１の位置情報ａを表示部２０側へ送る必要がなくなる。したがって、データ伝送の簡易化を図ることができる。
【００４５】
また、このようにデータ伝送の簡易化を図れるので、例えば、放送サービスのような多くの撮像装置（撮像部１０）と多くの受信装置（表示部２０）とが用いられるようなシステムにおける使用態様に好適である。
【００４６】
なお、撮像側レンズ群１１や表示側レンズ群２２を用いる代わりに、これらのいずれか一方あるいは両方を複数のピンホールからなるピンホール群としても良い。
【００４７】
（第三の実施の形態）
次に、図９を参照して、本発明における第三の実施の形態に係る立体映像補正装置について説明する。図９は、立体映像補正装置が適用される立体映像システムを示したシステム構成図である。
本実施の形態の立体映像システム３では、前記第一，第二の実施の形態における表示側レンズ群２２（図１，図６参照）の代わりに、複数のピンホールによりなるピンホール群２５が用いられており、このピンホール群２５を通じて立体映像が生成されるように構成されている。本実施形態では、ピンホール群２５として、図１０（ａ）（ｂ）に示すように、各ピンホール２５ａの位置が電子的に変更可能なマトリクス構造を有する液晶装置により構成されている。この液晶装置２５は、立体映像補正装置５０からの出力信号により作動する制御装置２６により駆動制御されるようになっている。
【００４８】
立体映像補正装置５０は、図１１に示すように、前記第一，第二の実施の形態で説明したものと同様の撮像側位置情報取得手段３１を含み、位置制御情報生成手段５１と、出力手段５２とを備えている。
位置制御情報生成手段５１は、取得された位置情報ａを入力し、この位置情報ａに合致させて、液晶装置２５の各ピンホール２５ａ（図１０参照）の形成位置を制御するための位置制御情報ｃを生成するようになっている。例えば、図には示さないが、撮像側レンズ群１１の位置情報ａとして、レンズ配列の垂直ｊ番目、水平ｉ番目におけるレンズ位置が、特定の基準点からの距離（ｘ，ｙ）で与えられるとすると、位置制御情報生成手段５１は、これに対する液晶装置２５の垂直ｊ番目、水平ｉ番目におけるピンホール２５ａの形成位置を（ｘ，ｙ）に制御するための位置制御情報ｃを生成するようになっている。このような位置制御情報ｃは、撮像側レンズ群１１の全てのレンズに対応されて生成される。
出力手段５２は、この位置制御情報生成手段５１により生成された位置制御情報ｃを制御装置２６（図９参照）に出力する。
【００４９】
制御装置２６は、出力手段５２からの位置制御情報ｃを入力し、位置制御情報ｃに基づいて液晶装置２５の各ピンホール２５ａ（図１０参照）の形成位置を駆動制御する。
液晶装置２５としては、例えば、通常のＴＦＴ（Ｔhin Ｆilm Ｔtransistor）液晶パネルが用いられるており、指定のピンホール２５ａの位置の1画素のみを白（透過）とし、その他を黒（遮光）とする制御により、所望の位置にピンホール２５ａが形成されるようになっている。なお、各ピンホール２５ａの位置精度は、液晶パネルの画素ピッチに依存する。
【００５０】
このような立体映像補正装置５０を用いた立体映像システム３によれば、表示部２０の液晶装置２５の各ピンホール２５ａを制御するための位置制御情報ｃは、取得された位置情報ａに合致させて生成されるので、各ピンホール２５ａの形成位置は、撮像側レンズ群１１の各撮像レンズの形成位置に合致したものとなる。すなわち、本実施形態では、各要素画像の位置が補正されるのではなく、各ピンホール２５ａの形成位置そのものが位置補正されるようになっている。
したがって、撮像側における各撮像レンズの形成位置と表示側における各ピンホール２５ａの形成位置とがほぼ同一となり、精度の高い立体画像が得られる。したがって、映像の各要素画像の位置誤差が生じにくくなり、レンズ位置の同一性に優れた高品質の再生像を再生することができるようになる。
【００５１】
なお、撮像側レンズ群１１を用いる代わりに、これを複数のピンホールからなるピンホール群で構成しても良い。また、撮像部１０から表示部２０へ図示しない伝送路や記録手段等を介して映像データや位置情報ａが送られるように構成しても良い。
【００５２】
（第四の実施の形態）
次に、図１２を参照して、本発明における第四の実施の形態に係る立体映像補正装置について説明する。図１２は、立体映像補正装置が適用される立体映像システムを示したシステム構成図、図１３は、立体映像補正装置（対応点探索）を示すブロック図である。
本実施形態の立体映像システム４では、前記第一の実施の形態で説明した立体映像システム１（図１参照）において、立体映像補正装置（対応点探索）６０を付加した構成としたものである。すなわち、図１２に示すように、立体映像補正装置３０により補正された映像に対して、さらに、立体映像補正装置６０による補正を加えるようにして、より精度の高い再生像を再生することができるようにしたものである。
【００５３】
図１３に示すように、立体映像補正装置６０は、前記第一の実施の形態で説明したものと同様の撮像側位置情報取得手段３１を含み、対応点探索手段６１と、距離情報演算手段６２と、位置補正量演算手段６３と位置補正手段６４とを備えている。
対応点探索手段６１は、立体映像補正装置３０（図１２参照）より補正された映像を入力し、補正対象とする要素画像とその周辺の要素画像とを、取得された位置情報ａに基づいて、撮像時における被写体と撮像レンズとの距離を求めるのに必要となる対応点探索を行う。
【００５４】
ここで、対応点探索手段６１により行われる対応点探索を、図１４を用いて模式的に説明する。同図において、符号ｂ０，ｂ１…で示される像は、撮像時のレンズ位置に対応して結像される要素画像である。また、符号δｎで示される要素画像は、要素画像ｂ０を誤差δ分（図３（ｂ）参照）だけ位置補正したものである。
図１４において、各要素画像に対応している各レンズは、その要素画像の誤差δが、レンズピッチの１／２を超えない程度に十分に調整されているものとする。
まず、要素画像δｎに隣接される要素画像ｂ０，ｂ１…のうち、要素画像δｎに最も近い要素画像と、２番目に近い要素画像を選択する。同図より明らかであるように、最も近いものは、要素画像ｂ０であり、２番目に近いものは要素画像ｂ５である。
【００５５】
次に、これらの要素画像ｂ０，ｂ５において、対応点探索を行い対応点を求める。ここで、対応点探索手法は、通常用いられるブロックマッチング法、すなわち、２つの画像において一方の画像の小ブロック領域を切り出し、他方の画像内の位置を変えながら対応の度合いを計算し対応点を求める手法が採られる。算出された対応点の情報は、距離情報演算手段６２（図１３参照）に出力される。
【００５６】
距離情報演算手段６２は、対応点探索手段６１により得られた対応点の情報と、補正対象とする要素画像ｂ０に対応するレンズの位置情報ａとにより、撮像時における該レンズと被写体との距離情報（被写体距離ｄ）を演算する。
ここで、距離情報演算手段６２により行われる距離情報の演算を、図１５を用いて模式的に説明する。図１５に示すように、前記要素画像ｂ０，ｂ５間で対応点Ｂ０，Ｂ５が与えられたとすると、これらの対応点Ｂ０，Ｂ５に対し、撮像時のレンズ位置Ｌ０，Ｌ５は、位置情報ａにより既知であるから、対応点Ｂ０，Ｂ５からレンズ位置Ｌ０，Ｌ５を通る２つの光線の交点として、被写体位置Ｉが特定される。
これにより、撮像時における被写体と撮像レンズとの距離情報（被写体距離ｄ）を求めることができる。算出された被写体距離ｄの情報は、位置補正量演算手段６３（図１３参照）に出力される。
【００５７】
位置補正量演算手段６３は、距離情報演算手段６２により算出された被写体距離ｄ（図１５参照）に基づいて、要素画像上の部分ごとの位置補正量を演算する。ここで、撮像レンズと表示レンズとの誤差δに基づく要素画像の位置補正量＝δ、表示部２０の表示手段２１における表示面Ｈ１から表示レンズまでの実際の距離＝ｇ（図１６参照）とすると、位置補正量演算手段６３により演算される位置補正量δ１は、次式（１）の演算を実行することにより行われる。
δ１＝δ・ｇ／ｄ式（１）
【００５８】
この位置補正量δ１を加えることによる要素画像の位置の補正について、図１６を参照して模式的に説明すると、次のようになる。
撮像レンズと表示レンズとの誤差δに基づく要素画像の位置の補正により、要素画像ｎ（補正前）は、誤差δ分に基づく位置補正量δだけ移動されて、表示面Ｈ１上に要素画像δｎとして形成される（図４参照：立体映像補正装置３０による補正）。
この状態において、要素画像δｎの一点Ｇから表示レンズｎを通じる光線の方向（ハ）を見てみると、光線の方向（ハ）は、前記光線の方向（ロ）に比べて光線の方向（イ）に近づいた状態となる（ここまでは、前記第一の実施の形態による補正）。
この状態からさらに、位置補正量δ１分だけ、表示面Ｈ１上に表示される要素画像ｎの位置を補正すると、表示面Ｈ１上に要素画像δｎ１として形成される。この状態で、要素画像δｎ１の一点Ｇから表示レンズｎを通じる光線の方向（ニ）を見てみると、光線の方向（ニ）は、撮像レンズｎから再生像距離ｄ（被写体距離ｄ）を隔てたポイントＤＩで、撮像時の正しい光線の方向（イ）に交差する。すなわち、撮像時の被写体の置かれている位置とほぼ同一位置（再生像上の点ＤＩ）において、再生像を再生することが可能となる。
したがって、要素画像δｎ１は、立体画像としてずれのほとんどない再生画像が得られる位置に補正されたことが分かる。
なお、対応点探索の精度を上げるために、2つの要素画像ではなく、3つ以上の要素画像を用いることができる。
【００５９】
また、図１４において、任意の要素画像の組において対応点を求めることができるが、要素画像δｎを生成するための小部分領域が含まれると予想される、ｂ０−ｂ２，ｂ０−ｂ４，ｂ０−ｂ５，ｂ０−ｂ７、または、ｂ２−ｂ７，ｂ４−ｂ５が要素画像の組として適している。なお、複数の組から得られる複数の対応点データを統合して、精度の良い推定値を得るための方法が、例えば、「対応点の確度分布を考慮した多眼画像からの奥行き推定」、情報学研報、Ｖo l. ２０００，Ｎo ．７，ＣＶＩＭ１２０−２，ｐｐ．９−１６（２０００）において、開示されている。
これによると、例えば、前記ｂ０−ｂ２，ｂ０−ｂ４，ｂ０−ｂ５，ｂ０−ｂ７の各組で得られた対応点から要素画像δｎを求め、これを図には示さないが任意の符号、Ａ１，Ａ２，Ａ３，Ａ４として、相関値を確度として参照し、要素画像δｎ内の各部分において前記Ａ１，Ａ２，Ａ３，Ａ４のうち最も確度の高い値を採用することにより、要素画像δｎの全体を構成するようにすることもできる。
【００６０】
本実施の形態の立体映像補正方法によれば、補正対象とする要素画像（例えば、符号ｂ０で示したもの）およびその周辺の要素画像（ｂ１，ｂ２…）による対応点探索で得られた対応点と要素画像（ｂ）に対応するレンズの位置情報ａとにより、撮像時における該レンズと被写体との距離（被写体距離ｄ）が算出され、この距離情報と、レンズの位置情報ａとに基づいて、要素画像（ｂ０）上の部分ごとの位置補正量が演算され、この位置補正量に基づいて、要素画像（ｂ０）の位置補正が行われるようになっているので、要素画像（ｂ０）のより細かい位置の補正を行なうことができるようになり、より精度の高い高品質の再生像を再生することができるようになる。
【００６１】
なお、撮像側レンズ群１１や表示側レンズ群２２を用いる代わりに、これらのいずれか一方あるいは両方を複数のピンホールからなるピンホール群としても良い。また、立体映像補正装置３０，６０は、表示部２０側に配置されるようにシステムを構成して、撮像部１０から表示部２０へ映像データや位置情報ａが図示しない伝送路や記録手段を介して送られるように構成しても良い。また、図１３において、対応点を求めるために入力される映像は、必ずしも補正された映像でなくても良く、補正前の映像を用いても良い。
【００６２】
【発明の効果】
以上説明したように、本発明に係る立体映像補正装置および方法では、以下に示す優れた効果を奏する。
請求項１に記載の発明によれば、撮像側と表示側とのレンズの位置誤差によって生じる再現画像の相違を、表示側レンズ群の各レンズ位置に各要素画像の位置を適合させることで少なくすることができ、歪みや解像度の低下を来し難い高品質の再生像を再生することができるようになる。
【００６３】
請求項２に記載の発明によれば、撮像側と表示側とのそれぞれにおいて、レンズの位置誤差によって生じる再現画像の相違を解消すべく、標準化された位置情報に適合されるように各要素画像の位置が補正されるので、撮像側の位置情報を表示側に送る必要がなく、歪みや解像度の低下を来し難い高品質の再生像を再生することができるようになる。
【００６４】
請求項３に記載の発明によれば、映像の要素画像上の小部分ごとの位置補正量を求めることにより、要素画像のより細かい位置の補正を行うことができ、より高品質の再生像を再生することができるようになる。
【００６５】
請求項４に記載の発明によれば、撮像側レンズ群のレンズ位置に合致するように、表示側ピンホール群の各ピンホールの形成位置そのものを補正することができるので、撮像側と表示側とでレンズ位置の誤差が生じ難くなり、同一性に優れた、より高品質の再生像を再生することができるようになる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図である。
【図２】立体映像補正装置の構成を示すブロック図である。
【図３】要素画像の補正手順の説明図であり、（ａ）は撮像側位置情報に基づくレンズ位置を示した図、（ｂ）は撮像側位置情報に基づくレンズ位置と表示側位置情報に基づくレンズ位置とを示した図である。
【図４】補正情報に基づいた処理を説明するための模式図である。
【図５】その他のシステム構成図である。
【図６】本発明の第二の実施の形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図である。
【図７】撮像側立体映像補正装置の構成を示すブロック図である。
【図８】表示側立体映像補正装置の構成を示すブロック図である。
【図９】本発明の第三の実施の形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図である。
【図１０】表示側ピンホール群としての液晶装置を示す図であり、（ａ）は、要部の斜視図、（ｂ）は、図１０（ａ）の部分拡大正面図である。
【図１１】立体映像補正装置の構成を示すブロック図である。
【図１２】本発明の第四の実施形態に係る立体映像補正装置が適用される立体映像システムのシステム構成図である。
【図１３】立体映像補正装置の構成を示すブロック図である。
【図１４】対応点探索を模式的に表した図。
【図１５】補正情報に基づいた処理を説明するための模式図である。
【図１６】補正情報に基づいた処理を説明するための模式図である。
【図１７】従来のＩＰ方式を説明する図である。
【図１８】従来のＩＰ方式による立体写真の再生法を説明する図である。
【図１９】従来のＩＰ方式において拡散スクリーンを使用した例を説明する図である。
【図２０】レンズ位置の誤差による不具合を説明するための図である。
【符号の説明】
１，２，３，４立体映像システム
１０撮像部
１１撮像側レンズ群
１２撮像手段
１４送信手段
２０表示部
２１表示手段
２２表示側レンズ群
２４受信手段
２５液晶装置（ピンホール群）
２５ａピンホール
３０立体映像補正装置
３０ａ撮像側立体映像補正装置
３０ｂ表示側立体映像補正装置
３１撮像側位置情報取得手段
３２表示側位置情報取得手段
３３補正情報演算手段
３４要素画像補正手段
３５撮像側基準位置情報取得手段
３６表示側基準位置情報取得手段
４０記憶手段
５０立体映像補正装置
５１位置制御情報生成手段
５２出力手段
６０立体映像補正装置（対応点探索）
６１対応点探索手段
６２距離情報演算手段
６３位置補正量演算手段
６４位置補正手段
ａ，ｂ位置情報
ａ’，ｂ’ 基準位置情報
ｃ位置制御情報
δ 誤差[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a stereoscopic video correction apparatus and method for correcting the position of each elemental image of video captured by a lens group in a stereoscopic television system stereoscopic video system using a lens group. The present invention relates to a stereoscopic video correction apparatus and method for providing a higher quality reproduced image in a stereoscopic video by the IP (Integral Photography) method.
[0002]
[Prior art]
Conventionally, as a stereoscopic imaging method, a method that does not depend on polarized glasses or the like has been developed and studied. A device using a lenticular plate has already been commercialized as a three-dimensional stereoscopic display technology that does not rely on polarized glasses, etc. Further, it is possible to obtain a three-dimensional stereoscopic image that can be recognized from the top, bottom, left, and right, which is impossible with the lenticular method. The IP system that can be used is being put into practical use. As this IP system, a system using lens groups or pinhole groups arranged in a plane is known.
[0003]
The configuration of the IP system and the principle of stereoscopic display will be described with reference to FIGS. 17 and 18 by taking the case of using a lens group as an example.
FIG. 17 is a diagram for explaining a subject imaging method in the conventional IP method, and FIG. 18 is a diagram for explaining a stereoscopic image observation method in the conventional IP method.
As shown in FIG. 17, the lens group 102 includes a plurality of convex lenses (hereinafter, each convex lens is referred to as an element lens) having an action of forming an image of the subject 101. The photographic film 103 acts as an imaging surface, and a plurality of planar images of the subject 101 formed by the lens group 102 (hereinafter, each planar image is referred to as an element image) is captured on the photographic film 103. This lens group 102 is normally configured by arranging several hundred or more minute lenses in the same plane in the vertical and horizontal directions. In FIG. ₁ , 102 ₂ ... 102 _n Only shown.
[0004]
The photographic film 103 and the lens group 102 are arranged in parallel, and the distance between them is in the vicinity of the focal length of the lens. It is assumed that the subject 101 is placed at a position sufficiently larger than the focal length of the lens at a position opposite to the photographic film 103 with respect to the lens group 102. The emitted light from the subject 101 forms an inverted image of the subject 101 by the action of the lens, and each element image 103 is formed on the photographic film 103. ₁ , 103 ₂ … 103 _n Is imaged.
Each element image 103 ₁ , 103 ₂ … 103 _n Each element lens 102 ₁ , 102 ₂ ... 102 _n Due to the difference in position, the images are slightly different, and this gives information on the depth in the reproduced stereoscopic image of the subject 101 to be described later.
[0005]
Each element image 103 imaged in this way ₁ , 103 ₂ … 103 _n The photographic film 103 having a function as a display surface after photographic development, and as shown in FIG. ₁ , 104 ₂ ... 104 _n However, the image is displayed as a three-dimensional reproduction image 106 to the eyes of the observer 105 through the lens group 102 arranged at the same position as when imaging. This will be described with reference to FIG. ₁ , 103 ₂ … 103 _n The light emitted from the corresponding element lens 102 ₁ , 102 ₂ ... 102 _n As a result, the three-dimensional reproduction image 106 is formed in front of the lens group 102 in the reverse direction of the optical path shown in FIG. 17 (Patent Document 1).
[0006]
In practice, when the observer 105 views the stereoscopic reproduction image 106 in the state shown in FIG. 18, the virtual stereoscopic image appears to have an inverted depth. For this reason, the stereoscopic image with the correct depth is displayed in each element image 104. ₁ , 104 ₂ ... 104 _n Is obtained by performing point-symmetrical position conversion processing or the like by a separate means with the center of the line as the center of line symmetry (for example, JP-A-10-150675).
[0007]
In FIG. 17, instead of the photographic film 103, an image sensor capable of performing photoelectric conversion such as a CCD (Charge Coupled Device) may be arranged to obtain a stereoscopic image with a correct depth.
In the case of using such an IP system, it is necessary to increase the size of the lens group 102 and the photographic film 103 in order to obtain a sufficient stereoscopic effect. However, if it does so, it will become difficult to implement | achieve the image pick-up element arrange | positioned in the position where each element image is formed with one image pick-up element.
[0008]
Therefore, instead of using an image sensor, a method of directly capturing each element image by a lens group with a television camera or the like can be considered.
FIG. 19 is a diagram for explaining a method using this television camera, and a translucent diffusion screen 110 having diffusion characteristics is disposed at the position of the film 103.
[0009]
Each element image of the subject 101 is imaged on the diffusion screen 110, and these are imaged through the lens 112 of the camera 111 disposed behind the diffusion screen 110 and imaged on the imaging plate 113 of the camera 111. . Thereby, an image signal (television signal) as an element image group is obtained.
This television signal is input to a display device (not shown), and an observer can select a lens group (element lens 102) installed on the entire display surface of the display device. ₁ , 102 ₂ ... 102 _n The same thing as. ), A stereoscopic image can be seen by viewing the display device.
In order to avoid deterioration due to the characteristics of the diffusing screen 110, there is a method in which a convex lens (not shown) having an equivalent aperture is disposed between the lens group 102 and the camera 111 to effectively acquire each element image. , IEICE Technical Report Vol. 95 No. 581 IE95-146.
[0010]
[Patent Document 1]
JP-A-8-289329 (paragraph number [0012], FIG. 1)
[0011]
[Problems to be solved by the invention]
In the stereoscopic video generated by the IP method, it is necessary to sufficiently secure the resolution of each element image in order to ensure a sufficient viewing area and resolution. For that purpose, it is necessary to make the number of element images sufficient and to make the lens minute. In other words, in order to improve the quality of a stereoscopic image, it is necessary to manufacture a lens more finely and accurately.
[0012]
If the processing accuracy of the lens group is insufficient, the arrangement accuracy in the lens group, that is, the pitch between the lenses varies.
In the IP system based on the conventional photographic technology, as shown in FIGS. 17 and 18, each captured element image is developed as it is, and the lens group 102 at the time of imaging is used as it is for display. Therefore, as described above, the processing accuracy of the lens group 102 is not sufficient, and even when the lens arrangement accuracy is low, the lens group 102 is used at the same position during imaging and during display. In FIG. 3, since each lens of the lens group 102 and each element image correspond to each other, it is unlikely that the low accuracy of lens arrangement will affect the generated image.
[0013]
On the other hand, when the IP method is realized by, for example, electronic means, generally, a lens group for imaging and a lens group for display are different. For this reason, on the imaging side and the display side, a difference in lens position between the two tends to occur due to manufacturing accuracy during manufacturing, aging, temperature, mechanical deformation, etc. It was easy to come out of distortion and resolution reduction.
FIG. 20 is a diagram for explaining a problem caused by such a difference. As shown in FIG. 20A, during imaging, light emitted from one point on a subject not shown is an imaging lens. Through SL1, it is recorded as a part G1a of the element image G1 formed on the imaging surface S1.
On the other hand, at the time of display, as shown in FIG. 20B, the position of the display lens HL1 corresponding to the element image G1 formed on the display surface H1 (denoted as the actual lens position) is the position of the imaging lens SL1 ( The portion recorded as a part G1a of the element image G1 is deviated from the direction of the correct ray passing through the imaging lens SL1 (A). It is reproduced in the direction (b) of the actual light beam that passes through the display lens HL1. For this reason, problems such as a three-dimensional reproduction image being distorted and a resolution being lowered occur.
Such an error of the light beam can be solved by improving the accuracy of the means for aligning the lens group with sufficient processing accuracy as described above. In view of this point and the mixed use of various imaging devices and display devices, it is not realistic.
[0014]
In view of the above-described problems, the present invention can reduce the distortion of a reproduced image and the decrease in resolution caused by the formation position error of each lens on the imaging side and the display side, thereby reproducing a high-quality reproduced image. It is an object of the present invention to provide a stereoscopic image correction apparatus and method that enable the above.
[0015]
[Means for Solving the Problems]
In order to achieve the above object, a stereoscopic image correction apparatus according to the present invention captures an image of a subject using an imaging side lens group including a plurality of imaging lenses, and transmits a stereoscopic image through a display side lens group including a plurality of display lenses. 3D image in which the position of each elemental image of the image is corrected based on the imaging side position information of each imaging lens and the display side position information of each display lens. The correction apparatus includes an imaging side position information acquisition unit, a display side position information acquisition unit, a correction information calculation unit, and an element image correction unit.
[0016]
According to the stereoscopic image correction apparatus configured as described above, the imaging side position information acquisition unit acquires the imaging side position information, and the display side position information acquisition unit acquires the display side position information. The correction information calculation means compares the acquired image-side position information and display-side position information, and displays correction information for adapting each elemental image of the video to the position of each display lens in the display-side lens group. Calculation is performed based on the side position information.
Then, the element image correction unit inputs the video imaged by the imaging side lens group, and corrects the position of each elemental image of the video based on the correction information calculated by the correction information calculation unit.
That is, each element image of the video imaged on the imaging side is corrected to a state adapted to the position of each lens of the display side lens group by the correction by the element image correcting unit. Therefore, the difference in the reproduced image caused by the position error between each imaging lens and each display lens in the imaging side lens group and the display side lens group can be reduced by adapting to the display side lens group. Each elemental image of the video is displayed with a small amount of light reproduction error. As a result, it is possible to reduce the distortion and resolution of the reproduced image, and to reproduce a high-quality reproduced image.
[0017]
The stereoscopic video correction method according to the present invention is a stereoscopic video correction method that corrects the position of each element image constituting a stereoscopic video by using position information of each lens in the imaging side lens group and the display side lens group. And based on the imaging-side position information of the imaging-side lens group and the imaging-side reference position information serving as a reference for specifying the position of the imaging-side lens group, the reference position of each lens in the imaging-side reference position information The imaging side correction information for adapting each elemental image of the video imaged by the imaging side lens group is calculated, and the elemental image captured by the imaging side lens group is calculated based on the imaging side correction information. In addition to performing position correction, based on the display side position information of the display side lens group and the display side reference position information serving as a reference for specifying the position of the display side lens group, the display side base Display side correction information for adapting each element image of the video corrected by the imaging side correction information to the reference position of each lens in the position information is calculated, and the imaging side correction is performed based on the display side correction information. The position of each elemental image of the video corrected by the information is corrected (claim 2).
[0018]
According to this stereoscopic image correction method, on the imaging side, the imaging side reference position is based on the imaging side position information of the imaging side lens group and the imaging side reference position information serving as a reference for specifying the position of the imaging side lens group. Imaging side correction information for adapting each elemental image of the video imaged by the imaging side lens group to the reference position of each lens in the information is calculated.
Further, on the display side, based on the imaging side correction information calculated on the imaging side, position correction of each element image captured by the imaging side lens group, and display side position information of the display side lens group, Display-side correction information for adapting each elemental image of the video corrected by the imaging-side correction information to the reference position of each lens in the display-side reference position information based on the display-side reference position information serving as a specific reference Is calculated, and based on this display side correction information, the position correction of each elemental image of the video corrected by the imaging side correction information is performed.
That is, on each of the imaging side and the display side, each element image is corrected by the calculated correction information so as to be adapted to the imaging-side reference position information and the display-side reference position information that are used as specific references. Therefore, the standardized state common to the imaging side and the display side is corrected.
[0019]
Furthermore, the stereoscopic image correction method according to the present invention is a stereoscopic image correction method for correcting the position of each elemental image of a subject imaged using a lens group composed of a plurality of lenses, and is an element image to be corrected. And corresponding peripheral element images, and the corresponding points obtained by the corresponding point search and the position information of the imaging lens corresponding to the element image to be corrected are used to detect the lens and subject at the time of imaging. And calculating the position correction amount for each part on the element image based on the distance information calculated by this calculation and the lens position information, and based on the position correction amount. The position of the element image is corrected (claim 3).
[0020]
According to this stereoscopic image correction method, by calculating corresponding points between the element image to be corrected and the surrounding element images, the calculation of distance information between the lens and the subject at the time of imaging is obtained by the corresponding point search. Since this is performed based on the corresponding point and the position information of the lens corresponding to the element image, the distance between the lens and the subject at the time of imaging is calculated by this calculation. Then, based on the distance information calculated by this calculation and the lens position information, a position correction amount for each part on the element image is calculated, and based on this position correction amount, the position correction of the element image is performed. Is done. Thereby, for example, by obtaining the position correction amount for each small part on the element image, it becomes possible to perform finer position correction of the element image, and it is possible to perform more accurate position correction.
[0021]
The stereoscopic image correction apparatus according to the present invention captures an image of a subject using an imaging side lens group including a plurality of imaging lenses, and generates a stereoscopic image through a display side pinhole group including a plurality of pinholes. In the stereoscopic video system configured as described above, a stereoscopic video correction apparatus that corrects the position of each elemental image of the video displayed on the display side based on the imaging side position information of each imaging lens, the imaging side position information An acquisition means, a position control information generation means for generating position control information, and an output means for outputting position control information are provided (claim 4).
[0022]
According to the stereoscopic image correction apparatus configured as described above, the position control information for controlling the formation position of each pinhole in the display-side pinhole group is the imaging-side position information acquired by the imaging-side position information acquisition unit. Therefore, the formation positions of the pinholes in the display-side pinhole group coincide with the formation positions of the imaging lenses in the imaging-side lens group. Therefore, each lens position on the imaging side and each pinhole position on the display side are almost the same, as in the conventional case where an image is captured and reproduced using the same lens group on the imaging side and the display side. A highly accurate stereoscopic image can be obtained.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In the description, the same reference numerals are used for the same elements, and duplicate descriptions are omitted.
[0024]
(First embodiment)
FIG. 1 is a system configuration diagram of a stereoscopic video system to which the stereoscopic video correction apparatus according to the first embodiment of the present invention is applied, FIG. 2 is a block diagram showing the configuration of the stereoscopic video correction apparatus, and FIG. It is explanatory drawing of the correction | amendment procedure of an image, (a) is the figure which showed the lens position based on imaging side position information, (b) is the lens position based on imaging side position information, and the lens position based on display side position information. FIG.
[0025]
As shown in FIG. 1, the stereoscopic video system 1 includes an imaging unit 10 that captures an image of a subject P, a display unit 20 that stereoscopically displays an image of the subject P, and an image captured by the imaging unit 10. A stereoscopic video correction device 30 that corrects the formation position of each element image and sends it to the display unit 20 is provided. The imaging unit 10 includes an imaging side lens group 11 arranged toward the subject P and an imaging unit 12 that captures each element image RP that is an image of the subject P. The display unit 20 includes the imaging unit 12. A display unit 21 for displaying the element image RP and a display side lens group 22 are provided. Further, the imaging unit 10 has imaging position information (position information a) that is position information of each imaging lens in the imaging side lens group 11, and the display unit 20 includes each display lens in the display side lens group 22. Display position information (position information b) as position information. Note that the stereoscopic video system 1 can use a broadcast television camera, a video camera used by a general user, or a digital camera.
[0026]
Here, each component of the stereoscopic video system 1 will be described. As shown in FIG. 1, the imaging lens of the imaging side lens group 11 of the imaging unit 10 used for imaging is, for example, an element lens 11. ₁ , 11 ₂ ... 11 _n When viewed from the subject P as shown in FIG. 1, the arrangement is a square lattice. Further, a lens array having a line offset array may be used. Each element lens 11 is held by a known holding means, and is formed, for example, by housing each element lens 11 in a holder (not shown). In addition, the element lens 11 can be integrally formed by a member that fills the gap between the element lenses 11. In the present embodiment, each element lens 11 uses a biconvex lens, but a single convex lens, a concave lens, an aspheric lens, or the like can also be used. The number and shape of the element lenses 11 can be selected arbitrarily, but in the present embodiment, those composed of minute convex lenses are adopted so that a high-quality stereoscopic image can be obtained. ing.
[0027]
In the present embodiment, the display side lens group 22 shown in FIG. ₁ , 22 ₂ ... 22 _n However, the size of the element lens 22 and the arrangement interval are changed in accordance with the size of the display screen used by the display means 21. Further, instead of using the imaging side lens group 11 and the display side lens group 22, a pinhole group including a plurality of pinholes can be used.
[0028]
The imaging means 12 of the imaging unit 10 includes a diffusion screen and a television camera. Each element image formed on the diffusion screen is imaged through the lens of the camera and imaged on the imaging plate of the camera. Each element image thus obtained is output as an image signal (for example, a television signal) (see FIG. 19).
[0029]
As the display means 21 of the display unit 20 shown in FIG. 1, one provided with a light emitting element such as an LCD, an EL element, or a CRT (Cathode Ray Tube) can be used. The observer 105 can recognize the predetermined subject P as a stereoscopic image by observing the plurality of element images RP displayed in this way through the display-side lens group 22.
[0030]
As shown in FIG. 2, the stereoscopic video correction device 30 includes an imaging side position information acquisition unit 31, a display side position information acquisition unit 32, a correction information calculation unit 33, and an element image correction unit 34.
The imaging side position information acquisition unit 31 acquires the position information a of the imaging side lens group 11 from the imaging unit 10 (see FIG. 1), and outputs the position information a to the correction information calculation unit 33. The display-side position information acquisition unit 32 acquires the position information b of the display-side lens group 22 of the display unit 20 (see FIG. 1), and outputs the position information b to the correction information calculation unit 33.
[0031]
Here, the position information a, b is composed of the center position data of each lens. For example, as shown in FIG. 3A, an appropriate reference point D on the surface constituting the imaging lens group 11 is used. And can be given by two-dimensional coordinates (x, y). These position information a and b can be obtained as data at the time of manufacturing inspection in a factory or the like, and can also be obtained by scanning the lens array by optical means or the like thereafter. Since the position information a and b are fixed, it is sufficient to measure them once. Therefore, the position information a and b is fixed when comparing the lens position described later with respect to the imaging unit 10 or the display unit 20. Can be stored as stored data.
[0032]
As shown in FIG. 2, the correction information calculation means 33 compares the position information a acquired by the imaging side position information acquisition means 31 with the position information b acquired by the display side position information acquisition means 32, and Based on the position information b, each element image RP of the image sent from the imaging means 12 (see FIG. 1) is adapted to the position (position information b) of each display lens of the display side lens group 22. Correction information is calculated. Here, the calculation of the correction information is schematically described as follows.
As shown in FIG. 3B, the position of the imaging lens n of the imaging side lens group 11 based on the position information a is obtained by (x, y) as described above. Here, the position of the display lens n of the display side lens group 22 corresponding to the imaging lens n is given by (x ′, y ′) by the position information b. An error δ of the lens position given by (x′−x, y′−y) is generated between the imaging lens n and the display lens n.
[0033]
The positional shift of the element image caused by the lens position error δ will be further described with reference to FIG.
At the time of imaging, the element image n captured through the imaging lens n is displayed at a predetermined position on the display surface H1 on the display unit 21 in a state where nothing is corrected. Since the light from one point G is displayed through the display lens n, the light beam direction (b) passing through the display lens n is the correct light beam direction (i) that should originally be based on the time of imaging. ) Will be different.
Therefore, when the position of the element image n displayed on the display surface H1 is corrected by the lens position error δ (x′−x, y′−y), the element image n is moved by the error δ. The element image δn is formed on the display surface H1. In this state, similarly to the above, when looking at the direction (c) of the light beam from the point G of the element image δn through the display lens n, the direction (c) of the light beam is compared with the direction (b) of the light beam. As a result, the light beam approaches (b).
Therefore, it can be seen that the element image δn has been corrected to a position with little deviation as a stereoscopic image.
[0034]
As shown in FIG. 2, the element image correction unit 34 inputs a video from the imaging unit 12 of the imaging unit 10 (see FIG. 1), and based on the correction information calculated by the correction information calculation unit 33, The position of the element image is corrected.
That is, the position correction based on the correction information is performed on all the elemental images of the video, and all the elemental images of the video are corrected against the position information b of the display side lens group 22.
By performing the processing based on the correction information in this way, as shown in FIG. 4, the direction (c) of the light beam to be reproduced becomes close to the original correct light direction (b). Improved. Therefore, a high quality reproduced image can be reproduced.
[0035]
Next, the operation of the stereoscopic video correction device 30 in the stereoscopic video system 1 will be described with reference to FIGS. First, as shown in FIGS. 1 and 2, the position information a of the image pickup side lens group 11 and the display side lens group are obtained by the image pickup side position information acquisition means 31 and the display side position information acquisition means 32 of the stereoscopic image correction apparatus 30. 22 position information b is acquired, and these position information a and b are sent to the correction information calculation means 33. The correction information calculation means 33 compares the position information a and b, and based on the position information b, the position of each elemental image of the video sent from the imaging unit 10 is determined for each display lens in the display side lens group 22. Correction information for adapting to the position is calculated (see FIG. 3B). Such calculation of the correction information is performed on all the elemental images of the video.
[0036]
The element image correction unit 34 (see FIG. 2) inputs the video imaged by the imaging unit 12 of the display unit 10 (see FIG. 1), and based on each correction information calculated by the correction information calculation unit 33, The position of each element image of the video is corrected.
As a result, the display unit 21 of the display unit 20 displays a video image that is adapted to the lens position of the display side lens group 22 and corrected.
[0037]
As described above, according to the stereoscopic image correction apparatus 30 of the present embodiment, each elemental image of the image captured by the imaging unit 12 of the imaging unit 10 is included in the position information b of each lens of the display-side lens group 22. Since the correction is made so as to be adapted, it is possible to reproduce a high-quality reproduced image with less discomfort.
[0038]
As shown in FIG. 5, the stereoscopic video system 1 has an arbitrary storage such as a fixed hard disk, a digital video disk, a video tape, or a removable memory that stores data electrically and magnetically. By adopting the means 40, data can be transferred from the imaging unit 10 to the display unit 20 via the storage means 40. In this case, as shown in FIG. 5, the stereoscopic video correction device 30 is provided on the display unit 20 side, and is configured to correct each elemental image of the video on the display unit 20 side. When the imaging unit 10 and the display unit 20 of the stereoscopic video system 1 are remotely arranged, communication means such as an input terminal, an output terminal, and a transmission path are provided to display from the imaging unit 10. It may be configured such that the video and position information a are sent to the unit 20.
[0039]
(Second embodiment)
Next, with reference to FIG. 6, a stereoscopic video correction apparatus according to the second embodiment of the present invention will be described. FIG. 6 is a system configuration diagram showing a stereoscopic video system to which the stereoscopic video correction apparatus is applied. In addition, the same member as the structure already demonstrated in FIG. 1 attaches the same code | symbol, and abbreviate | omits description.
In the present embodiment, an imaging side stereoscopic video correction device 30a and a display side stereoscopic video correction device 30b are arranged in each of the imaging unit 10 and the display unit 20 constituting the stereoscopic video system 2. Furthermore, the imaging unit 10 includes imaging-side reference position information a ′ (reference position information a ′) that serves as a reference for specifying the position of the imaging-side lens group 11 in a storage unit or the like. Display side reference position information b ′ (reference position information b ′) that serves as a reference for specifying the position of the side lens group 22 is provided in a storage unit or the like. Here, both the reference position information a ′ and the reference position information b ′ are the position information (standard) when the lens is an ideal lens array having no error with respect to the design value as information serving as a position specifying reference. Say location information). Furthermore, the imaging unit 10 includes a transmission unit 14, and the display unit 20 includes a reception unit 24. Data is transmitted from the transmission unit 14 to the reception unit 24 via the transmission path DR.
[0040]
The imaging-side stereoscopic video correction device 30a is obtained by partially changing the components of the stereoscopic video correction device 30 shown in FIG. 2, and as shown in FIG. 7, imaging for obtaining reference position information a ′. Side reference position information acquisition means 35 is provided.
The correction information calculation means 33 in the imaging side stereoscopic video correction device 30a is based on the acquired reference position information a ′ and the position information a acquired by the imaging side position information acquisition means 31, based on the imaging side lens group 11 ( Correction information for adapting the position of each elemental image of the video imaged in accordance with FIG. 6 to the reference position of each lens in the reference position information a ′ is calculated.
The element image correction unit 34 inputs a video from the imaging unit 12 of the imaging unit 10 (see FIG. 6), and corrects the position of each elemental image of the video based on the correction information calculated by the correction information calculation unit 33. This is the same as in the first embodiment except that each element image of the video is corrected so as to be adapted to the reference position (standard position).
[0041]
As shown in FIG. 6, the video corrected by the imaging side stereoscopic video correction device 30 a is sent to the receiving means 24 of the display unit 20 via the transmission path DR by the transmitting means 14 of the imaging unit 10.
[0042]
Similar to the imaging side stereoscopic video correction device 30a, the display side stereoscopic video correction device 30b is obtained by partially changing the components of the stereoscopic video correction device 30 shown in FIG. 2, and as shown in FIG. Display side reference position information acquisition means 36 for acquiring reference position information b ′ is provided.
The correction information calculation unit 33 in the display-side stereoscopic video correction device 30b receives the reception unit 24 (FIG. 6) based on the acquired reference position information b ′ and the position information b acquired by the display-side position information acquisition unit 31. Correction information for adapting the position of each elemental image of the image received from the image pickup unit 10 received at the reference position to the reference position of each lens in the reference position information b ′ is calculated.
[0043]
That is, in such a stereoscopic video system 2, in each of the imaging unit 10 and the display unit 20, each element image is adapted to the reference position information a ′ and b ′ based on the calculated correction information. As a result, the image is corrected to a standardized state on the imaging unit 10 side and the display unit 20 side. Therefore, the video data sent from the imaging unit 10 to the display unit 20 is corrected and standardized on the imaging side. As a result, standardized video data is always input on the display unit 20 side, and based on this, it is sufficient to assume that the correction amount of the position of the element image is small. Therefore, it is possible to reduce the distortion of the reproduced image and the resolution, and to obtain a high-quality stereoscopic image.
[0044]
Furthermore, since standardized video data is sent from the imaging unit 10 to the display unit 20, it is not necessary to send the positional information a of the imaging side lens group 11 to the display unit 20 side. Therefore, simplification of data transmission can be achieved.
[0045]
In addition, since data transmission can be simplified in this way, for example, usage in a system in which many imaging devices (imaging unit 10) and many receiving devices (display unit 20) such as a broadcast service are used. It is suitable for.
[0046]
Instead of using the imaging side lens group 11 and the display side lens group 22, any one or both of them may be a pinhole group including a plurality of pinholes.
[0047]
(Third embodiment)
Next, with reference to FIG. 9, a stereoscopic video correction apparatus according to a third embodiment of the present invention will be described. FIG. 9 is a system configuration diagram illustrating a stereoscopic video system to which the stereoscopic video correction apparatus is applied.
In the stereoscopic video system 3 of the present embodiment, a pinhole group 25 made up of a plurality of pinholes is used instead of the display side lens group 22 (see FIGS. 1 and 6) in the first and second embodiments. The three-dimensional video is generated through the pinhole group 25. In the present embodiment, as shown in FIGS. 10A and 10B, the pinhole group 25 includes a liquid crystal device having a matrix structure in which the position of each pinhole 25a can be changed electronically. The liquid crystal device 25 is driven and controlled by a control device 26 that operates according to an output signal from the stereoscopic video correction device 50.
[0048]
As shown in FIG. 11, the stereoscopic image correction apparatus 50 includes an imaging side position information acquisition unit 31 similar to that described in the first and second embodiments, and includes a position control information generation unit 51 and an output. Means 52.
The position control information generation means 51 inputs the acquired position information a, and matches the position information a to control the formation position of each pinhole 25a (see FIG. 10) of the liquid crystal device 25. Information c is generated. For example, although not shown in the drawing, as the position information a of the imaging-side lens group 11, the lens positions at the vertical j-th and horizontal i-th in the lens array are given by the distance (x, y) from a specific reference point. Then, the position control information generation means 51 generates position control information c for controlling the formation position of the pinhole 25a at the vertical j-th and horizontal i-th of the liquid crystal device 25 to (x, y). It has become. Such position control information c is generated corresponding to all the lenses in the imaging side lens group 11.
The output unit 52 outputs the position control information c generated by the position control information generation unit 51 to the control device 26 (see FIG. 9).
[0049]
The control device 26 receives the position control information c from the output means 52, and drives and controls the formation positions of the pinholes 25a (see FIG. 10) of the liquid crystal device 25 based on the position control information c.
As the liquid crystal device 25, for example, a normal TFT (Thin Film Ttransistor) liquid crystal panel is used. Only one pixel at the position of the designated pinhole 25a is white (transmission), and the other is black (light-shielding). By control, the pinhole 25a is formed at a desired position. The positional accuracy of each pinhole 25a depends on the pixel pitch of the liquid crystal panel.
[0050]
According to the stereoscopic video system 3 using such a stereoscopic video correction device 50, the position control information c for controlling each pinhole 25a of the liquid crystal device 25 of the display unit 20 matches the acquired positional information a. Therefore, the formation position of each pinhole 25a matches the formation position of each imaging lens of the imaging side lens group 11. That is, in the present embodiment, the position of each element image is not corrected, but the position of each pinhole 25a itself is corrected.
Accordingly, the formation position of each imaging lens on the imaging side and the formation position of each pinhole 25a on the display side are substantially the same, and a highly accurate stereoscopic image is obtained. Therefore, a position error of each element image of the video is less likely to occur, and a high-quality reproduced image having excellent lens position identity can be reproduced.
[0051]
Instead of using the imaging side lens group 11, it may be constituted by a pinhole group consisting of a plurality of pinholes. Further, the image data and the position information a may be sent from the imaging unit 10 to the display unit 20 via a transmission path, recording means, or the like (not shown).
[0052]
(Fourth embodiment)
Next, with reference to FIG. 12, a stereoscopic video correction apparatus according to the fourth embodiment of the present invention will be described. FIG. 12 is a system configuration diagram illustrating a stereoscopic video system to which the stereoscopic video correction apparatus is applied, and FIG. 13 is a block diagram illustrating the stereoscopic video correction apparatus (corresponding point search).
In the stereoscopic video system 4 of this embodiment, the stereoscopic video correction device (corresponding point search) 60 is added to the stereoscopic video system 1 (see FIG. 1) described in the first embodiment. . In other words, as shown in FIG. 12, the video corrected by the stereoscopic video correction device 30 can be further corrected by the stereoscopic video correction device 60 to reproduce a playback image with higher accuracy. It is what I did.
[0053]
As shown in FIG. 13, the stereoscopic video correction device 60 includes an imaging side position information acquisition unit 31 similar to that described in the first embodiment, and includes a corresponding point search unit 61 and a distance information calculation unit 62. And a position correction amount calculation means 63 and a position correction means 64 are provided.
Corresponding point search means 61 inputs the video corrected by the stereoscopic video correction device 30 (see FIG. 12), and based on the acquired position information a, the element image to be corrected and its surrounding element images. Then, the corresponding point search necessary for obtaining the distance between the subject and the imaging lens at the time of imaging is performed.
[0054]
Here, the corresponding point search performed by the corresponding point searching means 61 will be schematically described with reference to FIG. In the figure, images indicated by reference numerals b0, b1,... Are element images formed corresponding to the lens positions at the time of imaging. The element image indicated by the symbol δn is obtained by correcting the position of the element image b0 by an error δ (see FIG. 3B).
In FIG. 14, each lens corresponding to each element image is sufficiently adjusted so that the error δ of the element image does not exceed 1/2 of the lens pitch.
First, of the element images b0, b1,... Adjacent to the element image δn, the element image closest to the element image δn and the element image closest to the second are selected. As is clear from the figure, the closest image is the element image b0, and the second closest image is the element image b5.
[0055]
Next, in these element images b0 and b5, corresponding points are searched for corresponding points. Here, the corresponding point search method is a block matching method that is usually used, that is, a small block region of one image is cut out in two images, the degree of correspondence is calculated while changing the position in the other image, and the corresponding point is determined. The required method is taken. The calculated corresponding point information is output to the distance information calculation means 62 (see FIG. 13).
[0056]
The distance information calculation unit 62 uses the corresponding point information obtained by the corresponding point search unit 61 and the lens position information a corresponding to the element image b0 to be corrected, to determine the distance between the lens and the subject at the time of imaging. Information (subject distance d) is calculated.
Here, the calculation of the distance information performed by the distance information calculation means 62 will be schematically described with reference to FIG. As shown in FIG. 15, if the corresponding points B0 and B5 are given between the element images b0 and b5, the lens positions L0 and L5 at the time of imaging with respect to these corresponding points B0 and B5 are determined by the position information a. Since it is known, the subject position I is specified as the intersection of the two light rays passing through the lens positions L0 and L5 from the corresponding points B0 and B5.
Thereby, distance information (subject distance d) between the subject and the imaging lens at the time of imaging can be obtained. Information on the calculated subject distance d is output to the position correction amount calculation means 63 (see FIG. 13).
[0057]
The position correction amount calculation unit 63 calculates a position correction amount for each part on the element image based on the subject distance d (see FIG. 15) calculated by the distance information calculation unit 62. Here, the position image correction amount based on the error δ between the imaging lens and the display lens = δ, and the actual distance from the display surface H1 to the display lens in the display means 21 of the display unit 20 = g (see FIG. 16). Then, the position correction amount δ1 calculated by the position correction amount calculation means 63 is performed by executing the calculation of the following equation (1).
δ1 = δ · g / d Equation (1)
[0058]
The correction of the position of the element image by adding the position correction amount δ1 will be schematically described with reference to FIG.
By correcting the position of the element image based on the error δ between the imaging lens and the display lens, the element image n (before correction) is moved by the position correction amount δ based on the error δ, and the element image δn is displayed on the display surface H1. (Refer to FIG. 4: correction by the stereoscopic video correction device 30).
In this state, when looking at the direction (c) of the light beam from the point G of the element image δn through the display lens n, the direction of the light beam (c) is greater than the direction of the light beam (b). (B) Up to here, the correction according to the first embodiment is performed.
If the position of the element image n displayed on the display surface H1 is further corrected by the position correction amount δ1 from this state, an element image δn1 is formed on the display surface H1. In this state, when looking at the direction (d) of the light ray from the point G of the element image δn1 through the display lens n, the direction (d) of the light ray indicates the reproduction image distance d (subject distance d) from the imaging lens n. At the separated point DI, it intersects the correct ray direction (A) at the time of imaging. That is, the reproduced image can be reproduced at substantially the same position (point DI on the reproduced image) where the subject is placed at the time of imaging.
Therefore, it can be seen that the element image δn1 has been corrected to a position where a reproduced image with almost no deviation can be obtained as a stereoscopic image.
In order to increase the accuracy of the corresponding point search, three or more element images can be used instead of two element images.
[0059]
In FIG. 14, the corresponding points can be obtained in any set of element images, but b0-b2, b0-b4, b0 are expected to include a small partial area for generating the element image δn. -B5, b0-b7, or b2-b7, b4-b5 are suitable as a set of element images. In addition, a method for integrating a plurality of corresponding point data obtained from a plurality of sets to obtain an accurate estimated value is, for example, “depth estimation from a multi-view image considering the accuracy distribution of corresponding points”, Institute of Informatics, Vol. 2000, No. 7, CVIM120-2, pp. 9-16 (2000).
According to this, for example, the element image δn is obtained from the corresponding points obtained in the respective sets of b0-b2, b0-b4, b0-b5, b0-b7, and this is not shown in the figure, but an arbitrary code, By referring to the correlation value as the accuracy as A1, A2, A3, and A4 and adopting the value with the highest accuracy among the A1, A2, A3, and A4 in each part in the element image δn, the element image δn It can also be configured as a whole.
[0060]
According to the stereoscopic image correction method of the present embodiment, the correspondence obtained by the corresponding point search using the element image to be corrected (for example, the one indicated by the symbol b0) and the surrounding element images (b1, b2,...). Based on the point and lens position information a corresponding to the element image (b), the distance between the lens and the subject at the time of imaging (subject distance d) is calculated. Based on this distance information and the lens position information a. Thus, the position correction amount for each portion on the element image (b0) is calculated, and based on this position correction amount, the position correction of the element image (b0) is performed, so the element image (b0) Thus, it becomes possible to perform correction of a finer position and to reproduce a high-quality reproduced image with higher accuracy.
[0061]
Instead of using the imaging side lens group 11 and the display side lens group 22, any one or both of them may be a pinhole group including a plurality of pinholes. In addition, the stereoscopic video correction devices 30 and 60 are configured to be arranged on the display unit 20 side, and a transmission path and a recording unit (not shown) for video data and position information a from the imaging unit 10 to the display unit 20 are provided. You may comprise so that it may be sent via. In FIG. 13, the video input to obtain the corresponding points does not necessarily have to be a corrected video, and an uncorrected video may be used.
[0062]
【The invention's effect】
As described above, the stereoscopic image correction apparatus and method according to the present invention have the following excellent effects.
According to the first aspect of the present invention, the difference in the reproduced image caused by the lens position error between the imaging side and the display side can be reduced by adapting the position of each element image to each lens position of the display side lens group. Therefore, it is possible to reproduce a high-quality reproduced image that is unlikely to cause distortion or a decrease in resolution.
[0063]
According to the second aspect of the present invention, each element image is adapted so as to be adapted to the standardized position information in order to eliminate the difference between the reproduced images caused by the lens position error on each of the imaging side and the display side. Therefore, it is not necessary to send position information on the imaging side to the display side, and it is possible to reproduce a high-quality reproduced image that is unlikely to cause distortion or a decrease in resolution.
[0064]
According to the invention described in claim 3, by obtaining the position correction amount for each small part on the elemental image of the video, it is possible to correct the finer position of the elemental image, and to obtain a higher quality reproduced image. You will be able to play.
[0065]
According to the fourth aspect of the present invention, since the pinhole formation position itself of the display side pinhole group can be corrected so as to match the lens position of the imaging side lens group, the imaging side and the display side Thus, an error in the lens position is less likely to occur, and a higher quality reproduced image having excellent identity can be reproduced.
[Brief description of the drawings]
FIG. 1 is a system configuration diagram of a stereoscopic video system to which a stereoscopic video correction apparatus according to a first embodiment of the present invention is applied.
FIG. 2 is a block diagram illustrating a configuration of a stereoscopic video correction apparatus.
3A and 3B are explanatory diagrams of an element image correction procedure, in which FIG. 3A shows a lens position based on imaging side position information, and FIG. 3B shows a lens position and display side position information based on imaging side position information. It is the figure which showed the lens position based.
FIG. 4 is a schematic diagram for explaining processing based on correction information;
FIG. 5 is another system configuration diagram.
FIG. 6 is a system configuration diagram of a stereoscopic video system to which a stereoscopic video correction apparatus according to a second embodiment of the present invention is applied.
FIG. 7 is a block diagram illustrating a configuration of an imaging side stereoscopic video correction device.
FIG. 8 is a block diagram illustrating a configuration of a display-side stereoscopic video correction device.
FIG. 9 is a system configuration diagram of a stereoscopic video system to which a stereoscopic video correction apparatus according to a third embodiment of the present invention is applied.
10A and 10B are diagrams showing a liquid crystal device as a display-side pinhole group, where FIG. 10A is a perspective view of a main part, and FIG. 10B is a partially enlarged front view of FIG.
FIG. 11 is a block diagram illustrating a configuration of a stereoscopic video correction apparatus.
FIG. 12 is a system configuration diagram of a stereoscopic video system to which a stereoscopic video correction apparatus according to a fourth embodiment of the present invention is applied.
FIG. 13 is a block diagram illustrating a configuration of a stereoscopic video correction apparatus.
FIG. 14 is a diagram schematically illustrating a corresponding point search.
FIG. 15 is a schematic diagram for explaining processing based on correction information;
FIG. 16 is a schematic diagram for explaining processing based on correction information;
FIG. 17 is a diagram for explaining a conventional IP system.
FIG. 18 is a diagram for explaining a method of reproducing a stereoscopic photograph by a conventional IP method.
FIG. 19 is a diagram illustrating an example in which a diffusion screen is used in a conventional IP system.
FIG. 20 is a diagram for explaining a problem caused by an error in the lens position.
[Explanation of symbols]
1, 2, 3, 4 stereoscopic video system
10 Imaging unit
11 Imaging lens group
12 Imaging means
14 Transmission means
20 display
21 Display means
22 Display lens group
24 Receiving means
25 Liquid crystal device (pinhole group)
25a pinhole
30 stereoscopic image correction device
30a 3D image correction device for imaging side
30b Display-side stereoscopic image correction device
31 Imaging side position information acquisition means
32 Display side position information acquisition means
33 Correction information calculation means
34 Element image correction means
35 Imaging side reference position information acquisition means
36 Display side reference position information acquisition means
40 storage means
50 stereoscopic image correction device
51 Position control information generating means
52 Output means
60 Stereoscopic image correction device (corresponding point search)
61 Corresponding point search means
62 Distance information calculation means
63 Position correction amount calculation means
64 Position correction means
a, b Location information
a ', b' Reference position information
c Position control information
δ error

Claims

In a stereoscopic video system in which an image of a subject is captured using an imaging side lens group including a plurality of imaging lenses, and a stereoscopic image is generated through a display side lens group including a plurality of display lenses, each of the imaging lenses A stereoscopic image correction apparatus that corrects the position of each element image based on imaging side position information and display side position information of each display lens,
Imaging side position information acquisition means for acquiring the imaging side position information;
Display-side position information acquisition means for acquiring the display-side position information;
The imaging side position information acquired by the imaging side position information acquisition means is compared with the display side position information acquired by the display side position information acquisition means, and based on the display side position information, the display side lens Correction information calculation means for calculating correction information for adapting each elemental image of the video to the position of each display lens of the group;
A stereoscopic image correction apparatus comprising: an element image correction unit that corrects the position of each element image of the video based on correction information calculated by the correction information calculation unit.

A stereoscopic video correction method for correcting the position of each elemental image constituting a stereoscopic video by using position information of each lens in the imaging side lens group and the display side lens group,
Based on the imaging-side position information of the imaging-side lens group and the imaging-side reference position information serving as a reference for specifying the position of the imaging-side lens group, the imaging is performed at the reference position of each lens in the imaging-side reference position information. Imaging side correction information for adapting each elemental image of the video imaged by the side lens group is calculated, and position correction of each elemental image captured by the imaging side lens group is performed based on the imaging side correction information. As well as
Based on the display-side position information of the display-side lens group and the display-side reference position information serving as a reference for specifying the position of the display-side lens group, the imaging is performed at the reference position of each lens in the display-side reference position information. The display side correction information for adapting each elemental image of the video corrected by the side correction information is calculated, and the position of each elemental image of the video corrected by the imaging side correction information based on the display side correction information A 3D image correction method, wherein correction is performed.

A stereoscopic video correction method for correcting the position of each elemental image of a subject imaged using a lens group composed of a plurality of lenses,
A corresponding point search is performed between the element image to be corrected and the surrounding element images, and imaging is performed based on the corresponding points obtained by the corresponding point search and the position information of the imaging lens corresponding to the element image to be corrected. The distance information between the lens and the subject at the time is calculated, and the position correction amount for each part on the element image is calculated based on the distance information calculated by the calculation and the lens position information. A stereoscopic video correction method, wherein the position of the element image is corrected based on a position correction amount.

In the stereoscopic video system in which an image of a subject is captured using an imaging side lens group including a plurality of imaging lenses, and a stereoscopic image is generated through a display side pinhole group including a plurality of pinholes, each of the imaging lenses A stereoscopic video correction device that corrects the position of each element image displayed on the display side based on the imaging side position information of
Imaging side position information acquisition means for acquiring the imaging side position information;
Position control information generation means for generating position control information for controlling the formation position of each pinhole of the display side pinhole group in accordance with the imaging side position information acquired by the imaging side position information acquisition means When,
3D image correction apparatus comprising: output means for outputting position control information generated by the position control information generating means.