JP5409107B2

JP5409107B2 - 表示制御プログラム、情報処理装置、表示制御方法、および情報処理システム

Info

Publication number: JP5409107B2
Application number: JP2009116396A
Authority: JP
Inventors: 敬三太田
Original assignee: Nintendo Co Ltd
Current assignee: Nintendo Co Ltd
Priority date: 2009-05-13
Filing date: 2009-05-13
Publication date: 2014-02-05
Anticipated expiration: 2029-05-13
Also published as: EP2252070A2; EP2252070A3; JP2010268109A; US20100289882A1

Description

この発明は、立体表示が可能な表示装置を制御するための表示制御プログラムおよび立体表示が可能な表示装置を有する情報処理装置に関する。特に、視差を有する２つの画像を用いて立体表示を行なう場合に、より少ない処理負荷で立体表示を行なうための技術に関する。

従来から、所定の視差を有する２つの画像を用いて、立体表示を行なう方法が知られている。すなわち、ユーザの右眼の視野に右眼用の画像が入り、ユーザの左眼の視野に左眼用の画像が入るといったように、ユーザが左右の眼で異なる画像を見るように構成した上で、当該右眼用の画像と左眼用の画像との間に視差を与えることによって、ユーザに立体感を与えることができる。

典型的には、被写体までの光軸に対して所定距離だけ離して対称的に配置された２つの撮像部（いわゆる、ステレオカメラ）によってそれぞれ撮像された画像は、そのままで所定の視差を有している。そのため、被写体までの光軸に対して右側に配置された右カメラ、および同じく左側に配置された左カメラによってそれぞれ撮像された画像を、上述したような立体表示が可能な表示装置を用いて、それぞれ右眼用画像および左眼用画像として表示すれば、被写体を立体的に表示することができる。

あるいは、１台の撮像部を水平方向に位置を変えて複数回撮像することでも、所定の視差を有する複数の画像を取得することができ、このような撮像画像を用いても、被写体を立体的に表示することができる。

上述ような視差を利用して立体的な表示を行なう場合、視差があまりに大きい（強い立体感が設定された）画像を用いると、ユーザが不快に感じたり、立体的に見えなくなってしまったりする。

そこで、右眼用画像および左眼用画像をそれぞれ左右にシフトすることによって、表示上の視差を調整して立体的に見せようとするという処理が行われる。たとえば、特開２００４−００７３９５号公報には、視差が限界視差（ユーザが不快に感じないで見ることができる視差の範囲の限界値）に一致するように画像をシフトする技術が開示されている。

特開２００４−００７３９５号公報

上述のような画像間の視差を調整するためには、入力された右眼用画像と左眼用画像との間の対応関係を特定する必要がある。すなわち、右眼用画像に映っている被写体の特定の部分と、左眼用画像に映っている当該被写体の対応する部分とを検出する必要がある。このような処理は、一般的にステレオマッチングと称される処理であり、画像間の色情報における一致度や、輪郭抽出によって得られる形状の一致度などに基づいて実行されるが、正確なマッチングを行なおうとすると、画像の全ての領域について一致度を評価する必要があり、負荷の高い処理となる。

この発明は、このような課題を解決するためになされたものであって、その目的は、より処理負荷を低減しつつ、立体表示に係る画像間の視差を適切に調整可能な表示制御プログラムおよび情報処理装置を提供することである。

この発明の第１の局面に従えば、立体表示が可能な表示装置（１０：以下に示すある実施の形態において相当する参照符号。以下同じ。）を制御するための表示制御プログラムを提供する。本表示制御プログラムは、表示装置のコンピュータ（１）を、所定の視差を有する第１および第２画像（ＩＭＧ１，ＩＭＧ２）について、当該第１画像のうちの少なくとも一部の領域（ＦＷ）に含まれる画像と当該第２画像のうちの少なくとも一部の領域（ＦＷ）に含まれる画像とを、第１画像と第２画像との間の相対変位量が第１の範囲内となるように少なくとも一方の該領域を変化させて比較した結果に応じて、当該第１の範囲内の相対変位量のうちから当該第１画像と第２画像との間の対応関係に係る相対変位量を基本相対変位量（図１３：ΔＸｓ，ΔＹｓ）として決定する基本相対変位量決定手段（１００；２２２；Ｓ１０４，Ｓ１０６，Ｓ１０８，Ｓ１１０，Ｓ１１２）、第１画像のうち表示装置に表示される領域である第１表示対象領域（ＤＡ）と、第２画像のうち表示装置に表示される領域である第２表示対象領域（ＤＡ）とを、当該第１表示対象領域と第２表示対象領域とを対応させて設定する表示対象領域設定手段（１００；２０６，２１６；Ｓ１２８）、第１画像のうちの少なくとも一部の領域に含まれる画像（ＦＷ）と、第２画像のうちの少なくとも一部の領域に含まれる画像（ＦＷ）とを、基本相対変位量を基準とする所定範囲であって、かつ第１の範囲よりも狭い範囲である第２の範囲内で当該各領域の相対変位量を変化させて比較した結果に応じて、当該第２の範囲内の相対変位量のうちから当該第１表示対象領域と第２表示対象領域との間の対応関係に係る相対変位量を表示相対変位量（図１３：ΔＸ，ΔＹ）として決定する表示相対変位量決定手段（１００；２２２；Ｓ１３０，Ｓ１３２，Ｓ１３４）、および、第１表示対象領域に含まれる第１部分画像と、第２表示対象領域に含まれる第２部分画像とについて、表示相対変位量に基づいて、当該第１部分画像と当該第２部分画像を用いて表示装置に立体表示を行なわせる立体表示処理手段（１００，１１２，１２２；２０６，２１６；Ｓ１１４）、として機能させる。

ここで、相対変位量は、一方の画像と他方の画像とのずれ量である。基本相対変位量決定手段は、一方の画像と他方の画像の間で対応位置がどの程度ずれているのかを示す基本値（基本相対変位量）を決定する手段であるが、この決定の際に、一方の画像と他方の画像を第１の範囲内でずらしながら（「相対変位量が第１の範囲内となるように少なくとも一方の該領域を変化させて」）比較する。基本相対変位量決定手段は、例えば、この決定の際に、一方の画像の判定領域と他方の画像の判定領域を第１の範囲内でずらしながら（「相対変位量が第１の範囲内となるように少なくとも一方の該領域を変化させて」）比較する。このとき、他方の画像の判定領域のみをずらしてもよいし、一方の画像の判定領域および他方の画像の判定領域の両方をずらしてもよいし、一方の画像の判定領域のみをずらしてもよい。一方の画像の判定領域および他方の画像の判定領域の両方をずらす場合には、両者のずらし量の合計が相対変位量となり、当該相対変位量が第１の範囲内となるようにする。典型的には、第１画像のうちの少なくとも一部の領域に含まれる画像と第２画像のうちの少なくとも一部の領域に含まれる画像とを、第１画像と第２画像との間の相対変位量が第１の範囲内となるように少なくとも一方の該領域を変化させて比較することで決定される。

また、第１画像と第２画像との間の対応関係に係る相対変位量は、第１画像および第２画像に含まれる所定領域または被写体に注目した場合に、一方の画像が他方の画像に対してどの程度ずれているかを示す指標を意味する。

この第１の局面によれば、まず、所定の視差を有する第１および第２画像について、第１画像のうちの少なくとも一部の領域に含まれる画像と第２画像のうちの少なくとも一部の領域に含まれる画像とを、第１の範囲内で相対変位量を変化させて比較する結果に応じて、相対変位量が決定される。典型的には、第１画像と第２画像との間で、画像マッチング処理を行ない、当該マッチング処理の結果に基づいて、両画像間における基本の相対位置が決定される。続いて、決定された相対変位量を基準とする、第１の範囲よりも狭い第２の範囲内についてのみ、画像マッチング処理を行なうことで、第１表示対象領域と第２表示対象領域との間の表示相対変位量が決定される。さらに、この決定された表示相対変位量に基づいて、第１および第２画像の表示が制御される。これにより、第１表示対象領域および第２表示対象領域に含まれる被写体についての適切な立体表示をユーザに対して与えることができる。また、決定された基本相対変位量を基準とする第２の範囲内についてのみ画像マッチング処理を行なえばよいので、より処理負荷を低減して視差を調整することができるとともに、ユーザに対する応答性および操作性を高めることができる。

この発明の好ましい第２の局面に従えば、表示相対変位量決定手段は、第１および第２表示対象領域の少なくとも一方について、当該表示対象領域内の少なくとも一部の領域に含まれる画像を、比較対象の画像として用いて、表示相対変位量を決定する。

この第２の局面によれば、実際に表示される画像に基づいて表示相対変位量が決定されるので、より確実かつ適切な立体表示を提供することができる。

この発明の好ましい第３の局面に従えば、立体表示処理手段は、表示相対変位量決定手段によって決定された表示相対変位量に基づき、第１および第２表示対象領域の少なくとも一方の位置を変更し、当該変更後の第１および第２表示対象領域にそれぞれ含まれる第１および第２部分画像を用いて表示装置に立体表示を行なわせる。

この第３の局面によれば、典型的には、第１および第２画像のうち、注目すべき領域に含まれる画像を第１および第２部分画像として設定しておくことで、この注目すべき領域について、より確実かつ適切な立体表示を提供することができる。

この発明の好ましい第４の局面に従えば、表示相対変位量決定手段は、表示装置に表示すべき画像の内容が変化する毎に、表示相対変位量を更新する（１００；Ｓ１１６，Ｓ１１８）。

この第４の局面によれば、表示装置に表示すべき画像の内容が変化する毎に、立体表示に係る画像間の視差（表示相対変位量）が再調整されるので、常に適切な立体表示をユーザに対して与えることができる。

この発明の好ましい第５の局面に従えば、表示相対変位量決定手段は、立体表示に対して、表示すべき領域の位置またはサイズの変更指示があったときに、当該指示に基づいて、第１表示対象領域の位置またはサイズと第２表示対象領域の位置またはサイズとを変更する表示対象領域変更処理をさらに行ない、当該変更後の表示すべき領域に基づいて表示対象領域変更処理を行なって、表示相対変位量を更新する（１００；Ｓ１１８，Ｓ１３０，Ｓ１３２，Ｓ１３４）。

この第５の局面によれば、典型的には、拡大表示、縮小表示、スクロール表示といった表示すべき領域の位置またはサイズの変更指示があると、表示装置に表示される画像内容が必然的に変化するので、表示相対変位量も更新する必要がある。逆に言えば、表示される画像内容が変化したにもかかわらず、表示相対変位量が更新されない場合には、ユーザに与える立体感が変化し、かえって違和感をユーザに与える結果となる。また、表示装置に同じ画像が表示されている場合であっても、拡大表示および縮小表示操作（ズーム操作）やスクロール操作は、何度も繰返して行なわれることが多いと考えられる操作であるため、基準相対位置を決定するときのように、広範囲にわたって画像マッチング処理が行なわれると、処理負荷を高め、その結果、ユーザに対する応答性および操作性の低下を招き得る。

しかしながら、第５の局面によれば、拡大表示、縮小表示、スクロール表示といった操作が要求された場合には、決定された基準相対位置に含む第１範囲内についてのみ、画像マッチング処理が行なわれる。そのため、より処理負荷を低減して視差を調整することができるとともに、ユーザに対する応答性および操作性を高めることができる。

この発明の好ましい第６の局面に従えば、表示相対変位量決定手段は、第１画像に第１判定領域を設定するとともに、第２画像に第２判定領域を設定し、第１判定領域と第２判定領域とは対応するように設定され、かつ、第１判定領域は、第１表示対象領域を基準として設定され、第２判定領域は、第２表示対象領域を基準として設定され、第１判定領域に含まれる画像と第２判定領域に含まれる画像とを比較する。

この第６の局面によれば、第１判定領域および第２判定領域は、それぞれ第１表示対象領域および第２表示対象領域を基準にして設定されるので、たとえば、表示される画像のうち、ユーザが注目することが多いと予想される部分を判定領域として設定することができる。そのため、ユーザが注目する部分についてのより確実な立体表示を提供することができる。

この発明の好ましい第７の局面に従えば、表示相対変位量決定手段は、第１および第２表示対象領域についての位置またはサイズの変更に応じて、第１および第２判定領域の位置またはサイズを変更する。

この第７の局面によれば、典型的には、拡大表示、縮小表示、スクロール表示といった表示対象領域についての位置またはサイズの変更があった場合であっても、それに応じて、第１および第２判定領域が変更されるので、より確実かつ適切な立体表示を提供することができる。

この発明の好ましい第８の局面に従えば、表示相対変位量決定手段は、第１および第２画像に対して共通の判定領域枠を設定し、第１画像の判定領域枠によって定まる領域を第１判定領域として設定するとともに、第２画像の判定領域枠によって定まる領域を第２判定領域として設定する。

この第８の局面によれば、第１および第２画像に対して共通の判定領域枠を設定するだけで、第１判定領域および第２判定領域を同時に設定することができる。そのため、判定領域の設定処理をより簡素化できるともに、立体表示に適した重複部分をより適切に設定することができる。

この発明の好ましい第９の局面に従えば、表示対象領域設定手段は、第１および第２画像に対して共通の表示対象領域枠を設定し、表示対象領域枠に対する第１および第２画像の相対位置を設定することによって、第１画像の表示対象領域枠によって定まる領域を第１表示対象領域として設定するとともに、第２画像の表示対象領域枠によって定まる領域を第２表示対象領域として設定する。

この第９の局面によれば、第１および第２画像に対して共通の表示対象領域枠を設定するだけで、第１表示対象領域および第２表示対象領域を同時に設定することができる。そのため、第２表示対象領域の設定処理をより簡素化できるともに、立体表示に適した表示対象領域をより適切に設定することができる。

この発明の好ましい第１０の局面に従えば、第１および第２画像の少なくとも一方についての表示対象領域枠に対する相対位置の変更によって、相対変位量を変化させる。

この第１０の局面によれば、表示対象領域枠を基準として、第１および第２画像の少なくとも一方の相対位置を変更するだけで、相対変位量を変化させることができるので、相対変位量の変化処理をより簡素化できる。

この発明の好ましい第１１の局面に従えば、第１および第２画像の表示対象領域枠に対する位置またはサイズの変更によって、第１および第２表示対象領域の位置またはサイズを変更する。

この第１１の局面によれば、第１および第２画像の表示対象領域枠の変更に応じて、第１および第２表示対象領域を適宜変更させることができる。

この発明の好ましい第１２の局面に従えば、基本相対変位量決定手段は、第１画像のうちの少なくとも一部の領域と第２画像のうちの少なくとも一部の領域との少なくとも一方について、当該領域の対応する画像の水平方向についての略全体が比較の対象となるように、相対変位量を変化させて比較することによって、基本相対変位量を決定する。

この第１２の局面によれば、略全体にわたって比較を行なうので、第１画像と第２画像とが対応する領域、すなわち両画像の間の相対変位量がいずれであっても、画像間の対応関係を確実に特定することができる。

この発明の好ましい第１３の局面に従えば、基本相対変位量決定手段は、ユーザ操作に応答して、基本相対変位量を決定または更新する（１００；Ｓ１１６，Ｓ１１８，Ｓ１２６，Ｓ１３０，Ｓ１３２，Ｓ１３４）。

この第１３の局面によれば、ユーザが必要に応じて基本相対変位量を再設定できるので、表示装置に表示される画像内容や状況などに応じて、立体表示に係る画像間の視差（表示ずれ量）を適切に調整できる。

この発明の好ましい第１４の局面に従えば、基本相対変位量決定手段は、新たな第１または第２画像の入力に応答して、基本相対変位量を決定または更新する（１００；Ｓ１１６，Ｓ１３０，Ｓ１３２，Ｓ１３４）。

この第１４の局面によれば、表示される画像の内容が変更される毎に、自動的に基本相対変位量が再設定されるので、新たな入力画像についても、適切に立体表示を行なうことができる。

この発明の好ましい第１５の局面に従えば、表示対象領域設定手段は、第１画像のうちの少なくとも一部の領域に含まれる画像と第２画像の少なくとも一部の領域に含まれる画像とについて、相対変位量を変化させつつ画像同士の一致度を複数回算出し、算出された複数の一致度のうち最も高い一致度が得られた相対変位量に対応して、第１表示対象領域または第２表示対象領域の少なくとも一方を決定する（１００；Ｓ３００〜Ｓ３２４）。

この第１５の局面によれば、それぞれの相対変位量における評価結果を互いに比較することが容易な一致度という指標を用いるので、画像マッチング処理の内容をより簡素化して高速処理を行なうことができる。

この発明の好ましい第１６の局面に従えば、相対変位量を変化させて比較する処理は、相対変位量を所定の第１変化量ずつ変化させて各調整量における一致度を算出し（Ｓ２０２，Ｓ３０６，Ｓ３２０）、それらのうち最も高い一致度が得られた相対変位量を第１相対変位値として特定し（Ｓ３１４，Ｓ３１８，Ｓ３２４）、第１画像と第２画像とを、第１相対位置を基準とした、第１変化量より小さい第２変化量ずつ変化させて各相対変位量における一致度を算出し（Ｓ２１０，Ｓ２１２）、それらのうち最も高い一致度が得られた第２相対変位値を特定する（Ｓ３１４，Ｓ３１８，Ｓ３２４）、ことを含む。

この第１６の局面によれば、サーチ精度を複数段階に切替えて目的の位置を順次サーチするので、サーチに必要な処理量を低減することができる。これにより、より短時間にサーチ処理を完了させることができる。

この発明の好ましい第１７の局面に従えば、判定領域設定手段は、判定領域が、対応する表示対象領域の中心部および中央下部のいずれかに位置するように設定する（図８）。

この第１７の局面によれば、人間の視覚の特性に応じて、注目することが多いと考えられる領域に判定領域が設定されるので、ユーザからの明示的な指示がなくとも、より有効な立体表示を提供することができる。

この発明の好ましい第１８の局面に従えば、判定領域設定手段は、表示装置に表示される画像に対するユーザ操作に応答して、対応する位置に判定領域を設定する（１００；Ｓ１２６）。

この第１８の局面によれば、表示装置に映し出される画像を見ながらユーザが立体表示させることを希望する被写体などを指定することで、適切な立体表示を行なうことができる。そのため、撮像部からの距離が異なる複数の被写体を含む入力画像などを表示する際には、ユーザが着目する被写体について選択的に立体表示を行なうことができる。

この発明の好ましい第１９の局面に従えば、表示装置は、所定の視差をもつように相対配置された２つの撮像部を有し、本表示制御プログラムは、コンピュータをさらに、２つの撮像部の撮像により取得されるそれぞれの撮像画像を所定の大きさをもつ第１および第２入力画像に変換する画像変換手段として機能させる。

この第１９の局面によれば、２つの撮像部による１回の撮像によって取得される撮像画像を用いて、拡大表示および／または縮小表示（ズーム操作）を行なうことができる。そのため、よりズーム操作に応じた表示画像の更新をより高速に行なうことができるとともに、撮像部の光学系（ズーム機能など）を簡略化できる。

この発明の好ましい第２０の局面に従えば、表示装置は、第１および第２画像のデータを展開する記憶領域（１０４，２２０）をさらに有し、表示ずれ量は、記憶領域に展開されたデータに基づいて決定される。

この第２０の局面によれば、第１および第２画像のデータを記憶領域に展開して仮想配置できるので、処理をより高速化できる。

この発明の第２１の局面に従えば、立体表示が可能な表示装置（１０）を制御するための表示制御プログラムを提供する。本表示制御プログラムは、表示装置のコンピュータ（１）を、所定の視差を有する第１および第２画像（ＩＭＧ１，ＩＭＧ２）について、当該第１画像と当該第２画像との間の相対変位量を第１範囲内の変位量で変化させながら、当該第１画像内の画像と当該第２画像内の画像との対応関係を判定することにより、当該第１画像と当該第２画像との間の対応関係に係る基本相対変位量（図１３：ΔＸｓ，ΔＹｓ）を決定する基本相対変位量決定手段（１００；２２２；Ｓ１０４，Ｓ１０６，Ｓ１０８，Ｓ１１０，Ｓ１１２）、および、第１画像内の少なくとも一部の領域（ＦＷ）に含まれる画像である第１領域画像と第２画像内の少なくとも一部の領域（ＦＷ）に含まれる画像である第２領域画像とを用いて立体表示を行なう立体表示制御手段（１００，１１２，１２２；２０６，２１６；Ｓ１１４）として機能させる。立体表示制御手段は、当該第１領域画像と当該第２領域画像との間の相対変位量を、基本相対変位量を基準とする第１範囲よりも狭い第２範囲の内の変位量で変化させながら、当該第１領域画像と当該第２領域画像との対応関係を判定することにより、当該第１領域画像と当該第２領域画像との間の対応関係に係る相対変位量を決定し、当該相対変位量に基づいて立体表示を行なう（１００；２２２；Ｓ１３０，Ｓ１３２，Ｓ１３４）。

この発明の第２２の局面に従う情報処理装置は、立体表示が可能な表示装置（１０）と、所定の視差を有する第１および第２画像について、当該第１画像のうちの少なくとも一部の領域に含まれる画像と当該第２画像（ＩＭＧ１，ＩＭＧ２）のうちの少なくとも一部の領域に含まれる画像とを、第１画像と第２画像との間の相対変位量が第１の範囲内となるように少なくとも一方の該領域を変化させて比較した結果に応じて、当該第１の範囲内の相対変位量のうちから当該第１画像と第２画像との間の対応関係に係る相対変位量を基本相対変位量として決定する基本相対変位量決定手段（１００；２２２；Ｓ１０４，Ｓ１０６，Ｓ１０８，Ｓ１１０，Ｓ１１２）と、第１画像のうち表示装置に表示される領域である第１表示対象領域と、第２画像のうち表示装置に表示される領域である第２表示対象領域とを、当該第１表示対象領域と第２表示対象領域とを対応させて設定する表示対象領域設定手段（１００；２０６，２１６；Ｓ１２８）と、第１画像のうちの少なくとも一部の領域に含まれる画像と、第２画像のうちの少なくとも一部の領域に含まれる画像とを、基本相対変位量を基準とする所定範囲であって、かつ第１の範囲よりも狭い範囲である第２の範囲内で当該各領域の相対変位量を変化させて比較した結果に応じて、当該第２の範囲内の相対変位量のうちから当該第１画像と第２画像との間の対応関係に係る相対変位量を表示相対変位量として決定する表示相対変位量決定手段（１００；２２２；Ｓ１３０，Ｓ１３２，Ｓ１３４）と、第１表示対象領域に含まれる第１部分画像と、第２表示対象領域に含まれる第２部分画像とについて、表示相対変位量に基づいて、当該第１部分画像と当該第２部分画像を用いて表示装置に立体表示を行なわせる立体表示処理手段（１００，１１２，１２２；２０６，２１６；Ｓ１１４）とを有する。

上述の記載においては、本発明の理解を助けるために後述の実施形態との対応関係を示すための参照符号および補足説明等を付したが、これらは本発明を何ら限定するものではない。

この発明のある局面によれば、より処理負荷を低減しつつ、立体表示に係る画像間の視差を適切に調整することができる。

この発明の実施の形態に従う情報処理装置の内部構成を示すブロック図である。この発明の実施の形態に従う情報処理装置の表示装置の模式断面図である。この発明の実施の形態に従う画像マッチング処理を説明するためのある被写体の状態を示す模式図である。図３に対応して第１撮像部および第２撮像部により撮像される画像を示す模式図である。図４に示す入力画像に対して設定された注目領域に含まれる内容を立体的に表示する場合の相対関係を説明するための図である。図５に示す注目領域を移動させた場合の処理例を説明するための図である。この発明の実施の形態に従う情報処理装置の表示装置を制御するための機能ブロック図である。この発明の実施の形態に従う情報処理装置における入力画像の仮想配置を説明するための図である。この発明の実施の形態に従う情報処理装置における基本相対位置の決定処理を説明するための模式図である。この発明の実施の形態に従うサーチ処理（その１）を説明するための図である。この発明の実施の形態に従うサーチ処理（その２）を説明するための図である。この発明の実施の形態に従うサーチ処理（その３）を説明するための図である。この発明の実施の形態に従う表示ずれ量の決定処理を説明するための図である。この発明の実施の形態に従う情報処理装置における画像表示制御の全体処理手順を示すフローチャートである。図１４に示すサーチ処理サブルーチンの処理を示すフローチャートである。図１５に示す一致度評価サブルーチンの処理を示すフローチャートである。

この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

［装置構成］
図１は、この発明の実施の形態に従う情報処理装置１の内部構成を示すブロック図である。図１を参照して、本実施の形態に従う情報処理装置１は、プロセッサによる処理が可能なコンピュータの典型例である。なお、情報処理装置１としては、パーソナルコンピュータ、ワークステーション、携帯端末、ＰＤＡ（Personal Digital Assistance）、携帯電話、携帯型ゲーム装置などとして実現してもよい。

情報処理装置１は、表示装置１０と、ＣＰＵ（Central Processing Unit）１００と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０４と、入力部１０６と、第１撮像部１１０と、第２撮像部１２０と、第１ＶＲＡＭ（Video RAM）１１２と、第２ＶＲＡＭ１２２とを含む。なお、各部は、内部バスを介して、互いにデータ通信可能に接続されている。

表示装置１０は、ユーザに向けて立体表示が可能である。表示装置１０は、典型的には、視差光学系として視差バリアを有する前面視差バリアタイプの構成が採用される。すなわち、表示装置１０は、ユーザが表示装置１０に対峙した場合に、視差バリアによって、その右眼および左眼の視野範囲にそれぞれ異なる画素からの光が入射するように構成される。

図２は、この発明の実施の形態に従う情報処理装置１の表示装置１０の模式断面図である。図２には、前面視差バリアタイプの液晶表示デバイスの断面構造が示されている。この表示装置１０は、ガラス基板１６とガラス基板１８との間に設けられた第１ＬＣＤ１１６および第２ＬＣＤ１２６を含む。第１ＬＣＤ１１６および第２ＬＣＤ１２６は、複数の画素を含み、かつバックライトからの光を画素単位で調節するための空間光変調器である。ここで、第１ＬＣＤ１１６の画素と第２ＬＣＤ１２６の画素とは交互に配置される。ガラス基板１８のガラス基板１６の側とは反対側に、図示しないバックライトが設けられており、このバックライトからの光は第１ＬＣＤ１１６および第２ＬＣＤ１２６に向けて照射される。

ガラス基板１６の第１ＬＣＤ１１６および第２ＬＣＤ１２６に接する側とは反対の側には、視差光学系である視差バリア１２が設けられる。この視差バリア１２には、複数のスリット１４が所定間隔で行列状に設けられている。各スリット１４の中心位置を通り、かつガラス基板１６の面に対して垂直方向の軸を基準として、第１ＬＣＤ１１６の画素と第２ＬＣＤ１２６の対応する画素とが対称的に配置される。このようなスリット１４に対応する画素との位置関係、ならびに第１ＬＣＤ１１６および第２ＬＣＤ１２６を表示すべき画像に応じて適切に制御することで、ユーザの両眼の間に所定の視差を生じさせることができる。

すなわち、視差バリア１２の各スリット１４においては、ユーザの右眼および左眼による視界をそれぞれ対応する角度に制限するので、典型的には、ユーザの右眼からは、光軸Ａｘ１上にある第１ＬＣＤ１１６の画素のみが視認でき、一方、ユーザの左眼からは、光軸Ａｘ２上にある第２ＬＣＤ１２６の画素のみが視認できることになる。ここで、第１ＬＣＤ１１６の画素および第２ＬＣＤ１２６の画素に、所定の視差を有する２つの画像の対応するピクセルを表示させることで、ユーザに所定の視差を与えることができる。以下の説明では、第１ＬＣＤ１１６および第２ＬＣＤ１２６にそれぞれ表示データを与えるにあたり、同一の被写体を撮像して得られる２つの入力画像をどの程度ずらして表示データを生成するかといった度合いを「表示ずれ量」と称す。

なお、以下の説明では、視差バリア１２のユーザ側の表面を（表示装置１０の）表示面とも称す。

また、表示装置１０としては、上述したような前面視差バリアタイプの液晶表示デバイスに限られず、例えば、レンチキュラータイプの表示デバイスなど、任意の型式の立体表示が可能な表示デバイスを用いることができる。さらに、表示装置１０としては、それに含まれる主波長成分の異なる２つの画像をそれぞれ独立に表示するとともに、透過波長範囲の異なる２つのカラーフィルタがそれぞれ組込まれたメガネをユーザに装着させることで、立体表示を行なう構成であってもよい。類似の構成として、偏光方向を異ならせて２つの画像をそれぞれ表示するとともに、当該２つの偏光方向に対応する偏光フィルタがそれぞれ組込まれたメガネをユーザに装着させることで、立体表示を行なう構成であってもよい。

再度図１を参照して、ＣＰＵ１００は、ＲＯＭ１０２などに格納されているプログラムをＲＡＭ１０４に展開した上で、当該プログラムを実行する。このプログラムの実行により、ＣＰＵ１００は、後述するような表示制御処理や付随する各種処理を提供する。なお、ＣＰＵ１００が実行するプログラムは、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）、ＣＤ−ＲＯＭ（Compact Disk ROM）、フレキシブルディスク、フラッシュメモリ、各種のメモリカセットなどの記憶媒体によって流通する場合もある。そのため、情報処理装置１がこのような記憶媒体から格納されているプログラムコードなどを読出すようにしてもよい。なお、この場合には、情報処理装置１が記憶媒体に対応する読出装置を利用できるようにしておく必要がある。あるいは、上述のようなプログラムがネットワークを通じて頒布されるような場合には、図示しない通信インターフェイスなどを介して、当該頒布されるプログラムを情報処理装置１へインストールしてもよい。

ＲＯＭ１０２は、上述したようなＣＰＵ１００で実行されるプログラムや各種の設定パラメータなどを不揮発的に記憶するデバイスである。ＲＯＭ１０２としては、典型的には、マスクＲＯＭや半導体フラッシュメモリなどからなる。

ＲＡＭ１０４は、上述したようなＣＰＵ１００で実行されるプログラムを展開したり、プログラムの実行に必要なデータを一時的に記憶したりするワークメモリとして機能する。

入力部１０６は、ユーザ操作を受付けるデバイスであり、典型的には、キーボード、マウス、タッチペン、トラックボール、ペンタブレット、各種ボタン（スイッチ）などからなる。入力部１０６は、それに対して何らかのユーザ操作がなされると、対応する操作内容を示す信号をＣＰＵ１００へ伝送する。

第１撮像部１１０および第２撮像部１２０は、任意の被写体を撮像することでそれぞれ画像を取得するデバイスである。第１撮像部１１０および第２撮像部１２０は、後述するように、同一の被写体に対して所定の視差をもつ画像が撮像できるように相対配置される。第１撮像部１１０および第２撮像部１２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる。なお、第１撮像部１１０および第２撮像部１２０の間の撮像特性は、互いに等しいことが好ましい。

第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２は、それぞれ第１ＬＣＤ１１６および第２ＬＣＤ１２６において表示すべき画像を示す画像データを格納するための記憶デバイスである。すなわち、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２には、ＣＰＵ１００が後述するような表示制御処理などを行なうことで得られる表示データが順次書込まれる。そして、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２に書込まれた表示データに基づいて、表示装置１０における描画処理が制御される。

表示装置１０は、上述の第１ＬＣＤ１１６および第２ＬＣＤ１２６に加えて、第１ドライバ１１４および第２ドライバ１２４を含む。第１ドライバ１１４は、第１ＶＲＡＭ１１２と関連付けられており、第２ドライバ１２４は、第２ＶＲＡＭ１２２と関連付けられている。そして、第１ドライバ１１４は、第１ＶＲＡＭ１１２に書込まれる表示データに基づいて、第１ＬＣＤ１１６を構成するそれぞれの画素の点灯／消灯（ＯＮ／ＯＦＦ）を制御する。同様に、第２ドライバ１２４は、第２ＶＲＡＭ１２２に書込まれる表示データに基づいて、第２ＬＣＤ１２６を構成するそれぞれの画素の点灯／消灯（ＯＮ／ＯＦＦ）を制御する。

上述の説明においては、内蔵の第１撮像部１１０および第２撮像部１２０を用いて、所定の視差を有する一対の入力画像（ステレオ画像）を取得する構成について例示したが、入力画像を取得するための撮像部は、必ずしも情報処理装置１に内蔵されている必要はない。典型的には、情報処理装置１とは別の装置（典型的には、サーバ装置）などから、ネットワークなどを介して一対の入力画像（ステレオ画像）を取得するようにしてもよい。

［動作概要］
次に、本実施の形態に従う情報処理装置１における画像マッチング処理について説明する。図３は、この発明の実施の形態に従う画像マッチング処理を説明するためのある被写体の状態を示す模式図である。図４は、図３に対応して第１撮像部１１０および第２撮像部１２０により撮像される画像を示す模式図である。

図３を参照して、本実施の形態に従う情報処理装置１においては、情報処理装置１の表面に垂直な仮想的な光軸ＡＸＣに対していずれも平行に、第１撮像部１１０および第２撮像部１２０が対称的に配置されているものとする。すなわち、第１撮像部１１０および第２撮像部１２０は、所定の視差をもつように相対配置されている。

そして、第１撮像部１１０および第２撮像部１２０のより遠方側から、被写体ＯＢＪ１および被写体ＯＢＪ２が順に配置されているものとする。なお、一例として、被写体ＯＢＪ１は四角錐であり、被写体ＯＢＪ２は球体である。

図４（ａ）に示すように、第１撮像部１１０および第２撮像部１２０の受像面にそれぞれ入射する像は、それぞれの配置位置を中心とした視野に応じたものとなる。それぞれの受像面に入射した像が走査されることで反転されて、図４（ｂ）に示すような画像（以下、入力画像とも称す）ＩＭＧ１およびＩＭＧ２がそれぞれ取得される。すなわち、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間には、所定の視差が存在するので、入力画像ＩＭＧ１における被写体ＯＢＪ１と被写体ＯＢＪ２との間の相対距離と、入力画像ＩＭＧ２における被写体ＯＢＪ１と被写体ＯＢＪ２との間の相対距離とは、その大きさが異なっていることがわかる。

次に、表示装置１０に現れる画像の内容について説明する。再度図３を参照して、たとえば、被写体ＯＢＪ１が表示装置１０の表示面に位置するように、入力画像を立体的に表示（立体感を持たせて表示）しようとすると、２つの入力画像ＩＭＧ１およびＩＭＧ２の内容が被写界位置ＦＰ１において重なるように、両入力画像を表示する必要がある。また、被写体ＯＢＪ２が表示装置１０の表示面に位置するように、入力画像を立体的に表示しようとすると、２つの入力画像ＩＭＧ１およびＩＭＧ２の内容が被写界位置ＦＰ２において重なるように、両入力画像を表示する必要がある。

すなわち、第１撮像部１１０および第２撮像部１２０によりそれぞれ取得される入力画像ＩＭＧ１およびＩＭＧ２のうち、実質的に重なって表示される領域に含まれる被写体が表示装置１０の表示面において立体的に表示されることになる。言い換えれば、表示装置１０を見たユーザからみれば、当該重なって表示される領域に含まれる被写体が、表示装置の表示面付近に見えることになり、当該被写体に対して、ユーザが焦点を合わせやすくなる。

図５は、図４に示す入力画像ＩＭＧ１およびＩＭＧ２に対して設定された注目領域枠ＦＷに含まれる内容が表示装置の表示面付近に見えるように、入力画像を立体的に表示する場合の相対関係を説明するための図である。図６は、図５に示す注目領域枠ＦＷを移動させた場合の処理例を説明するための図である。

図５に示すように、注目領域枠ＦＷを入力画像ＩＭＧ１およびＩＭＧ２に映っている被写体ＯＢＪ１の周辺に設定した場合を考える。この場合には、入力画像ＩＭＧ１およびＩＭＧ２に映っている被写体ＯＢＪ１が実質的に重なるように、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の相対位置を調整することで、被写体ＯＢＪ１が表示装置の表示面付近に見えるようになる。すなわち、入力画像ＩＭＧ１に映っている被写体ＯＢＪ１に対応する画像と、入力画像ＩＭＧ２に映っている被写体ＯＢＪ１に対応する画像とが、表示装置１０の表示面において、実質的に同じ位置に表示されることで、ユーザから見れば、被写体ＯＢＪ１が表示装置の表示面付近に見える状態で、入力画像が立体的に見える。

本明細書において、相対位置は、一方の入力画像が他方の入力画像に対してどの程度変位しているのかを示す指標を意味し、相対変位量に相当する。また、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の対応関係に係る相対変位量は、入力画像ＩＭＧ１およびＩＭＧ２に含まれる所定領域または被写体に注目した場合に、一方の入力画像が他方の入力画像に対してどの程度ずれているかを意味する。

次に、図６を参照して、被写体ＯＢＪ２を立体的に表示する場合について説明する。このような処理は、典型的には、ユーザによるスクロール操作などに相当する。被写体ＯＢＪ２を立体的に表示する場合には、図６（ａ）に示すように、注目領域枠ＦＷが入力画像ＩＭＧ１およびＩＭＧ２に映っている被写体ＯＢＪ２の周辺に変更される。図６（ａ）に示す入力画像ＩＭＧ１と入力画像ＩＭＧ２との相対位置では、入力画像ＩＭＧ１に映っている被写体ＯＢＪ２と入力画像ＩＭＧ２に映っている被写体ＯＢＪ２との表示位置が一致していない。すなわち、被写体ＯＢＪ２については、位置ずれを生じている。

そこで、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の対応関係を判定することで、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の相対位置が再度調整される。より具体的には、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の相対距離を広げる方向（図６（ｂ）参照）、および／または、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の相対距離を縮める方向（図６（ｃ）参照）に、両者の相対位置を順次変化させる。さらに、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを紙面上下方向に相対移動するようにしてもよい。

そして、各相対位置において、入力画像ＩＭＧ１における注目領域枠ＦＷ内の画像と、入力画像ＩＭＧ２における注目領域枠ＦＷ内の画像との間の一致度が順次算出される。この一致度は、典型的には、複数のピクセルを含む画像ブロック同士を比較して、その中に含まれる画像の有する特徴量（色属性や輝度属性）がどの程度似ているかを示す指標である。このような一致度の算出方法としては、それぞれの画像ブロックを構成する各ピクセルがもつ特徴量をベクトル化し、このベクトル同士の内積に基づいて相関値を算出し、この相関値を一致度として算出する方法がある。あるいは、画像ブロック間において、対応するピクセル同士の色の差（たとえば、色差ベクトルや輝度差など）の絶対値の積算値（または、平均）を算出し、この積算値（または、平均）が小さいものほど一致度が高いと判断する方法もある。より処理を高速化する観点からは、それぞれの画像ブロックを構成するピクセル同士の輝度差の積算値に基づいて評価する方法が好ましい。

そして、最も高い一致度が得られた相対位置を新たな相対位置として決定する（図６（ｄ）参照）。本実施の形態においては、入力画像ＩＭＧ１および入力画像ＩＭＧ２に対して共通の注目領域枠ＦＷが設定される。そして、入力画像ＩＭＧ１の注目領域枠ＦＷによって定まる領域が入力画像ＩＭＧ１のうちの入力画像ＩＭＧ２との間の対応関係を判定するための判定領域（第１判定領域）として設定され、同時に、入力画像ＩＭＧ２の注目領域枠ＦＷによって定まる領域が入力画像ＩＭＧ２のうちの入力画像ＩＭＧ１との間の対応関係を判定するための判定領域（第２判定領域）として設定される。

このように、入力画像ＩＭＧ１に第１判定領域が設定されるとともに、入力画像ＩＭＧ２に第２判定領域が設定される。このとき、入力画像ＩＭＧ１に設定された第１判定領域と入力画像ＩＭＧ２に設定された第２判定領域とは対応するように位置決めされる。同時に、第１判定領域は、第１表示対象領域に相当する表示対象領域枠ＤＡを基準として設定され、第２判定領域は、第２表示対象領域に相当する表示対象領域枠ＤＡを基準として設定される。そして、この第１判定領域に含まれる画像と第２判定領域に含まれる画像とが比較されることで、一致度が算出される。

このように、表示装置１０に表示すべき画像の内容が変化する毎に、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の相対位置が更新（サーチ）される。なお、このような表示装置１０に表示すべき画像の内容が変化する場合としては、上述したようなスクロール操作に加えて、拡大表示操作や縮小表示操作（両者を合わせて「ズーム操作」とも称す）などが挙げられる。また、入力画像ＩＭＧ１およびＩＭＧ２の内容が更新される場合にも、同様のサーチ処理が実行される。

上述したように、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の相対位置を決定もしくは更新する場合には、画像同士の一致度を順次算出する必要があり、入力画像の全面にわたってサーチを行なう場合や、入力画像の解像度（ピクセル数）が高い場合などには、処理負荷が高くなり、かつ処理に要する時間も長くなる。その結果、ユーザに対する応答性および操作性の低下を招きやすい。

そこで、本実施の形態に従う情報処理装置１においては、以下に示すような主として２つの処理を採用することで、処理負荷を低減して、応答性および操作性を高める。

第１処理として、前もって入力画像ＩＭＧ１および入力画像ＩＭＧ２の間の対応関係を判定することで、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の基本相対位置を決定しておく。すなわち、所定の視差を有する入力画像ＩＭＧ１および入力画像ＩＭＧ２について、入力画像ＩＭＧ１のうちの少なくとも一部の領域に含まれる画像と入力画像ＩＭＧ２のうちの少なくとも一部の領域に含まれる画像とを、入力画像ＩＭＧ１および／または入力画像ＩＭＧ２の対応する当該領域を変化させて比較する。このとき、比較に用いられる領域は、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の相対位置が第１の範囲内で変化させる。そして、この比較結果に応じて、当該第１の範囲内の相対位置のうちから、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の対応関係に係る相対位置が基本相対位置として決定される。この基本相対位置を決定する処理においては、基本的に、何らの情報も無い状態から入力画像間の対応関係を判定するもので、相対的に広い範囲（第１の範囲）がサーチ対象となる。

さらに、このように基本相対位置が決定された後、スクロール操作やズーム操作がなされると、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを決定された基本相対位置を含む所定範囲内に存在する複数の相対位置の各々に仮想配置し、それぞれの場合に生じる重複範囲に対して対応する判定領域をそれぞれ設定する。すなわち、入力画像ＩＭＧ１のうち表示装置１０に表示される領域である第１表示対象領域と、入力画像ＩＭＧ２のうち表示装置１０に表示される領域である第２表示対象領域とが、互いに対応させて設定される。

さらにそれぞれ設定された判定領域について、入力画像ＩＭＧ１および入力画像ＩＭＧ２の間の対応関係を判定する。基本相対位置が決定された後には、大まかな相対位置がわかっているので、サーチ対象を相対的に狭くすることができる。そして、上述のようなサーチ処理によって決定された相対位置に基づいて、表示装置１０における入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の表示ずれ量が決定される。すなわち、入力画像ＩＭＧ１のうちの少なくとも一部の領域に含まれる画像と、入力画像ＩＭＧ２のうちの少なくとも一部の領域に含まれる画像とを、基本相対位置を基準とする所定範囲であって、かつ上記の第１の範囲よりも狭い範囲である第２の範囲内で当該各領域の相対位置を変化させて比較した結果に応じて、当該第２の範囲内の相対位置のうちから当該第１表示対象領域と第２表示対象領域との間の対応関係に係る相対変位量が表示ずれ量（表示相対変位量）として決定される。

このように、本実施の形態に従う情報処理装置１においては、原則として、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の対応関係を相対的に広い範囲で判定する処理を最初の１回だけとし、その後、スクロール操作やズーム操作が要求された場合には、最初に取得された基本相対位置を基準として、より狭い範囲でのみ対応関係を判定する。これにより、画像間の対応関係を判定する範囲をより限定できるので、処理負荷を低減することができる。

第２処理として、画像間の対応関係を判定するためのサーチ処理の精度を、粗いものからより詳細なものに複数段階に切替えることで、処理負荷を低減する。すなわち、まず、より精度の低い粗サーチを行なった後、当該粗サーチの結果得られた相対位置を基準として、より精度の高い精細サーチを行なうことで、正確な相対位置を決定する。

より具体的には、まず、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを所定の第１変化量ずつ変化させた複数の相対位置の各々に仮想配置し、各調整量における入力画像間の一致度が算出される。そして、算出された一致度のうち最も高い一致度が得られた相対位置が第１相対位置として特定する。

次に、先に特定した第１相対位置を基準として、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを上述の第１変化量より小さい第２変化量ずつ変化させた複数の相対位置の各々に仮想配置し、それぞれの位置における入力画像間の一致度が算出される。そして、算出された一致度のうち最も高い一致度が得られた相対位置を第２相対位置として特定する。

なお、入力画像のサイズは装置の処理能力などに応じて、２段階以上にわたってサーチ処理を行なってもよい。本実施の形態においては、後述するように３段階にわたってサーチ処理を行なう構成を例示する。また、この第２処理は、上述の第１処理に含まれる（１）基本相対位置の決定、および（２）その後の相対位置の決定、のいずれにも適用できる。

また、上述の第１および第２処理の両方を行なう必要はなく、いずれか一方のみを行なうようにしてもよい。

上述したように、本実施の形態に従う情報処理装置１では、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の画像マッチング処理の結果に基づいて立体表示を行なうので、基本的には、入力画像ＩＭＧ１および入力画像ＩＭＧ２としては静止画を用いることになるが、入力画像の更新周期を超える処理能力を有する場合には、動画像にも適用することが可能である。

［制御構造］
次に、上述のような処理を提供するための制御構造について説明する。図７は、この発明の実施の形態に従う情報処理装置１の表示装置１０を制御するための機能ブロック図である。図７を参照して、情報処理装置１は、その制御構造として、第１画像バッファ２０２と、第２画像バッファ２１２と、第１画像変換部２０４と、第２画像変換部２１４と、画像展開部２２０と、第１画像抽出部２０６と、第２画像抽出部２１６と、評価部２２２と、操作受付部２２４とを含む。

第１画像変換部２０４、第２画像変換部２１４、および評価部２２２は、典型的には、ＣＰＵ１００（図１）がプログラムを実行することで提供される。また、第１画像バッファ２０２、第２画像バッファ２１２、および画像展開部２２０は、ＲＡＭ１０４（図１）内の特定の記憶領域として提供される。操作受付部２２４は、ＣＰＵ１００（図１）および特定のハードウェアロジックおよび／またはドライバソフトの協働によって提供される。なお、図７に示す各機能ブロックの全部または一部を公知のハードウェアによって実現することも可能である。

第１画像バッファ２０２は、第１撮像部１１０（図１）および第１画像変換部２０４と関連付けられており、第１撮像部１１０が撮像した生の画像（区別のため「第１撮像画像」とも称す。）を一時的に記憶する。また、第１画像バッファ２０２は、第１画像変換部２０４からのアクセスを受付ける。同様に、第２画像バッファ２１２は、第２撮像部１２０（図１）および第２画像変換部２１４と関連付けられており、第２撮像部１２０が撮像した生の画像（区別のため「第２撮像画像」とも称す。）を一時的に記憶する。また、第２画像バッファ２１２は、第２画像変換部２１４からのアクセスを受付ける。

第１画像変換部２０４および第２画像変換部２１４は、第１撮像部１１０および第２撮像部１２０の撮像により取得される一対の撮像画像（第１撮像画像および第２撮像画像）を所定の大きさをもつ入力画像にそれぞれ変換する。第１画像変換部２０４および第２画像変換部２１４は、変換により生成されたそれぞれの入力画像を画像展開部２２０に書込む。

画像展開部２２０は、第１画像変換部２０４および第２画像変換部２１４により生成された入力画像のデータが展開される記憶領域である。この画像展開部２２０への入力画像データの展開によって、それぞれの入力画像が仮想空間に配置（仮想配置）される。

図８を参照して、第１画像変換部２０４、第２画像変換部２１４および画像展開部２２０により提供される処理の内容について説明する。

図８は、この発明の実施の形態に従う情報処理装置１における入力画像の仮想配置を説明するための図である。図８（ａ）に示すように、第１撮像部１１０の撮像により第１撮像画像が取得され、第２撮像部１２０の撮像により第２撮像画像が取得されたとする。この第１撮像画像および第２撮像画像からは、それぞれ第１画像変換部２０４および第２画像変換部２１４が変換処理を行なうことで、入力画像ＩＭＧ１および入力画像ＩＭＧ２が生成される。そして、その生成された画像データは、図８（ｂ）および図８（ｃ）に示すように、画像展開部２２０に展開される。ここで、画像展開部２２０に展開されたデータ（ピクセル群）は、表示装置１０を構成する画素（第１ＬＣＤ１１６および第２ＬＣＤ１２６の１表示単位）と１対１に対応しているものとする。そのため、画像展開部２２０に対して、表示装置１０の解像度（たとえば、５１２ｄｏｔ×３８４ｄｏｔなど）に相当する共通の表示対象領域枠ＤＡが（仮想的に）定義される。なお、表示対象領域枠ＤＡの位置は、ユーザ操作（典型的には、スクロール操作）または初期設定などに応じて、任意に変更可能である。すなわち、入力画像ＩＭＧ１および入力画像ＩＭＧ２に対して共通の表示対象領域枠ＤＡが設定されることで、入力画像ＩＭＧ１の表示対象領域枠ＤＡによって定まる領域が入力画像ＩＭＧ１のうちの表示装置１０に表示される領域（第１表示対象領域）として設定され、同時に、入力画像ＩＭＧ２の表示対象領域枠ＤＡによって定まる領域が入力画像ＩＭＧ２について表示装置１０に表示される領域（第２表示対象領域）として設定される。

このように、画像展開部２２０における表示対象領域枠ＤＡのサイズは、一定であるので、画像展開部２２０に展開する入力画像のサイズを変更することで、相対的にズーム操作を行なうことができる。すなわち、拡大表示（ズームイン）が指示された場合には、図８（ｂ）に示すように、第１撮像画像および第２撮像画像を相対的な大きなピクセルサイズを有する入力画像ＩＭＧ１ＺＩおよびＩＭＧ２ＺＩに変換した上で、画像展開部２２０にそのデータを展開する。一方、縮小表示（ズームアウト）が指示された場合には、図８（ｃ）に示すように、第１撮像画像および第２撮像画像を相対的な小さなピクセルサイズを有する入力画像ＩＭＧ１ＺＯおよびＩＭＧ２ＺＯに変換した上で、画像展開部２２０にそのデータを展開する。

このように、第１画像変換部２０４および第２画像変換部２１４により生成される入力画像のサイズを適宜変更することで、表示対象領域枠ＤＡに対する相対的な大きさを変化させることができ、これにより、ズーム操作を実現することができる。

上述のように、入力画像ＩＭＧ１および／または入力画像ＩＭＧ２の表示対象領域枠ＤＡに対する位置またはサイズの変更によって、入力画像ＩＭＧ１のうちの表示装置１０に表示される領域（第１表示対象領域）および／または入力画像ＩＭＧ２のうちの表示装置１０に表示される領域（第２表示対象領域）が変更される。

別の見方をすれば、表示対象領域枠ＤＡを基準として、入力画像ＩＭＧ１および／または入力画像ＩＭＧ２の相対位置を変更することで、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の相対位置を変化させることもできる。また、入力画像ＩＭＧ１およびＩＭＧ２の表示対象領域枠ＤＡに対する位置またはサイズの変更によって、入力画像ＩＭＧ１のうちの表示装置１０に表示される領域（第１表示対象領域）および入力画像ＩＭＧ２のうちの表示装置１０に表示される領域（第２表示対象領域）の位置またはサイズが変更されると、これに伴って、入力画像ＩＭＧ１およびＩＭＧ１についての判定領域である注目領域枠ＦＷの位置またはサイズも変更される。

なお、判定領域に相当する注目領域枠ＦＷと表示対象領域枠ＤＡとの相対的な位置関係を一定に維持することが好ましい。たとえば、注目領域枠ＦＷを表示対象領域枠ＤＡの中心部または中央下部に位置するように設定しておくことができる。これは、ユーザは、表示装置１０に表示される画像のうち、その中心部または中央下部の範囲に注目することが多いと考えられるからである。なお、注目領域枠ＦＷおよび表示対象領域枠ＤＡの画像展開部２２０における位置は、両者の相対的な位置関係が維持されている限り、いずれを優先して定めてもよい。すなわち、ユーザ操作に応じて注目領域枠ＦＷの位置が変更される場合には、その注目領域枠ＦＷの変更後の位置に応じて表示対象領域枠ＤＡの位置を決定してもよいし、その逆に、ユーザ操作に応じて表示対象領域枠ＤＡの位置が変更される場合には、その表示対象領域枠ＤＡの変更後の位置に応じて注目領域枠ＦＷの位置を決定してもよい。

なお、図８には、理解を容易にするために、両入力画像の間に重複範囲を生じるように仮想配置した概念図を示すが、この仮想配置と画像展開部２２０における実際のデータ配列とは必ずしも一致しない場合もある。

再度図７を参照して、第１画像抽出部２０６および第２画像抽出部２１６は、それぞれ画像展開部２２０に展開されている入力画像ＩＭＧ１および入力画像ＩＭＧ２から、所定領域の画像情報（色属性や輝度属性などを含む）を抽出し、評価部２２２へ出力する。また、第１画像抽出部２０６および第２画像抽出部２１６は、評価部２２２により算出された表示ずれ量に基づいて、画像展開部２２０から、表示装置１０の第１ＬＣＤ１１６および第２ＬＣＤ１２６における表示内容を制御するための第１表示データおよび第２表示データをそれぞれ抽出する。なお、これらの抽出された第１表示データおよび第２表示データは、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２へそれぞれ書込まれる。

すなわち、第１画像抽出部２０６および第２画像抽出部２１６は、最初に決定される基本相対位置を含む所定範囲内の複数の相対位置について、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを当該複数の相対位置の各々に仮想配置した場合に生じる重複範囲に対して、対応する判定領域をそれぞれ設定するための判定領域設定部に相当する。また、第１画像抽出部２０６および第２画像抽出部２１６は、後述する処理により決定された表示ずれ量に基づいて、表示装置１０の表示を制御するための表示制御部の一部にも相当する。

評価部２２２は、第１画像抽出部２０６および第２画像抽出部２１６によってそれぞれ抽出される入力画像ＩＭＧ１および入力画像ＩＭＧ２の画像情報に基づいて、両入力画像の間の対応関係を評価する。典型的には、評価部２２２は、所定のブロックサイズ（典型的には、注目領域枠ＦＷの範囲）毎に、両入力画像の間の一致度（相関度）を算出し、その算出された一致度が最も高くなる相対位置を特定する。

すなわち、評価部２２２は、所定の視差を有する入力画像ＩＭＧ１および入力画像ＩＭＧ２の間の対応関係を判定することで、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の基本相対位置を決定するための基本決定部に相当する。また、入力画像ＩＭＧ１および入力画像ＩＭＧ２にそれぞれ設定される注目領域枠ＦＷ（判定領域）について、入力画像ＩＭＧ１と入力画像ＩＭＧ２と間の対応関係を判定することで、入力画像ＩＭＧ１および入力画像ＩＭＧ２との間の表示ずれ量を決定するための表示ずれ量決定部にも相当する。

操作受付部２２４は、入力部１０６（図１）と関連付けられており、入力部１０６からのユーザ操作に応じて、第１画像変換部２０４、第２画像変換部２１４、第１画像抽出部２０６、第２画像抽出部２１６などへ必要な指令を与える。より具体的には、ユーザによりズーム操作が指示されると、操作受付部２２４は、第１画像変換部２０４および第２画像変換部２１４に対して、指示された拡大率または縮小率などを通知する。また、ユーザによりスクロール操作が指示されると、操作受付部２２４は、第１画像抽出部２０６および第２画像抽出部２１６に対して、指示されたスクロール量（移動量）などを通知する。また、ユーザにより注目領域枠ＦＷの位置操作が指示されると、操作受付部２２４は、第１画像変換部２０４および第２画像変換部２１４に対して、新たな注目領域枠ＦＷの位置などを通知する。

［画像マッチング処理］
次に、上述の図６に示すように、任意に設定される注目領域枠ＦＷに含まれる被写体を表示装置１０の表示面において実質的に同じ位置に重ねて表示するための画像マッチング処理の内容について説明する。すなわち、本画像マッチング処理においては、表示装置１０において、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間をどの程度ずらして表示するかを示す「表示ずれ量」が決定される。

（１）基本相対位置の決定処理
上述したように、まず、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の基本相対位置が決定される。この基本相対位置の決定処理の詳細な内容について以下説明する。

図９は、この発明の実施の形態に従う情報処理装置１における基本相対位置の決定処理を説明するための模式図である。図９を参照して、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の基本相対位置は、両者の対応関係を判定することで決定される。より具体的には、入力画像ＩＭＧ１と入力画像ＩＭＧ２との相対位置を順次変更するとともに、各相対位置における両入力画像間の一致度が順次算出される。いわば、入力画像ＩＭＧ１に対する入力画像ＩＭＧ２の位置（あるいは入力画像ＩＭＧ２に対する入力画像ＩＭＧ１の位置）をずらしてゆき、その重複範囲において映っている被写体の画像が最も合致する位置をサーチする。そのため、基本相対位置を決定する場合には、入力画像ＩＭＧ１と入力画像ＩＭＧ２の間に重複範囲が生じる実質的に全面にわたってサーチ処理がなされる。

すなわち、入力画像ＩＭＧ１のうちの少なくとも一部の領域（注目領域枠ＦＷに相当する領域）、および／または、入力画像ＩＭＧ２のうちの少なくとも一部の領域（注目領域枠ＦＷに相当する領域）について、各領域の対応する入力画像の水平方向についての略全体が比較の対象となるように、両者の相対位置を変化させて比較することによって、基本相対位置が決定される。このように、入力画像ＩＭＧ１のうちの表示装置１０に表示される領域（第１表示対象領域）の少なくとも一部の領域に含まれる画像、および／または、入力画像ＩＭＧ２のうちの表示装置１０に表示される領域（第２表示対象領域）の少なくとも一部の領域に含まれる画像を、比較対象の画像として用いることで、表示相対位置である「表示ずれ量」が決定される。

なお、この基本相対位置の決定処理においては、上述した注目領域枠ＦＷ内の画像についての一致度を必ずしも評価する必要はなく、両入力画像の重複範囲に設定される領域内における一致度に基づいて評価することができる。但し、最終的に決定される「表示ずれ量」は、ユーザが注目する注目領域枠ＦＷに含まれる被写体を立体的に表示させるためのものであり、そのような観点から見れば、基本相対位置を決定する際にも、注目領域枠ＦＷ内の画像についての一致度を評価することが好ましい。以下の説明では、両入力画像の重複範囲に設定される注目領域枠ＦＷ内の画像についての一致度を評価する処理について例示する。

この基本相対位置の決定処理におけるサーチ範囲（後述の表示ずれ量の決定処理におけるサーチ範囲と区別するために、以下では「基本サーチ範囲」とも称す。）は、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを仮想配置した場合に生じる重複範囲が、その一致度の評価に必要な所定の大きさ以上となるような任意の相対位置を含む。上述したように、注目領域枠ＦＷ内の画像についての一致度を評価する場合には、上述の所定の大きさは、注目領域枠ＦＷ内の大きさに一致する。したがって、このような場合には、基本サーチ範囲は、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の距離が実質的にゼロとなる相対位置（図９（ａ）参照）から、その重複範囲が判定領域に相当する注目領域枠ＦＷの大きさを維持できる相対位置（図９（ｂ）および図９（ｃ）参照）までに存在するすべての相対位置を含む。

なお、基本相対位置を決定する処理においては、Ｘ方向（紙面上下方向）およびＹ方向（紙面左右方向）のいずれにもサーチ（走査）することが好ましい。但し、第１撮像部１１０および第２撮像部１２０が高さ方向において同一の位置に固定されている場合には、Ｙ方向にのみサーチを行なうようにしてもよい。

また、図９（ｂ）には、第１撮像部１１０と第２撮像部１２０との相対的な配置位置に応じて、入力画像ＩＭＧ２をＹ方向の正側（＋側）にのみ移動させる処理について例示したが、入力画像ＩＭＧ２をＹ方向の負側（−側）にも移動するようにしてもよい。

たとえば、図９（ｄ）に示すような相対位置において、一致度が最も高く算出されたとすると、図９（ｄ）に示す入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の相対位置、すなわちベクトル（ΔＸｓ，ΔＹｓ）が基本相対位置となる。この基本相対位置は、両入力画像に設定された判定領域における視差に対応した位置偏差に相当する。そのため、基本相対位置を決定するために用いられた判定領域とは異なる位置に注目領域枠ＦＷが設定されたとしても、基本相対位置からの外れ量は相対的に少ないと考えられるので、このような基本相対位置に基づいてサーチ処理を行なうことにより、画像マッチング処理をより高速に行なうことができる。なお、基本相対位置のベクトル（ΔＸｓ，ΔＹｓ）は、典型的には、ピクセル数で定義される。

なお、入力画像ＩＭＧ１およびＩＭＧ２上の任意の座標を（Ｘ，Ｙ）｛但し、Ｘｍｉｎ≦Ｘ≦Ｘｍａｘ；Ｙｍｉｎ≦Ｙ≦Ｙｍａｘ｝とすると、入力画像ＩＭＧ１上の座標（Ｘ，Ｙ）のピクセルと、入力画像ＩＭＧ２上の座標（Ｘ−ΔＸｓ，Ｙ−ΔＹｓ）のピクセルとが対応することになる。

（２）複数段階のサーチ処理
上述のような基本相対位置を決定するためのサーチ処理としては、従来の方法では、入力画像間の相対位置を１ピクセル毎にずらして順次評価する必要があるが、本実施の形態に従うサーチ処理においては、サーチ精度を複数段階に切替えることで、より高速に基本相対位置をサーチする。以下、本実施の形態に従う複数段階のサーチ処理について、説明する。

図１０〜図１２は、この発明の実施の形態に従うサーチ処理を説明するための図である。なお、以下の説明では、サーチ精度を３段階に切替えてサーチ処理を行なう構成について例示するが、サーチ精度の切替段階については特に制限はなく、入力画像のピクセルサイズなどに応じて適宜選択することができる。なお、図１０〜図１２には、理解を容易にするために、６４ピクセル×４８ピクセルの入力画像ＩＭＧ１およびＩＭＧ２を示すが、入力画像ＩＭＧ１およびＩＭＧ２はこのピクセルサイズに限定されないものではない。

本実施の形態においては、一例として、第１段階のサーチ処理では、サーチ精度が１６ピクセルに設定され、第２段階のサーチ処理では、サーチ精度が４ピクセルに設定され、最終の第３段階のサーチ処理では、サーチ精度が１ピクセルに設定される。

より具体的には、図１０（ａ）に示すように、第１段階のサーチ処理においては、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の距離が実質的にゼロとなる相対位置から、Ｘ方向に１６ピクセルずつ、およびＹ方向に１６ピクセルずつ離れた計１２個（Ｘ方向に３点×Ｙ方向に４点）の相対位置で一致度がそれぞれ評価される。すなわち、図１０（ａ）に示す相対位置における一致度の算出が完了すると、続いて、図１０（ｂ）に示すように、１６ピクセルだけ離れた相対位置における一致度が算出される。そして、これらの相対位置の各々に対応付けて算出された一致度のうち最も高い一致度が得られた相対位置を特定する。この相対位置の特定の後、第２段階のサーチ処理が実行される。なお、一致度は、注目領域枠ＦＷに対応する入力画像ＩＭＧ１内の画像と、注目領域枠ＦＷに対応する入力画像ＩＭＧ２内の画像との間で算出される。

図１１（ａ）に示すように、第１段階のサーチ処理において最も高い一致度が得られた相対位置を第１マッチング位置ＳＰ１とする。そして、第２段階のサーチ処理においては、この第１マッチング位置ＳＰ１を基準として、Ｘ方向に４ピクセルずつ、およびＹ方向に４ピクセルずつ離れた計６４個（Ｘ方向に８点×Ｙ方向に８点）の相対位置で一致度がそれぞれ評価される。すなわち、図１１（ａ）に示す相対位置における一致度の算出が完了すると、続いて、図１１（ｂ）に示すように、４ピクセルだけ離れた相対位置における一致度が算出される。

なお、図１１（ａ）に示す例では、一致度を評価する相対位置として、第１マッチング位置ＳＰ１を中心として、Ｘ方向の前進側に４点および後進側に３点、ならびにＹ方向の前進側に４点および後進側に３点、を設定する例を示すが、第１マッチング位置ＳＰ１を基準にして相対位置を設定する限り、どのような設定方法であってもよい。

同様にして、図１２（ａ）に示すように、第２段階のサーチ処理において最も高い一致度が得られた相対位置を第２マッチング位置ＳＰ２とする。そして、第３段階のサーチ処理においては、この第２マッチング位置ＳＰ２を基準として、Ｘ方向に１ピクセルずつ、およびＹ方向に１ピクセルずつ離れた計６４個（Ｘ方向に８点×Ｙ方向に８点）の相対位置で一致度がそれぞれ評価される。すなわち、図１２（ａ）に示す相対位置における一致度の算出が完了すると、続いて、図１２（ｂ）に示すように、１ピクセルだけ離れた相対位置における一致度が算出される。

なお、図１２（ａ）に示す例では、一致度を評価する相対位置として、第２マッチング位置ＳＰ２を中心として、Ｘ方向の前進側に４点および後進側に３点、ならびにＹ方向の前進側に４点および後進側に３点、を設定する例を示すが、第２マッチング位置ＳＰ２を基準として相対位置を設定する限り、どのような設定方法であってもよい。

このように、段階的にサーチ精度を高めていく方法を採用することで、全体として一致度の算出回数を低減することができる。たとえば、図１０〜図１２に示す例においては、すべて第２段階のサーチ処理のように１ピクセル×１ピクセルの単位でサーチを行なった場合には、計３０７２回（６４点×４８点）の一致度の算出処理が必要となる。これに対して、本実施の形態に従うサーチ処理においては、計１４０回（第１段階：１２回、第２段階：６４回、第３段階：６４回）の一致度の算出処理で済む。

（３）表示ずれ量の決定処理
上述のように、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の基本相対位置が予め決定されると、この基本相対位置を含む所定のサーチ範囲（上述の基本サーチ範囲と区別するために、以下では「表示ずれサーチ範囲」とも称す。）において、入力画像ＩＭＧ１と入力画像ＩＭＧ２との重複範囲に設定される判定領域である注目領域枠ＦＷ内の画像間の一致度が順次算出され、最も高い一致度が得られた相対位置に対応して、表示ずれ量が決定される。以下、本実施の形態に従う表示ずれ量の決定処理の詳細について説明する。

図１３は、この発明の実施の形態に従う表示ずれ量の決定処理を説明するための図である。まず、図１３（ａ）に示すように、基本相対位置として、ベクトル（ΔＸｓ，ΔＹｓ）が予め決定されているものとする。

表示ずれサーチ範囲は、基本相対位置を基準に決定される。たとえば、入力画像ＩＭＧ１の左上頂点をＯ１とし、入力画像ＩＭＧ２の左上頂点をＯ２とすると、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを基本相対位置に対応して仮想配置した場合の入力画像ＩＭＧ２の頂点Ｏ２をマッチング位置ＳＰと定義する。すると、このマッチング位置ＳＰを用いて、図１３（ｂ）および図１３（ｃ）に示すように所定範囲の表示ずれサーチ範囲が定義できる。すなわち、入力画像ＩＭＧ２の頂点Ｏ２をこの表示ずれサーチ範囲の左端から右端まで移動させて、各相対位置における注目領域枠ＦＷ内の画像間の一致度が算出される。そして、算出された複数の一致度のうち最も高い一致度が得られた相対位置に対応して、表示ずれ量が決定される。この表示ずれサーチ範囲は、上述の基本サーチ範囲より狭く設定される。典型的な一例として、表示ずれサーチ範囲は、入力画像ＩＭＧ１，ＩＭＧ２のＹ方向の長さに対する所定比率として定義することができ、たとえば、２０〜５０％程度に設定され、２５％程度に設定することが好ましい。なお、表示ずれサーチ範囲を比率により定義するのは、入力画像ＩＭＧ１およびＩＭＧ２が、ユーザによるズーム操作に応じてそのピクセルサイズが変更されるため、これらの変更に柔軟に対応するためである。

また、原則として、表示ずれ量の決定処理においては、Ｙ方向（第１および第２撮像部の間で視差が発生する方向）にのみサーチされる。これは、Ｘ方向には、原則として視差が発生しないことと、予め決定される基本相対位置によってＸ方向の相対差が補正されていることとを理由とするものである。もちろん、Ｙ方向に加えて、Ｘ方向にもサーチを行なうようにしてもよい。

なお、図１３（ｂ）および図１３（ｃ）には、入力画像ＩＭＧ２を基準として（すなわち、入力画像ＩＭＧ２の中心部に）注目領域枠ＦＷを設定している例を示すが、入力画像ＩＭＧ１を基準として注目領域枠ＦＷを設定してもよいし、あるいは、入力画像ＩＭＧ１と入力画像ＩＭＧ２との重複範囲を基準として注目領域枠ＦＷを設定してもよい。

このようなサーチ処理の結果、図１３（ｄ）に示すような相対位置において、最も高い一致度が算出されたとすると、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の相対位置、すなわちベクトル（ΔＸ，ΔＹ）が表示ずれ量となる。この表示ずれ量は、視差バリア１２の各スリット１４（図２）に対応する、それぞれ第１ＬＣＤ１１６および第２ＬＣＤ１２６の画素に対して、いずれの画像データを表示させるかについて制御するために用いられる。すなわち、入力画像ＩＭＧ１上の座標（Ｘ，Ｙ）の表示データと、入力画像ＩＭＧ２上の座標（Ｘ−ΔＸ，Ｙ−ΔＹ）の表示データとが、共通のスリット１４（図２）に対応する一対の画素に対して与えられる。

すなわち、入力画像ＩＭＧ１のうちの少なくとも一部の領域（注目領域枠ＦＷに相当する領域）と入力画像ＩＭＧ２のうちの少なくとも一部の領域（注目領域枠ＦＷに相当する領域）とについて、両者の相対位置を変化させつつ画像同士の一致度を複数回算出し、さらに算出された複数の一致度のうち最も高い一致度が得られた相対位置に対応して、入力画像ＩＭＧ１のうちの表示装置１０に表示される領域（第１表示対象領域）および／または入力画像ＩＭＧ２のうちの表示装置１０に表示される領域（第２表示対象領域）が決定される。そして、決定された表示相対変位量に相当する表示ずれ量に基づき、入力画像ＩＭＧ１のうちの表示装置１０に表示される領域（第１表示対象領域）および／または入力画像ＩＭＧ２のうちの表示装置１０に表示される領域（第２表示対象領域）の位置を変更し、変更後の領域にそれぞれ含まれる入力画像ＩＭＧ１の部分画像および入力画像ＩＭＧ２の部分画像を用いて表示装置１０での立体表示が行なわれる。

また、表示装置１０に対しては、図１３（ｄ）に示す入力画像ＩＭＧ１と入力画像ＩＭＧ２との重複範囲に含まれる画像データの全部または一部が与えられる。なお、表示装置１０における有効表示サイズ（ピクセル数）が入力画像間の重複範囲より大きい場合、および／または、表示装置１０のアスペクト比を満たすだけの重複範囲を設定できない場合には、表示データが存在しない部分について、黒または白の単一表示などを行なうことで補完してもよい。

また、表示ずれ量を決定する処理においても、上述した複数段階のサーチ処理を適用することができる。なお、複数段階のサーチ処理の詳細な内容については、上述したので繰返さない。

［処理手順］
図１４は、この発明の実施の形態に従う情報処理装置１における画像表示制御の全体処理手順を示すフローチャートである。図１５は、図１４に示すサーチ処理サブルーチンの処理を示すフローチャートである。図１６は、図１５に示す一致度評価サブルーチンの処理を示すフローチャートである。なお、図１４〜図１６に示す各ステップは、典型的には、情報処理装置１のＣＰＵ１００がプログラムを実行することで提供される。

（メインルーチン）
図１４を参照して、画像表示処理の開始が指示されると、ステップＳ１００において、ＣＰＵ１００は、第１撮像部１１０および第２撮像部１２０のそれぞれから撮像画像を取得する。すなわち、ＣＰＵ１００は、第１撮像部１１０および第２撮像部１２０のそれぞれに撮像を行なわせ、それによって得られる画像データをＲＡＭ１０４（図７の第１画像バッファ２０２および第２画像バッファ２１２に相当）に格納する。続くステップＳ１０２において、ＣＰＵ１００は、それぞれの撮像画像を所定の初期サイズをもつ入力画像ＩＭＧ１およびＩＭＧ２に変換する。さらに続くステップＳ１０４において、ＣＰＵ１００は、所定の初期相対位置で、入力画像ＩＭＧ１およびＩＭＧ２をＲＡＭ１０４（図７の画像展開部２２０に相当）に展開する。さらに続くステップＳ１０６において、ＣＰＵ１００は、所定の初期位置に判定領域である注目領域枠ＦＷを設定する。

その後、ＣＰＵ１００は、ステップＳ１０８〜Ｓ１１２に示す基本相対位置の決定処理を実行する。すなわち、ステップＳ１０８において、ＣＰＵ１００は、基本サーチ範囲を引数として設定する。続くステップＳ１１０において、ステップＳ１０８において設定された基本サーチ範囲に基づいて、サーチ処理が実行される。すなわち、ステップＳ１０８において設定された基本サーチ範囲が引数として、図１５に示すサーチ処理サブルーチンに渡される。このサーチ処理サブルーチンの結果、最も高い一致度が得られた相対位置の情報がメインルーチンに返される。さらに続くステップＳ１１２において、ＣＰＵ１００は、サーチ処理サブルーチンから返された相対位置を基本相対位置として格納するとともに、当該相対位置を表示ずれ量の初期値として格納する。その後、処理はステップＳ１１４へ進む。

ステップＳ１１４において、ＣＰＵ１００は、表示ずれ量の現在値に基づいて、表示装置１０における表示を制御する。すなわち、ＣＰＵ１００は、ＲＡＭ１０４に展開されている入力画像ＩＭＧ１およびＩＭＧ２の画像データを、表示ずれ量の現在値に応じた座標だけずらして、第１ＶＲＡＭ１１２および第２ＶＲＡＭ１２２へそれぞれ書込む。そして、処理はステップＳ１１６へ進む。

ステップＳ１１６において、ＣＰＵ１００は、新たな入力画像の取得が指示されたか否かを判断する。新たな入力画像の取得が指示された場合（ステップＳ１１６においてＹＥＳの場合）には、ステップＳ１００以下の処理が繰返される。すなわち、新たな入力画像（撮像画像）の入力に応答して、基本相対位置が決定または更新される。そうでない場合（ステップＳ１１６においてＮＯの場合）には、処理はステップＳ１１８へ進む。この新たな入力画像の入力は、入力画像ＩＭＧ１および入力画像ＩＭＧ２の少なくとも一方の更新を意味する。なお、ユーザによる基本相対位置の決定または更新の指示を直接受けるようにしてもよい。この場合には、ＣＰＵ１００は、ユーザ操作に応答して、ステップＳ１０８以下の処理の実行を開始し、これにより基本相対位置が決定または更新される。

ステップＳ１１８において、ＣＰＵ１００は、スクロール操作が指示されたか否かを判断する。スクロール操作が指示された場合（ステップＳ１１８においてＹＥＳの場合）には、処理はステップＳ１２０へ進み、そうでない場合（ステップＳ１１８においてＮＯの場合）には、処理はステップＳ１１９へ進む。

ステップＳ１１９において、ＣＰＵ１００は、ズーム操作が指示されたか否かを判断する。ズーム操作が指示された場合（ステップＳ１１９においてＹＥＳの場合）には、処理はステップＳ１２０へ進み、そうでない場合（ステップＳ１１９においてＮＯの場合）には、処理はステップＳ１２６へ進む。

ステップＳ１２０において、ＣＰＵ１００は、ＲＡＭ１０４に格納されているそれぞれの撮像画像を、ステップＳ１１８において指示された内容（拡大／縮小率またはスクロール量）などに応じたサイズをもつ入力画像ＩＭＧ１およびＩＭＧ２に変換する。ここで、基本相対位置がピクセル単位などを用いて定義されている場合には、入力画像のサイズ変更の比率に応じて、基本相対位置の値も同じ比率で更新される。なお、スクロール操作が指示された場合には、ステップＳ１１８の処理をスキップしてもよい場合がある。続くステップＳ１２２において、ＣＰＵ１００は、ステップＳ１１８において指示された内容（拡大／縮小率またはスクロール量）に応じた相対位置で、新たに生成した入力画像ＩＭＧ１およびＩＭＧ２をＲＡＭ１０４に展開する。そして、処理はステップＳ１３０へ進む。

一方、ステップＳ１２６において、ＣＰＵ１００は、注目領域枠ＦＷの位置変更が指示されたか否かを判断する。注目領域枠ＦＷの位置変更が指示された場合（ステップＳ１２６においてＹＥＳの場合）には、処理はステップＳ１２８へ進み、そうでない場合（ステップＳ１２６においてＮＯの場合）には、処理はステップＳ１４０へ進む。なお、注目領域枠ＦＷの位置変更の指示は、ユーザフレンドリの観点からは、たとえば表示装置の表示面に表示される画像に対するタッチ操作を受付けるように構成することが好ましい。なお、表示装置１０の表示面には、視差バリア１２が設けられるので、このようなタッチパネルのデバイスとしては、光学式もしくは超音波式などが好ましい。

ステップＳ１２８において、ＣＰＵ１００は、ステップＳ１２６において指示された内容（変更後の注目領域枠ＦＷの座標など）に応じた位置に注目領域枠ＦＷを設定する。そして、処理はステップＳ１３０へ進む。

ステップＳ１３０〜Ｓ１３４において、ＣＰＵ１００は、表示ずれ量の決定処理を実行する。すなわち、ステップＳ１３０において、ＣＰＵ１００は、表示ずれサーチ範囲を引数として設定する。より具体的には、ＣＰＵ１００は、基本相対位置を中心として、所定の方向（図１３に示す例では、Ｙ方向）に入力画像ＩＭＧ１，ＩＭＧ２の対応する辺の長さに所定比率を乗じた長さに相当する範囲を表示ずれサーチ範囲として決定する。このように、基本サーチ範囲より狭い表示ずれサーチ範囲がサーチ範囲として設定される。

続くステップＳ１３２において、ステップＳ１３０において設定された表示ずれサーチ範囲に基づいて、サーチ処理が実行される。すなわち、ステップＳ１３０において設定された表示ずれサーチ範囲を引数として、図１５に示すサーチ処理サブルーチンが実行される。このサーチ処理サブルーチンの結果、最も高い一致度が得られた相対位置の情報がメインルーチンに返される。さらに続くステップＳ１３４において、ＣＰＵ１００は、サーチ処理サブルーチンから返された相対位置を新たな表示ずれ量として更新する。その後、ステップＳ１１４以下の処理が繰返される。

一方、ステップＳ１４０において、ＣＰＵ１００は、画像表示処理の終了が指示されたか否かを判断する。画像表示処理の終了が指示された場合（ステップＳ１４０においてＹＥＳの場合）には、処理を終了し、そうでない場合（ステップＳ１４０においてＮＯの場合）には、ステップＳ１１４以下の処理が繰返される。

（サーチ処理サブルーチン）
図１５を参照して、まず、ステップＳ２００において、ＣＰＵ１００は、引数として指定されたサーチ範囲（基本サーチ範囲または表示ずれサーチ範囲）を更新後サーチ範囲の初期値として設定する。この更新後サーチ範囲は、図１０〜図１２に示すような複数段階のサーチ処理を行なう場合に、実質的なサーチ範囲を絞るための変数である。続くステップＳ２０２において、ＣＰＵ１００は、サーチ精度Ｎを第１段階目の値（上述の例では、１６ピクセル）に設定する。そして、処理はステップＳ２０４へ進む。

ステップＳ２０４において、ＣＰＵ１００は、更新後サーチ範囲の現在値およびサーチ精度を引数として設定する。続くステップＳ２０６において、ＣＰＵ１００は、ステップＳ２０４において設定された更新後サーチ範囲およびサーチ精度に基づいて、図１６に示す一致度評価サブルーチンを実行する。この一致度評価サブルーチンでは、更新後サーチ範囲に含まれる各相対位置における一致度を評価し、更新後サーチ範囲において、最も高い一致度が得られる相対位置を特定する。この一致度評価サブルーチンの結果、更新後サーチ範囲において、最も高い一致度が得られた相対位置の情報が返される。

続くステップＳ２０８において、ＣＰＵ１００は、サーチ精度Ｎが「１」に設定されているか否かを判断する。すなわち、ＣＰＵ１００は、サーチ精度Ｎの現在値が最終段階の値になっているか否かを判断する。サーチ精度Ｎが「１」に設定されている場合（ステップＳ２０８においてＹＥＳの場合）には、処理はステップＳ２１４へ進み、そうでない場合（ステップＳ２０８においてＮＯの場合）には、処理はステップＳ２１０へ進む。

ステップＳ２１０において、ＣＰＵ１００は、直近のステップＳ２０８において実行された一致度評価サブルーチンにより特定された相対位置を基準として、当該相対位置±Ｎの範囲（もしくは、｛相対位置−（Ｎ−１）｝〜｛相対位置＋Ｎ｝の範囲）を新たな更新後サーチ範囲に設定する。すなわち、ＣＰＵ１００は、更新後サーチ範囲を一致度評価サブルーチンの実行結果に応じて更新する。続くステップＳ２１２において、サーチ精度Ｎを次の段階の値に更新する。上述の例では、サーチ精度Ｎの現在値を「４」で除算することで、新たなサーチ精度Ｎが算出される。そして、ステップＳ２０４以下の処理が繰返される。

一方、ステップＳ２１４において、直近の一致度評価サブルーチンにより特定された、最も高い一致度が得られた相対位置をメインルーチンに返す。そして、サブルーチン処理は終了する。

（一致度評価サブルーチン）
図１６を参照して、まず、ステップＳ３００において、ＣＰＵ１００は、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の相対位置を、更新後サーチ範囲の開始位置に設定する。すなわち、ＣＰＵ１００は、入力画像ＩＭＧ１および入力画像ＩＭＧ２を更新後サーチ範囲に存在する１番目の相対位置に仮想配置する。続くステップＳ３０２において、ＣＰＵ１００は、積算最小値を初期化する。この積算最小値は、後述する最も一致度の高い相対位置を特定するために用いられる判定値である。後述する処理においては、対応するピクセル同士の色の差についての積算値に基づいて一致度が評価されるので、当該積算値が小さいほど一致度が高いことになる。そのため、積算最小値の初期値としては、色属性のダイナミックレンジなどを考慮して、算出され得る最大値を超える値がセットされる。そして、処理はステップＳ３０４へ進む。

ステップＳ３０４において、入力画像ＩＭＧ１と入力画像ＩＭＧ２とを、相対位置の現在値に仮想配置した場合に生じる重複範囲に対して注目領域枠ＦＷを設定する。そして、処理はステップＳ３０６へ進む。

ステップＳ３０６において、ＣＰＵ１００は、設定された注目領域枠ＦＷ内の１番目のピクセルに対応する、入力画像ＩＭＧ１および入力画像ＩＭＧ２における色属性をそれぞれ取得する。続くステップＳ３０８において、ＣＰＵ１００は、それぞれ取得した色属性に基づいて、両入力画像間の色の差についての絶対値を積算する。さらに続くステップＳ３１０において、設定された注目領域枠ＦＷ内のすべてのピクセルについての色属性を取得したか否かを判断する。注目領域枠ＦＷ内のすべてのピクセルについての色属性を取得した場合（ステップＳ３１０においてＹＥＳの場合）には、処理はステップＳ３１４へ進み、そうでない場合（ステップＳ３１０においてＮＯの場合）には、処理はステップＳ３１２へ進む。

ステップＳ３１２において、ＣＰＵ１００は、設定された注目領域枠ＦＷ内の次のピクセルに対応する、入力画像ＩＭＧ１および入力画像ＩＭＧ２における色属性をそれぞれ取得する。そして、ステップＳ３０８以下の処理が繰返される。

一方、ステップＳ３１４において、ＣＰＵ１００は、色の差の絶対値についての積算値が積算最小値（現在値）より小さいか否かを判断する。すなわち、ＣＰＵ１００は、相対位置の現在値における一致度が先に評価された他の相対位置よりも高いか否かを判断する。色の差の絶対値についての積算値が積算最小値より小さい場合（ステップＳ３１４においてＹＥＳの場合）には、処理はステップＳ３１６へ進み、そうでない場合（ステップＳ３１４においてＮＯの場合）には、処理はステップＳ３２０へ進む。

ステップＳ３１６において、ＣＰＵ１００は、直近に算出された色の差の絶対値についての積算値を、新たな積算最小値として格納する。続くステップＳ３１８において、ＣＰＵ１００は、相対位置の現在値を最も高い一致度が得られた相対位置として格納する。そして、処理はステップＳ３２０へ進む。

ステップＳ３２０において、ＣＰＵ１００は、相対位置の現在値にサーチ精度Ｎを加算して、新たな相対位置に更新する。すなわち、ＣＰＵ１００は、入力画像ＩＭＧ１および入力画像ＩＭＧ２を相対位置の現在値からサーチ精度（Ｎピクセル）だけ離れた相対位置に仮想配置する。なお、基本サーチ範囲については、Ｘ方向およびＹ方向のいずれにも相対位置を変更する必要があるので、この場合には、相対位置が所定の走査順で更新される。

続くステップＳ３２２において、ＣＰＵ１００は、更新後の相対位置が更新後サーチ範囲の終了位置を超えたか否かを判断する。すなわち、ＣＰＵ１００は、指定された更新後サーチ範囲にわたってのサーチ処理が完了したか否かを判断する。更新後の相対位置が更新後サーチ範囲の終了位置を超えている場合（ステップＳ３２２においてＹＥＳの場合）には、処理はステップＳ３２４へ進み、そうでない場合（ステップＳ３２２においてＮＯの場合）には、ステップＳ３０４以下の処理が繰返される。

ステップＳ３２４において、ＣＰＵ１００は、現在格納されている相対位置（すなわち、当該サブルーチンにおいて最終的に最も高い一致度が得られた相対位置）をサーチ処理サブルーチンに返す。そして、サブルーチン処理は終了する。

［変形例］
上述の実施の形態においては、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の対応関係を判定する際に、Ｘ方向およびＹ方向に走査する処理例を示したが、これらに加えて、回転方向や台形歪みなどを考慮して対応関係を判定してもよい。特に、このような処理は、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の基本相対位置を決定する際に有効である。

また、上述の実施の形態においては、画像表示処理の開始時に、基本相対位置を取得する処理例を示したが、この基本相対位置を装置固有のパラメータとして予め記憶しておいてもよい。このような場合には、製品の出荷段階においてキャリブレーション機能として装置に実装することが好ましい。さらに、このような機能は、たとえば隠しコマンドなどによって任意のタイミングで実行できるようにしてもよい。また、このキャリブレーション機能としては、第１撮像部１１０および第２撮像部１２０の間の撮像感度を互いに略一致させるための処理を含むことが好ましい。これは、上述したように一致度をピクセル同士の色の差に基づいての評価する場合に誤差の発生を抑制できるからである。

また、上述の実施の形態においては、新たな入力画像が取得された場合には、基本相対位置が更新される処理例を示したが、定点カメラのように入力画像自体は周期的に更新されているとしても、その内容の変化がわずかであるような場合には、基本相対位置の更新を行なわないようにしてもよい。この場合には、入力画像の内容に対して所定値以上の変化が生じたときに限って、基本相対位置を更新してもよい。

上述の実施の形態においては、入力画像ＩＭＧ１およびＩＭＧ２に映っている被写体ＯＢＪ１が実質的に重なるように、入力画像ＩＭＧ１と入力画像ＩＭＧ２との間の相対位置を調整したが、ユーザが許容できる視差量の範囲以内の所定のずれ量だけずれた位置に、被写体ＯＢＪ１が表示されるように調整してもよい。この場合には、例えば、図１４に示すフローチャートにおいて、ステップＳ１１４で、最も高い一致度が得られた相対位置から所定量だけずらして表示装置１０における表示を制御してもよい。このようにすることで、被写体ＯＢＪ１が表示装置の表示面から所定量だけ手前または奥に位置するように、入力画像を表示することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１情報処理装置、１０表示装置、１２視差バリア、１４スリット、１６，１８ガラス基板、１００ＣＰＵ、１０２ＲＯＭ、１０４ＲＡＭ、１０６入力部、１１０撮像部、１１２第１ＶＲＡＭ、１１４第１ドライバ、１１６第１ＬＣＤ、１２０撮像部、１２２第２ＶＲＡＭ、１２４第２ドライバ、１２６第２ＬＣＤ、２０２第１画像バッファ、２０４第１画像変換部、２０６第１画像抽出部、２１２第２画像バッファ、２１４第２画像変換部、２１６第２画像抽出部、２２０画像展開部、２２２評価部、２２４操作受付部、ＤＡ表示対象領域枠、ＦＷ注目領域、ＩＭＧ１，ＩＭＧ２入力画像。

Claims

立体表示が可能な表示装置を制御するための表示制御プログラムであって、前記表示制御プログラムは、前記表示装置のコンピュータを、
所定の視差を有する第１および第２画像について、前記第１画像のうち前記表示装置に表示される領域である第１表示対象領域と、前記第２画像のうち前記表示装置に表示される領域である第２表示対象領域とを、当該第１表示対象領域と第２表示対象領域とを対応させて設定する表示対象領域設定手段、
前記第１表示対象領域内の少なくとも一部の領域に含まれる画像と前記第２表示対象領域内の少なくとも一部の領域に含まれる画像とを、両画像間の相対変位量が第１の範囲内となるように少なくとも一方の該領域を変化させて比較した結果に応じて、当該第１の範囲内の相対変位量のうちから当該第１画像と第２画像との間の対応関係に係る相対変位量を基本相対変位量として決定する基本相対変位量決定手段、
前記第１および第２表示対象領域が変更された場合、前記第１表示対象領域内の少なくとも一部の領域に含まれる画像と、前記第２表示対象領域内の少なくとも一部の領域に含まれる画像とを、前記基本相対変位量を基準とする所定範囲であって、かつ前記第１の範囲よりも狭い範囲である第２の範囲内で当該各領域の相対変位量を変化させて比較した結果に応じて、当該第２の範囲内の相対変位量のうちから両画像間の対応関係に係る相対変位量を表示相対変位量として決定する表示相対変位量決定手段、および
前記第１表示対象領域に含まれる第１部分画像と、前記第２表示対象領域に含まれる第２部分画像とについて、前記表示相対変位量に基づいて、当該第１部分画像と当該第２部分画像を用いて前記表示装置に立体表示を行なわせる立体表示処理手段、として機能させる、表示制御プログラム。
前記立体表示処理手段は、前記表示相対変位量決定手段によって決定された表示相対変位量に基づき、前記第１および第２表示対象領域の少なくとも一方の位置を変更し、当該変更後の第１および第２表示対象領域にそれぞれ含まれる前記第１および第２部分画像を用いて前記表示装置に立体表示を行なわせる、請求項１に記載の表示制御プログラム。
前記表示相対変位量決定手段は、ユーザ操作により前記第１および第２表示対象領域の位置またはサイズの変更指示がなされる毎に、前記表示相対変位量を更新する、請求項１に記載の表示制御プログラム。
前記表示対象領域設定手段は、前記位置またはサイズの変更指示に基づいて、前記第１および第２表示対象領域の位置またはサイズを変更する表示対象領域変更処理をさらに行ない、
前記表示相対変位量決定手段は、当該変更後の表示対象領域に基づいて、前記表示相対変位量を更新する、請求項３に記載の表示制御プログラム。
前記表示相対変位量決定手段は、
前記第１画像に第１判定領域を設定するとともに、前記第２画像に第２判定領域を設定し、前記第１判定領域と前記第２判定領域とは対応するように設定され、かつ、前記第１判定領域は、前記第１表示対象領域を基準として設定され、前記第２判定領域は、前記第２表示対象領域を基準として設定され、
前記第１判定領域に含まれる画像と前記第２判定領域に含まれる画像とを比較する、請求項１に記載の表示制御プログラム。
前記表示相対変位量決定手段は、前記第１および第２表示対象領域についての位置またはサイズの変更に応じて、前記第１および第２判定領域の位置またはサイズを変更する、請求項５に記載の表示制御プログラム。
前記表示相対変位量決定手段は、
前記第１および第２画像に対して共通の判定領域枠を設定し、
前記第１画像の前記判定領域枠によって定まる領域を前記第１判定領域として設定するとともに、前記第２画像の前記判定領域枠によって定まる領域を前記第２判定領域として設定する、請求項５に記載の表示制御プログラム。
前記表示対象領域設定手段は、
前記第１および第２画像に対して共通の表示対象領域枠を設定し、
前記表示対象領域枠に対する前記第１および第２画像の相対位置を設定することによって、前記第１画像の前記表示対象領域枠によって定まる領域を前記第１表示対象領域として設定するとともに、前記第２画像の前記表示対象領域枠によって定まる領域を前記第２表示対象領域として設定する、請求項１に記載の表示制御プログラム。
前記表示対象領域設定手段は、前記第１画像における前記表示対象領域枠の相対位置、および、前記第２画像における前記表示対象領域枠の相対位置を変更することで、前記第１表示対象領域内の少なくとも一部の領域に含まれる画像と前記第２表示対象領域内の少なくとも一部の領域に含まれる画像との間の相対変位量を変化させる、請求項８に記載の表示制御プログラム。
前記第１および第２画像の前記表示対象領域枠に対する位置またはサイズの変更によって、前記第１および第２表示対象領域の位置またはサイズを変更する、請求項８に記載の表示制御プログラム。
前記基本相対変位量決定手段は、前記第１画像のうちの少なくとも一部の領域と前記第２画像のうちの少なくとも一部の領域との少なくとも一方について、当該領域の対応する画像の水平方向についての略全体が比較の対象となるように、前記相対変位量を変化させて比較することによって、前記基本相対変位量を決定する、請求項１または２に記載の表示制御プログラム。
前記基本相対変位量決定手段は、ユーザ操作に応答して、前記基本相対変位量を決定または更新する、請求項１〜１１のいずれか１項に記載の表示制御プログラム。
前記基本相対変位量決定手段は、新たな第１または第２画像の入力に応答して、前記基本相対変位量を決定または更新する、請求項１〜１１のいずれか１項に記載の表示制御プログラム。
前記表示対象領域設定手段は、前記第１画像のうちの少なくとも一部の領域に含まれる画像と前記第２画像の少なくとも一部の領域に含まれる画像とについて、前記相対変位量を変化させつつ画像同士の一致度を複数回算出し、算出された複数の一致度のうち最も高い一致度が得られた相対変位量に対応して、前記第１表示対象領域または前記第２表示対象領域の少なくとも一方を決定する、請求項１〜１３のいずれか１項に記載の表示制御プログラム。
前記相対変位量を変化させて比較する処理は、
前記相対変位量を所定の第１変化量ずつ変化させて各調整量における一致度を算出し、それらのうち最も高い一致度が得られた相対変位量を第１相対変位値として特定し、
前記第１画像と前記第２画像とを、前記第１相対変位置を基準とした、第１変化量より小さい第２変化量ずつ変化させて各相対変位量における一致度を算出し、それらのうち最も高い一致度が得られた第２相対変位値を特定する、ことを含む、請求項１〜１４のいずれか１項に記載の表示制御プログラム。
前記表示相対変位量決定手段は、前記第１判定領域および前記第２判定領域が、それぞれ対応する前記第１表示対象領域および前記第２表示対象領域の中心部および中央下部のいずれかに位置するように設定する、請求項５〜７のいずれか１項に記載の表示制御プログラム。
前記表示相対変位量決定手段は、前記表示装置に表示される画像に対するユーザ操作に応答して、対応する位置に前記第１判定領域および前記第２判定領域をそれぞれ設定する、請求項５〜７のいずれか１項に記載の表示制御プログラム。
前記表示装置は、前記所定の視差をもつように相対配置された２つの撮像部を有し、
前記表示制御プログラムは、前記コンピュータをさらに、前記２つの撮像部の撮像により取得されるそれぞれの撮像画像を所定の大きさをもつ前記第１および第２画像に変換する画像変換手段として機能させる、請求項１〜１７のいずれか１項に記載の表示制御プログラム。
前記表示装置は、前記第１および第２画像のデータを展開する記憶領域をさらに有し、
前記相対変位量は、前記記憶領域に展開された画像サイズに基づいて決定される、請求項１〜１８のいずれか１項に記載の表示制御プログラム。
立体表示が可能な表示装置を制御するための表示制御プログラムであって、前記表示制御プログラムは、前記表示装置のコンピュータを、
所定の視差を有する第１および第２画像について、当該第１画像と当該第２画像との間の相対変位量を第１範囲内の変位量で変化させながら、当該第１画像内の画像と当該第２画像内の画像との対応関係を判定することにより、当該第１画像と当該第２画像との間の対応関係に係る基本相対変位量を決定する基本相対変位量決定手段、および
前記第１画像内の少なくとも一部の領域に含まれる画像である第１領域画像と第２画像内の少なくとも一部の領域に含まれる画像である第２領域画像とを用いて立体表示を行なう立体表示制御手段として機能させ、前記立体表示制御手段は、当該第１および第２領域画像の領域が変更された場合、当該第１領域画像と当該第２領域画像との間の相対変位量を、前記基本相対変位量を基準とする前記第１範囲よりも狭い第２範囲の内の変位量で変化させながら、当該第１領域画像と当該第２領域画像との対応関係を判定することにより、当該第１領域画像と当該第２領域画像との間の対応関係に係る相対変位量を決定し、当該相対変位量に基づいて立体表示を行なう、表示制御プログラム。
立体表示が可能な表示装置と、
所定の視差を有する第１および第２画像について、前記第１画像のうち前記表示装置に表示される領域である第１表示対象領域と、前記第２画像のうち前記表示装置に表示される領域である第２表示対象領域とを、当該第１表示対象領域と第２表示対象領域とを対応させて設定する表示対象領域設定手段と、
前記第１表示対象領域内の少なくとも一部の領域に含まれる画像と前記第２表示対象領域内の少なくとも一部の領域に含まれる画像とを、両画像間の相対変位量が第１の範囲内となるように少なくとも一方の該領域を変化させて比較した結果に応じて、当該第１の範囲内の相対変位量のうちから当該第１画像と第２画像との間の対応関係に係る相対変位量を基本相対変位量として決定する基本相対変位量決定手段と、
ユーザ操作により前記第１および第２表示対象領域が変更された場合、前記第１表示対象領域内の少なくとも一部の領域に含まれる画像と、前記第２表示対象領域内の少なくとも一部の領域に含まれる画像とを、前記基本相対変位量を基準とする所定範囲であって、かつ前記第１の範囲よりも狭い範囲である第２の範囲内で当該各領域の相対変位量を変化させて比較した結果に応じて、当該第２の範囲内の相対変位量のうちから両画像間の対応関係に係る相対変位量を表示相対変位量として決定する表示相対変位量決定手段と、
前記第１表示対象領域に含まれる第１部分画像と、前記第２表示対象領域に含まれる第２部分画像とについて、前記表示相対変位量に基づいて、当該第１部分画像と当該第２部分画像を用いて前記表示装置に立体表示を行なわせる立体表示処理手段とを備える、情報処理装置。
立体表示が可能な表示装置のコンピュータで実行される表示制御方法であって、前記コンピュータは、
所定の視差を有する第１および第２画像について、前記第１画像のうち前記表示装置に表示される領域である第１表示対象領域と、前記第２画像のうち前記表示装置に表示される領域である第２表示対象領域とを、当該第１表示対象領域と第２表示対象領域とを対応させて設定する表示対象領域設定ステップと、
前記第１表示対象領域内の少なくとも一部の領域に含まれる画像と前記第２表示対象領域内の少なくとも一部の領域に含まれる画像とを、両画像間の相対変位量が第１の範囲内となるように少なくとも一方の該領域を変化させて比較した結果に応じて、当該第１の範囲内の相対変位量のうちから当該第１画像と第２画像との間の対応関係に係る相対変位量を基本相対変位量として決定する基本相対変位量決定ステップと、
前記第１および第２表示対象領域が変更された場合、前記第１表示対象領域内の少なくとも一部の領域に含まれる画像と、前記第２表示対象領域内の少なくとも一部の領域に含まれる画像とを、前記基本相対変位量を基準とする所定範囲であって、かつ前記第１の範囲よりも狭い範囲である第２の範囲内で当該各領域の相対変位量を変化させて比較した結果に応じて、当該第２の範囲内の相対変位量のうちから両画像間の対応関係に係る相対変位量を表示相対変位量として決定する表示相対変位量決定ステップと、
前記第１表示対象領域に含まれる第１部分画像と、前記第２表示対象領域に含まれる第２部分画像とについて、前記表示相対変位量に基づいて、当該第１部分画像と当該第２部分画像を用いて前記表示装置に立体表示を行なわせる立体表示処理ステップとを実行する、表示制御方法。
情報処理システムであって、
立体表示が可能な表示手段と、
所定の視差を有する第１および第２画像について、当該第１画像と当該第２画像との間の相対変位量を第１範囲内の変位量で変化させながら、当該第１画像内の画像と当該第２画像内の画像との対応関係を判定することにより、当該第１画像と当該第２画像との間の対応関係に係る基本相対変位量を決定する基本相対変位量決定手段と、
前記第１画像内の少なくとも一部の領域に含まれる画像である第１領域画像と第２画像内の少なくとも一部の領域に含まれる画像である第２領域画像とを用いて立体表示を行なう立体表示制御手段とを備え、前記立体表示制御手段は、当該第１および第２領域画像の領域が変更された場合、当該第１領域画像と当該第２領域画像との間の相対変位量を、前記基本相対変位量を基準とする前記第１範囲よりも狭い第２範囲の内の変位量で変化させながら、当該第１領域画像と当該第２領域画像との対応関係を判定することにより、当該第１領域画像と当該第２領域画像との間の対応関係に係る相対変位量を決定し、当該相対変位量に基づいて立体表示を行なう、情報処理システム。