JP7710963B2 - 撮像装置 - Google Patents

Description

本開示は、撮像装置に関する。

観察対象を結像させる撮像光学系は、焦点距離、画角等の多様な物性を有する。焦点距離が長くなると、観察対象が拡大化された像が形成されるので、遠方の観察対象の詳細な光学情報、言換えると拡大された光学情報が得られる。画角は広角化するほど、広範囲に位置する観察対象の光学情報が得られる。しかし、焦点距離と画角とはトレードオフの関係があり、焦点距離が長くなると画角が狭角化し、焦点距離が短くなると画角が広角化する。

それゆえ、状況に応じて望まれる光学情報を得られるように焦点距離の調整が行われている。例えば、撮像光学系に含まれるズームレンズを変位させることにより、焦点距離の調整が行われる。又、複数の単焦点レンズを切替えることにより、焦点距離の調整が行われる（特許文献１、２参照）。

特開平１１―３１１８３２号公報 特開２００４―２７９５５６号公報

特許文献１、２の技術は、焦点距離の切替えにより、遠方の撮影画像である望遠画像又は広い画角での撮影画像である広角画像を得ることができる。しかし、特許文献１、２の技術は、望遠画像と広角画像とを高い解像度で同時に得ることができない。

かかる事情に鑑みてなされた本開示の目的は、望遠画像と広角画像とを高い解像度で得ることが可能な撮像装置を提供することにある。

本開示の一実施形態に係る撮像装置は、
半透過性の反射面を有する第１の光学部材と、反射面を有する第２の光学部材と、を含んで構成される撮像光学系と、
前記撮像光学系を介して結像する像を撮像する撮像素子と、を備え、
焦点距離の異なる複数の像が前記撮像素子の同一の受光面に結像される。

本開示によれば、望遠画像と広角画像とを高い解像度で得ることが可能な撮像装置を提供することができる。

図１は、一実施形態に係る撮像装置の構成を例示するブロック図である。 図２は、一実施形態に係る撮像装置の構成を例示する断面図である。 図３は、重畳画像並びに重畳画像から生成される望遠画像及び広角画像を説明するための図である。 図４は、コントローラが実行する画像処理を説明するためのフローチャートである。 図５は、一実施形態に係る撮像装置の別の構成を例示する断面図である。

以下、図面を参照して本開示の一実施形態に係る撮像装置が説明される。以下の図面に示す構成要素において、同じ構成要素には同じ符号が付されている。実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものと必ずしも一致していない。

図１及び図２は、一実施形態に係る撮像装置１０の構成を例示する図である。図１は論理的な構成を例示するブロック図である。また、図２は撮像装置１０において配置された構成要素を示す断面図である。まず、撮像装置１０の構成の概要が説明される。図１に示すように、本開示の実施形態に係る撮像装置１０は、撮像光学系１１、撮像素子１２を備えて構成される。撮像装置１０は、さらにコントローラ１３を備えて構成されてよい。

撮像光学系１１は、第１の光学部材１１１と、第２の光学部材１１２と、を含んで構成される。第１の光学部材１１１及び第２の光学部材１１２は、それぞれ１つの光学素子又は複数の光学素子を組み合わせて構成される。光学素子は例えばレンズ、ミラー又は絞り等であってよい。第１の光学部材１１１は半透過性の反射面１１１ａを有する。また、第２の光学部材１１２は反射面１１２ａを有する。

撮像光学系１１は、第１の光学部材１１１を透過して、撮像素子１２に入射する被写体光束を結像させる。また、撮像光学系１１は、第１の光学部材１１１の反射面１１１ａ及び第２の光学部材１１２の反射面１１２ａで反射して、撮像素子１２に入射する被写体光束を結像させる。以下、被写体光束を単に光と表現することがある。

撮像素子１２は、撮像光学系１１を介して受光面１２ａに結像する像を撮像する。撮像素子１２は、可視光による像を撮像可能であってよいし、赤外線又は紫外線等の不可視光による像を撮像可能であってよいし、可視光及び不可視光による像を撮像可能であってよい。撮像素子１２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等である。撮像素子１２は、カラーイメージセンサであってよい。換言すると、撮像素子１２の受光面１２ａに配置される複数の画素は、例えばＲＧＢのカラーフィルタによって覆われてよい。撮像素子１２は、受光する画像に相当する画像信号を生成する。撮像素子１２は、例えば３０ｆｐｓ等の所定のフレームレートで画像信号を生成してよい。

コントローラ１３は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等であってよい。コントローラ１３は、撮像素子１２から画像信号を取得し、画像信号に画像処理を施す。画像処理は複数の像を分離する処理を含む。画像処理の詳細については後述する。

次に、撮像装置１０の構成要素の配置が説明される。ここで、図２に示すように、撮像装置１０に対して被写体が存在する側を物体側又は前方と表現することがある。また、物体側と反対の側を像側又は後方と表現することがある。図２は、撮像装置１０を撮像素子１２が含まれる位置で切った断面図を示している。

図２に示すように、撮像光学系１１は、第１の光学部材１１１を主鏡とし、第２の光学部材１１２を副鏡とするカセグレン光学系を含むように構成される。本実施形態において、第１の光学部材１１１の反射面１１１ａが凹面鏡であって、第２の光学部材１１２の反射面１１２ａが凸面鏡になる。遠方の被写体からの被写体光束は、反射面１１１ａで反射されて反射面１１２ａに向かい（光路Ｌ１）、反射面１１２ａで反射されて、第１の光学部材１１１の領域Ｒを通って、撮像素子１２に至る（光路Ｌ２）。本実施形態において、光路Ｌ１及び光路Ｌ２を経た被写体光束が受光面１２ａで結像して得られる画像が望遠画像である。また、領域Ｒは開口である。

また、第１の光学部材１１１は、反射面１１１ａが半透過性であって、開口（領域Ｒ）を有するレンズ１１３を像側に有する。レンズ１１３は透明であるが、透明に限定されない。本実施形態においてレンズ１１３はいわゆるドーナツレンズである。ただし、領域Ｒは、上記のカセグレン光学系の副鏡から撮像素子１２への光を妨げなければ、開口に限定されない。レンズ１１３は、例えば領域Ｒの部分に他の部分と曲率が異なるレンズを含んでよいし、領域Ｒに透明板、フィルタなどを含んでよい。広角画像に対応する被写体光束は、反射面１１１ａを透過し、レンズ１１３を介して、撮像素子１２に至る（光路Ｌ０）。レンズ１１３を介して光が受光面１２ａで結像するように、レンズ１１３の曲率などが定められる。反射面１１１ａの曲率とレンズ１１３の像側の面の曲率が異なっていてよい。つまり、第１の光学部材１１１の表面（反射面１１１ａ）と裏面１１１ｂの曲率は同じでなくてよい。ここで、広角画像は、望遠画像に比べて広い画角を撮像するものであればよく、特定画角以上の画像に限定されるものでない。また、望遠画像は、広角画像に比べて像倍率が高いものであればよく、特定の像倍率以上の画像に限定されるものでない。

望遠画像に対応する被写体光束が、光路Ｌ１及び光路Ｌ２を通って撮像素子１２に至ると同時に、広角画像に対応する被写体光束も、光路Ｌ０を通って撮像素子１２に至る。そして、受光面１２ａに複数の像、すなわち、カセグレン光学系を介して結像する像と、副鏡である第２の光学部材１１２を経ずにレンズ１１３を介して結像する像とが、結像される。換言すると、焦点距離の異なる複数の像が撮像素子１２の同一の受光面１２ａに結像される。

ここで、図２のように、第２の光学部材１１２の物体側の面に別のレンズ１１４が設けられていてよい。別のレンズ１１４は、第２の光学部材１１２の位置を固定する支持部としての機能も有してよい。

図３は、重畳画像ｏｌｉｍ並びに重畳画像ｏｌｉｍから生成される望遠画像ｉｍ１及び広角画像ｉｍ２を説明するための図である。図３の例において、望遠画像ｉｍ１は、広角画像ｉｍ２の中心部分にある遠方の路上の被写体を高い解像度で撮像した画像に対応する。受光面１２ａに結像する像の画像は、望遠画像ｉｍ１と広角画像ｉｍ２との重畳画像ｏｌｉｍ（図３の上図）になる。重畳画像ｏｌｉｍは望遠画像ｉｍ１及び広角画像ｉｍ２の光学情報を含む。撮像素子１２は、重畳画像ｏｌｉｍの画像信号を生成し、コントローラ１３に出力する。

コントローラ１３は、画像処理によって、重畳画像ｏｌｉｍを望遠画像ｉｍ１と広角画像ｉｍ２とに分離する。コントローラ１３は、例えば、独立成分分析、ウェーブレット法、画像分離モデル等の画像処理方法の適用により、重畳画像ｏｌｉｍを分離する。画像分離モデルは、例えば、事前に、複数の画像を重ねた重畳画像を作成し、当該重畳画像に対して、複数の画像を正解として機械学習させることにより構築されるモデルである。画像分離モデルは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒモデルのように画像を生成するｇｅｎｅｒａｔｏｒと、生成された画像が偽画像かどうか判定するｄｉｓｃｒｉｍｉｎａｔｏｒとを競わせて、その関係を反映したペア画像を生成するＰｉｘ－ｔｏ－Ｐｉｘを適用したモデルであってよい。

ここで、コントローラ１３が、事前に機械学習によって構築された画像分離モデルを用いて、画像を分離する画像処理を実行する場合に、画像分離モデルはコントローラ１３がアクセス可能な記憶部に記憶されていてよい。記憶部は１つ以上のメモリである。メモリは、例えば半導体メモリ、磁気メモリ等であるが、これらに限られず任意のメモリとすることができる。記憶部は、例えばコントローラ１３に内蔵されてよいし、コントローラ１３の外部に設けられてよい。

図４は、コントローラ１３が実行する画像処理を説明するためのフローチャートである。本実施形態において、コントローラ１３は、事前に機械学習によって構築された画像分離モデルを用いて、重畳画像ｏｌｉｍを望遠画像ｉｍ１と広角画像ｉｍ２とに分離する。

コントローラ１３は、撮像素子１２から重畳画像ｏｌｉｍの画像信号を取得する（ステップＳ１）。

コントローラ１３は、重畳画像ｏｌｉｍの画像信号から、画像分離モデルを用いて望遠画像ｉｍ１と判定される成分を抽出することによって、望遠画像ｉｍ１を分離する（ステップＳ２）。

コントローラ１３は、重畳画像ｏｌｉｍの画像信号から、望遠画像ｉｍ１の成分を差し引くことによって、広角画像ｉｍ２を分離する（ステップＳ３）。

コントローラ１３は、分離した望遠画像ｉｍ１及び広角画像ｉｍ２を、例えば各種のディスプレイのような表示装置に対して出力する（ステップＳ４）。

ここで、ステップＳ２及びステップＳ３における望遠画像ｉｍ１と広角画像ｉｍ２の対応は逆であってよい。つまり、別の例として、ステップＳ２において広角画像ｉｍ２が分離されて、ステップＳ３において重畳画像ｏｌｉｍの画像信号から広角画像ｉｍ２の成分が差し引かれて、望遠画像ｉｍ１が分離されてよい。

また、コントローラ１３は、機械学習によって生成された画像分離モデルを用いることによって、重畳画像ｏｌｉｍを望遠画像ｉｍ１と広角画像ｉｍ２とを精度よく分離できるが、さらに分離の精度を高めるために、少なくとも一方の画像の色成分を制限してよい。例えば、撮像装置１０は、第１の色成分を有する第１の像と、第１の色成分と異なる第２の色成分を有する第２の像とが、複数の像として、重畳して受光面１２ａに結像される構成であってよい。第１の像、第２の像は、受光面１２ａに結像される複数の像であって、それぞれ望遠画像ｉｍ１、広角画像ｉｍ２に対応する。また、例えば第１の色成分がＲＧＢの一部であって、第２の色成分が第１の色成分として選択されなかった残りの色成分であってよい。

このような色成分を制限した像を結像させるために、撮像装置１０は、第１の光学部材１１１及び第２の光学部材１１２の少なくとも１つにカラーフィルタを備える構成であってよい。例えば、第１の光学部材１１１は、反射面１１１ａが、特定の色の光だけを反射又は透過するダイクロイックコートミラーであってよい。また、第１の光学部材１１１は、反射面１１１ａを表面としたときの裏面１１１ｂに反射防止膜が設けられていてよい。図２の例では、反射防止膜はレンズ１１３の像側の面に設けられ、反射防止膜によって特定の色の光の透過率を向上させることができる。

例えば反射面１１１ａに設けられるダイクロイックコートミラーがＲＧＢのうちのＧ成分を反射させて、レンズ１１３の像側の面に設けられる反射防止膜がＲ成分及びＢ成分を高い透過率で透過させるとする。このとき、Ｇ成分を有する望遠画像ｉｍ１に対応する像と、Ｒ成分及びＢ成分を有する広角画像ｉｍ２に対応する像とが、重畳して受光面１２ａに結像される。別の組み合わせとして、反射防止膜がＲ成分、Ｂ成分の一方だけを高い透過率で透過させて、Ｇ成分を有する望遠画像ｉｍ１とＲ成分、Ｂ成分の一方だけを有する広角画像ｉｍ２とが重畳して受光面１２ａに結像されてよい。また、別の組み合わせとして、ダイクロイックコートミラーがＧ成分及びＢ成分を反射させて、Ｇ成分及びＢ成分を有する望遠画像ｉｍ１とＲ成分を有する広角画像ｉｍ２とが重畳して受光面１２ａに結像されてよい。

コントローラ１３は、重畳画像ｏｌｉｍの画像信号から、画像分離モデルの使用とともに、又は、画像分離モデルの使用に代えて、色成分に基づく望遠画像ｉｍ１又は広角画像ｉｍ２の分離を実行してよい。画像分離モデルと色成分とが併用される場合に、例えばコントローラ１３は、画像分離モデルを用いて分離した望遠画像ｉｍ１又は広角画像ｉｍ２の候補画像から、さらに含まれる特定の色成分だけを抽出した画像を、望遠画像ｉｍ１又は広角画像ｉｍ２として分離してよい。

以上のように、本実施形態に係る撮像装置１０は、上記の構成によって、望遠画像と広角画像とを高い解像度で得ることができる。

本開示の実施形態について、図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部などに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部などを１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、上記の実施形態は撮像光学系１１がカセグレン光学系を含むように構成されるが、このような構成に限定されない。図５は、撮像装置１０の別の構成を例示する断面図である。図５において、図２と同じ構成要素には同じ符号が付されている。本変形例に係る撮像装置１０は、上記の実施形態と同じ構成要素を含むが、図５に示すように第１の光学部材１１１でなく、第２の光学部材１１２が光を通す領域Ｒを有している。詳細に説明すると、本変形例に係る撮像装置１０の撮像光学系１１は、第１の光学部材１１１の反射面１１１ａの少なくとも一部と第２の光学部材１１２の反射面１１２ａが向き合い、第１の光学部材１１１より物体側に第２の光学部材１１２が設けられるように構成される。第１の光学部材１１１は、物体側から第２の光学部材１１２の領域Ｒを通った光の一部が第１の光学部材１１１の反射面１１１ａで反射し、光の一部が第１の光学部材１１１を透過する位置に設けられている。ここで、領域Ｒは図５のように開口であってよいが、レンズ、透明板、フィルタなどの光学素子が設けられてよい。受光面１２ａに結像する複数の像は、第１の光学部材１１１を透過して結像する像と、第１の光学部材１１１の反射面１１１ａ及び第２の光学部材１１２の反射面１１２ａで反射して結像する像と、を含む。

ここで、図５のｆ１は、第１の光学部材１１１の像側に設けられたレンズ１１３の焦点距離である。

本変形例に係る撮像装置１０は、上記の構成によって、望遠画像と広角画像とを高い解像度で得ることができる。ここで、コントローラ１３による画像処理は、上記の実施形態と同じである。

本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的又は類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。

さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

１０ 撮像装置
１１ 撮像光学系
１２ 撮像素子
１２ａ 受光面
１３ コントローラ
１１１ 第１の光学部材
１１１ａ 反射面
１１１ｂ 裏面
１１２ 第２の光学部材
１１２ａ 反射面
１１３ レンズ
１１４ 別のレンズ

Claims (10)

1. 半透過性の反射面を有する第１の光学部材と、反射面を有する第２の光学部材と、を含んで構成される撮像光学系と、
   前記撮像光学系を介して結像する像を撮像する撮像素子と、を備え、
   前記撮像光学系は、前記第１の光学部材を主鏡とし、前記第２の光学部材を副鏡とするカセグレン光学系を含むように構成され、
   前記第１の光学部材は、前記副鏡から前記撮像素子への光を通す領域を有するレンズを像側に有し、
   複数の像は、前記カセグレン光学系を介して結像する像と、前記副鏡を経ずに前記レンズを介して結像する像と、を含んで焦点距離の異なる前記複数の像が前記撮像素子の同一の受光面に結像される、撮像装置。
2. 半透過性の反射面を有する第１の光学部材と、反射面を有する第２の光学部材と、を含んで構成される撮像光学系と、
   前記撮像光学系を介して結像する像を撮像する撮像素子と、を備え、
   焦点距離の異なる複数の像が前記撮像素子の同一の受光面に結像され、
   前記撮像光学系は、前記第１の光学部材の反射面の少なくとも一部と前記第２の光学部材の反射面が向き合い、前記第１の光学部材より物体側に前記第２の光学部材が設けられるように構成され、
   前記第１の光学部材は、物体側から前記第２の光学部材の開口を通った光の一部が前記第１の光学部材の反射面で反射し、前記光の一部が前記第１の光学部材を透過する位置に設けられ、
   前記複数の像は、前記第１の光学部材を透過して結像する像と、前記第１の光学部材の反射面及び前記第２の光学部材の反射面で反射して結像する像と、を含む、撮像装置。
3. 前記撮像素子から画像信号を取得し、前記複数の像を画像処理によって分離するコントローラを備える、請求項１又は２に記載の撮像装置。
4. 前記コントローラは、事前に機械学習によって構築された画像分離モデルを用いて、前記画像処理を実行する、請求項３に記載の撮像装置。
5. 第１の色成分を有する第１の像と、前記第１の色成分と異なる第２の色成分を有する第２の像とが、前記複数の像として、重畳して前記受光面に結像される、請求項１から４のいずれか一項に記載の撮像装置。
6. 前記第１の光学部材は、前記半透過性の反射面がダイクロイックコートミラーであって、前記半透過性の反射面を表面としたときの裏面に反射防止膜が設けられている、請求項１から５のいずれか一項に記載の撮像装置。
7. 前記半透過性の反射面の曲率と前記裏面の曲率とが異なる、請求項６に記載の撮像装置。
8. 前記領域は開口である、請求項１に記載の撮像装置。
9. 前記レンズは透明である、請求項１又は８に記載の撮像装置。
10. 前記第１の光学部材は、レンズを像側に有する、請求項２に記載の撮像装置。