JP7543012B2 - 装置、及びシステム - Google Patents

Description

本発明は、装置、及びシステムに関する。

近年、人間の視覚特性に合わせたＲＧＢの３つのバンド（波長帯域）情報に加え、可視域や非可視域のバンド情報を取得可能なカメラを用いて、被写体の組成を分析したり、人間が視認しにくい物体を高精度に弁別したりする方法が提案されている。

特許文献１には、多数の小径レンズからなるレンズアレイとセンサとの間に互いに異なる透過特性を有する複数の分光フィルタが着脱交換可能に装着される撮像装置が開示されている。

特開２０１７－２０８７７８号公報

特許文献１の撮像装置では、複数の分光フィルタを介することで複数の小径レンズによって互いに異なる波長成分からなる複数の複製像を取得する。しかしながら、全ての複製像を記録保存した場合、記録データの容量が増大してしまう。

本発明は、記録データの容量を低減可能な撮像装置、及び撮像システムを提供することを目的とする。

本発明の一側面としての装置は、物体の複数の分光画像を取得可能な装置であって、複数の分光画像のうち使用者による入力に応じた記録波長帯域に対応する分光画像に関する情報を記憶部に保存する制御部を有し、装置は、夫々が異なる光軸を有し、物体の像を形成する複数のレンズ部と、夫々が光軸のうち一つの光軸上に配置される複数のフィルタとを介して物体を撮像することにより、複数の分光画像を取得することを特徴とする。

本発明によれば、保存するデータの容量を低減可能な撮像装置、及び撮像システムを提供することができる。

実施例１の撮像システムのブロック図である。 フィルタアレイを被写体側から見た模式図である。 実施例１の撮影動作を示すフローチャートである。 実施例１の表示部に表示される使用者の選択画面を示す図である。 実施例２の撮影動作を示すフローチャートである。 実施例２の表示部に表示される使用者の選択画面を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本実施例の撮像システム１００のブロック図である。図２は、フィルタアレイ４を被写体側から見た模式図である。

撮像システム１００は、撮像ユニット１０、Ａ／Ｄ変換器２０、画像処理部３０、波長選択部４０、撮影制御部５０、表示部６０、記録制御部７０、フィルタ情報取得部８０、システムコントローラ（制御部）９０、及びメモリ１１０を有する。Ａ／Ｄ変換器２０、画像処理部３０、波長選択部４０、撮影制御部５０、表示部６０、記録制御部７０、フィルタ情報取得部８０、システムコントローラ９０、及びメモリ１１０は、カメラ本体（撮像装置）内に搭載されている。

撮像ユニット１０は、被写体側（図の左側）から順に、対物レンズ１、視野絞り２、コリメートレンズ３、フィルタアレイ（複数のフィルタ）４、レンズアレイ（複数のレンズ部）５、及び撮像センサ（撮像素子）６を有する。なお、対物レンズ１からレンズアレイ５までは、撮像センサ６を有するカメラ本体に着脱交換可能な交換レンズユニットとして構成されていてもよい。また、視野絞り２からレンズアレイ５までは、対物レンズ１を含む交換レンズユニットとは異なる交換レンズユニットとして構成されていてもよい。

フィルタアレイ４は、夫々がレンズアレイ５の複数の小径レンズの光軸上に配置される複数のフィルタを有する。複数のフィルタは、互いに異なる透過特性を有する第１及び第２のフィルタを含む。本実施例では図２に示されるようにフィルタアレイ４はフィルタ４Ａ１１～４Ａ３３からなるが、５×５に分割されてもよいし、４×３に分割されてもよい。レンズアレイ５は、複数の小径レンズからなる。対物レンズ１、コリメートレンズ３、及びレンズアレイ５の中央の小径レンズは光軸ＡＸ０を共有しているが、レンズアレイ５の外側の小径レンズは光軸ＡＸ０からずれている。光軸ＡＸ１２は、レンズアレイ５の外側の小径レンズの光軸の一つである。このような構成により、対物レンズ１が結像した視野絞り２上の被写体の中間像をレンズアレイ５の小径レンズによって撮像センサ６上に複製し、アレイ状に複製像（分光像）を形成することができる。複数の小径レンズの夫々の光路上にフィルタが配置されているため、夫々異なる波長成分からなる分光画像を取得可能である。

また、フィルタアレイ４は、撮像ユニット１０に着脱可能に装着される。このような構成により、様々なマルチバンド画像を容易に取得可能である。なお、フィルタアレイ４は、単体で撮像ユニット１０に着脱可能に装着される光学装置を構成してもよいし、レンズアレイ５と撮像ユニット１０に着脱可能に装着される光学装置を構成してもよい。

撮像センサ６は、撮像面上に到達した光学像を電気信号（アナログ信号）に光電変換する。本実施例では、撮像センサ６として、シリコン製のＣＣＤやＣＭＯＳが使用される。なお、撮像センサ６は、複数の撮像領域を有する１つの撮像素子で構成されていてもよいし、夫々がレンズアレイ５の対応する小径レンズにより形成される分光像を光電変換する複数の撮像素子から成る撮像素子アレイとして構成されていてもよい。

Ａ／Ｄ変換器２０は、撮像センサ６から出力されるアナログ信号をデジタル信号に変換して画像処理部３０に供給する。

画像処理部３０は、Ａ／Ｄ変換器２０からのデジタル信号に対して輝度補正処理、歪曲補正処理、及び合成加算処理等の演算処理を行い、処理後の信号をシステムコントローラ９０に送信する。画像処理部３０は、分光情報分析部、又は疑似カラー画像生成部を有してもよい。分光情報分析部は、複数の分光画像を用いた被写体のスペクトル分析処理、及びスペクトル分析結果に応じた被写体の認識や真偽判定を行う。疑似カラー画像生成部は、複数の分光画像から、疑似的なＲＧＢカラー画像を生成する。

フィルタ情報取得部（取得部）８０は、フィルタアレイ４に関する情報（複数のフィルタに関する情報、フィルタアレイ情報）を取得する。フィルタアレイ情報とは、フィルタアレイ４の交換を判定する信号、各フィルタの位置情報、各フィルタの透過特性に関する情報、及びフィルタアレイの製品識別情報であるＩＤ情報等の情報である。フィルタアレイ情報は、メモリ１１０に保持されていてもよいし、撮像ユニット１０（カメラ本体を含まない）に保持されていてもよい。また、フィルタアレイ４がユニット部品（フィルタアレイユニット）として構成されている場合、フィルタアレイ情報はフィルタアレイユニットに設けられた記憶部に保持されていてもよい。

波長選択部（選択部）４０は、使用者による入力に応じて使用者が記録したい波長帯域を選択し、選択結果（記録波長帯域）をシステムコントローラ９０に出力する。使用者による入力は、後述する入力ボタンを用いて実行されてもよいし、タッチパネルや、アイトラッカーを用いて実行されてもよい。

システムコントローラ９０は、波長選択部４０から取得した選択結果に基づいて、記録制御部７０に記録波長帯域の分光画像に関する情報を記憶部に保存させる。

記録制御部７０は、複数の静止画や動画を格納する他、画像ファイルを構成する場合のファイルヘッダを格納する。メモリ１１０は、複数の静止画や動画を格納する他、画像ファイルを構成する場合のファイルヘッダ、システムコントローラ９０によって実行される各種のプログラムやそれに必要となるデータを格納する。表示部６０は、液晶表示素子等から構成され、画像、及び撮像システム１００の状態や異常等を表示する。

図３は、システムコントローラ９０により実行される本実施例の撮影動作を示すフローチャートである。図３において、「Ｓ」はステップ（工程）の略である。使用者がレリーズボタンを押す等の動作を行うことで撮影信号が入力されると、システムコントローラ９０は本フローの処理を開始する。

ステップＳ１００では、システムコントローラ９０は、フィルタ情報取得部８０からフィルタアレイ情報を取得する。本実施例では、フィルタアレイ情報は、各フィルタの透過特性に関する情報である。

ステップＳ１０１では、システムコントローラ９０は、フィルタアレイ情報を用いて、撮影可能な波長帯域を表示部６０に表示する。図４は、表示部６０に表示される使用者の選択画面を示す図である。本実施例では、フィルタアレイ４のフィルタ４Ａ１１～４Ａ３３に対応した撮影可能な波長帯域（４００～８５０ｎｍ）が表示されている。

ステップＳ１０２では、システムコントローラ９０は、波長選択部４０から使用者が記録したい波長帯域（記録波長帯域）を取得する。撮像システム１００は一度の撮影で９種類の波長帯域の分光画像を取得することができるが、全ての分光画像を記録するとデータ量が膨大となり、メモリ容量が不足する可能性がある。また、使用者によっては評価や分析に使用したい波長帯域が決まっており、使用しない波長帯域の分光画像データは無駄なデータとなってしまう。例えば、農業分野等で使用される植生の分布状況や活性度を示す指標であるＮＤＶＩのみを評価したい場合、６５０ｎｍ近傍と８００ｎｍ近傍の二波長帯域の分光画像データだけが必要である。すなわち、使用者がＮＤＶＩのみを評価したい場合、６５０ｎｍと８００ｎｍの二波長帯域の分光画像データのみを記録することが望ましい。本実施例では、使用者が入力ボタン１２０を用いて、６５０ｎｍと８００ｎｍの二波長帯域を選択すると、波長選択部４０は６５０ｎｍと８００ｎｍの二波長帯域を記録波長帯域として選択する。システムコントローラ９０は後述するように記録波長帯域の分光画像に関する情報のみを保存するため、保存するデータ量を大きく削減することができる。

ステップＳ１０３では、システムコントローラ９０は、撮影制御部５０を制御し、撮影を実行する。

ステップＳ１０４では、システムコントローラ９０は、記録制御部７０に記録波長帯域に対応する分光画像に関する情報をメモリ１１０に保存させる。本実施例では、記録波長帯域として選択された６５０ｎｍと８００ｎｍの分光画像に関する情報のみを記録保存するため、保存するデータ量を大きく削減することができる。

以上説明したように、本実施例の構成では、使用目的に応じて選択された波長帯域の分光画像に関する情報のみを保存することで、保存するデータの容量を低減可能である。

本実施例の構成は、実施例１の構成に対して、使用者が選択する項目が異なる。その他の構成については実施例１の構成と同様であるため、詳細な説明は省略する。

図５は、システムコントローラ９０により実行される本実施例の撮影動作を示すフローチャートである。図５において、「Ｓ」はステップ（工程）の略である。使用者がレリーズボタンを押す等の動作を行うことで撮影信号が入力されると、システムコントローラ９０は本フローの処理を開始する。

ステップＳ２００では、システムコントローラ９０は、フィルタ情報取得部８０からフィルタアレイ情報を取得する。本実施例では、フィルタアレイ情報は、各フィルタの透過特性に関する情報である。

ステップＳ２０１では、システムコントローラ９０は、フィルタアレイ情報を用いて、分光分析による評価が可能な評価指標を表示部６０に表示する。図６は、表示部６０に表示される使用者の選択画面を示す図である。本実施例では、表示部６０に分光分析による評価が可能な評価指標の一例としてフィルタアレイ４の透過特性を用いて評価可能な評価指標（ＮＤＶＩ，ＳＩＰＩ，ｎＮＤ７０５）が表示されている。ＳＩＰＩはカロチンの評価に使用される指標であり、主に４４５，６８０，８００ｎｍの三波長帯域が用いられる。ｎＮＤ７０５は植物のクロロフィル量の評価に用いられる指標であり、主に４４５，７００，７５０ｎｍの三波長帯域が用いられる。

ステップＳ２０２では、システムコントローラ９０は、波長選択部４０から使用者が取得したい評価指標に必要となる波長帯域（記録波長帯域）を取得する。撮像システム１００は一度の撮影で９種類の波長帯域の分光画像を取得することができるが、全ての分光画像を記録するとデータ量が膨大となり、メモリ容量が不足する可能性がある。また、使用者によっては評価や分析に使用したい波長帯域が決まっており、使用しない波長帯域の分光画像データは無駄なデータとなってしまう。本実施例では、例えば、使用者が入力ボタン１２０を用いてＳＩＰＩ評価指標を選択すると、波長選択部４０は４４５，６８０，８００ｎｍの三波長帯域を、記録波長帯域として選択する。システムコントローラ９０は後述するように記録波長帯域の分光画像に関する情報のみを保存するため、保存するデータ量を大きく削減することができる。

ステップＳ２０３では、システムコントローラ９０は、撮影制御部５０を制御し、撮影を実行する。

ステップＳ２０４では、システムコントローラ９０は、記録制御部７０に記録波長帯域に対応する分光画像に関する情報をメモリ１１０に保存させる。本実施例では、記録波長帯域として選択された４４５，６８０，８００ｎｍの分光画像に関する情報のみを記録保存するため、保存するデータ量を大きく削減することができる。

以上説明したように、本実施例の構成では、使用目的に応じて選択された波長帯域の分光画像に関する情報のみを保存することで、保存するデータの容量を低減可能である。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

４０ 波長選択部（選択部）
９０ システムコントローラ（制御部）

Claims (14)

1. 物体の複数の分光画像を取得可能な装置であって、
   前記複数の分光画像のうち使用者による入力に応じた記録波長帯域に対応する分光画像に関する情報を記憶部に保存する制御部を有し、
   前記装置は、夫々が異なる光軸を有し、前記物体の像を形成する複数のレンズ部と、夫々が前記光軸のうち一つの光軸上に配置される複数のフィルタとを介して前記物体を撮像することにより、前記複数の分光画像を取得することを特徴とする装置。
2. 前記複数のフィルタは、互いに異なる透過特性を有する第１及び第２のフィルタを含むことを特徴とする請求項１に記載の装置。
3. 前記複数のフィルタは、前記装置に対して着脱可能であることを特徴とする請求項１に記載の装置。
4. 前記複数のフィルタの透過特性に関する情報を取得する取得部を更に有し、
   前記入力は、前記複数のフィルタの透過特性に関する情報に関連することを特徴とする請求項１乃至３の何れか一項に記載の装置。
5. 前記複数のフィルタの透過特性に関する情報に基づく複数の波長帯域を表示する表示部を更に有し、
   前記入力は、表示された前記複数の波長帯域に基づくことを特徴とする請求項１乃至３の何れか一項に記載の装置。
6. 前記複数のフィルタの透過特性に関する情報に基づく分光分析が可能な評価指標を表示する表示部を更に有し、
   前記入力は、表示された前記評価指標に基づくことを特徴とする請求項１乃至３の何れか一項に記載の装置。
7. 前記入力は、入力ボタン、タッチパネル、アイトラッカーの少なくとも一つを用いて実行されることを特徴とする請求項１乃至３の何れか一項に記載の装置。
8. 物体の複数の分光画像を取得可能な装置と、
   夫々が異なる光軸を有し、前記物体の像を形成する複数のレンズ部と、夫々が前記光軸のうち一つの光軸上に配置される複数のフィルタとを備える光学装置とを有し、
   前記装置は、前記複数の分光画像のうち使用者による入力に応じた記録波長帯域に対応する分光画像に関する情報を記憶部に保存する制御部を備え、前記複数のレンズ部と前記複数のフィルタとを介して前記物体を撮像することにより、前記複数の分光画像を取得することを特徴とするシステム。
9. 前記複数のフィルタは、互いに異なる透過特性を有する第１及び第２のフィルタを含むことを特徴とする請求項８に記載のシステム。
10. 前記複数のフィルタは、前記装置に対して着脱可能であることを特徴とする請求項８に記載のシステム。
11. 前記複数のフィルタの透過特性に関する情報を取得する取得部を更に有し、
    前記入力は、前記複数のフィルタの透過特性に関する情報に関連することを特徴とする請求項８乃至１０の何れか一項に記載のシステム。
12. 前記複数のフィルタの透過特性に関する情報に基づく複数の波長帯域を表示する表示部を更に有し、
    前記入力は、表示された前記複数の波長帯域に基づくことを特徴とする請求項８乃至１０の何れか一項に記載のシステム。
13. 前記複数のフィルタの透過特性に関する情報に基づく分光分析が可能な評価指標を表示する表示部を更に有し、
    前記入力は、表示された前記評価指標に基づくことを特徴とする請求項８乃至１０の何れか一項に記載のシステム。
14. 前記入力は、入力ボタン、タッチパネル、アイトラッカーの少なくとも一つを用いて実行されることを特徴とする請求項８乃至１０の何れか一項に記載のシステム。