JP7825540B2 - 分光イメージングシステム、計測システム - Google Patents

Description

本発明は、入射光を分光して検出する分光イメージングシステムに関する。

カメラや顕微鏡などで物質や物体を観察するとき、物質や物体からの反射光や透過光を、カメラや顕微鏡の検出器（イメージセンサなど）で検出して画像化している。検出器は感度を持つ波長の光を全て取り込んでおり、例えばＳｉのＣＭＯＳイメージセンサだと０．４～１ｕｍ程度の波長の光に感度があり、その波長の光であれば積分して検出している。これに対して反射光や透過光を分光して特定の波長の光を検出器で検出することにより特定の波長における画像を得るのが分光イメージング法であり、波長の数（バンド数）が数個から十数個程度、すなわち対応する画像が数枚から十数枚程度のものをマルチスペクトルイメージング、それ以上のものをハイパースペクトルイメージングと呼ぶこともある。一般的に観察対象の物質や物体の種類によって吸収する波長が異なるので、分光イメージングで取得した画像を用いることにより物質や物体の種類を分類したり、含有水分量の多寡を判断したりすることが可能である。

マルチスペクトルイメージングは、特定の波長の光しか通さない光学フィルタをイメージセンサ上に複数種類配置するなどの方法によって実現できる。例えばカラーイメージセンサは赤、緑、青をそれぞれ通すカラーフィルタを配置しているので一種のマルチスペクトルイメージングと言える。一方、ハイパースペクトルイメージングにおいて同じような方法を用いる場合、光学フィルタの数が多くなることによって空間解像度が低下してしまうので、回折格子などの分光素子によって分散させた光をイメージセンサに対して照射する方法が取られることもある。ただし、２次元アレイで構成されるイメージセンサに対して光をｘ方向またはｙ方向に分散させて照射するので、残る次元数が１になる、すなわちラインセンサになってしまい、一度に画像全体を取得することができない。

これに対して、光学フィルタを利用するもののフィルタの数を求めたいバンド数より大幅に減らす圧縮センシングの手法が知られている。この手法は、特定の波長の光だけを通す光学フィルタではなく、様々な波長の光を通すけれど透過率が波長によって異なる光学フィルタを複数種類用いる。各フィルタを透過した光の強度はイメージセンサによって検出され、その強度情報から元の光のスペクトルが再構成される。再構成するスペクトルの精度をあげるには、異なる種類のフィルタ間で透過率の波長依存性ができるだけ異なっているのがよい。この手法も複数種類のフィルタを用いることにより、フィルタを使わなかった場合の画像と比べて空間解像度は劣るものの、求めたいバンド数の数だけフィルタを設ける場合と比べて大幅に空間解像度を改善できる。

下記特許文献１は、『検出対象波長毎の光の強度を高い精度にて検出することが可能な分光装置を提供すること。』を課題として、『分光装置１は、複数の検出対象波長のそれぞれの光の強度を検出する。分光装置１は、複数の検出対象波長を含む注目波長帯において、透過率が閾値透過率以上である透過波長帯を複数有する光学フィルタを複数備える。分光装置１は、複数の光学フィルタを透過した光に基づいて、複数の検出対象波長のそれぞれの光の強度を検出する検出部１１，１７を備える。複数の光学フィルタは、複数の透過波長帯が互いに異なる。』という技術を記載している（要約参照）。

特開２０１９－１３８６７０号公報

動く物体や物質、あるいは移動体から分光イメージングによって画像を取得する場合などにおいて、検出器が情報（画像情報やライン情報）を取得してから次の情報を取得するまでの間に被写体が相対的に大きく動いてしまう場合は、高速に画像情報を取得することが好ましい。したがって回折格子等によって光を分散させる方法よりも、光学フィルタを用いる方法が適している。また、あらかじめ決まった種類の物体や物質を観察するわけではない場合は、多くのバンド数が一般的に必要となるので、マルチスペクトルよりもハイパースペクトルイメージングの手法が好ましい。

圧縮センシングの手法によりフィルタを用いてハイパースペクトルイメージングをする場合、複数種類のフィルタを透過した光強度からスペクトルを再構成するが、再構成に利用するフィルタを透過する前の光のスペクトルは概同一でなければならない。しかしながら、特許文献１のような従来技術においては、再構成に利用するフィルタを透過する前の光のスペクトルが概同一か否かを判断することは困難である。

本発明は、上記のような課題に鑑みなされたものであり、バンド数の多い画像情報を精度よくかつ高速に取得することができる分光イメージング技術を提供することを目的とする。

本発明に係る分光イメージングシステムは、光波長ごとの光透過率が互いに異なる複数の光学フィルタを有し、各前記光学フィルタに対して入射する入射光がそれぞれ同じスペクトルを有するか否かを判定し、前記入射光が互いに同じスペクトルを有すると判定した前記光学フィルタを用いて前記入射光のスペクトルを計算する。

本発明に係る分光イメージングシステムによれば、バンド数の多い画像情報を精度よくかつ高速に取得することが可能となる。本発明のその他の課題、構成、利点などについては、以下の実施形態の説明によって明らかとなる。

実施形態１に係る分光イメージングシステムの概略を説明する構成図である。 チップ２の一部を拡大して表示した鳥瞰図である。 チップ２の一部を拡大して表示した上面図である。 入射光１のスペクトルＩ、実効的な透過率Ｔ、イメージセンサ７の出力Ｐの関係を示す。 各パターンに対して入射する光スペクトルが異なる例を示す模式図である。 パターンごとにスペクトルが異なる場合における、式（１）の変形を示す。 式（２）を２つの独立な方程式に分解した結果を示す。 実施形態２におけるマクロセルの構成を示す上面図である。 実施形態３に係る分光イメージングシステムの構成図である。 実施形態３に係る計測システムの構成図である。

＜実施形態１＞
図１は、本発明の実施形態１に係る分光イメージングシステムの概略を説明する構成図である。本システムは以下を備える：入射光１を、その光強度を表す電気信号に変換するチップ２；チップ２の駆動方法を指定し、チップ２からの出力信号を受け取って演算する演算装置３；演算結果を保存するストレージ４。必要に応じて演算結果を表示するディスプレイが接続されていてもよい。演算装置３は複数の装置で構成されていてもよく、また、入射光１はレンズで集光されてチップ２に対して照射される構成となっていてもよい。

図２は、チップ２の一部を拡大して表示した鳥瞰図である。入射光１の波長と同程度、あるいは波長よりも短い寸法からなるナノ構造体５がアレイ状に形成されて光学フィルタ６を構成している。光学フィルタ６の下層にはイメージセンサ７が形成される。図ではナノ構造体５を構成している孔の数は少ないが、実際には多数の孔が形成されている。孔の形は丸や四角に限定されない。

光学フィルタ６の上層には、光学フィルタ６を作製する際に利用する基材や、反射防止膜が形成されていてもよい。光学フィルタ６を作製する際に利用する基材を残す場合は、入射光１がよく透過する必要があるので、入射光１が可視光である場合はその基材は例えば石英であり、入射光１が赤外光である場合は例えば石英やシリコンである。光学フィルタ６は入射光１を部分的に透過する必要があるので薄く形成され、膜厚は例えば１００ｎｍから５００ｎｍであり、材質は例えば窒化シリコン、シリコン、シリコンカーバイドなどである。光学フィルタ６はイメージセンサ７と別々に作製されてから貼り合わせてもよいし、イメージセンサ７上に成膜してナノ構造体５を加工することにより形成してもよい。ナノ構造体５は例えば円や四角の形状のホールが光学フィルタ６を貫通するように形成され、パターンの寸法や間隔は入射光１の波長と同程度かそれよりも短い。

図３は、チップ２の一部を拡大して表示した上面図である。ナノ構造体５は、９種類の異なるパターンが繰り返して配置される構成となっている。この９種類の異なるパターンのセットをマクロセルと呼ぶ。各パターンがその直下のイメージセンサ７の１画素に対応していてもよいし、複数の画素の上に形成されていてもよい。ナノ構造体５の各パターンの寸法は、イメージセンサ７の画素サイズの整数倍となるように形成される。図３においてナノ構造体５は９種類の異なるパターンで形成されているが、何種類であってもよい。本実施形態においては９種類として説明する。

まずは、入射光１が空間的に均一な場合を仮定する。この場合、９種類のナノ構造体５の直下のイメージセンサ７の出力を用いて入射光１のスペクトルを再構成する。ナノ構造体５の各パターンがイメージセンサ７の複数の画素上に配置されている場合は、代表画素の出力を用いてもよいし、複数の画素の平均出力を用いてもよい。入射光１のスペクトルＩ、実効的な透過率Ｔ、イメージセンサ７の出力Ｐには、図４に示す式（１）のような関係がある。

実効的な透過率とは、光学フィルタ６単独の透過率ではなく、入射光１とイメージセンサ７との間に存在する物質全体の透過率に、イメージセンサ７の感度（すなわち入射光を出力に変換する際の効率）をかけたものである。ｎはイメージセンサ７が応答する波長範囲を離散的に表現したときのバンド数である。強度Ｉ_ｍはｍ番目の波長における入射光１の強度、透過率Ｔ_ｌｍはｌ番目の光学フィルタを透過する光のｍ番目の波長における実効的な透過率、Ｐ_ｌはｌ番目の光学フィルタに対応するイメージセンサ７の出力である。出力Ｐは測定値であり、透過率Ｔは事前に測定しておく。これらの情報を用いて入射光１の強度Ｉを求めるが、光学フィルタ６の種類数よりもバンド数ｎの方が大きいために解析的には求まらず、式（１）を満たすＩを探索によって推定する、すなわちスペクトルＩを再構成する。

図５は、各パターンに対して入射する光スペクトルが異なる例を示す模式図である。再構成に利用する光学フィルタ（ここでは９種類）に対して入射する光のスペクトルは概同一でないと正しく再構成できないが、図５に示すようにパターンごとにスペクトルが異なる場合がありうる。この場合、式（１）は図６の式（２）のように書き直すことができる。入射光のスペクトルはＩまたはＪとし、１～Ｋ番目のフィルタに対してスペクトルＩが照射され、Ｋ＋１番目～９番目のフィルタに対してスペクトルＪが照射されたとした。図５においてはＫ＝４である。

式（２）は図７に示す２つの独立な方程式である式（３）と式（４）に分解できる。式（３）、式（４）ともに式（１）と同じ形をしており、式（３）の場合は、Ｋ種類の光学フィルタに対応するイメージセンサの出力Ｐ_１～Ｐ_Ｋを用いてスペクトルＩを再構成することになる。ここで重要なポイントとしては、Ｋの値がわかっていること、すなわち、スペクトルが変わる境界がわかっていることである。そこで、境界を認識して境界に応じて再構成に利用する光学フィルタを動的に選択することにより、本発明に係る課題を解決できる。

実施形態１においては、図３における隣接するマクロセル間で、同じ種類の光学フィルタに対応するイメージセンサの検出素子の出力（画素値）を比較する。比較した結果、出力が概同一であれば同じスペクトルを持つ入射光が照射されていると考える。一方、比較した結果、出力に差があれば異なるスペクトルを持つ入射光が照射されていると考える。すなわち、比較した２種類の光学フィルタの間のどこかに境界が存在する。このようにして全ての光学フィルタに関して比較をしていけば境界を求めることができ、その結果、正しいスペクトルを示す分光イメージングを提供することができる。なお、イメージセンサの検出素子の出力比較では、検出素子の個体差を補正済の出力を用いる。

本実施形態によればスペクトル情報と空間情報を一度に取得できる。すなわち、演算装置３は、イメージセンサ７の画素（複数の画素にわたって１つの光学フィルタ６を配置した場合は複数の画素）ごとに、スペクトル情報を付与したデータを作成することにより、画像が表す空間情報と画素ごとのスペクトル情報をともに記述したデータを作成することができる。これにより、高速で移動する移動体に載せて切れ目なく情報を得ることが可能である。したがって、衛星通信などの手法によって自身の座標を把握したドローン等と組み合わせることにより、地図にスペクトル情報を埋め込んで提供することができる。

本実施形態において取得するデータ量は圧縮されている、すなわち、再構成によって得られるスペクトル情報と空間情報に対して取得する情報量が少ないので、ストレージへの負荷は小さい。したがって、取得したデータは移動体に載せたストレージに保存しておき、後からまとめてスペクトルを再構成してスペクトル情報と空間情報を得ることができる。この場合、移動体に載せる演算装置は小規模で済むので、軽量が要求されるドローン等での利用に適している。

＜実施形態２＞
本発明の実施形態２は、実施形態１と同様の装置構成（図１）およびチップ構造（図２）において、マクロセル内部の構造を実施形態１から変更することにより、再構成するスペクトルの精度を向上させる構成例を説明する。

図８は、本実施形態２におけるマクロセルの構成を示す上面図である。圧縮センシングによるスペクトルの再構成においては、マクロセル内の互いに異なる光学フィルタに対応するイメージセンサの出力を用いる。このとき、マクロセル内に多くの異なる種類の光学フィルタを設置するほど、再構成するスペクトルの精度は高まる。その一方で、マクロセル内に多くの異なる種類の光学フィルタを設置するほど、マクロセルが占める面積が増加するので、マクロセル内に異なるスペクトルが照射される確率が高まる。そこで、実施形態２においては、マクロセル内に同種のパターンを配置しておく。図８はその１例を示した。

マクロセル内の同種パターンの光学フィルタに対応するイメージセンサ出力を比較することにより、マクロセル内に異なるスペクトルの境界が存在するか否かを検知し、その境界に応じて再構成に利用する光学フィルタの種類を動的に選択する。境界を特定する際には同種フィルタ間で出力を比較するが、スペクトルを再構成するために利用する光学フィルタの種類としては、互いに異なるものを選択する。実施形態２においてはマクロセル内に同種のパターンが複数あり、それらに照射される入射光のスペクトルが概同一だとしても、スペクトルを再構成する際にはそれら同種のパターンから１つを選択するか、あるいは同種フィルタの平均出力を取って利用するものとする。

＜実施形態３＞
図９は、本発明の実施形態３に係る分光イメージングシステムの構成図である。図９に示す分光イメージングシステムは、ナノ構造体５からなる光学フィルタ６を直上に有するイメージセンサ７と、ナノ構造体５からなる光学フィルタ６を有さないイメージセンサ８とを備える。

イメージセンサ８は、光学フィルタ６で構成されるマクロセルがないので高解像度を有する。イメージセンサ８によって実施形態１で説明したスペクトルが異なるパターン境界を特定し、イメージセンサ７と８の視差を考慮したうえで、その境界をもとにスペクトル再構成のために利用する光学フィルタ６を動的に選択する。イメージセンサ７と８は同一種類であることが望ましいが、異なる種類でもよい。イメージセンサ７として、Ｓｉ ＣＭＯＳイメージセンサよりも長波長に感度がある高価な近赤外イメージセンサを利用した場合であっても、イメージセンサ８として安価なＳｉ ＣＭＯＳイメージセンサ（すなわちイメージセンサ７よりも、検出可能な光波長範囲が狭いセンサ）を活用すればシステムのコストアップを抑えることが可能である。

＜実施形態４＞
図１０は、本発明の実施形態３に係る計測システムの構成図である。計測システムは、移動体１００が分光イメージングシステム１１０と計測器１２０を搭載することによって構成される。分光イメージングシステム１１０は、実施形態１～３で説明した分光イメージングシステムである。計測器は、移動体１００の地理的座標を計測するデバイスであり例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって構成することができる。

移動体１００は、移動しながら分光イメージングシステム１１０によって画素ごとのスペクトルを取得するとともに、移動体１００の位置ごとの地理的座標をそのスペクトルと関連付けて、ストレージ４内に記憶する。これにより、スペクトルを移動体１００の位置ごとに記述した地図を生成することができる。この処理は演算装置３が実施してもよいし移動体１００が備える演算装置が実施してもよい。

＜本発明の変形例について＞
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、発明の趣旨を逸脱しない範囲で、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることが可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

本明細書の図面等において示す各構成の、位置、大きさ、範囲などは、理解の簡単のため、実際の位置、大きさ、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、範囲などに限定されない。

以上の実施形態において、イメージセンサ７が検出することができる光波長範囲は、イメージセンサ８が検出することができる光波長範囲を、必ずしも完全に包含していなくてもよい。すなわちイメージセンサ８を用いて、同じスペクトルの光が入射したフィルタの境界線を特定することができればよい。

以上の実施形態において、光学フィルタ６の光波長ごとの光透過率が同じであるとは、製造ばらつきによる微小な違いがあることを前提とした上で、光透過率の光波長に対する依存性が同じであるとみなすことができることであることを付言しておく。例えば、異なる光学フィルタ６を通過した同じスペクトルの光をイメージセンサが検出した結果を演算装置３が受け取ったとき、同じ信号レベルであると取り扱うことができれば、その光学フィルタ６は光波長ごとの光透過率が同じであるといえる。

以上の実施形態において、イメージセンサの検出素子ごとに、検出信号のばらつきがある場合は、演算装置３がそのばらつきを補正した上で、以上の実施形態で説明した各処理を実施してもよい。イメージセンサが検出信号を出力する時点でそのばらつきが補正されているのであれば、その検出信号をそのまま用いてもよい。

本発明は、分光イメージング装置、および、それを用いた分光イメージングシステムに関するものであり、これらを利用することにより工場の生産ラインから農場や森林などにおいて物体や物質の種類を分類したり、含有水分量の多寡を特定したりする際に適用することができる。

１・・・入射光
２・・・チップ
３・・・演算装置
４・・・ストレージ
５・・・ナノ構造体
６・・・光学フィルタ
７・・・イメージセンサ
８・・・イメージセンサ

Claims (11)

1. 入射光を分光して検出する分光イメージングシステムであって、
   前記入射光の強度を検出する第１イメージセンサ、
   前記第１イメージセンサ上に配置されたマクロセル、
   前記第１イメージセンサが検出した強度を用いて前記入射光のスペクトルを計算する演算装置、
   を備え、
   前記マクロセルは、光波長ごとの光透過率が互いに異なる複数の光学フィルタを有し、
   前記演算装置は、各前記光学フィルタにおける光波長ごとの光透過率と、各前記光学フィルタを通過した前記入射光の強度を前記第１イメージセンサが検出した結果とを用いて、前記入射光のスペクトルを、前記第１イメージセンサが有する１つ以上の画素ごとに計算するように構成されており、
   前記演算装置は、各前記光学フィルタに対して入射する前記入射光がそれぞれ同じスペクトルを有するか否かを判定し、
   前記演算装置は、前記入射光が互いに同じスペクトルを有すると判定した前記光学フィルタを用いて前記入射光のスペクトルを計算する
   ことを特徴とする分光イメージングシステム。
2. 前記演算装置は、光波長ごとの光透過率が同じである２つ以上の前記光学フィルタをそれぞれ通過した前記入射光の強度を比較することにより、同じスペクトルを有する前記入射光が入射した前記光学フィルタと、互いに異なるスペクトルを有する前記入射光が入射した前記光学フィルタとの間の境界を特定し、
   前記演算装置は、前記特定した前記境界に基づいて、前記入射光が同じスペクトルを有する前記光学フィルタを判定する
   ことを特徴とする請求項１記載の分光イメージングシステム。
3. 前記演算装置は、前記特定した前記境界に基づいて、前記光学フィルタを、同じスペクトルを有する前記入射光が入射した１つ以上のグループへ区分し、
   前記演算装置は、各前記グループに属する前記光学フィルタを用いて、前記グループごとに前記入射光のスペクトルを計算することにより、前記入射光が有するスペクトルごとに前記入射光のスペクトルを計算する
   ことを特徴とする請求項２記載の分光イメージングシステム。
4. 前記演算装置は、光波長ごとの光透過率が互いに異なる複数の前記光学フィルタをそれぞれ通過した前記入射光の強度を前記第１イメージセンサが検出した結果を用いて、前記入射光のスペクトルを計算する
   ことを特徴とする請求項１記載の分光イメージングシステム。
5. 前記分光イメージングシステムは、複数の前記マクロセルを備え、
   複数の前記マクロセルのうち少なくともいずれかは、前記光学フィルタとして、
   光波長ごとの光透過率が互いに異なる複数の異種光学フィルタ、
   光波長ごとの光透過率が同一である複数の同種光学フィルタ、
   を有し、
   前記演算装置は、同じ前記マクロセルに属する複数の前記異種光学フィルタを用いて、前記入射光のスペクトルを計算し、
   前記演算装置は、同じ前記マクロセルに属する複数の前記同種光学フィルタを通過した前記入射光の強度を比較することにより、前記境界を特定する
   ことを特徴とする請求項２記載の分光イメージングシステム。
6. 前記演算装置は、前記マクロセルが複数の前記異種光学フィルタを有するが複数の前記同種光学フィルタを有していない場合は、隣接する２つの前記マクロセルそれぞれにおいて光波長ごとの光透過率が互いに同一である前記光学フィルタを用いて、前記境界を特定する
   ことを特徴とする請求項５記載の分光イメージングシステム。
7. 前記演算装置は、同じ前記マクロセルに属する複数の前記同種光学フィルタをそれぞれ通過した前記入射光の強度のうちいずれか１つを選択するかまたは平均を求め、
   前記演算装置は、前記選択した強度または前記平均を、前記同種光学フィルタを通過した前記入射光の強度として用いて、前記入射光のスペクトルを計算する
   ことを特徴とする請求項６記載の分光イメージングシステム。
8. 前記分光イメージングシステムはさらに、第２イメージセンサを備え、
   前記第２イメージセンサは、前記マクロセルを有しておらず、
   前記演算装置は、前記第２イメージセンサに対して入射した前記入射光を用いて、前記境界を判定する
   ことを特徴とする請求項２記載の分光イメージングシステム。
9. 前記第２イメージセンサが検出することができる光波長の範囲は、前記第１イメージセンサが検出することができる光波長の範囲よりも狭い
   ことを特徴とする請求項８記載の分光イメージングシステム。
10. 前記演算装置は、前記第１イメージセンサが前記入射光を検出した結果を用いて、前記分光イメージングシステムの周辺空間の画像を作成し、
    前記演算装置は、前記画像の１つ以上の画素ごとに、前記計算したスペクトルを記述したデータを作成する
    ことを特徴とする請求項１記載の分光イメージングシステム。
11. 請求項１から１０のいずれか１項記載の分光イメージングシステムを搭載した移動体、
    前記移動体の地理的座標を計測する計測器、
    を備え、
    前記移動体は、移動しながら前記スペクトルを取得するとともに、位置ごとの地理的座標を前記スペクトルと関連付けて記憶することにより、前記スペクトルを位置ごとに記述した地図を生成する
    ことを特徴とする計測システム。