JP6925046B2 - 撮像装置の設計システム、撮像装置の設計プログラム - Google Patents

Description

本発明は、被写体を撮像素子を介して撮像する撮像装置における撮像光学系中に配置される撮像装置の設計条件を探索する撮像装置の設計システム、撮像装置の設計プログラムに関するものである。

従来より、被写体の撮影画像を波長毎に分光して分析することにより、被写体について所望の事象を判別するスペクトル撮像装置が提案されている。スペクトル撮像装置は、紫外から可視、更には赤外に至るまでの波長領域について、０．１ｎｍ〜１００ｎｍの波長分解能で数十バンド以上に亘り分光可能な高波長分解分光情報（以下、ハイパースペクトルデータ）を取得することができる。このようなハイパースペクトルデータを活用することで、例えば食品の鮮度、建築構造物の欠陥、植物の光合成、鉱物中に含まれる化学元素、肌の水分やシミ等を高精度に分析することが可能となる。即ち、このスペクトル撮像装置によれば、単に被写体のみを撮像することに終始するのではなく、その被写体における目的事象までを検知することが可能となる。

このようなハイパースペクトルデータを取得することができるスペクトル撮像装置の例が、例えば特許文献１、２に開示されている。

特許文献１には、人体内の腫瘍部位を目的事象としたスペクトル撮像装置が開示されている。この特許文献１の開示技術によれば、癌細胞内に蓄積される成分に応じた蛍光波長に焦点を当てて検出を行うことにより、腫瘍部位と非腫瘍部位を識別するものである。

また、特許文献２には、被写体が果実であるか否かを判別するための情報処理装置が開示されている。果実の基準特徴量を予め取得しておき、実際に撮像した被写体の分光画像の特徴量との比較に基づいて、被写体が果実であるか否かを判別する。この基準特徴量は何れもスペクトルデータに基づいている。

他には、ハイパースペクトルデータを画像解析に着目した技術も開示されている（例えば、特許文献３参照。）。

国際公開１３／００２３５０号公報 特開２０１７−３４９５号公報 特開２０１５−１６６６８２号公報

しかしながら、この被写体における目的事象を判別する上で必要なスペクトルデータを取得するための検出アルゴリズムを研究するのは多くの時間と労力を要し、しかも技術的な知見も必要となる。また、この検出アルゴリズムに基づいて被写体を撮像装置により撮像して目的事象を判別する過程で、その撮像装置における撮像光学系中に配置されるバンドパスフィルタの設計条件を探索するのは多くの時間と労力を要する。

このため、次々に新しい被写体の目的事象が生まれる都度、最適な検出アルゴリズム取得し、これに応じた最適なバンドパスフィルタの設計条件を探索することができる技術が従来より望まれていた。しかしながら、特許文献１〜３には、被写体の目的事象に応じて最適なバンドパスフィルタの設計条件を探索するための技術は特段開示されていない。またそのようなバンドパスフィルタを含む撮像装置自体の最適な設計条件を探索するための技術は特段開示されていない。

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、被写体の目的事象に応じて最適なバンドパスフィルタの設計条件を探索し、更にそのバンドパスフィルタを含む撮像装置自体の最適な設計条件を探索するための撮像装置の設計システム、撮像装置の設計プログラムを提供することにある。

本発明に係る撮像装置の設計システムは、被写体を撮像素子を介して撮像する撮像装置の設計条件を探索する撮像装置の設計システムにおいて、被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報、被写体を撮影装置により撮影する際の撮影条件、上記撮像素子に関する撮像素子情報の何れか１又は２以上の組み合わせと、撮像装置の設計条件との３段階以上の第２連関度が予め記憶されている第２連関データベースと、撮像装置により新たに撮影予定の被写体の検出アルゴリズム情報と、当該被写体を撮影する際の撮影条件と、当該撮像装置の撮像素子のうち、上記第２連関度に対応した情報が入力される入力手段と、上記第２連関データベースに記憶されている上記第２連関度を参照し、上記入力手段を介して入力された情報に基づき、撮像装置の１以上の設計条件を探索する探索手段とを備えることを特徴とする。

本発明に係る撮像装置の設計システムは、被写体を撮像素子を介して撮像する撮像装置の設計条件を探索する撮像装置の設計システムにおいて、被写体を撮影装置により撮影する際の撮影条件、上記撮像素子に関する撮像素子情報の何れか１又は２の組み合わせと、撮像装置の設計条件との３段階以上の第２連関度が予め記憶されている第２連関データベースと、撮像装置により新たに撮影予定の被写体を撮影する際の撮影条件と、当該撮像装置の撮像素子のうち、上記第２連関度に対応した情報が入力される入力手段と、上記第２連関データベースに記憶されている上記第２連関度を参照し、上記入力手段を介して入力された情報に基づき、撮像装置の１以上の設計条件を探索する探索手段とを備えることを特徴とする。

本発明に係る撮像装置の設計システムは、被写体を撮像素子を介して撮像する撮像装置の設計条件を探索する撮像装置の設計システムにおいて、被写体の目的事象、被写体を撮影装置により撮影する際の撮影条件、上記撮像素子に関する撮像素子情報の何れか１又は２以上の組み合わせと、撮像装置の設計条件との３段階以上の第２連関度が予め記憶されている第２連関データベースと、撮像装置により新たに撮影予定の被写体の目的事象と、当該被写体を撮影する際の撮影条件と、当該撮像装置の撮像素子に関する情報のうち、上記第２連関度に対応した情報が入力される入力手段と、上記第２連関データベースに記憶されている上記第２連関度を参照し、上記入力手段を介して入力された情報に基づき、撮像装置の１以上の設計条件を探索する探索手段とを備えることを特徴とする。

本発明に係る撮像装置の設計プログラムは、被写体を撮像素子を介して撮像する撮像装置の設計条件を探索する撮像装置の設計プログラムにおいて、被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報、被写体を撮影装置により撮影する際の撮影条件、上記撮像素子に関する撮像素子情報の何れか１又は２以上の組み合わせと、撮像装置の設計条件との３段階以上の第２連関度を予め取得する第２連関度取得ステップと、撮像装置により新たに撮影予定の被写体の検出アルゴリズム情報と、当該被写体を撮影する際の撮影条件と、当該撮像装置の撮像素子のうち、上記第２連関度に対応した情報が入力される入力ステップと、上記第２連関度取得ステップにより取得された上記第２連関度を参照し、上記入力において入力した情報に基づき、撮像装置の１以上の設計条件を探索する探索ステップとをコンピュータに実行させることを特徴とする。

本発明に係る撮像装置の設計プログラムは、被写体を撮像素子を介して撮像する撮像装置の設計条件を探索する撮像装置の設計プログラムにおいて、被写体を撮影装置により撮影する際の撮影条件、上記撮像素子に関する撮像素子情報の何れか１又は２の組み合わせと、撮像装置の設計条件との３段階以上の第２連関度を予め取得する第２連関度取得ステップと、撮像装置により新たに撮影予定の被写体を撮影する際の撮影条件と、当該撮像装置の撮像素子のうち、上記第２連関度に対応した情報が入力される入力ステップと、上記第２連関度取得ステップにより取得された上記第２連関度を参照し、上記入力において入力した情報に基づき、撮像装置の１以上の設計条件を探索する探索ステップとをコンピュータに実行させることを特徴とする。

本発明に係る撮像装置の設計プログラムは、被写体を撮像素子を介して撮像する撮像装置の設計条件を探索する撮像装置の設計プログラムにおいて、被写体の目的事象、被写体を撮影装置により撮影する際の撮影条件、上記撮像素子に関する撮像素子情報の何れか１又は２以上の組み合わせと、撮像装置の設計条件との３段階以上の第２連関度を予め取得する第２連関度取得ステップと、撮像装置により新たに撮影予定の被写体の目的事象と、当該被写体を撮影する際の撮影条件と、当該撮像装置の撮像素子に関する情報のうち、上記第２連関度に対応した情報が入力される入力ステップと、上記第２連関度取得ステップにより取得された上記第２連関度を参照し、上記入力ステップにおいて入力した情報に基づき、撮像装置の１以上の設計条件を探索する探索ステップとをコンピュータに実行させることを特徴とする。

上述した構成からなる本発明によれば、被写体の目的事象に応じて最適な撮像装置の設計条件を探索することができる。ユーザは、出力された設計条件に基づいてバンドパスフィルタを設計してこれを実装することにより、被写体の目的事象を判別する上でバンドパスフィルタを介して好適な波長成分のみを透過させることができ、その後段の検出アルゴリズム情報による判別の利便性を向上させることが可能となる。その結果、被写体の目的事象の判別精度をより向上させることが可能となる。

特に本発明によれば、このような撮像装置によりこれから判別すべき被写体の目的事象に応じたスペクトルデータの最適なバンドパスフィルタの設計条件を容易に取得することが可能となる。次々に新しい被写体の目的事象が生まれる都度、最適な撮像装置の設計条件を検討するための労力の負担を軽減でき、時間の短縮化を図ることが可能となる。

本発明を適用したバンドパスフィルタの設計システムの全体構成を示すブロック図である。 バンドパスフィルタの設計システムを構成する探索装置のブロック図である。 撮像装置における結像光学系の構成例を示す図である。 本発明を適用したバンドパスフィルタの設計システムの動作について説明するための図である。 ある果実の鮮度をスペクトルデータを介して判別する例について説明するための図である。 バンドパスフィルタの設計プログラムの処理動作手順を示すフローチャートである。 第１連関データベースにおいて予め取得した第１連関度に基づいてバンドパスフィルタの設計条件を探索する例を示す図である。 入力パラメータを組み合わせた第１連関度に基づいてバンドパスフィルタの設計条件を探索する例を示す図である。 入力パラメータを組み合わせた他の第１連関度に基づいてバンドパスフィルタの設計条件を探索する例を示す図である。 被写体の目的事象を含む第１連関度に基づいてバンドパスフィルタの設計条件を探索する例を示す図である。 被写体の目的事象を含む第１連関度に基づいてバンドパスフィルタの設計条件を探索する例を示す他の図である。 第２連関データベースにおいて予め取得した第２連関度に基づいて撮像装置の設計条件を探索する例を示す図である。 入力パラメータを組み合わせた第２連関度に基づいて撮像装置の設計条件を探索する例を示す図である。

以下、本発明を適用した撮像装置の設計システムが適用されるバンドパスフィルタの設計システムについて、図面を参照しながら詳細に説明をする。

図１は、本発明を適用したバンドパスフィルタの設計システム１の全体構成を示すブロック図である。バンドパスフィルタの設計システム１は、撮像装置５における撮像光学系中に配置されるバンドパスフィルタの設計条件を探索するものであり、第１連関データベース３と、この第１連関データベース３に接続された探索装置２とを備えている。

第１連関データベース３は、提供すべきバンドパスフィルタの設計条件に関するデータベースが構築されている。第１連関データベース３には、公衆通信網を介して送られてきた情報、或いは本システムのユーザによって入力された情報が蓄積される。また第１連関データベース３は、探索装置２からの要求に基づいて、この蓄積した情報を探索装置２へと送信する。

探索装置２は、例えば、パーソナルコンピュータ（ＰＣ）等を始めとした電子機器で構成されているが、ＰＣ以外に、携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等、他のあらゆる電子機器で具現化されるものであってもよい。この探索装置２による探索解としての設計条件は、その後の撮像装置５やこれに実装されるバンドパスフィルタの設計に反映されることになる。

図２は、探索装置２の具体的な構成例を示している。この探索装置２は、探索装置２全体を制御するための制御部２４と、操作ボタンやキーボード等を介して各種制御用の指令を入力するための操作部２５と、有線通信又は無線通信を行うための通信部２６と、最適な設計条件を探索する探索部２７と、ハードディスク等に代表され、実行すべき検索を行うためのプログラムを格納するための記憶部２８とが内部バス２１にそれぞれ接続されている。さらに、この内部バス２１には、実際に情報を表示するモニタとしての表示部２３が接続されている。

制御部２４は、内部バス２１を介して制御信号を送信することにより、探索装置２内に実装された各構成要素を制御するためのいわゆる中央制御ユニットである。また、この制御部２４は、操作部２５を介した操作に応じて各種制御用の指令を内部バス２１を介して伝達する。

操作部２５は、キーボードやタッチパネルにより具現化され、プログラムを実行するための実行命令がユーザから入力される。この操作部２５は、上記実行命令がユーザから入力された場合には、これを制御部２４に通知する。この通知を受けた制御部２４は、探索部２７を始め、各構成要素と協調させて所望の処理動作を実行していくこととなる。

探索部２７は、バンドパスフィルタの設計条件を探索する。この探索部２７は、探索動作を実行するに当たり、必要な情報として記憶部２８に記憶されている各種情報や、第１連関データベース３に記憶されている各種情報を読み出す。この探索部２７は、人工知能により制御されるものであってもよい。この人工知能はいかなる周知の人工知能技術に基づくものであってもよい。

表示部２３は、制御部２４による制御に基づいて表示画像を作り出すグラフィックコントローラにより構成されている。この表示部２３は、例えば、液晶ディスプレイ（ＬＣＤ）等によって実現される。

記憶部２８は、ハードディスクで構成される場合において、制御部２４による制御に基づき、各アドレスに対して所定の情報が書き込まれるとともに、必要に応じてこれが読み出される。また、この記憶部２８には、本発明を実行するためのプログラムが格納されている。このプログラムは制御部２４により読み出されて実行されることになる。

図３（ａ）は、撮像装置５における結像光学系の構成例を示している。撮像装置５は、一般的なデジタルカメラや、マルチスペクトルカメラ、更には携帯電話やスマートフォン、タブレット型端末、ウェラブル端末にそれぞれ実装されるあらゆるデジタルカメラを含むものである。撮像装置５は、通常の可視光の画像撮影に加えて、予め特定した波長領域に限定してスペクトルデータを検知することを意図するものである。この撮像装置５は、結像光学系５１と、バンドパスフィルタ５２と、撮像素子５３と、信号処理部５４とを備えている。

結像光学系５１は、少なくとも１つの撮像レンズ５６を有し、被写体１０からの光を集光し撮像素子５３の撮像面上に像を形成する。

バンドパスフィルタ５２は、被写体１０と撮像レンズ５６との間に配置される。バンドパスフィルタ５２は、撮像素子５３に到達する光の経路上に配置される。バンドパスフィルタ５２は、所定の分光透過率からなる素子である。即ち、このバンドパスフィルタ５２は、予め設定されている波長領域の光のみを透過させ、それ以外の波長領域の光を反射するように作用する。バンドパスフィルタ５２は、実際に透過させたい光の波長及び波長幅に応じてその種類が選択される。バンドパスフィルタ５２は、撮像装置５内に予め固定配置される場合を例にとり説明をするが、これに限定されるものではない。即ち、このバンドパスフィルタ５２は、互いに透過する波長領域が異なる複数のバンドパスフィルタ５２を順次切換可能に構成されていてもよい。バンドパスフィルタ５２は、ベイヤー配列のカラーフィルタで構成されていてもよい。このベイヤー配列のカラーフィルタは、顔料、染料による染色、蒸着、塗布方式、またはその他の方法で作成されたベイヤー配列を含むものである。

撮像素子５３は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等により構成される。撮像素子５３は、その他赤外光や紫外光を検知可能なセンサで構成されていてもよい。この撮像素子５３は、撮像面に結像された光を光電変換により電気信号へと変換する。そして、撮像素子５３により変換された電気信号は、信号処理部５４に送信される。

信号処理部５４は、撮像素子５３から送られてくる電気信号を処理する回路である。この信号処理部５４は、撮像素子５３によって取得された画像に基づいて、被写体１０からの光の波長域ごとに分離された分光分離画像を生成する。また信号処理部５４は、取得した電気信号に基づいて、各種焦点制御を行うようにしてもよい。

図３（ｂ）は、このバンドパスフィルタ５２を撮像レンズ５６と撮像素子５３との間に配置した例を示している。このような構成とされている場合も同様に、撮像レンズ５６を介して撮像素子に結像される過程の光をバンドパスフィルタ５２に通過させることで、予め設定されている波長領域の光のみを透過させ、それ以外の波長領域の光を反射するように作用させることが可能となる。ちなみに、撮像素子５３が波長領域に応じてライン状に構成されているのであれば、バンドパスフィルタ５２もこれに応じたバンドパスラインフィルタで構成されていてもよい。この図３（ｂ）の例では、バンドパスフィルタ５２と撮像素子５３が一体化されたデバイスとして構成されていてもよい。このとき、バンドパスフィルタ５２と撮像素子５３を含むデバイスが撮像装置５に対して着脱自在に構成されていてもよい。

上述した構成からなる設計システム１における動作について説明をする。

設計システム１では、例えば図４に示すように、操作部２５や通信部２６を介して入力された入力パラメータに基づいて、出力解としてのバンドパスフィルタ５２の設計条件を探索部２７により探索するものである。

入力パラメータとしては、検出アルゴリズム情報、撮影条件、撮像素子情報、撮像レンズの情報、バンドパスフィルタの特性情報が挙げられる。

検出アルゴリズム情報は、実際に撮像装置５により被写体を撮像して目的事象を判断する上で必要なスペクトルデータを検出するためのアルゴリズムである。例えば、図５に示すように、ある果実の鮮度が波長５００ｎｍ〜７００ｎｍの帯域においてスペクトル強度（反射率）に差が出てくることが既知であるものとする。即ち、ある果実を１日常温で放置した場合、３日常温で放置した場合、５日常温で放置した場合で、スペクトル強度が波長５００ｎｍ〜７００ｎｍの範囲においてスペクトル強度（反射率）が大きく変化することが既知であるものとする。かかる場合には、この波長５００ｎｍ〜７００ｎｍの範囲において分光画像を作成することにより、果実の鮮度を判別することが可能となる。

実際にこれらを検出アルゴリズム化する場合、波長５００ｎｍ〜７００ｎｍの波長範囲の何れかを特徴波長として特定する。特徴波長は１点で特定してもよいし、複数特定してもよい。特徴波長の決め方としては、例えば上記波長範囲（５００ｎｍ〜７００ｎｍ）の中心波長である６００ｎｍとしてもよいし、各スペクトル間のスペクトル強度の差分値が最も大きくなる波長としてもよい。また図５において波長が約６５０ｎｍにおいて、各スペクトルデータにおいて上に凸のピークが形成されているのが分かるが、このような特異点を特徴波長として特定するようにしてもよい。この特徴波長は、被写体の目的事象毎に異なるものであってもよい。

これに加えて、この特徴波長を中心とした特徴波長範囲を設定する。特徴波長範囲は、例えば±１０ｎｍ等のように、予め設定した所定の波長範囲で構成されている。このため、仮に特徴波長が５００ｎｍであり、特徴波長範囲が±１０ｎｍであれば、実際にスペクトルデータを検出する範囲は、４９５〜５０５ｎｍとなる。この特徴波長範囲は、被写体の目的事象毎に異なるものであってもよい。

検出アルゴリズム情報は、更にこれらに加えて、各種演算方法が盛り込まれるものであってもよい。かかる場合には、この特徴波長や特徴波長範囲を説明変数ｘ₁、ｘ₂、・・・ｘ_kとし、これらを演算式に代入することにより得られる目的変数ｙを介して判別することとなる。即ち、ｙ＝ｆ（ｘ₁、ｘ₂、・・・ｘ_k）により得られる目的変数ｙが検出アルゴリズム情報となりえる。また、これを構成する個々の説明変数ｘ₁、ｘ₂、・・・ｘ_kとしての特徴波長や特徴波長範囲についても同様に検出アルゴリズム情報となりえる。

第１連関データベース３に記憶される検出アルゴリズム情報としては、このような特徴波長と、特徴波長範囲、場合によっては演算方法やそれを規定する演算式そのものが、被写体の目的事象毎に互いに紐付けられて記憶されている。

撮影条件とは、撮像装置５による撮像時の照明光の波長、照射角度、輝度、照明光に設けられる偏光フィルタの条件等からなる照明光の情報や、撮像装置５自体のＦ値、使用機種、波長分解能、空間解像度、各分光波長に対する感度、露光時間、オートフォーカスの時間、シャッタースピード、シャッター方式、ホワイトバランス、ブラックバランス、ゲイン等の各種撮像系のパラメータやハードウェア上のパラメータも含まれる。検出アルゴリズム情報としては、上述した特徴波長や特徴波長範囲、演算方法に加えて、上述した各パラメータが追加されていてもよい。また上述した各パラメータは、上述した特徴波長や特徴波長範囲を出す上での一つの条件として規定されるものであってもよい。

撮像素子情報は、撮像素子５３の詳細な構成、撮像素子５３の種類や製番、製造会社等の情報、撮像素子５３の分光感度特性等である。

撮像レンズの情報は、レンズのＮＡ、焦点距離、形状、機能、種類、製番、製造会社等の情報である。

フィルタの特性情報は、出力解として探索しようとするバンドパスフィルタ５２について求められるスペックや予め決定している条件、或いは各種条件に基づいてバンドパスフィルタ５２自身に対して予め設定されている透過波長領域に関する情報を含むものである。

出力解としてのバンドパスフィルタ５２の設計条件としては、例えばバンドパスフィルタ５２を通じて透過させたい光の波長及びその波長幅等、或いはバンドパスフィルタ５２のフィルタ係数等、バンドパスフィルタ５２を設計する上でのあらゆるデータを含む。バンドパスフィルタ５２が、ベイヤー配列のカラーフィルタ、又は塗布型のフィルタの場合には、この出力解は、それらを設計する上で必要なあらゆるパラメータ、データを含む。

ちなみに、入力パラメータとしては、検出アルゴリズム情報、撮影条件、撮像素子情報、撮像レンズの情報、バンドパスフィルタ５２の特性情報の全てが入力されることは必須とはならない。入力パラメータとしては、このうち少なくとも検出アルゴリズム情報、撮影条件、撮像素子情報の何れか１以上が入力され、これらに基づいてバンドパスフィルタ５２の設計条件を探索するものであればよい。

以下、入力パラメータとしては、このうち少なくとも検出アルゴリズム情報、撮影条件、撮像素子情報の３つが入力され、これらに基づいてバンドパスフィルタ５２の設計条件を人工知能を利用して探索する例について説明をする。

この探索プロセスにおいて、新たに撮像装置５により撮影しようとする被写体の目的事象が存在することが前提となる。ここでいう被写体とは、実際に撮像装置５により撮影される対象物を総称するものであり、目的事象とは、撮像装置５を介して判別したい物、又は事を意味する。例えば塩、砂糖の混合物から塩のみを判別したい場合には、被写体は混合物であり、目的事象は塩となる。例えば水と油の混合物から油のみを判別したい場合には、被写体は混合物であり、目的事象は油となる。例えば寿司の鮮度を判別したい場合には、被写体は寿司であり、目的事象は鮮度となる。例えば顔のシミを判別したい場合には、被写体は顔であり、目的事象は、シミである。例えば胃から胃癌を判別したい場合には、被写体は胃であり、目的事象は胃癌である。

このような被写体の目的事象を判別する上で必要な検出アルゴリズムが予め決められている。撮像装置５により目的とする被写体を撮像した場合には、これを検出アルゴリズムに基づいて解析することにより、その被写体の目的事象を判別することが可能となる。ユーザは、この撮像に使用される撮像装置５の撮影条件、撮像素子情報に加え、予め決められた検出アルゴリズムを操作部２５を介して入力する。この入力において、他の携帯端末やＰＣ等の電子機器において作成した検出アルゴリズム情報、撮影条件、撮像素子情報の３つ情報をインターネット経由で入力するようにしてもよい。

このようにして送信又は入力された検出アルゴリズム情報、撮影条件、撮像素子情報等のパラメータは、記憶部２８に記憶されることとなる。

このようにして入力パラメータが入力された後に、実際に探索プログラムによる処理動作が実行されていくこととなる。この探索プログラムの処理動作フローを図６に示す。

探索プログラムは、ステップＳ１１において入力され、記憶部２８に記憶された入力パラメータについて解析を行う。（ステップＳ１２）。仮に、この入力パラメータが数値や記号等で記述されるものであればそれらのデータを直接取り入れることになるが、入力パラメータが文字情報として記述されるものであれば、その文字情報を解析していくこととなる。この文字情報の解析方法としては、既存のあらゆるテキストマイニング技術、データマイニング技術、言語解析処理技術等を用いるようにしてもよい。

次に探索プログラムは、ステップＳ１３へ移行し、ステップＳ１２において抽出した入力パラメータとしての検出アルゴリズム情報、撮影条件、撮像素子情報等と連関度の高いバンドパスフィルタ５２の１以上の設計条件を探索する。この探索を行う前において、第１連関データベース３は、参照用の入力パラメータ（以下、参照用入力パラメータという。）とバンドパスフィルタ５２における２種以上に分類された設計条件の３段階以上の連関度（以下、第１連関度という。）を予め取得しておく。

図７は、この第１連関データベース３において予め取得した第１連関度の例を示している。このとき、第１連関データベース３には、参照用入力パラメータと、バンドパスフィルタ５２の設計条件との間の３段階以上の第１連関度に基づいて規定されていてもよい。例えば、検出アルゴリズム情報としての特徴波長及び特徴波長範囲が６３０±５ｎｍ、７５０±１０ｎｍ、１２５０±５ｎｍであり、演算方法が線形である場合に、バンドパスフィルタ５２の設計条件Ａからなる透過波長成分の第１連関度が８０％、設計条件Ｃからなる透過波長成分の第１連関度が２０％であることが示されている。

同様に撮影条件が「照明光の角度○○°、露光時間○○ｎｓ以上」である場合に設計条件Ａの第１連関度が６０％、設計条件Ｂの第１連関度が８０％、設計条件Ｄにより規定されるフィルタ係数の第１連関度が２０％であることが示されている。

同様に撮像素子の情報として、「撮像素子の分光感度特性が○○」である場合において設計条件Ｃの第１連関度４０％、設計条件Ｄの第１連関度が６０％であることが示されている。

この第１連関度は、いわゆるニューラルネットワークにより構成されていてもよい。この第１連関度は、撮像装置５により所望の被写体の目的事象を判別する上で最適なバンドパスフィルタ５２の設計条件の相性、換言すれば、被写体の目的事象を判別する上で選択するバンドパスフィルタ５２の設計条件の的確性を示すものである。検出アルゴリズム情報における特徴波長が２３０±１２ｎｍ、４００±５ｎｍであって演算方法がK-meansである場合には、第１連関度６０％である設計条件Ａが最も相性がよく、第１連関度４０％である設計条件Ｄが次に相性がよいことが示されている。同様に撮影条件が「空間解像度○○、シャッタースピード○○、照明光の波長○○ｎｍ」である場合には、第１連関度８０％である設計条件Ｃが最も相性がよく、設計条件Ｅがその次に続くことが示されている。

ステップＳ１３に移行後、探索プログラムは、ステップＳ１２において解析した入力パラメータに基づいて、バンドパスフィルタ５２の最適な設計条件を１又は２以上に亘り選択する作業を行う。バンドパスフィルタ５２の最適な設計条件を選択する上で、予め取得した図７に示す第１連関度を参照する。例えば、ステップＳ１２において解析した入力パラメータが検出アルゴリズム情報であって、特徴波長が２７５±１２ｎｍ、３３０±１０ｎｍで、演算方法がクラスター分析である場合には、上述した第１連関度を参照した場合、第１連関度の最も高い設計条件Ｅを最適な設計条件として選択する。第１連関度は低いものの連関性そのものは認められる設計条件Ｃも最適な設計条件として選択するようにしてもよい。また、これ以外に矢印が繋がっていない検出アルゴリズム情報を選択してもよいことは勿論である。

また、ステップＳ１２において解析した入力パラメータが撮影条件であって、「空間解像度○○、シャッタースピード○○、照明光の波長○○ｎｍ」である場合には、上述した第１連関度を参照した場合、第１連関度の最も高い設計条件Ｃを最適な設計条件として選択する。第１連関度は低いものの連関性そのものは認められる設計条件Ｅも最適な設計条件として選択するようにしてもよい。また、これ以外に矢印が繋がっていない検出アルゴリズム情報を選択してもよいことは勿論である。

即ち、このバンドパスフィルタ５２の最適な設計条件の選択は、第１連関度が高いものから順に選択される場合に限定されるものではなく、ケースに応じて第１連関度が低いものから順に選択されるものであってもよいし、その他いかなる優先順位で選択されるものであってもよい。

なお、ステップＳ１２において解析した入力パラメータに対する最適な設計条件の選択方法は、上述した方法に限定されるものではなく、第１連関度を参照するものであればいかなる方法に基づいて実行するようにしてもよい。また、このステップＳ１３の探索動作では、人工知能を利用して行うようにしてもよい。

次にステップＳ１４へ移行し、選択した最適な設計条件を表示部２３を介して表示する。これによりユーザは、表示部２３を視認することにより、これから判別しようとする被写体の目的事象に応じた最適な設計条件を即座に把握することが可能となる。

なお第１連関度は、実際にステップＳ１１において入力される可能性のある入力パラメータのみ予め設定されていればよい。例えば、入力される可能性のあるパラメータが検出アルゴリズム情報のみであれば、検出アルゴリズム情報とバンドパスフィルタ５２の設計条件との間での第１連関度が設定されていればよい。また、入力される可能性のあるパラメータが撮影条件のみであれば、その撮影条件とバンドパスフィルタ５２の設計条件との間での第１連関度が設定されていればよい。また、入力される可能性のあるパラメータが撮像素子の情報のみであれば、その撮像素子の情報とバンドパスフィルタ５２の設計条件との間での第１連関度が設定されていればよい。逆に言えば、参照用入力パラメータと関連つけられている第１連関度に対応した入力パラメータのみが、このステップＳ１１において入力されればよいことになる。

ユーザは、出力された設計条件に基づいて、撮像装置５に実装すべきバンドパスフィルタ５２を設計していくこととなる。この出力された設計条件は、仮に検出アルゴリズム情報と連関する第１連関度に基づいて探索されたのであれば、その検出アルゴリズム情報とより連関性の高い、換言すれば相性のよいものとなっている。このため、出力された設計条件に基づいてバンドパスフィルタ５２を設計してこれを実装することにより、被写体の目的事象を判別する上でバンドパスフィルタ５２を介して好適な波長成分のみを透過させることができ、その後段の検出アルゴリズム情報による判別の利便性を向上させることが可能となる。その結果、被写体の目的事象の判別精度をより向上させることが可能となる。

同様に、出力された設計条件は、仮に撮影条件や撮像素子の情報と連関する第１連関度に基づいて探索されたのであれば、その撮影条件や撮像素子の情報とより連関性の高い、換言すれば相性のよいものとなっている。このため、出力された設計条件に基づいてバンドパスフィルタ５２を設計してこれを実装することにより、被写体の目的事象を判別する上でバンドパスフィルタ５２を介して好適な波長成分のみを透過させることができ、撮影条件や撮像素子と相俟って判別の利便性を向上させることが可能となる。その結果、被写体の目的事象の判別精度をより向上させることが可能となる。

特に本発明によれば、このような撮像装置５によりこれから判別すべき被写体の目的事象に応じたスペクトルデータの最適なバンドパスフィルタ５２の設計条件を容易に取得することが可能となる。次々に新しい被写体の目的事象が生まれる都度、最適なバンドパスフィルタ５２の設計条件を検討するための労力の負担を軽減でき、時間の短縮化を図ることが可能となる。

また、本発明を適用した設計システム１では、３段階以上に設定されている第１連関度を介して最適なバンドパスフィルタ５２の設計条件の探索を行う点に特徴がある。第１連関度は、例えば０〜１００％までの数値で記述することができるが、これに限定されるものではなく３段階以上の数値で記述できるものであればいかなる段階で構成されていてもよい。

このような３段階以上の数値で表される第１連関度に基づいて探索することで、複数のバンドパスフィルタ５２の設計条件が選ばれる状況下において、当該第１連関度の高い順に探索して表示することも可能となる。このように第１連関度の高い順にユーザに表示できれば、より可能性の高いバンドパスフィルタ５２の設計条件を優先的に選択することを促すこともできる。一方、第１連関度の低いバンドパスフィルタ５２の設計条件であってもセカンドオピニオンという意味で表示することができ、ファーストオピニオンで上手く分析ができない場合において有用性を発揮することができる。

これに加えて、本発明によれば、第１連関度が１％のような極めて低いバンドパスフィルタ５２の設計条件も見逃すことなく判断することができる。第１連関度が極めて低いバンドパスフィルタ５２の設計条件であっても僅かな兆候として繋がっているものであり、何十回、何百回に一度は、バンドパスフィルタ５２の設計条件として役に立つ場合もあることをユーザに対して注意喚起することができる。

更に本発明によれば、このような３段階以上の第１連関度に基づいて探索を行うことにより、閾値の設定の仕方で、探索方針を決めることができるメリットがある。閾値を低くすれば、上述した第１連関度が１％のものであっても漏れなく拾うことができる反面、被写体の目的事象を好適に検出できる可能性が低いバンドパスフィルタ５２の設計条件を沢山拾ってしまう場合もある。一方、閾値を高くすれば、最適なバンドパスフィルタ５２の設計条件を高確率で検出できる可能性が高い反面、通常は第１連関度は低くてスルーされるものの何十回、何百回に一度は好適な解を表示するバンドパスフィルタ５２の設計条件を見落としてしまう場合もある。いずれに重きを置くかは、ユーザ側、システム側の考え方に基づいて決めることが可能となるが、このような重点を置くポイントを選ぶ自由度を高くすることが可能となる。

更に本発明では、上述した第１連関度を更新させるようにしてもよい。アルゴリズム情報を随時更新していく。この更新は、例えばインターネットを始めとした公衆通信網を介して提供された情報を反映させるようにしてもよい。公衆通信網から取得可能なサイト情報や書き込み等を通じて、入力パラメータと、バンドパスフィルタ５２の設計条件との関係性について新たな知見が発見された場合には、当該知見に応じて第１連関度を上昇させ、或いは下降させる。例えば、ある入力パラメータに対してあるバンドパスフィルタ５２の設計条件が、第１連関度を有することが公衆通信網上のサイトを通じて多く挙がっていた場合、これらの間に設定されている第１連関度を更に上昇させる。また、ある入力パラメータに対してあるバンドパスフィルタ５２の設計条件があまり関連性の無いことが公衆通信網上のサイトを通じて多く挙がっていた場合、これらの間に設定されている第１連関度を下降させる。

この第１連関度の更新は、公衆通信網から取得可能な情報に基づく場合以外に、専門家による研究データや論文、学会発表や、新聞記事、書籍等の内容に基づいてシステム側又はユーザ側が人為的に、又は自動的に更新するようにしてもよい。これらの更新処理においては人工知能を活用するようにしてもよい。

なお、第１連関度は、例えば図８に示すように、複数の参照用入力パラメータの組み合わせに対して設定されていてもよい。これら組み合わせの集合がいわゆる隠れ層のノード６１ａ〜６１ｄとして表現されることとなる。各ノード６１ａ〜６１ｄは、参照用入力パラメータに対する重み付けと、バンドパスフィルタ５２の設計条件（出力）に対する重み付けがそれぞれ設定されている。この重み付けが３段階以上の第１連関度である。例えば、ノード６１ａは、「特徴波長が２７５±１２ｎｍ、３３０±１０ｎｍで、演算方法がクラスター分析」からなる検出アルゴリズム情報が６０％の第１連関度で連関しており、「照明光の角度○○°、露光時間○○ｎｓ以上」からなる撮影条件が４０％の第１連関度で連関している。そして、このノード６１ａは、設計条件Ａに対して８０％の第１連関度で連関しており、設計条件Ｅに対して３０％の第１連関度で連関している。他のノード６１ｂ〜６１ｄについても同様のコンセプトで第１連関度が連関している。

このノード６１は、１以上の検出アルゴリズム情報、１以上の撮影条件、１以上撮像素子の情報の中から、２以上の組み合わせで構成されていればよい。そして、このノード６１は、１以上の設計条件に対して第１連関度が設定されていればよい。

このような第１連関度が設定されている場合も同様に、ステップＳ１３へ移行した場合には、ステップＳ１２において抽出した入力パラメータとしての検出アルゴリズム情報、撮影条件、撮像素子情報等と連関度の高いバンドパスフィルタ５２の１以上の設計条件を探索する。探索プログラムは、ステップＳ１２において解析した入力パラメータに基づいて、バンドパスフィルタ５２の最適な設計条件を１又は２以上に亘り選択する作業を行う。バンドパスフィルタ５２の最適な設計条件を選択する上で、予め取得した図８に示す第１連関度を参照する。例えば、ステップＳ１２において解析した入力パラメータにおいて、検出アルゴリズム情報が「特徴波長が２３０±１２ｎｍ、４００±５ｎｍで、演算方法がK-means」であり、かつ撮影条件が「照明光の角度○○°、露光時間○○ｎｓ以上」であり、撮像素子の情報が「撮像素子の種類Ｔ」である場合、第１連関度を介してノード６１ｃが関連付けられており、このノード６１ｃは、設計条件Ｃが第１連関度４０％、設計条件Ｄが第１連関度６０％で関連付けられている。

探索プログラムは、この探索結果に基づいて同様にステップＳ１４において解を出力することになる。

図９は、更に撮像レンズ５６の情報又はフィルタの特性情報が各ノード６１に対して第１連関度を介して関連付けられている場合を示している。撮像レンズ５６の情報として「レンズの配置Ｐ」、フィルタの特性情報として「フィルタＷの条件」を選択した場合の例が示されているが、何れもノード６１に第１連関度を以って関連付けられている。このような撮像レンズ５６の情報又はフィルタの特性情報も参照用入力パラメータに含めて予め第１連関度を定義しておくことにより、ステップＳ１２において解析した入力パラメータに撮像レンズ５６の情報又はフィルタの特性情報が含まれていた場合に、その第１連関度を参照することで、最適なバンドパスフィルタ５２の条件を探索することが可能となる。

図１０は、参照用入力パラメータにおいて検出アルゴリズム情報の代替として、被写体の目的事象を第１連関度を介して関連付けた例を示している。被写体の目的事象として、例えば果実の鮮度、混合物中の塩、胃の癌等が参照用入力パラメータとして設定されており、これらとの間でバンドパスフィルタ５２の設計条件に対する第１連関度が設定されている。このような被写体の目的事象を含む第１連関度を設定しておくことにより、ステップＳ１２において解析した入力パラメータに被写体の目的事象が含まれていた場合に、その第１連関度を参照することで、最適なバンドパスフィルタ５２の条件を探索することが可能となる。

図１１は、被写体の目的事象を含む複数の参照用入力パラメータの組み合わせに対して第１連関度が設定されている例を示している。このような第１連関度が設定されている場合も同様に、ステップＳ１３へ移行した場合には、ステップＳ１２において抽出した入力パラメータとしての被写体の目的事象、撮影条件、撮像素子情報等と連関度の高いバンドパスフィルタ５２の１以上の設計条件を探索する。

なお本発明は、上述した実施の形態に限定されるものではない。例えばバンドパスフィルタ５２の設計条件を探索する代わりに、図１２に示すように撮像装置５そのものの設計条件を探索することに応用することもできる。撮像装置５の設計条件は、図１２に示すように撮像装置５を設計する上で必要なあらゆる設計情報を含むものである。この撮像装置５の設計条件としては、上述した撮影条件、撮像素子の情報、撮像レンズ５６の情報やフィルタの特性情報をも含むものであってもよい。

参照用入力パラメータは、上述と同様に検出アルゴリズム情報、撮影条件、撮像素子の情報等である。図示はしていないが、撮像レンズ５６の情報やフィルタの特性情報も参照用入力パラメータに含めるようにしてもよい。これらに対して右側に示す撮像装置５の設計条件が３段階以上の第２連関度を介して互いに関連付けられている。この第２連関度は、図示しない第２連関データベースに記憶されるが、その構成並びに接続状態は、図１に示す第１連関データベース３と同様である。

なお、図１２は、この検出アルゴリズム情報、撮影条件、撮像素子の情報との組み合わせに対する第２連関度が設定されているが、これに限定されるものではなく、検出アルゴリズム情報、撮影条件、撮像素子の情報がそれぞれ独立して撮像装置５の設計条件に対する第２連関度が予め設定されていてもよい。

このような第２連関度が設定されている場合も同様に、ステップＳ１３へ移行した場合には、ステップＳ１２において抽出した入力パラメータとしての検出アルゴリズム情報、撮影条件、撮像素子情報等と連関度の高い撮像装置５の１以上の設計条件を探索する。探索プログラムは、ステップＳ１２において解析した入力パラメータに基づいて、撮像装置５の最適な設計条件を１又は２以上に亘り選択する作業を行う。撮像装置５の最適な設計条件を選択する上で、予め取得した図１２に示す第２連関度を参照する。探索プログラムは、この探索結果に基づいて同様にステップＳ１４において解を出力することになる。

図１３は、被写体の目的事象を含む複数の参照用入力パラメータの組み合わせに対して第２連関度が設定されている例を示している。このような第２連関度が設定されている場合も同様に、ステップＳ１３へ移行した場合には、ステップＳ１２において抽出した入力パラメータとしての被写体の目的事象、撮影条件、撮像素子情報等と連関度の高いバンドパスフィルタ５２の１以上の設計条件を探索する。

なお、上述したバンドパスフィルタの設計システム、バンドパスフィルタの設計プログラム以外に、これらに基づいて設計されたバンドパスフィルタ５２や、そのバンドパスフィルタ５２が実装された撮像装置５も本発明に含まれる。また上述した撮像装置の設計システム、撮像装置の設計プログラムに基づいて設計された撮像装置５も本発明に含まれる。

１ 設計システム
２ 探索装置
３ 第１連関データベース
５ 撮像装置
１０ 被写体
２１ 内部バス
２３ 表示部
２４ 制御部
２５ 操作部
２６ 通信部
２７ 探索部
２８ 記憶部
５１ 結像光学系
５２ バンドパスフィルタ
５３ 撮像素子
５４ 信号処理部
５６ 撮像レンズ
６１ ノード

Claims (9)

1. 被写体を撮像素子を介して撮像する撮像装置の設計条件を探索する撮像装置の設計システムにおいて、
   被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報、被写体を撮影装置により撮影する際の撮影条件、上記撮像素子に関する撮像素子情報の何れか１又は２以上の組み合わせと、撮像装置の設計条件との３段階以上の第２連関度が予め記憶されている第２連関データベースと、
   撮像装置により新たに撮影予定の被写体の検出アルゴリズム情報と、当該被写体を撮影する際の撮影条件と、当該撮像装置の撮像素子のうち、上記第２連関度に対応した情報が入力される入力手段と、
   上記第２連関データベースに記憶されている上記第２連関度を参照し、上記入力手段を介して入力された情報に基づき、撮像装置の１以上の設計条件を探索する探索手段とを備えること
   を特徴とする撮像装置の設計システム。
2. 被写体を撮像素子を介して撮像する撮像装置の設計条件を探索する撮像装置の設計システムにおいて、
   被写体を撮影装置により撮影する際の撮影条件、上記撮像素子に関する撮像素子情報の何れか１又は２の組み合わせと、撮像装置の設計条件との３段階以上の第２連関度が予め記憶されている第２連関データベースと、
   撮像装置により新たに撮影予定の被写体を撮影する際の撮影条件と、当該撮像装置の撮像素子のうち、上記第２連関度に対応した情報が入力される入力手段と、
   上記第２連関データベースに記憶されている上記第２連関度を参照し、上記入力手段を介して入力された情報に基づき、撮像装置の１以上の設計条件を探索する探索手段とを備えること
   を特徴とする撮像装置の設計システム。
3. 被写体を撮像素子を介して撮像する撮像装置の設計条件を探索する撮像装置の設計システムにおいて、
   被写体の目的事象、被写体を撮影装置により撮影する際の撮影条件、上記撮像素子に関する撮像素子情報の何れか１又は２以上の組み合わせと、撮像装置の設計条件との３段階以上の第２連関度が予め記憶されている第２連関データベースと、
   撮像装置により新たに撮影予定の被写体の目的事象と、当該被写体を撮影する際の撮影条件と、当該撮像装置の撮像素子に関する情報のうち、上記第２連関度に対応した情報が入力される入力手段と、
   上記第２連関データベースに記憶されている上記第２連関度を参照し、上記入力手段を介して入力された情報に基づき、撮像装置の１以上の設計条件を探索する探索手段とを備えること
   を特徴とする撮像装置の設計システム。
4. 上記第２連関データベースは、更に上記撮像光学系において更に被写体からの光を集光して撮像素子の撮像面上に像を形成させるための撮像レンズの情報を含む上記２以上の組み合わせと、バンドパスフィルタの設計条件との３段階以上の第２連関度が予め記憶され、
   上記入力手段は、新たに撮影予定の撮像装置中の撮像レンズの情報を含む上記第２連関度に対応した情報が入力されること
   を特徴とする請求項１〜３のうち何れか１項記載の撮像装置の設計システム。
5. 撮影した被写体像を撮像素子を介して撮像する撮像装置において
   請求項１〜４の何れか１項に記載の撮像装置の設計システムに基づいて設計されたことを特徴とする撮像装置。
6. 被写体を撮像素子を介して撮像する撮像装置の設計条件を探索する撮像装置の設計プログラムにおいて、
   被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報、被写体を撮影装置により撮影する際の撮影条件、上記撮像素子に関する撮像素子情報の何れか１又は２以上の組み合わせと、撮像装置の設計条件との３段階以上の第２連関度を予め取得する第２連関度取得ステップと、
   撮像装置により新たに撮影予定の被写体の検出アルゴリズム情報と、当該被写体を撮影する際の撮影条件と、当該撮像装置の撮像素子のうち、上記第２連関度に対応した情報が入力される入力ステップと、
   上記第２連関度取得ステップにより取得された上記第２連関度を参照し、上記入力において入力した情報に基づき、撮像装置の１以上の設計条件を探索する探索ステップとをコンピュータに実行させることを特徴とする撮像装置の設計プログラム。
7. 被写体を撮像素子を介して撮像する撮像装置の設計条件を探索する撮像装置の設計プログラムにおいて、
   被写体を撮影装置により撮影する際の撮影条件、上記撮像素子に関する撮像素子情報の何れか１又は２の組み合わせと、撮像装置の設計条件との３段階以上の第２連関度を予め取得する第２連関度取得ステップと、
   撮像装置により新たに撮影予定の被写体を撮影する際の撮影条件と、当該撮像装置の撮像素子のうち、上記第２連関度に対応した情報が入力される入力ステップと、
   上記第２連関度取得ステップにより取得された上記第２連関度を参照し、上記入力において入力した情報に基づき、撮像装置の１以上の設計条件を探索する探索ステップとをコンピュータに実行させることを特徴とする撮像装置の設計プログラム。
8. 被写体を撮像素子を介して撮像する撮像装置の設計条件を探索する撮像装置の設計プログラムにおいて、
   被写体の目的事象、被写体を撮影装置により撮影する際の撮影条件、上記撮像素子に関する撮像素子情報の何れか１又は２以上の組み合わせと、撮像装置の設計条件との３段階以上の第２連関度を予め取得する第２連関度取得ステップと、
   撮像装置により新たに撮影予定の被写体の目的事象と、当該被写体を撮影する際の撮影条件と、当該撮像装置の撮像素子に関する情報のうち、上記第２連関度に対応した情報が入力される入力ステップと、
   上記第２連関度取得ステップにより取得された上記第２連関度を参照し、上記入力ステップにおいて入力した情報に基づき、撮像装置の１以上の設計条件を探索する探索ステップとをコンピュータに実行させることを特徴とする撮像装置の設計プログラム。
9. 上記第２連関取得ステップでは、更に上記撮像光学系において更に被写体からの光を集光して撮像素子の撮像面上に像を形成させるための撮像レンズの情報を含む上記２以上の組み合わせと、バンドパスフィルタの設計条件との３段階以上の第２連関度が予め取得し、
   上記入力ステップでは、新たに撮影予定の撮像装置中の撮像レンズの情報を含む上記第２連関度に対応した情報が入力されること
   を特徴とする請求項６〜８のうち何れか１項記載の撮像装置の設計プログラム。

Images