JP7750375B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラムに関する。

透明容器内に内包される異物などの検出対象の混入を検知する技術が開示されている。例えば、特許文献１は、検査領域を画像中から画像処理によって絞り込み、領域内の気泡と異物を気泡の形状を用いて識別している。特許文献１では、シリンジのような半透明の容器に封入された液体の中に、異物が混入しているかを判別する際には、容器に振動や回転などを加えて異物を浮遊させた状態にして、浮遊中の異物と振動や回転によって発生した気泡を識別することによって液体中の異物の有無を判別している。

特許文献２には、液中異物検出方法の一例が開示されている。特許文献２の液中異物検出方法では、容器内を浮遊する異物に対して、透過用光源と反射用光源の光量を相対的に調整することによって、高輝度に表出する気泡と低輝度に表出する異物とを輝度の相違により液中の異物を検出している。

特許文献３には、回転によって浮遊させた異物を微分画像から得られる特徴量を用いて異物を検出する技術が開示されている。特許文献３では、所定の時間間隔において二組の画像を選択し、差分画像を生成する。また特許文献３では、差分画像に対して、微分処理を行ってエッジ画素を抽出し、抽出したエッジをグループ分けして個別の浮遊微分画像を抽出する。また特許文献３では、グループ分けした個別の浮遊微分画像から微分値の分布や形状などの特徴量を求めて、その特徴量から異物と気泡の識別を行い、液中の異物を検出している。

特許文献４には、反射率が低い透明フィルムの画像にコンピュータ画像処理を施すことにより異物や気泡のような欠陥の有無について外観検査を行う透明フィルムの外観検査方法に関する技術が開示されている。

特開２０１３－４４６８８号公報 特開平１１－１２５６０４号公報 特開２００４－３５４１００号公報 特開２００９－２６４９１５号公報

上述のような透明容器内の媒体中に混入した異物などの検出対象が、透明容器内の底面などの湾曲部や透明容器内の媒体面（例えば液面）に滞留する場合、当該透明容器の底面や媒体面の形状などの湾曲などによる光の反射が影響し、微小な検出対象の検出が難しいという問題があった。

そこでこの発明は、上述の課題を解決する画像処理装置、画像処理方法、プログラムを提供することを目的としている。

本発明の第１の態様によれば、画像処理装置は、透明容器の内部の検出対象を映す画像であって、前記透明容器を回転させて撮影した複数の画像を比較して、前記画像に写る前記検出対象の候補領域のうち、前記回転に応じた移動方向に移動する前記候補領域を判定し、前記回転に応じた移動方向に移動する前記候補領域の画像情報と第一学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第一判定結果と、前記回転に応じた移動方向に移動する前記候補領域の時系列の変化を示す情報と第二学習モデルをと用いて当該候補領域が前記検出対象か否かを判定した第二判定結果とを用いて、前記検出対象の有無を判定する。

本発明の第２の態様によれば、画像処理方法は、透明容器の内部の検出対象を映す画像であって、前記透明容器を回転させて撮影した複数の画像を比較して、前記画像に写る前記検出対象の候補領域のうち、前記回転に応じた移動方向に移動する前記候補領域を判定し、前記回転に応じた移動方向に移動する前記候補領域の画像情報と第一学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第一判定結果と、前記回転に応じた移動方向に移動する前記候補領域の時系列の変化を示す情報と第二学習モデルをと用いて当該候補領域が前記検出対象か否かを判定した第二判定結果とを用いて、前記検出対象の有無を判定する。

本発明の第３の態様によれば、記憶媒体は、画像処理装置のコンピュータに、透明容器の内部の検出対象を映す画像であって、前記透明容器を回転させて撮影した複数の画像を比較して、前記画像に写る前記検出対象の候補領域のうち、前記回転に応じた移動方向に移動する前記候補領域を判定する処理と、前記回転に応じた移動方向に移動する前記候補領域の画像情報と第一学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第一判定結果と、前記回転に応じた移動方向に移動する前記候補領域の時系列の変化を示す情報と第二学習モデルをと用いて当該候補領域が前記検出対象か否かを判定した第二判定結果とを用いて、前記検出対象の有無を判定する処理と、を実行させるプログラムを記憶する。

本発明によれば、透明容器内の湾曲部や透明容器内の媒体面に滞留する検出対象の検出をより精度よく行うことができる。

本発明の一実施形態による異物検出装置の第一の斜視図を示す。 本発明の一実施形態による異物検出装置の第二の斜視図を示す。 本発明の一実施形態による異物検出装置の第三の斜視図を示す。 本発明の一実施形態による透明容器内での異物の出現例を示す第一の図である。 本発明の一実施形態による透明容器内での異物の出現例を示す第二の図である。 本発明の一実施形態による画像処理装置のハードウェア構成図である。 本発明の一実施形態による画像処理装置の機能ブロックを示す第一の図である。 本発明の一実施形態による画像処理装置の機能ブロックを示す第二の図である。 本発明の一実施形態による画像処理装置の機能ブロックを示す第三の図である。 本発明の一実施形態による画像処理装置の処理フローを示す第一の図である。 本発明の一実施形態による画像処理装置の処理フローを示す第二の図である。 本発明の一実施形態による画像処理装置の処理概要を示す第一の図である。 本発明の一実施形態による画像処理装置の処理概要を示す第二の図である。 本発明の一実施形態による画像処理装置の処理概要を示す第三の図である。 本発明の一実施形態による画像処理装置の処理概要を示す第四の図である。 本発明の一実施形態による異物検出装置の第四の斜視図を示す。 本発明の一実施形態による画像処理装置の機能ブロックを示す第四の図である。 本発明の第二実施形態による画像処理装置の処理フローを示す図である。 本発明の第二実施形態による画像処理装置の処理概要を示す図である。 本発明の画像処理装置の最小構成を示す図である。 本発明の最小構成の画像処理装置における処理フローを示す図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。
[第一実施形態]
［構成の説明］
まず、発明を実施するための形態について図面を参照して詳細に説明する。

図１は本発明の画像処理装置１を含む、異物検出装置１００の第一の斜視図を示す。図１に示すように異物検出装置１００は、画像処理装置１と、検査対象となる透明容器２、透明容器２を回転させる回転装置４と、透明容器２の内部の液体３を照らす反射照明５、透過照明６とから構成されている。透明容器２には液体３が内包されている。

透明容器２は第一実施形態においては円筒形状を成しており、透明容器に内包される媒体が液体３である。透明容器２の底面には検出対象の異物が滞留しており、画像処理装置１は透明容器２の底面に滞留する異物を含む画像に基づいて異物の有無を判定する。透明容器２内の液体３の液面に検出対象の異物が滞留しており、画像処理装置１は液体３の液面に滞留する異物を含む画像に基づいて異物の有無を判定してもよい。なお透明容器２の底面は、透明容器２の壁面の湾曲部の一例である。また透明容器２内の液体３の液面は、透明容器２に内包される媒体（液体３）が当該透明容器２内において他の媒体（空気）と接する面の一態様である。画像処理装置１は、透明容器２の壁面の湾曲部に滞留する検出対象または透明容器２に内包される媒体が当該透明容器内において他の媒体と接する面に滞留する検出対象を映す画像において、特に、その検出対象を判定するものである。透明容器２に内包される媒体は液体３に限らない。また透明容器２の壁面の湾曲部は底面に限らない。また透明容器２に内包される液体３が、当該透明容器２内において他の媒体と接する面は、液体３の液面に限らない。画像処理装置１は検出対象の種別（異物、気泡など）を判定してもよい。画像処理装置１は、透明容器２に内包される液体以外の媒体に滞留する検出対象を検出するものであってよい。

つまり画像処理装置１は、透明容器２の底面に滞留する検出対象または透明容器２に内包される媒体が当該透明容器２内において他の媒体と接する面に滞留する検出対象を映す画像から、検出対象を検出するものであってよい。画像処理装置１は、透明容器２の底面に滞留する検出対象を映す画像からのみ、検出対象を検出するものであってよいし、透明容器２内の液体３の液面に滞留する検出対象を映す画像のみから、検出対象を検出するものであってよい。画像処理装置１は、透明容器２の液体３の液中に浮遊する検出対象を映す画像、検出対象を検出するものであってもよい。

回転装置４は円柱形状の透明容器２を垂直にして底面を把持するとともに当該底面の中心に一致する中心を回転軸（ｚ軸）として回転して、透明容器２を回転させる装置である。透明容器２に内包される液体３に浮遊する検出対象は、透明容器２の回転に伴って、回転軸を中心に回転する。本実施形態において画像処理装置１は撮影装置１０を備える。撮影装置１０は、検出対象を撮影できる位置であって、ｚ軸に直交する撮影軸（ｘ軸）に撮影方向が固定される位置に設置されているものとする。画像処理装置１は回転装置４が透明容器２を回転させている間、撮影装置１０を制御して検出対象を撮影し、検出対象が映る画角の画像を連続して複数取得することができる。撮影装置１０が撮影を行っている間、ｚ軸とｘ軸の関係は維持される。これにより画像処理装置１は、回転装置４の回転に伴って位置が変化する検出対象を含む画像を複数取得する。図１の例では、撮影装置１０を備える画像処理装置１および反射照明５の対と、透過照明６とは、回転軸（ｚ軸）を含む仮想平面を隔てて互いに反対側に位置する。

図２は本発明の画像処理装置１を含む、異物検出装置１００の第二の斜視図を示す。図１には、異物検出装置１００が反射照明５と透過照明６とを備える例を示したが、異物検出装置１００は透過照明６を備えなくてもよい。図２の例では、撮影装置１０を備える画像処理装置１と反射照明５とは、回転軸（ｚ軸）を含む仮想平面に対して、それぞれが一方側に位置する。この状態で反射照明５が液体３を照らした場合、異物などの検出対象は光の反射により、周囲と比較して輝度が高く画像中に映る場合が多い。この場合、画像処理装置１は輝度が周囲より高く映る領域から異物などの検出対象を判定する。

図３は本発明の画像処理装置１を含む、異物検出装置１００の第三の斜視図を示す。図１には、異物検出装置１００が反射照明５と透過照明６とを備える例を示したが、異物検出装置１００は反射照明５を備えなくてもよい。図３の例では、撮影装置１０を備える画像処理装置１と反射照明５とは、回転軸（ｚ軸）を含む仮想平面を隔てて、互いに反対側に位置する。この状態で透過照明６が液体３を照らした場合、異物などの検出対象における光の遮断により、透過照明６とは仮想平面の反対から液体を撮影する撮影装置１０の生成した画像には、検出対象はその周囲と比較して輝度が低く画像中に映る場合が多い。この場合、画像処理装置１は輝度が周囲よりも低く映る領域から異物などの検出対象を判定する。

図４は透明容器内での異物の出現例を示す第一の図である。
図４は、画像処理装置１の撮影装置１０によって透明容器２を撮影した際に、液体３内で異物が存在している状態の第一の例と第二の例を示している。透明容器２の底面４１近傍に検出対象がある場合、撮影装置１０は底面４１の検出対象を撮影した画像４ａを生成する。透明容器２の底面４１近傍に検出対象がある場合、撮影装置１０は液面４２の検出対象を撮影した画像４ｂを生成する。

図５は透明容器内での異物の出現例を示す第二の図である。
図５は、画像処理装置１の撮影装置１０によって透明容器２を撮影した際に、液体３内で異物が存在している状態の第三の例を示している。透明容器２の液体３に検出対象が浮遊している場合、撮影装置１０は当該浮遊している検出対象を撮影した画像５ａを生成してもよい。画像処理装置１は、画像５ａに基づいて検出対象を検出するものであってもよい。

ここで、液体３内で異物が存在している状態の第三の例（画像５ａ）のように検出対象が液体３を浮遊している場合、照明環境をコントロールすることで、画像５ａが示すような画像領域内で検出対象以外の領域の輝度値を一定にすることが容易となり、検出対象の領域を表出させやすかった。第三の例（画像５ａ）では、それに加えて、浮遊している検出対象は徐々に重力方向に落下していくため、その動きを検知することによって検出対象を検出することが容易であった。これに対して、第一の例（画像４ａ）や第二の例（画像４ｂ）に示すような、液面や透明容器２の底面付近で滞留している検出対象を精度良く検出する必要がある。第一の例（画像４ａ）や第二の例（画像４ｂ）では、画像内に液面や底面領域等の透明容器２の壁面の湾曲部が写りこむため、検出対象以外の画像中の領域の輝度値が一定ではなくなり、検出対象の領域を表出させるのが難しくなる。また、検出対象が底面や液面付近で滞留しているため、落下運動による検出を行うことができない。そのため、画像処理装置１は、液面や底面付近でも検出対象の領域を表出させることができる機能と、滞留している検出対象を容器の回転運動によって検出する機能とを併せ持つ。

図６は本実施形態による画像処理装置のハードウェア構成図である。
この図が示すように画像処理装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、通信モジュール１０５、データベース１０６等の各ハードウェアを備えたコンピュータである。また画像処理装置１は撮影装置１０を備える。

図７は画像処理装置の機能ブロックを示す第一の図である。
図７で示すように、画像処理装置１は、予め記憶する画像処理プログラムを実行する。これにより画像処理装置１は、撮影部３０１、ヒストグラム生成部３０２、ヒストグラム記憶部３０３、抽出部３０４、差分検出部３０５、クラスタリング部３０６、追跡判定部３０７、識別部３０８の各機能を発揮する。

撮影部３０１は撮影装置１０を制御して撮影装置１０の撮影により生成した画像を取得する。
ヒストグラム生成部３０２は、透明容器を回転させている最中の撮影により予め作成した複数の画像（１，２，・・・Ｎフレーム）の各画素の画素値ごとの頻度を示す基準ヒストグラムを生成する。
ヒストグラム記憶部３０３は、ヒストグラム生成部３０２が予め生成した基準ヒストグラムを記憶する。
抽出部３０４は、ヒストグラム記憶部３０３で記憶する基準ヒストグラムとの比較に基づいて、回転装置４で透明容器２を回転させながら順次撮影することにより取得した複数の画像（１，２，・・・Ｎフレーム）のうち、選択した一つの画像の各画素の輝度の出現頻度（ヒストグラム）とを比較してその選択した一つの画像における異物や気泡などの検出対象の候補領域を抽出する。
差分検出部３０５は、撮影時刻が前後の複数の画像において抽出された検出対象の候補領域の画素値を順次比較して、移動していない候補領域を検出対象から除く処理を行う。
クラスタリング部３０６は、候補領域として残る画素のうち隣り合う画素の纏まりを一つの候補領域としてクラスタリングする。
追跡判定部３０７は、クラスタリングされた候補領域の領域（検出窓）のうち、透明容器の回転に応じて移動する前後の関連する領域を順次撮影時刻の異なる前後の複数の画像の各画素において特定する。
識別部３０８は、回転に応じた移動方向に移動する候補領域の画像情報と第一学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第一判定結果と、回転に応じた移動方向に移動する候補領域の時系列の変化を示す情報と第二学習モデルをと用いて当該候補領域が検出対象か否かを判定した第二判定結果とを用いて、検出対象を識別する。検出対象の識別は、検出対象の有無を判定する処理の一態様である。

図８は画像処理装置の機能ブロックを示す第二の図である。
図８の示す機能ブロックは、追跡判定部３０７の詳細な機能ブロックを示す。追跡判定部３０７は、重み行列生成部４０１、新規軌跡重み付け部４０２、位置重み付け部４０３、サイズ変化重み付け部４０４、回転方向重み付け部４０５、連結判定部４０６、不使用領域記憶部４０７、既存軌跡記憶部４０８、軌跡長判定部４０９の機能を発揮する。

重み行列生成部４０１は、新規軌跡重み付け部４０２、位置重み付け部４０３、サイズ変化重み付け部４０４、回転方向重み付け部４０５から得た重み情報に基づいて、Ｎ－１フレーム目の画像までの検出対象の候補領域の各追跡結果と、Ｎフレーム目の画像の各検出対象の候補領域との関係とを算出するための重み行列Ｍを生成する。

新規軌跡重み付け部４０２、位置重み付け部４０３、サイズ変化重み付け部４０４、回転方向重み付け部４０５はそれぞれ、異なる観点の、Ｎ－１フレーム目の画像までの検出対象の候補領域の各追跡結果と、Ｎフレーム目の画像の各検出対象の候補領域との関連性が強いか弱いかを示す重み情報をそれぞれ決定する。重み付け部についての詳細は後述する。

連結判定部４０６は、重み行列Ｍとハンガリアンアルゴリズム等の割当問題を解くアルゴリズムとを用いて、Ｎフレーム目の画像の各検出対象の候補領域を、Ｎ－１フレーム目の画像までの検出対象の候補領域の各追跡結果に割り当てる。

不使用領域記憶部４０７は、連結判定部４０６によって追跡結果に割り当てられなかった候補領域を記憶する。
既存軌跡記憶部４０８は、各フレームについて、連結判定部４０６によって追跡結果に割り当てられた各候補領域と軌跡の識別情報とを紐づけて記憶する。
軌跡長判定部４０９は、既存軌跡記憶部４０８に記憶する軌跡の情報の中から閾値以上の長さの連結を得られた軌跡を、検出対象の軌跡と判定する。

図９は画像処理装置の機能ブロックを示す第三の図である。
図９の示す機能ブロックは、識別部３０８の詳細な機能ブロックを示す。
識別部３０８は、疑似テクスチャ記憶部５０１、合成対象画像生成部５０２、追跡時系列データ記憶部５０３、実画像記憶部５０４、合成対象画像記憶部５０５、分類器５０６、学習部５０７、識別結果記憶部５０８の各機能を発揮する。

疑似テクスチャ記憶部５０１は疑似テクスチャを記憶する。
合成対象画像生成部５０２は、疑似テクスチャをランダムな形に切り抜いて画像上のランダムな位置と角度に重畳して検出対象を模擬した合成対象画像を生成する。
追跡時系列データ記憶部５０３は、検出対象を追跡した際に得られた追跡結果の時系列データを記憶する
実画像記憶部５０４は、実際の異物や気泡などの検出対象の画像であって、形状や大きさが異なる画像を複数記憶する。
合成対象画像記憶部５０５は、合成対象画像生成部５０２の生成した合成対象画像を記憶する。
分類器５０６は、学習部５０７で生成された学習モデルを用いて、異物、気泡などの検出対象を識別する。分類器５０６は具体的には、異物、気泡、それ以外領域の誤検出を含む三値分類の判別結果を出力する。
学習部５０７は、追跡判定部３０７の判定結果を用いて検出対象を識別するための学習モデルを生成する。
識別結果記憶部５０８は、分類器５０６の判定結果を記憶する。

まず、画像処理装置１は、事前に、第一学習モデルと、第二学習モデルとを生成する。第一学習モデルは、透明容器２の回転に応じた移動方向に移動する検出対象の候補領域が検出対象か否かを、透明容器２の回転の際に繰り返し撮影して生成した画像（１，２，・・・，Ｎフレーム）から識別するための学習モデルである。また第二学習モデルは、透明容器２の回転に応じた移動方向に移動する検出対象の候補領域が検出対象か否かを、回転に応じた移動方向に移動する候補領域の時系列の変化を示す画像（１，２，・・・，Ｎフレーム）それぞれの情報に基づいて識別するための学習モデルである。画像処理装置１はこれら第一学習モデルと第二学習モデルの二つの学習モデルを用いて、検出対象を識別する。

具体的には、学習部５０７は、学習用データとして用意された、実際の検出対象である異物や気泡を映した実画像や、それら検出対象の疑似画像を正解データとして、第一の機械学習処理を行う。実画像は実画像記憶部５０４に記録されている。疑似画像は合成対象画像記憶部５０５に記録されている。一例として実画像や疑似画像は、検出対象の領域における中心を画像の中心とする画像情報である。

学習部５０７は、これら記憶部に記録されている実画像、疑似画像を用いて機械学習処理を行う。なお、疑似画像は、疑似テクスチャ記憶部５０１に記録されているテクスチャ（画像色彩サンプルなど）を用いて合成対象画像生成部５０２が生成した、異物や気泡などの検出対象の疑似的な画像であり、テクスチャをランダムな形に切り抜いて画像上のランダムな位置と角度に重畳して作成した画像である。学習部５０７は、例えば、第一の機械学習処理により、画像が入力され、その画像に、実画像や疑似画像が示す検出対象が映る場合に、検出対象であることを示す結果を出力するニューラルネットワークなどの重みなどのパラメータの情報を含む第一学習モデルを生成する。分類器５０６は、第一学習モデルを用いて生成されたニューラルネットワークに画像を入力すると、当該画像に検出対象が映る場合、検出対象であることを示す情報を出力する。または第一学習モデルは、検出対象の識別情報を特定するニューラルネットワークを構成する情報であってもよい。このように学習部５０７は、画像による検出対象の実際の外観を示す実画像と、テクスチャの合成によって作成した疑似画像とを用いて、未知の異物などの検出対象に対しても頑健に検出することができるような第一学習モデルを生成している。

また学習部５０７は、回転する透明容器２に実際に入っている検出対象を撮影した複数の画像フレームに基づいて追跡時系列データを学習用データとして生成し、そのデータを用いて、第二の機械学習処理を行う。追跡時系列データは追跡時系列データ記憶部５０３に記録されている。追跡時系列データは、例えば、時系列に前後の画像における検出対象の領域を示す画素の識別子、位置（画像内座標）、画素数、その領域の前後の画像フレームにおける位置の変動に基づく移動量、移動ベクトルなどの情報であってよい。学習部５０７は、例えば、第二の機械学習処理により、時系列順に撮影された複数フレームの画像についての各追跡時系列データが入力された場合に、各フレームの画像において検出対象の候補領域と判定された各軌跡が検出対象の軌跡であることを示す結果を出力するための、第二学習モデルを生成する。当該第二学習モデルは、ニューラルネットワークなどの重みなどのパラメータの情報を含む学習結果の情報である。分類器５０６は、第二学習モデルを用いて生成されたニューラルネットワークに複数フレームの画像に関する追跡時系列データを入力すると、当該各フレームの画像において検出対象の候補領域と判定された各軌跡が検出対象の軌跡である場合、検出対象であることを示す情報を出力する。

そして分類器５０６は、異なる情報により検出対象かどうかを判定するために用いられる第一学習モデルと、第二学習モデルとを用いて、画像から検出対象が含まれるかどうかを判定する。または分類器５０６は、異なる情報により検出対象かどうかを判定するために用いられる第一学習モデルと、第二学習モデルとを用いて、画像から検出対象の識別子を特定してもよい。第一学習モデルと第二学習モデルを利用して検出対象を判定するため、より高精度の検出対象を識別することができる。分類器５０６が第一学習モデルと第二学習モデルとを用いて画像に含まれる検出対象を判定することにより、検出対象のうちの異物か気泡か、またはそれ以外の背景の誤検出かを含む三値分類の判定を行うことができる。なお、画像処理装置１は、第一学習モデルや第二学習モデルを用いて、検出対象の異物として、複数の検出対象を区別して識別するものであってよい。

図１０は本実施形態による画像処理装置の処理フローを示す第一の図である。
次に、画像処理装置１が基準ヒストグラムを生成する処理について説明する。
まず撮影装置１０の撮影方向、画角は固定する。撮影装置１０は、一例として透明容器２の底面近傍が含まれる画像を撮影している。この状態で回転装置４が透明容器２をＺ軸回りに回転させている。透明容器２の回転運動は等速である。これにより撮影装置１０が生成した画像には、一定の周期で透明容器２の同一の個所が表れる。画像処理装置１の撮影部３０１は撮影装置１０を制御して撮影を続ける。なお基準ヒストグラムの生成時には、透明容器２内部には検出対象（異物、気泡など）は含まれていないものとする。

撮影部３０１は撮影装置１０の生成した画像（１，２，・・・，Ｎフレーム）を順次取得する（ステップＳ１０１）。撮影装置１０は、透明容器２が１回転する間に、数１０枚などの画像を生成してよい。ヒストグラム生成部３０２は、複数の画像（１，２，・・・，Ｎフレーム）を取得する。ヒストグラム生成部３０２は、画像における一つの基準画素とその周辺画素を含む矩形のヒストグラム生成範囲ａを、基準画素を１つずつずらしながら、複数の各画像において設定する。ヒストグラム生成範囲ａは一例として縦５画素、横５画素などの範囲であってよい。

ヒストグラム生成部３０２は、時刻０から時刻ｔまでの間の時系列に取得した連続する複数の画像における同じ画像内位置の各ヒストグラム生成範囲ａの各画素に基づいて、当該ヒストグラム生成範囲ａの基準ヒストグラムを生成する（ステップＳ１０２）。ヒストグラム生成部３０２は、画像内の画素数分の基準ヒストグラムを生成する。基準ヒストグラムは、一例として縦軸が輝度またはＲＧＢなどの色情報の２５５階調の何れかの画素値、横軸は出現頻度を示す。画像処理装置１は、透明容器２が複数回転する間に生成された画像を用いて基準ヒストグラムを生成する。ヒストグラム生成部３０２は、生成した基準ヒストグラムを、ヒストグラム記憶部３０３に記録する。上述の処理は、撮影部３０１によって撮影された画像領域をΩとしたとき、ヒストグラム生成部３０２が、各画素i∈Ωを時刻０からｔまで保存した基準ヒストグラムh_i∈Ωを作成する処理に相当する。ヒストグラム記憶部３０３はヒストグラム生成部３０２で得られた各画素の基準ヒストグラムh_i∈Ωを記憶する。

図１１は本実施形態による画像処理装置の処理フローを示す第三の図である。
図１２は本実施形態による画像処理装置の処理概要を示す第一の図である。
次に、画像処理装置１が実際に検出対象を識別する際の処理について説明する。
基準ヒストグラムの生成時と同様に、回転装置４が透明容器２を回転させている。この状態で、画像処理装置１の撮影部３０１は撮影装置１０を制御して撮影を続ける。撮影部３０１は撮影装置１０の生成した１つの画像（１つのフレーム）を取得する（ステップＳ２０１）。抽出部３０４はヒストグラム記憶部３０３において記憶した基準ヒストグラムのうちある一つの画素について生成した基準ヒストグラムを取得する（ステップＳ２０２）。抽出部３０４は、ヒストグラム記憶部３０３において記憶した基準ヒストグラムを利用して、その基準ヒストグラムを生成した対象の画素に一致する位置の画素を撮影部３０１から新しく得られた画像において特定する（ステップＳ２０３）。抽出部３０４はその特定した画素の画素値と基準ヒストグラムとを比較して、その画素が検出対象の候補領域かそれ以外の領域かを判定する。

ここで、取得した画像内に異物などの検出対象が含まれる場合には、その検出対象を示す画素の画素値は、検出対象を含まない画像に基づいて生成された基準ヒストグラムにおいて頻度の低い画素値に類似する画素値となる。他方、検出対象を示さない画素の画素値は、基準ヒストグラムにおいて頻度の高い画素値に類似する画素値となる。従って、抽出部３０４は、検出対象を検出する画像から特定した画素について、その画素値と基準ヒストグラムとを比較して、特定した画素が検出対象の候補領域と見做すことができるかどうかを判定する。具体的には、抽出部３０４は、画像から特定した画素の画素値の出力頻度が、基準ヒストグラムにおいて設定した頻度の閾値θよりも低いか否かを判定する（ステップＳ２０４）。抽出部３０４は、画像から特定した画素の画素値が、基準ヒストグラムにおいて設定した頻度の閾値θよりも低い場合には、その画素は検出対象の候補であると判定する（ステップＳ２０５）。一方、抽出部３０４は、画像から特定した画素の画素値の出力頻度が、基準ヒストグラムにおいて設定した頻度の閾値θよりも高い場合には、検出対象を含む画像に近いため、その画素は検出対象の候補ではないと判定する（ステップＳ２０６）。

上述の抽出部３０４の処理において、新たに撮像された画像の各画素i∈Ωにおける候補領域か否かの判定式は、ヒストグラム記憶部３０３において記憶する基準ヒストグラムh_iと、新たに撮影部３０１によって撮影された一つの画像の画素iの画素値b_iを用いると、
h_i(b_i)＞θのとき、δ_i＝1
h_i(b_i) ＜θのとき、δ_i＝0
と表すことができる。ここではδ_i＝1となるときを候補領域の画素、δ_i＝0となるときを候補領域以外の領域の画素とする。抽出部３０４は画素ｉの画素値ｂｉと閾値θを用いてh_i(b_i) ＜θと判定した場合δ_i＝0を出力する。δ_i＝0はその画素ｉが検出対象候補であることを示す。

また閾値θは検出対象の候補領域とそれ以外の領域とを判別する際のヒストグラムの累積量の閾値である。ここで、さらに閾値θの決定方法に関して述べる。透明容器２が一定の方向に回転していることを利用して容器の回転方向ベクトルと各画素のオプティカルフローのコサイン類似度を求める。抽出部３０４は、コサイン類似度が高くなる時、閾値が高くなり、コサイン類似度が小さくなる時、閾値が小さくなるように閾値θを設定する。つまり、抽出部３０４は、画素毎の移動ベクトルが容器の回転方向と一致している時は、検出対象の候補領域として反応しやすくなり、一致していない時は反応しにくくなる。これは、異物や気泡などの透明容器２内での検出対象のほうが、その他の検出対象以外の領域に比べて移動方向にオプティカルフローを検出することができる傾向があることを利用している。

抽出部３０４は、取得した一つの画像内の全ての画素について、同様に検出対象の候補領域か否かを判定する（ステップＳ２０７）。また抽出部３０４は、撮影装置１０が順次生成した各画像の全ての画素についても同様に、検出対象の候補領域か否かを判定する（ステップＳ２０８）。

差分検出部３０５は、抽出部３０４によって得られた検出対象の候補領域群からフィルタリングを行い前後のフレーム間で輝度値に変化がある候補領域の画素のみを取り出す（ステップＳ２０９）。透明容器２が回転運動をしているため、異物や気泡は透明容器２内を容器に合わせて移動している。そのため、異物や気泡の領域は前後のフレームで差分を取ると輝度値の差が大きく出やすい。一方で検出対象以外の領域となる画素に関しては前後のフレームで差分を取っても輝度値の変化量が少ない。そのため、差分検出部３０５は、前後のフレーム間で差分を取ることで、フレーム間で輝度値に変化がある候補領域の特定を行う。なお、抽出部３０４による検出対象の候補領域の抽出処理と、差分検出部３０５によるフィルタリング処理は順番を入れ替えても同様の効果が得られるし、並列に実行してもよい。

クラスタリング部３０６は、抽出部３０４と差分検出部３０５によって処理された画像において検出された検出対象の候補領域の画素に対して、周辺八近傍画素の連結画素の探索を行い、当該連結画素が検出対象の候補領域と判定されている場合、それら候補領域をクラスタリングにより統合し、一つの候補領域と特定する（ステップＳ２１０）。

追跡判定部３０７はクラスタリング部３０６によって特定された候補領域を前後のフレーム間で順次追跡して、十分に長い軌跡が得られた時、異物もしくは気泡などの検出対象の軌跡であると判定する。

追跡判定部３０７では、現在のフレームでの各候補領域c_i∈Cと現在のフレームまでの追跡結果t_j∈Tの対応付けを行い追跡結果の更新をする。ここでCは現在のフレームで新たに検出された候補領域の集合、Ｔは現在のフレーム間での追跡結果の集合を表している。追跡結果の更新には重み行列Ｍの生成を行い、当該重み行列Ｍとハンガリアンアルゴリズムとを用いてフレーム間における検出対象の同一軌跡の候補領域の対応付けを行う。

ここで、追跡判定部３０７の重み行列生成部４０１は、新規軌跡重み付け部４０２から得た重み情報α、位置重み付け部４０３から得た重み情報β、サイズ変化重み付け部４０４から得た重み情報γ、回転方向重み付け部４０５から得た重み情報δ、の各重み情報に基づいて、重み行列Ｍを生成する。

新規軌跡重み付け部４０２は、重み情報αを用いて、過去の連続する複数の画像において関連領域として特定された候補領域の連続性が長いほど、それら連続する複数の画像の最後の画像の当該候補領域と、当該最後の画像の次の新たな画像における候補領域との関連を強める。つまり、新規軌跡重み付け部４０２は、重み情報αを用いて、重み行列生成部４０１で生成された重み行列Ｍに含まれる重みに対して、追跡結果の示す軌跡長が長いほど、新たな画像の候補領域を優先的につなげることができるように重みを更新する。

図１３は、第一実施形態による画像処理装置の処理概要を示す第一の図である。
位置重み付け部４０３は、重み情報βを用いて、画像に写る透明容器２の回転の中心からの距離が遠い位置の候補領域ほど、Ｎ－１フレーム目までの追跡結果と、Ｎフレームにおける候補領域が離れていても、それら候補領域の関連を強める。透明容器２の回転によって回転の中心から離れた位置の対象ほど、前後の画像間で出現する位置の距離が長い。従って回転の中心から遠く、前後の画像間で出現する位置が離れていたとしても、それらの軌跡は繋がっているものと判定することが望ましい。従って、位置重み付け部４０３は、重み情報βを用いて、重み行列生成部４０１で生成された重み行列Ｍに含まれる重みに対して、透明容器２の回転の中心からの距離が遠い位置の候補領域でも、追跡結果へと優先的につなげることができるように重みを更新する。

図１４は、第一実施形態による画像処理装置の処理概要を示す第二の図である。
サイズ変化重み付け部４０４は、重み情報γを用いて、複数の画素を含む候補領域の形状の変化が大きいほど、前後の画像それぞれの候補領域の関連を弱める。候補領域の形状の変化が大きい場合、前後の画像におけるそれら候補領域は関係が引く可能性が増す。従って、サイズ変化重み付け部４０４は、重み情報γを用いて、Ｎ－１フレーム目での追跡結果を構成する候補領域の画素数とＮフレーム目の候補領域の画素数とが所定の閾値以上大きく異なる場合、Ｎ－１フレーム目での追跡結果を構成する候補領域と、Ｎフレーム目の候補領域との関連を低くするよう重みを更新する。図１４（ａ）は候補領域の形状の変化が少ないため、前後の画像間での関連性が高い。他方図１４（ｂ）は候補領域の計上の変化が大きいため、前後の画像間での関連性が低い。

図１５は、第一実施形態による画像処理装置の処理概要を示す第三の図である。
回転方向重み付け部４０５は、重み情報δを用いて、前後の画像それぞれにおいて、透明容器２の回転の方向に逆らって移動する候補領域の関連を弱める。つまり回転方向重み付け部４０５は、重み情報δを用いて、Ｎ－１フレーム目の候補領域の画像内位置からＮフレーム目の各候補領域の画像内位置への重心ベクトルと、容器の回転方向のベクトルのコサイン類似度を算出して、類似度が低いものを除外するように重みを更新する。図１５（ａ）は、回転方向のベクトル（実線）と、検出対象の候補領域の重心の移動方向ベクトル（点線）の方向が類似しているので、検出対象の候補領域である可能性が高い。他方、図１５（ｂ）は、回転方向のベクトル（実線）と、検出対象の候補領域の重心の移動方向ベクトル（点線）の方向が類似していない為、検出対象の候補領域である可能性が低い。

重み行列生成部４０１は、Ｎ－１フレーム目までの各追跡結果とＮフレーム目の各候補領域とに関する重み行列Ｍを生成する。Ｎフレーム目に出現する候補領域c_i∈Cと、Ｎ－１フレーム目までの追跡結果t_j∈Ｔに関する重み行列Ｍの要素m_ij∈Ｍは、式（１）により表すことができる。式（１）において「*」は乗算を示す。

m_ij = (λ_1*α+λ_2*β+λ_3*γ+λ_4*δ)D_ij ・・・（１）

ここで、D_ijはクラスターc_iと追跡結果t_jを構成する最新の候補領域の重心座標のL2ノルムを表している。重み情報α、β、γ、δは、新規軌跡重み付け部４０２、位置重み付け部４０３、サイズ変化重み付け部４０４、回転方向重み付け部４０５により生成された重みを表しており、λ_1、λ_2、λ_3、λ_4はそれらを調節する重みを表している。

そして追跡判定部３０７の連結判定部４０６は、重み行列Ｍと、ハンガリアンアルゴリズムとを用いて、Ｎ－１フレーム目での追跡結果に、Ｎフレーム目の候補領域を割り当てる（ステップＳ２１１）。これによって、Ｎフレーム目に含まれる各候補領域は、追跡している軌跡に含まれない候補領域と、追跡している軌跡に含まれる候補領域とに分類される。当該追跡判定部３０７の処理は、複数の画像のうち時系列に撮影された前後の画像における候補領域とそれら画像における候補領域の連続性の強弱を示す重み情報（重み行列Ｍ）とを用いてそれら前後の画像における候補領域を関連領域と特定する処理の一態様である。連結判定部４０６は、Ｎフレームの画像において、追跡している軌跡に含まれない候補領域の画素情報を不使用領域記憶部４０７に記録する。例えば連結判定部４０６はＮフレームの画像の識別子と、追跡している軌跡に含まれない候補領域の識別子やその候補領域を構成する画像情報などを紐づけて不使用領域記憶部４０７に記録する。連結判定部４０６は、Ｎフレームの画像において、追跡している軌跡に含まれる候補領域の画素情報を既存軌跡記憶部４０８に記録する。例えば連結判定部４０６はＮフレームの画像の識別子と、追跡している軌跡に含まれる候補領域の識別子やその候補領域を構成する画像情報などを紐づけて既存軌跡記憶部４０８に記録する。

軌跡長判定部４０９は、既存軌跡記憶部４０８の中から所定の閾値以上の長さの連結を得られた候補領域を、異物や気泡などの検出対象の候補領域と特定する（ステップＳ２１２）。例えば軌跡長判定部４０９は、既存軌跡記憶部４０８に記録されるＮフレームの画像の識別子と、追跡している軌跡に含まれる候補領域の識別子やその候補領域を構成する画像情報（画素の位置など）に基づいて、軌跡を示す最初（例えば１フレーム目の画像）の候補領域の位置から、最後の画像（例えばＮフレーム目の画像）の候補領域の位置までの距離を算出する。軌跡長判定部４０９は、その距離が閾値以上であれば、それら１フレーム目からＮフレーム目までの各画像において検出された軌跡を示す候補領域が、異物や気泡などの検出対象の候補領域であると特定する。

識別部３０８は、追跡判定部３０７の上記の処理により特定された１つまたは複数の検出対象の候補領域の情報を含む画像をＮフレーム分取得する。候補領域の情報は、例えば画像中の画素を示す情報などを含む。識別部３０８は、追跡判定部３０７においてＮフレームの画像それぞれにおいて特定した検出対象の候補領域を用いて、透明容器２内に検出対象としている物が混入しているかの判定を以下の処理により行う。この処理において、識別部３０８は、Ｎフレーム分の画像における検出対象の候補領域の位置（画像内座標）を用いて、追跡時系列データを生成する。または追跡時系列データは、追跡判定部３０７の連結判定部４０６が連結判定処理の際に生成したＮフレーム分の画像のうちの前後の画像に基づいて生成したデータであってもよい。当該追跡時系列データは、上述したように、例えば、時系列に前後の画像における検出対象の領域を示す画素の識別子、位置（画像内座標）、画素数、その領域の前後の画像フレームにおける位置の変動に基づく移動量、移動ベクトルなどの情報であってよい。追跡時系列データはＮフレームの画像について１つ生成されてもよいし、Ｎフレームの画像毎に、追跡時系列データが生成されてもよい。

識別部３０８の分類器５０６は、Ｎフレームの各画像における候補領域を中心とし、候補領域を含む正方形のパッチ画像をそれぞれ生成する。分類器５０６は、Ｎフレームの各画像と追跡時系列データとに基づいて、Ｎフレームの各画像において一つの軌跡に対応する各パッチ画像のうち、最も候補領域が狭いパッチ画像、最も候補領域が広いパッチ画像、候補領域の範囲がその軌跡の各パッチ画像のうちの平均に近いパッチ画像を選択する。分類器５０６は、それら選択したパッチ画像を第一学習モデルに入力する。その結果、分類器５０６は、入力した各パッチ画像について、それらパッチ画像における候補領域が検出対象であるか否かを示す第一判定結果を出力する（ステップＳ２１３）。第一判定結果は、画像に含まれる１つまたは複数の候補領域に対応するパッチ画像が検出対象である、異物か、気泡か、それ以外の背景の領域かを示す結果の情報であってよい。第一判定結果は、画像に含まれる１つまたは複数の候補領域に対応するパッチ画像が、学習用データとして用いた正解の検出対象に一致するか否かを示す情報であってもよい。分類器５０６は、Ｎフレームの各画像における他の軌跡を示す各パッチ画像を同様に追跡時系列データに基づいて生成し、各軌跡において選択したパッチ画像それぞれについて第一学習モデルに入力して、それらパッチ画像における候補領域が検出対象であるか否かを示す第一判定結果を同様に出力する。分類器５０６は、第一判定結果において、パッチ画像が検出対象であることを出力した場合、識別結果記憶部５０８に、透明容器２に検出対象である異物が含まれることを示す情報を記録する。分類器５０６は、検出対象と判定したパッチ画像を、透明容器２の識別子に紐づけて識別結果記憶部５０８に記録してもよい。

また識別部３０８の分類器５０６は、Ｎフレームの各画像における一つの軌跡に対応する追跡時系列データを選択する。分類器５０６は、選択した追跡時系列データを第二学習モデルに入力する。その結果、分類器５０６は、入力した追跡時系列データが検出対象であるか否かを示す第二判定結果を出力する（ステップＳ２１４）。分類器５０６は、Ｎフレームの各画像における他の軌跡の追跡時系列データを第二学習モデルに入力して、当該軌跡が検出対象であるか否かを示す第二判定結果を同様に出力する。分類器５０６は、第二判定結果において、追跡時系列データが検出対象であることを出力した場合、識別結果記憶部５０８に、透明容器２に検出対象である異物が含まれることを示す情報を記録する。

上述の処理によれば、透明容器２と共に液面や底面などの光の屈折の影響により見えにくい位置に滞留している異物を回転させて、回転によって移動する異物等の検出対象の移動の特性が、回転に従った移動の特性かどうかを判断することによって、液面や底面付近で滞留している異物などの検出対象を、より精度良く検出することができる。

＜第二実施形態＞

図１６は、異物検出装置１００の第四の斜視図を示す。
図１６に示すように異物検出装置１００は、画像処理装置１と、検査対象となる透明容器２、透明容器２を回転させる回転装置４と、透明容器２の内部の液体３を照らす透過照明６、透明容器２を揺動させる揺動装置７とから構成されている。透明容器２には液体３が内包されている。

透明容器２は第二実施形態においては円筒形状を成しており、透明容器２に内包される媒体が液体３である。液体３の底面には検出対象の異物が滞留しており、画像処理装置１は液体３の底面に滞留する異物を含む画像に基づいて異物の有無を判定する。液体３の液面に検出対象の異物が滞留しており、画像処理装置１は液体３の液面に滞留する異物を含む画像に基づいて異物の有無を判定してもよい。画像処理装置１は検出対象の種別（異物、気泡など）を判定してもよい。画像処理装置１は、透明容器２に内包される液体以外の媒体に滞留する検出対象を検出するものであってよい。つまり画像処理装置１は、透明容器２の底面に滞留する検出対象または透明容器２に内包される媒体が当該透明容器２内において他の媒体と接する面に滞留する検出対象を映す画像から、検出対象を検出するものであってよい。画像処理装置１は、透明容器２の底面に滞留する検出対象を映す画像から、検出対象を検出するものであってよいし、透明容器２の上面に滞留する検出対象を映す画像から、検出対象を検出するものであってよい。

回転装置４は円筒形状の透明容器２を垂直にして底面を把持するとともに当該底面の中心に一致する中心を回転軸（ｚ軸）として回転して、透明容器２を回転させる装置である。透明容器２に内包される液体３の液面、液底、液中に浮遊、滞留等する検出対象は、透明容器２の回転に伴って、回転軸を中心に回転する。本実施形態において画像処理装置１は撮影装置１０を備える。撮影装置１０は、検出対象を撮影できる位置であって、ｚ軸に直交する撮影軸（ｘ軸）に撮影方向が固定される位置に設置されているものとする。画像処理装置１は回転装置４が透明容器２を回転させている間、撮影装置１０を制御して検出対象を撮影し、検出対象が映る画角の画像を連続して複数取得することができる。撮影装置１０が撮影を行っている間、ｚ軸とｘ軸の関係は維持される。これにより画像処理装置１は、回転装置４の回転に伴って位置が変化する検出対象を含む画像を複数取得する。第二実施形態においても透過照明６の代わりに、反射照明５を用いてもよいし、その両方を用いてもよい。

そして本実施形態と第一実施形態との間の異物検出装置１００の構造的な違いは、第二実施形態の異物検出装置１００は、揺動装置７を備え、揺動装置７が回転装置４によって回転が加えられる前の透明容器２に揺動を加える点である。第二実施形態においては、揺動装置７が例えば透明容器２の上部を把持して左右に振り子のように透明容器２を揺動する。これにより揺動装置７の内部の液中、液面、液底に滞留する異物などの検出対象の位置が移動する。第二実施形態の画像処理装置１は、揺動装置７によって揺動される前に回転装置４が回転させている透明容器２の複数の画像と、揺動装置７によって揺動された後に回転装置４が回転させている透明容器２の複数の画像とを用いて、検出対象を検出する。

図１７は、画像処理装置の機能ブロックを示す第二の図である。
図１７で示すように、画像処理装置１は、予め記憶する画像処理プログラムを実行する。これにより画像処理装置１は、撮影部７０１、画像記憶部７０２、模様探索部７０３、抽出部７０４、クラスタリング部７０６、追跡判定部７０７、識別部７０８の各機能を発揮する。

撮影部７０１は撮影装置１０を制御して撮影装置１０の撮影により生成した画像を取得する。
画像記憶部７０２は、撮影部７０１が撮影装置１０から取得した画像を記憶する。
模様探索部７０３は、画像中に映る光の反射等の影響で変化する模様を揺動前の画像と揺動後の画像で一致させる処理を行う。
抽出部７０４は、揺動前の画像と揺動後の画像で模様が一致した各画像を用いて、検出対象の候補領域を抽出する。
クラスタリング部７０６は、候補領域として残る画素のうち隣り合う画素の纏まりを一つの候補領域としてクラスタリングする。
追跡判定部７０７は、クラスタリングされた候補領域の領域（検出窓）のうち、透明容器の回転に応じて移動する前後の関連する領域を順次撮影時刻の異なる前後の複数の画像の各画素において特定する。
識別部７０８は、回転に応じた移動方向に移動する候補領域の画像情報と第一学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第一判定結果と、回転に応じた移動方向に移動する候補領域の時系列の変化を示す情報と第二学習モデルをと用いて当該候補領域が検出対象か否かを判定した第二判定結果とを用いて、検出対象を識別する。検出対象の識別は、検出対象の有無を判定する処理の一態様である。

なお第二実施形態において、クラスタリング部７０６、追跡判定部７０７、識別部７０８の各機能は第一実施形態と同様である。

図１８は第二実施形態による画像処理装置の処理フローを示す図である。
図１９は第二実施形態による画像処理装置の処理概要を示す図である。
次に、画像処理装置１が実際に検出対象を識別する際の第二実施形態の処理について説明する。なお第一実施形態で説明した処理と同様に、第一学習モデルと第二学習モデルとが生成されているものとする。

まず、回転装置４が透明容器２を、ｚ軸を中心に回転させている。この状態で、画像処理装置１の撮影部７０１は撮影装置１０を制御して撮影を続ける。撮影部７０１は撮影装置１０の生成した画像（フレーム）を順次取得する（ステップＳ３０１）。撮影部７０１は取得した各画像を順に画像記憶部７０２に記録する（ステップＳ３０２）。これら記録した各画像は揺動前の画像である。

次に画像処理装置１の制御に基づいて、揺動装置７が透明容器２を上部を支点にパン方向（左右方向）振る（ステップＳ３０３）。これにより撮影装置１０から見てパン方向（左右方向）に透明容器２が振られる。または管理者が手動で透明容器２をパン方向に振ってもよい。そして回転装置４が再び透明容器２をｚ軸を中心に回転させる（ステップＳ３０４）。画像処理装置１の撮影部７０１は撮影装置１０を制御して撮影を続ける。撮影部７０１は撮影装置１０の生成した画像（フレーム）を順次取得する（ステップＳ３０５）。これら各画像は揺動後の画像である。

画像処理装置１の模様探索部７０３は、揺動前の各画像（図１９（ａ））と、揺動後の各画像（図１９（ｂ））との、光の影響により輝度が所定の閾値以上の画素領域を比較して、一致する場合に、透明容器２の回転により撮影装置１０から見た位置が同じ回転位置と判定する（ステップＳ３０６）。なお模様探索部７０３は、揺動前の各画像と、揺動後の各画像との、光の影響により輝度が所定の閾値以上の画素領域を比較して、一致するかどうかは、輝度が閾値以上の領域を比較して、それら領域が一定の割合で一致していれば、位置が同じ位置と判定してよい。模様探索部７０３は、当該一致した揺動前の画像と揺動後の画像とを検出対象の候補領域の抽出対象の起点画像と特定する（ステップＳ３０７）。

抽出部７０４は、模様探索部７０３が起点画像と判定した揺動前の画像と揺動後の画像とを比較して、それらの各画像の画素の差分を取ることで、画素値に違いのある領域を検出対象の候補領域（図１９（ｃ））と抽出する（ステップＳ３０８）。これにより、検出対象の候補領域と、それ以外の背景の領域との区別を行う。この抽出部７０４の処理は、撮影装置１０で透明容器２を撮影した第一画像と、透明容器２に揺動を加えた後に撮影装置１０で透明容器２を撮影した第二画像と、の各画素の差分に基づいて、光の反射が類似する領域を特定し、当該光の反射が類似する領域が一致する第一画像と第二画像との差分に基づいて画素値の変化のある検出対象の候補領域を抽出する処理の一態様である。

クラスタリング部７０６は、抽出部７０４によって処理された画像において検出された検出対象の候補領域の画素に対して、周辺八近傍画素の連結画素の探索を行い、当該連結画素が検出対象の候補領域と判定されている場合、それら候補領域をクラスタリングにより統合、一つの候補領域と特定する（ステップＳ３０９）。

追跡判定部７０７はクラスタリング部７０６によって特定された候補領域を前後のフレーム間で順次追跡して、十分に長い軌跡が得られた時、異物もしくは気泡などの検出対象の軌跡であると判定する。

追跡判定部７０７では、現在のフレームでの各候補領域c_i∈Cと現在のフレームまでの追跡結果t_j∈Tの対応付けを行い追跡結果の更新をする。ここでCは現在のフレームで新たに検出された候補領域の集合、Ｔは現在のフレーム間での追跡結果の集合を表している。追跡結果の更新には重み行列Ｍの生成を行い、当該重み行列Ｍとハンガリアンアルゴリズムとを用いてフレーム間における検出対象の同一軌跡の候補領域の対応付けを行う。

ここで、追跡判定部７０７の重み行列生成部４０１は、新規軌跡重み付け部４０２から得た重み情報α、位置重み付け部４０３から得た重み情報β、サイズ変化重み付け部４０４から得た重み情報γ、回転方向重み付け部４０５から得た重み情報δ、の各重み情報に基づいて、第一実施形態と同様に、重み行列Ｍを生成する。

重み行列生成部４０１は、Ｎ－１フレーム目までの各追跡結果とＮフレーム目の各候補領域とに関する重み行列Ｍを生成する。Ｎフレーム目に出現する候補領域c_i∈Cと、Ｎ－１フレーム目までの追跡結果t_j∈Ｔに関する重み行列Ｍの要素m_ij∈Ｍは、式（２）により表すことができる。式（１）において「*」は乗算を示す。

m_ij = (λ_1*α+λ_2*β+λ_3*γ+λ_4*δ)D_ij ・・・（２）

ここで、D_ijはクラスターc_iと追跡結果t_jを構成する最新の候補領域の重心座標のL2ノルムを表している。重み情報α、β、γ、δは、新規軌跡重み付け部４０２、位置重み付け部４０３、サイズ変化重み付け部４０４、回転方向重み付け部４０５により生成された重みを表しており、λ_1、λ_2、λ_3、λ_4はそれらを調節する重みを表している。

そして追跡判定部７０７の連結判定部４０６は、重み行列Ｍと、ハンガリアンアルゴリズムとを用いて、Ｎ－１フレーム目での追跡結果に、Ｎフレーム目の候補領域を割り当てる（ステップＳ３１０）。これによって、Ｎフレーム目に含まれる各候補領域は、追跡している軌跡に含まれない候補領域と、追跡している軌跡に含まれる候補領域とに分類される。連結判定部４０６は、Ｎフレームの画像において、追跡している軌跡に含まれない候補領域の画素情報を不使用領域記憶部４０７に記録する。例えば連結判定部４０６はＮフレームの画像の識別子と、追跡している軌跡に含まれない候補領域の識別子やその候補領域を構成する画像情報などを紐づけて不使用領域記憶部４０７に記録する。連結判定部４０６は、Ｎフレームの画像において、追跡している軌跡に含まれる候補領域の画素情報を既存軌跡記憶部４０８に記録する。例えば連結判定部４０６はＮフレームの画像の識別子と、追跡している軌跡に含まれる候補領域の識別子やその候補領域を構成する画像情報などを紐づけて既存軌跡記憶部４０８に記録する。

軌跡長判定部４０９は、既存軌跡記憶部４０８の中から所定の閾値以上の長さの連結を得られた候補領域を、異物や気泡などの検出対象の候補領域と特定する（ステップＳ３１１）。例えば軌跡長判定部４０９は、既存軌跡記憶部４０８に記録されるＮフレームの画像の識別子と、追跡している軌跡に含まれる候補領域の識別子やその候補領域を構成する画像情報（画素の位置など）に基づいて、軌跡を示す最初（例えば１フレーム目の画像）の候補領域の位置から、最後の画像（例えばＮフレーム目の画像）の候補領域の位置までの距離を算出する。軌跡長判定部４０９は、その距離が閾値以上であれば、それら１フレーム目からＮフレーム目までの各画像において検出された軌跡を示す候補領域が、異物や気泡などの検出対象の候補領域であると特定する。

識別部７０８は、追跡判定部７０７の上記の処理により特定された１つまたは複数の検出対象の候補領域の情報を含む画像をＮフレーム分取得する。候補領域の情報は、例えば画像中の画素を示す情報などを含む。識別部７０８は、追跡判定部７０７においてＮフレームの画像それぞれにおいて特定した検出対象の候補領域を用いて、透明容器２内に検出対象としている物が混入しているかの判定を以下の処理により行う。この処理において、識別部７０８は、Ｎフレーム分の画像における検出対象の候補領域の位置（画像内座標）を用いて、追跡時系列データを生成する。または追跡時系列データは、追跡判定部７０７の連結判定部４０６が連結判定処理の際に生成したＮフレーム分の画像のうちの前後の画像に基づいて生成したデータであってもよい。当該追跡時系列データは、上述したように、例えば、時系列に前後の画像における検出対象の領域を示す画素の識別子、位置（画像内座標）、画素数、その領域の前後の画像フレームにおける位置の変動に基づく移動量、移動ベクトルなどの情報であってよい。追跡時系列データはＮフレームの画像について１つ生成されてもよいし、Ｎフレームの画像毎に、追跡時系列データが生成されてもよい。

識別部７０８の分類器５０６は、Ｎフレームの各画像における候補領域を中心とし、候補領域を含む正方形のパッチ画像をそれぞれ生成する。分類器５０６は、Ｎフレームの各画像と追跡時系列データとに基づいて、Ｎフレームの各画像において一つの軌跡に対応する各パッチ画像のうち、最も候補領域が狭いパッチ画像、最も候補領域が広いパッチ画像、候補領域の範囲がその軌跡の各パッチ画像のうちの平均に近いパッチ画像を選択する。分類器５０６は、それら選択したパッチ画像を第一学習モデルに入力する。その結果、分類器５０６は、入力した各パッチ画像について、それらパッチ画像における候補領域が検出対象であるか否かを示す第一判定結果を出力する（ステップＳ３１２）。第一判定結果は、画像に含まれる１つまたは複数の候補領域に対応するパッチ画像が検出対象である、異物か、気泡か、それ以外の背景の領域かを示す結果の情報であってよい。第一判定結果は、画像に含まれる１つまたは複数の候補領域に対応するパッチ画像が、学習用データとして用いた正解の検出対象に一致するか否かを示す情報であってもよい。分類器５０６は、Ｎフレームの各画像における他の軌跡を示す各パッチ画像を同様に追跡時系列データに基づいて生成し、各軌跡において選択したパッチ画像それぞれについて第一学習モデルに入力して、それらパッチ画像における候補領域が検出対象であるか否かを示す第一判定結果を同様に出力する。分類器５０６は、第一判定結果において、パッチ画像が検出対象であることを出力した場合、識別結果記憶部５０８に、透明容器２に検出対象である異物が含まれることを示す情報を記録する。分類器５０６は、検出対象と判定したパッチ画像を、透明容器２の識別子に紐づけて識別結果記憶部５０８に記録してもよい。

また識別部７０８の分類器５０６は、Ｎフレームの各画像における一つの軌跡に対応する追跡時系列データを選択する。分類器５０６は、選択した追跡時系列データを第二学習モデルに入力する。その結果、分類器５０６は、入力した追跡時系列データが検出対象であるか否かを示す第二判定結果を出力する（ステップＳ３１３）。分類器５０６は、Ｎフレームの各画像における他の軌跡の追跡時系列データを第二学習モデルに入力して、当該軌跡が検出対象であるか否かを示す第二判定結果を同様に出力する。分類器５０６は、第二判定結果において、追跡時系列データが検出対象であることを出力した場合、識別結果記憶部５０８に、透明容器２に検出対象である異物が含まれることを示す情報を記録する。

上述の処理によれば、透明容器２と共に液面や底面などの光の屈折の影響により見えにくい位置で滞留している異物を回転させて、回転によって移動する異物等の検出対象の移動の特性が、回転に従った移動の特性かどうかを判断することによって、液面や底面付近で滞留している異物などの検出対象を、より精度良く検出することができる。

図２０は画像処理装置の最小構成を示す図である。
図２１は最小構成の画像処理装置における処理フローを示す図である。
画像処理装置１は、少なくとも、第一判定手段と、第二判定手段を備える。
第一判定手段は、透明容器２の内部の検出対象を映す画像であって、透明容器２を回転させて撮影した複数の画像を比較して、画像に写る検出対象の候補領域のうち、回転に応じた移動方向に移動する候補領域を判定する（ステップＳ２１０１）。
第二判定手段は、回転に応じた移動方向に移動する候補領域の画像情報と第一学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第一判定結果と、回転に応じた移動方向に移動する候補領域の時系列の変化を示す情報と第二学習モデルをと用いて当該候補領域が前記検出対象か否かを判定した第二判定結果とを用いて、検出対象の有無を判定する（ステップＳ２１０２）。

上述の画像処理装置１は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記憶媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明によれば、医療系薬品などの液中に異物などが混入していないかの検査を、手動で行うのに対して、自動かつ高速に実施するといった用途に適用できる。また飲料などを生産する際に飲料に異物が混入していないかの検査にも用いることができる。

なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
透明容器の内部の検出対象を映す画像であって、前記透明容器を回転させて撮影した複数の画像を比較して、前記画像に写る前記検出対象の候補領域のうち、前記回転に応じた移動方向に移動する前記候補領域を判定し、
前記回転に応じた移動方向に移動する前記候補領域の画像情報と第一学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第一判定結果と、前記回転に応じた移動方向に移動する前記候補領域の時系列の変化を示す情報と第二学習モデルをと用いて当該候補領域が前記検出対象か否かを判定した第二判定結果とを用いて、前記検出対象の有無を判定する
画像処理装置。

（付記２）
前記画像の撮影装置を固定して、前記透明容器を回転させて予め作成した前記複数の画像の各画素の画素値に基づいて生成した基準ヒストグラムと、新たに取得した前記画像の各画素の画素値とを比較して、当該新たに取得した前記画像における前記検出対象の候補領域を抽出する抽出手段と、
を備える付記１に記載の画像処理装置。

（付記３）
前記画像の撮影装置を固定し、当該撮影装置で前記透明容器を撮影した第一画像と、前記透明容器に揺動を加えた後に前記撮影装置で前記透明容器を撮影した第二画像と、の各画素の差分に基づいて、光の反射が類似する領域を特定し、当該光の反射が類似する領域が一致する前記台地が増と前記第二画像との差分に基づいて前記画素値の変化のある前記検出対象の前記候補領域を抽出する抽出手段と、
を備える付記２に記載の画像処理装置。

（付記４）
前記透明容器の回転に基づく前記候補領域の移動に応じた関連領域を前記複数の画素において特定する追跡判定手段を備え、
前記追跡判定手段は、前記複数の画像のうち時系列に撮影された前後の画像における前記候補領域とそれら画像における前記候補領域の連続性の強弱を示す重み情報とを用いてそれら前後の画像における前記候補領域を前記関連領域と特定する
付記１から付記３の何れか一つに記載の画像処理装置。

（付記５）
前記重み情報は、過去の連続する複数の画像において前記関連領域として特定された候補領域の連続性が長い場合に、それら連続する複数の画像の最後の画像の当該候補領域と、当該最後の画像の次の新たな画像における前記候補領域との関連を強める情報である
付記４に記載の画像処理装置。

（付記６）
前記重み情報は、前記画像に写る前記透明容器の前記回転の中心からの距離が遠い位置の候補領域ほど、前記前後の画像それぞれの前記候補領域が離れていてもそれら候補領域の関連を強める情報である
付記４または付記５に記載の画像処理装置。

（付記７）
前記重み情報は、複数の画素を含む前記候補領域の形状の変化が大きいことに基づいて前記前後の画像それぞれの前記候補領域の関連を弱める情報である
付記４から付記６の何れか一つに記載の画像処理装置。

（付記８）
前記重み情報は、前記透明容器の前記回転の方向に逆らって移動する前記前後の画像それぞれの前記候補領域の関連を弱める情報である
付記４から付記７の何れか一つに記載の画像処理装置。

（付記９）
前記透明容器の壁面の湾曲部に滞留する検出対象または前記透明容器に内包される媒体が当該透明容器内において他の媒体と接する面に滞留する検出対象を映す画像である
付記１から付記８の何れか一つに記載の画像処理装置。

（付記１０）
透明容器の内部の検出対象を映す画像であって、前記透明容器を回転させて撮影した複数の画像を比較して、前記画像に写る前記検出対象の候補領域のうち、前記回転に応じた移動方向に移動する前記候補領域を判定し、
前記回転に応じた移動方向に移動する前記候補領域の画像情報と第一学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第一判定結果と、前記回転に応じた移動方向に移動する前記候補領域の時系列の変化を示す情報と第二学習モデルをと用いて当該候補領域が前記検出対象か否かを判定した第二判定結果とを用いて、前記検出対象の有無を判定する
画像処理方法。

（付記１１）
画像処理装置のコンピュータに、
透明容器の内部の検出対象を映す画像であって、前記透明容器を回転させて撮影した複数の画像を比較して、前記画像に写る前記検出対象の候補領域のうち、前記回転に応じた移動方向に移動する前記候補領域を判定する処理と、
前記回転に応じた移動方向に移動する前記候補領域の画像情報と第一学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第一判定結果と、前記回転に応じた移動方向に移動する前記候補領域の時系列の変化を示す情報と第二学習モデルをと用いて当該候補領域が前記検出対象か否かを判定した第二判定結果とを用いて、前記検出対象の有無を判定する処理と、
を実行させるプログラムを記憶する記憶媒体。

１・・・画像処理装置
２・・・透明容器
４・・・回転装置
５・・・反射照明
６・・・透過照明
７・・・揺動装置
３０１，７０１・・・撮影部
３０２・・・ヒストグラム生成部
３０３・・・ヒストグラム記憶部
３０４，７０４・・・抽出部
３０５，７０５・・・差分検出部
３０６，７０６・・・クラスタリング部
３０７，７０７・・・追跡判定部
３０８，７０８・・・識別部
７０２・・・画像記憶部
７０３・・・模様探索部
４０１・・・重み行列生成部
４０２・・・新規軌跡重み付け部
４０３・・・位置重み付け部
４０４・・・サイズ変化重み付け部
４０５・・・回転方向重み付け部
４０６・・・連結判定部
４０７・・・不使用領域記憶部
４０８・・・既存軌跡記憶部
４０９・・・軌跡長判定部
５０１・・・疑似テクスチャ記憶部
５０２・・・合成対象画像生成部
５０３・・・追跡時系列データ記憶部
５０４・・・実画像記憶部
５０５・・・合成対象画像記憶部
５０６・・・分類器
５０７・・・学習部
５０８・・・識別結果記憶部

Claims (11)

1. 透明容器の内部の検出対象を映す画像であって、前記透明容器を回転させて撮影した複数の画像を比較して、前記画像に写る前記検出対象の候補領域のうち、前記回転に応じた移動方向に移動する前記候補領域を判定し、
   前記回転に応じた移動方向に移動する前記候補領域の画像情報と第一学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第一判定結果と、前記回転に応じた移動方向に移動する前記候補領域の時系列の変化を示す情報と第二学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第二判定結果と、を用いて、前記検出対象の有無を判定する
   画像処理装置。
2. 前記画像の撮影装置を固定して、前記透明容器を回転させて予め作成した前記複数の画像の各画素の画素値に基づいて生成した基準ヒストグラムと、新たに取得した前記画像の各画素の画素値とを比較して、当該新たに取得した前記画像における前記検出対象の候補領域を抽出する抽出手段と、
   を備える請求項１に記載の画像処理装置。
3. 前記画像の撮影装置を固定し、当該撮影装置で前記透明容器を撮影した第一画像と、前記透明容器に揺動を加えた後に前記撮影装置で前記透明容器を撮影した第二画像と、の各画素の差分に基づいて、光の反射が類似する領域を特定し、当該光の反射が類似する領域が一致する前記第一画像と前記第二画像との差分に基づいて前記画素値の変化のある前記検出対象の前記候補領域を抽出する抽出手段と、
   を備える請求項２に記載の画像処理装置。
4. 前記透明容器の回転に基づく前記候補領域の移動に応じた関連領域を前記複数の画像において特定する追跡判定手段を備え、
   前記追跡判定手段は、前記複数の画像のうち時系列に撮影された前後の画像における前記候補領域とそれら画像における前記候補領域の連続性の強弱を示す重み情報とを用いてそれら前後の画像における前記候補領域を前記関連領域と特定する
   請求項１から請求項３の何れか一項に記載の画像処理装置。
5. 前記重み情報は、過去の連続する複数の画像において前記関連領域として特定された候補領域の連続性が長い場合に、それら連続する複数の画像の最後の画像の当該候補領域と、当該最後の画像の次の新たな画像における前記候補領域との関連を強める情報である
   請求項４に記載の画像処理装置。
6. 前記重み情報は、前記画像に写る前記透明容器の前記回転の中心からの距離が遠い位置の候補領域ほど、前記前後の画像それぞれの前記候補領域が離れていてもそれら候補領域の関連を強める情報である
   請求項４または請求項５に記載の画像処理装置。
7. 前記重み情報は、複数の画素を含む前記候補領域の形状の変化が大きいことに基づいて前記前後の画像それぞれの前記候補領域の関連を弱める情報である
   請求項４から請求項６の何れか一項に記載の画像処理装置。
8. 前記重み情報は、前記透明容器の前記回転の方向に逆らって移動する前記前後の画像それぞれの前記候補領域の関連を弱める情報である
   請求項４から請求項７の何れか一項に記載の画像処理装置。
9. 前記透明容器の壁面の湾曲部に滞留する検出対象、または前記透明容器に内包される媒体が当該透明容器内において他の媒体と接する面に滞留する検出対象を映す画像である
   請求項１から請求項８の何れか一項に記載の画像処理装置。
10. 透明容器の内部の検出対象を映す画像であって、前記透明容器を回転させて撮影した複数の画像を比較して、前記画像に写る前記検出対象の候補領域のうち、前記回転に応じた移動方向に移動する前記候補領域を判定し、
    前記回転に応じた移動方向に移動する前記候補領域の画像情報と第一学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第一判定結果と、前記回転に応じた移動方向に移動する前記候補領域の時系列の変化を示す情報と第二学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第二判定結果と、を用いて、前記検出対象の有無を判定する
    画像処理方法。
11. 画像処理装置のコンピュータに、
    透明容器の内部の検出対象を映す画像であって、前記透明容器を回転させて撮影した複数の画像を比較して、前記画像に写る前記検出対象の候補領域のうち、前記回転に応じた移動方向に移動する前記候補領域を判定する処理と、
    前記回転に応じた移動方向に移動する前記候補領域の画像情報と第一学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第一判定結果と、前記回転に応じた移動方向に移動する前記候補領域の時系列の変化を示す情報と第二学習モデルとを用いて当該候補領域が前記検出対象か否かを判定した第二判定結果と、を用いて、前記検出対象の有無を判定する処理と、
    を実行させるプログラム。