JP7626437B2

JP7626437B2 - 画像処理装置

Info

Publication number: JP7626437B2
Application number: JP2021045525A
Authority: JP
Inventors: 永記石寺
Original assignee: NEC Solution Innovators Ltd
Current assignee: NEC Solution Innovators Ltd
Priority date: 2021-03-19
Filing date: 2021-03-19
Publication date: 2025-02-04
Anticipated expiration: 2041-03-19
Also published as: JP2022144486A

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

サイズの大きな入力画像中から、それよりサイズの小さなクエリ画像に似た部分画像を検索するための方法として、テンプレートマッチング手法がある。テンプレートマッチング手法では、入力画像の左上から右下にかけてクエリ画像をスライドさせながら、クエリ画像とクエリ画像に重なる部分の画像との類似度を計算する。

一方、一般物体検出の分野では、畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ、ＣＮＮ）を使用して、画像中から人物や車など特定クラスを検出する技術が提案ないし実用化されている。例えば、特許文献１には、注目する画像中の局所領域を細かなステップでスライドさせながら、全ての局所領域をＣＮＮで識別する手法が提案されている。また、画像中の物体らしい領域を見つける検出と、見つけた領域に対してクラスの判断を行う識別とを同時に行う深層ＣＮＮ（ＤｅｅｐＣＮＮ）が提案ないし実用化されている。ＹＯＬＯ（ＹｏｕＬｏｏｋＯｎｌｙＯｎｃｅ）やＳＳＤ（ＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉＢｏｘＤｅｔｅｃｔｏｒ）などが、そのような深層ＣＮＮの例である。

特開２０２０－１６０９２１号公報

上述したテンプレートマッチング手法は、高速化が困難であり、また画像同士の類似度を評価する尺度を予め決める必要がある。特許文献１に記載の技術、および、ＹＯＬＯやＳＳＤなどの深層ＣＮＮを用いれば、物体検出までの処理を高速化することはできる。しかし、検出した物体がクエリ画像に写っている物体と似ているか否かを別途に調べる必要がある。例えば、大勢の人物が写っている入力画像の中にクエリ画像に写っている特定の人物が存在するか否かを調べる場合、特許文献１に記載の技術あるいはＹＯＬＯやＳＳＤなどの深層ＣＮＮを用いて検出した個々の人物の像とクエリ画像に写っている人物の像との類似度を算出して、人物像が同一の人物に係る像か否かを調べる必要がある。そのため、画像同士の類似度を評価する尺度が依然として必要になると共に、最終結果を得るまでの処理を高速化することは困難である。

本発明の目的は、上述した課題、すなわち、高速化が難しく、画像同士の類似性を評価する尺度を予め決める必要がある、という課題を解決する画像処理装置を提供することにある。

本発明の一形態に係る画像処理装置は、
入力画像中からクエリ画像に似た部分画像を検出する画像処理装置であって、
クエリ画像と前記クエリ画像に似た部分画像を有する入力画像とが関連付けて入力された際に、前記クエリ画像に似た部分画像の前記入力画像中における推定位置を出力するように、教師データを用いて機械学習されたニューラルネットワークと、
学習済みの前記ニューラルネットワークに対して入力画像とクエリ画像とを関連付けて入力し、前記クエリ画像に似た部分画像の前記入力画像中における位置を計算する処理手段と、
を備えるように構成されている。

また、本発明の一形態に係る画像処理方法は、
入力画像中からクエリ画像に似た部分画像を検出する画像処理方法であって、
クエリ画像と前記クエリ画像に似た部分画像を有する入力画像とが関連付けて入力された際に、前記クエリ画像に似た部分画像の前記入力画像中における推定位置を出力するように、教師データを用いてニューラルネットワークの機械学習を行い、
学習済みの前記ニューラルネットワークに対して入力画像とクエリ画像とを関連付けて入力し、前記クエリ画像に似た部分画像の前記入力画像中における位置を計算する、
ように構成されている。

また、本発明の一形態に係るプログラムは、
入力画像中からクエリ画像に似た部分画像を検出するコンピュータに、
クエリ画像と前記クエリ画像に似た部分画像を有する入力画像とが関連付けて入力された際に、前記クエリ画像に似た部分画像の前記入力画像中における推定位置を出力するように、教師データを用いてニューラルネットワークの機械学習を行う処理と、
学習済みの前記ニューラルネットワークに対して入力画像とクエリ画像とを関連付けて入力し、前記クエリ画像に似た部分画像の前記入力画像中における位置を計算する処理と、
を行わせるように構成されている。

本発明は、上述したような構成を有することにより、入力画像中からクエリ画像に似た部分画像を高速に検索することができ、また、画像同士の類似性を評価する尺度を予め決める必要がなくなる。

本発明の第１の実施形態に係る画像処理装置のブロック図である。本発明の第２の実施形態に係る画像処理装置のブロック図である。本発明の第２の実施形態におけるニューラルネットワークの機械学習処理の概要を示す模式図である。本発明の第２の実施形態に係る画像処理装置における処理手段の動作の一例を示すフローチャートである。本発明の第２の実施形態に係る画像処理装置におけるニューラルネットワークの構成例を示す図である。本発明の第２の実施形態に係る画像処理装置におけるニューラルネットワークの第１畳み込み層および第２畳み込み層と第３畳み込み層との接続関係を示す模式図である。

次に本発明の実施の形態について図面を参照して詳細に説明する。
［第１の実施形態］
先ず、本発明の第１の実施形態に係る画像処理装置について説明する。本実施形態では、本発明の画像処理装置の概要を説明する。

図１は、本発明の第１の実施形態に係る画像処理装置１０のブロック図である。本実施形態に係る画像処理装置１０は、入力画像中からクエリ画像に似た部分画像を検出するように構成されている。画像処理装置１０は、学習済みのニューラルネットワーク１１と処理手段１２とを備える。

ニューラルネットワーク１１は、クエリ画像とそのクエリ画像に似た部分画像を有する入力画像とが関連付けて入力された際に、クエリ画像に似た部分画像の入力画像中における推定位置を出力するように、教師データを用いて機械学習処理が施されている。

処理手段１２は、ニューラルネットワーク１１に対して入力画像とクエリ画像とを関連付けて入力し、クエリ画像に似た部分画像の入力画像中における位置を計算する。

このように本実施形態に係る画像処理装置１０では、ニューラルネットワーク１１は、クエリ画像とそのクエリ画像に似た部分画像を有する入力画像とが関連付けて入力された際に、クエリ画像に似た部分画像の入力画像中における推定位置を出力するように、教師データを用いて機械学習処理が施されている。そして、処理手段１２は、ニューラルネットワーク１１に対して入力画像とクエリ画像とを関連付けて入力し、クエリ画像に似た部分画像の入力画像中における位置を計算する。そのため、画像処理装置１０によれば、入力画像中からクエリ画像に似た部分画像を高速に検索することができ、また、画像同士の類似性を評価する尺度を予め決める必要がなくなる。

［第２の実施形態］
次に、本発明の第２の実施形態に係る画像処理装置について説明する。本実施形態では、本発明の画像処理装置を具体的に説明する。

図２は、本発明の第２の実施形態に係る画像処理装置２０のブロック図である。本実施形態に係る画像処理装置２０は、大勢の人物が写っている入力画像の中にクエリ画像に写っている特定の人物が存在するか否かを検出するように構成されている。画像処理装置２０は、画像サーバ２１と、通信インターフェース（Ｉ／Ｆ）部２２と、操作入力部２３と、画面表示部２４と、記憶部２５と、演算処理部２６とを含んで構成されている。

カメラ２７は、防犯・監視などの目的のために多くの人物が行きかう街頭、屋内などに設置された撮像装置である。カメラ２７は、固定された場所から固定された撮像方向で同一或いは異なる撮像領域を撮像してよい。或いはカメラ２７は、車などの移動体に搭載されて移動しながら同一或いは異なる撮像領域を撮像してよい。カメラ２７の台数は任意である。１台のカメラ２７であってもよいし、互いに異なる撮像領域を撮像する２台以上のカメラ２７が存在していてもよい。カメラ２７は、例えば、数百万画素程度の画素容量を有するＣＣＤ（Ｃｈａｒｇｅ－ＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサやＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭＯＳ）イメージセンサを備え、一定のフレームレートで連続して撮像を行うカラーカメラであってよい。

画像サーバ２１は、有線または無線によりカメラ２７に接続され、カメラ２７で撮像して得られた時系列の画像から構成される映像（動画）を過去一定期間分蓄積する。画像サーバ２１は、例えば、カメラ２７で撮像された画像をフレーム画像の単位で蓄積する。また、画像サーバ２１は、各々のフレーム画像を、そのフレーム画像を取得したカメラ２７を一意に識別するカメラＩＤと撮像時刻とに関連付けて蓄積する。

通信Ｉ／Ｆ部２２は、データ通信回路から構成され、無線または有線によって外部装置との間でデータ通信を行うように構成されている。操作入力部２３は、キーボードやマウスなどの装置から構成され、オペレータの操作を検出して演算処理部２６に出力するように構成されている。画面表示部２４は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）などの装置から構成され、演算処理部２６からの指示に応じて、各種情報を画面表示するように構成されている。

記憶部２５は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部２６における各種処理に必要な処理情報およびプログラム２５１を記憶するように構成されている。プログラム２５１は、演算処理部２６に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部２２などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部２５に保存される。記憶部２５に記憶される主な処理情報には、画像ＤＢ（データベース）２５２、および、ニューラルネットワーク２５３がある。

画像ＤＢ２５２は、画像サーバ２１を通じて取得されたカメラ２７の画像を保存するデータベースである。ニューラルネットワーク２５３は、図１を参照して説明したニューラルネットワーク１１と同様に構成されている。

演算処理部２６は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部２５からプログラム２５１を読み込んで実行することにより、上記ハードウェアとプログラム２５１とを協働させて各種処理部を実現するように構成されている。演算処理部２６で実現される主な処理部は、画像取得手段２６１、学習手段２６２、および、処理手段２６３である。

画像取得手段２６１は、カメラ２７で撮像されて得られた画像を画像サーバ２１から取得し、画像ＤＢ２５２に保存するように構成されている。

学習手段２６２は、ニューラルネットワーク２５３を機械学習させるための手段である。学習手段２６２は、クエリ画像とそのクエリ画像に似た部分画像を有する入力画像とが関連付けて入力された際に、クエリ画像に似た部分画像の入力画像中における推定位置を出力するように、教師データを用いてニューラルネットワーク２５３の機械学習処理を実施する。

処理手段２６３は、図１を参照して説明した処理手段１２と同様に構成されている。

次に、画像処理装置２０の動作を説明する。画像処理装置２０の動作は、画像収集動作と学習動作と検索動作とに大別される。画像収集動作は画像取得手段２６１により実行される。学習動作は学習手段２６２により実行される。検索動作は処理手段２６３により実行される。以下、それぞれの動作について説明する。

＜画像収集動作＞
画像取得手段２６１は、カメラ２７で撮像された画像を蓄積する画像サーバ２１から定期的に最新の画像を取得し、画像ＤＢ２５２に追加する処理を実施する。画像取得手段２６１による上記処理は、例えば、学習動作および検索動作が開始される前から実行され、学習動作および検索動作中も継続して実行される。

＜学習動作＞
学習手段２６２は、学習に使用する教師データを生成する機能と、生成した教師データを使用してニューラルネットワーク２５３を機械学習する機能とを有する。

学習手段２６２は、教師データの生成では、例えば、画像ＤＢ２５２に保存されている画像の一部を使って多数の教師データを作成する。１つの教師データは、１以上の人物が写っているカメラ２７の１枚のフレーム画像（以下、大画像と記す）と、一人の人物が写っている１枚の画像（以下、小画像と記す）と、小画像に写っている人物と一致する人物の大画像上の位置を表す矩形情報とから構成される。ここで、大画像のサイズ（画素数）を、縦Ｈ画素、横Ｗ画素の固定値とする。また、小画像のサイズ（画素数）を、縦ｈ画素、横ｗ画素の固定値とする。ｈ＜Ｈ、ｗ＜Ｗである。矩形情報は、例えば、一致する人物の外接矩形の４頂点の座標値（画素位置）としてよい。学習手段２６２は、操作入力部２３および画面表示部２４を介した対話型処理により、上記のような教師データを作成してよい。また、学習手段２６２は、各種のアノテーションツールを使って教師データを作成してよい。なお、画像ＤＢ２５２に保存されている画像から教師データを作成する以外に、別の場所で作成された教師データを使用してもよい。

学習手段２６２は、ニューラルネットワーク２５３の機械学習では、図３の模式図に示すように、教師データを構成する大画像と小画像とを関連付けてニューラルネットワーク２５３に入力する（図３の（１））。ニューラルネットワーク２５３は、大画像と小画像とが関連付けて入力された場合、小画像に似た部分画像の大画像中における推定位置とその確率（スコア）とを出力する（図３の（２））。学習手段２６２は、ニューラルネットワーク２５３から実際の出力がえられた時、教師データを構成する矩形情報と比較して、実際の出力がどれくらい異なっているかを誤差関数によって評価する（図３の（３））。そして、学習手段２６２は、誤差関数を小さくするような方向に、例えば誤差逆伝搬法を用いてニューラルネットワーク２５３の重み値を更新する（図３の（４））。学習手段２６２は、例えば誤差関数が十分小さくなるまで、多くの教師データを使用して上記処理を繰り返す。

＜検索動作＞
図４は、処理手段２６３の動作の一例を示すフローチャートである。図４を参照すると、処理手段２６３は、先ず、クエリ画像を取得する（ステップＳ１）。例えば、処理手段２６３は、画像ＤＢ２５２に保存された画像のうち、オペレータまたは外部装置から指定されたカメラＩＤと撮像時刻とで一意に定まる画像から、指定された矩形情報で切り出した部分画像をクエリ画像として取得してよい。あるいは、処理手段２６３は、操作入力部２３または画面表示部２４を通じてオペレータからクエリ画像を直接取得してよい。あるいは、処理手段２６３は、通信Ｉ／Ｆ部２２を通じて外部装置からクエリ画像を取得してよい。ここで、クエリ画像のサイズは、教師データを構成する小画像と同じサイズとしてよい。

次に処理手段２６３は、入力画像を取得する（ステップＳ２）。例えば、処理手段２６３は、画像ＤＢ２５２に保存された画像のうち、オペレータまたは外部装置から指定されたカメラＩＤと撮像時刻とで一意に定まる画像を入力画像として取得してよい。あるいは、処理手段２６３は、操作入力部２３または画面表示部２４を通じてオペレータから入力画像を直接取得してよい。あるいは、処理手段２６３は、通信Ｉ／Ｆ部２２を通じて外部装置から入力画像を取得してよい。ここで、入力画像のサイズは、教師データを構成する大画像と同じサイズとしてよい。

次に処理手段２６３は、学習済みのニューラルネットワーク２５３を使用して、クエリ画像に似た部分画像の入力画像中における位置を計算する（ステップＳ３）。具体的には、処理手段２６３は、先ず、学習済みのニューラルネットワーク２５３に対して、クエリ画像と入力画像とを関連付けて入力し、ニューラルネットワーク２５３から出力される、クエリ画像に似た部分画像の入力画像中における推定位置とスコアとのペアを１以上取得する。次に処理手段２６３は、１以上のペアのうちの最大スコアが予め定められた閾値以上か否かを判断する。次に処理手段２６３は、最大スコアが閾値以上でなければ、入力画像中にはクエリ画像に似た部分画像は存在しないとする検索結果を生成する。また、処理手段２６３は、最大スコアが閾値以上であれば、最大スコアに係る推定位置および当該スコアを検索結果として生成する。

次に処理手段２６３は、上記生成した検索結果を画面表示部２４に表示し、または／おおび、通信Ｉ／Ｆ部２２を通じて外部装置へ出力する（ステップＳ４）。

続いて、ニューラルネットワーク２５３の構成例について説明する。

図５は、ニューラルネットワーク２５３の構成例を示す図である。この例のニューラルネットワーク２５３は、第１入力層３１、第２入力層３２、第１畳み込み層３３、第２畳み込み層３４、第３畳み込み層３５、中間層３６、および、出力層３７を備えている。

第１入力層３１および第２入力層３２は、ニューラルネットワーク２５３の入力層を構成する。このうち、第１入力層３１は、入力画像（大画像）の画素の情報をそのまま第１畳み込み層３３に伝搬する層であり、入力画像のサイズに応じた数のニューロンから構成される。第２入力層３２は、クエリ画像（小画像）の画素の情報をそのまま第２畳み込み層３４に伝搬する層であり、クエリ画像のサイズに応じた数のニューロンから構成される。

第１畳み込み層３３および第２畳み込み層３４は、ニューラルネットワーク２５３の最初の中間層を構成する。このうち、第１畳み込み層３３は、第１入力層３１に入力された入力画像の特徴（特徴マップ）を抽出する層である。第１畳み込み層３３は、入力画像のサイズおよび畳み込みを行う局所領域（局所受容野）のサイズに応じた数のニューロンから構成される。畳み込みを行う局所領域のサイズは、例えば３×３ニューロンとしてよいが、それに限定されない。また、第１畳み込み層３３の各ニューロンの出力値は、第１入力層３１の対応する局所領域の複数のニューロンの出力値と第１畳み込み層３３用の３×３個の重み（重み行列）とを畳み込み演算した結果と、第１畳み込み層３３用のバイアスおよび活性化関数とに基づいて計算される。

また、第２畳み込み層３４は、第２入力層３２に入力されたクエリ画像の特徴（特徴マップ）を抽出する層である。第２畳み込み層３４は、クエリ画像のサイズおよび畳み込みを行う局所領域のサイズに応じた数のニューロンから構成される。畳み込みを行う局所領域のサイズは、例えば３×３ニューロンとしてよいが、それに限定されない。また、第２畳み込み層３４の各ニューロンの出力値は、第２入力層３２の対応する局所領域の複数のニューロンの出力値と第２畳み込み層３４用の３×３個の重み（重み行列）とを畳み込み演算した結果と、第２畳み込み層３４用のバイアスおよび活性化関数とに基づいて計算される。

第３畳み込み層３５は、第１畳み込み層３３によって抽出された入力画像の特徴と第２畳み込み層３４によって抽出されたクエリ画像の特徴とを合成した特徴を抽出する層である。具体的には、第３畳み込み層３５は、第１畳み込み層３３のサイズおよび畳み込みを行う第１畳み込み層３３の局所領域のサイズに応じた数のニューロンから構成される。畳み込みを行う局所領域のサイズは、例えば３×３ニューロンとしてよいが、それに限定されない。また、第２畳み込み層３４と第３畳み込み層３５とは全結合されている。このため、第３畳み込み層３５の各ニューロンの出力値は、第１畳み込み層３３の対応する局所領域の複数のニューロンの出力値と第３畳み込み層３５用の３×３個の重み（第１重み行列）とを畳み込み演算した結果と、第２畳み込み層３４の全ニューロンの出力値と第３畳み込み層３５用の３×２個の重み（第２重み行列）とを畳み込み演算した結果と、第３畳み込み層３５用のバイアスおよび活性化関数とに基づいて計算される。

図６は、第１畳み込み層３３および第２畳み込み層３４と第３畳み込み層３５との接続関係を示す模式図である。説明の便宜上、第１畳み込み層３３のサイズを縦９×横６ニューロン、第２畳み込み層３４のサイズを縦３×横２ニューロン、第３畳み込み層３５のサイズを縦７×横４ニューロンとする。すると、例えば、第３畳み込み層３５の左上隅から２番目のニューロン３５１には、第１畳み込み層３３の左上隅から２番目のニューロン３５２を左上頂点とする３×３ニューロンの出力と、第２畳み込み層３４の全てのニューロンである３×２ニューロンの出力とが入力される。ニューロン３５１では、第１畳み込み層３３の上記３×３ニューロンの出力と３×３個の重み（第１重み行列）との畳み込み演算結果と、第２畳み込み層３４の上記３×２ニューロンの出力と３×２個の重み（第２重み行列）との畳み込み演算結果とが計算される。また、ニューロン３５１では、上記２つの畳み込み演算結果の和と、予め定められたバイアスおよび活性化関数に基づいて、ニューロン３５１の出力値が計算される。

ここで、上述した全ての重みは、正または負の値をとる。

再び図５を参照すると、第３畳み込み層３５の後段には、その他の中間層３６が続き、さらに最終段には出力層３７が設けられている。すなわち、第３畳み込み層３５の各ニューロンの出力値は、中間層３６の入力値となる。中間層３６および出力層３７は、第３畳み込み層３５によって抽出された入力画像の特徴とクエリ画像の特徴とを合成した特徴に基づいて、クエリ画像に似た部分画像の入力画像中における位置を推定し出力する働きをする。中間層３６および出力層３７から構成される中間・出力層３８は、例えば、画像中の物体らしい領域を見つける検出と見つけた領域に対してクラスの判断を行う識別とを同時に行う深層ＣＮＮ（ＤｅｅｐＣＮＮ）によって構成してよい。そのような深層ＣＮＮとしては、例えばＹＯＬＯあるいはＳＳＤが例示される。ＹＯＬＯあるいはＳＳＤを使用する場合、第３畳み込み層３５の各ニューロンの出力値は、ＹＯＬＯあるいはＳＳＤの入力層の入力値として扱われる。

以上が、ニューラルネットワーク２５３の構成例である。但し、ニューラルネットワーク２５３は上記説明した構成例に限定されない。例えば、第１畳み込み層３３と第２畳み込み層３４と第３畳み込み層３５の代わりに第４畳み込み層を使用してよい。この第４畳み込み層は、例えば、第１入力層３１のサイズおよび畳み込みを行う局所領域（例えば３×３ニューロン）のサイズに応じた数のニューロンから構成される。また、第２入力層３２と第４畳み込み層とは全結合されている。そのため、第４畳み込み層の各ニューロンの出力値は、第１入力層３１の対応する局所領域の複数のニューロンの出力値と第４畳み込み層用の局所領域分の重みとを畳み込み演算した結果と、第２入力層３２の全てのニューロンの出力値と第４畳み込み層用の第２入力層３２のニューロン分の重みとを畳み込み演算した結果と、第４畳み込み層用のバイアスおよび活性化関数とに基づいて計算される。あるいは、ニューラルネットワーク２５３の第１畳み込み層３３、第２畳み込み層３４、および第３畳み込み層３５の少なくとも一つは、２層以上の畳み込み層から構成されていてよい。

以上説明したように本実施形態に係る画像処理装置２０では、ニューラルネットワーク２５３は、クエリ画像とそのクエリ画像に似た部分画像を有する入力画像とが関連付けて入力された際に、クエリ画像に似た部分画像の入力画像中における推定位置を出力するように、学習手段２６２により教師データを用いて機械学習処理が施される。そして、処理手段２６３は、学習済みのニューラルネットワーク２５３に対して入力画像とクエリ画像とを関連付けて入力し、クエリ画像に似た部分画像の入力画像中における位置を計算する。そのため、画像処理装置２０によれば、入力画像中からクエリ画像に似た部分画像を高速に検索することができ、また、画像同士の類似性を評価する尺度を予め決める必要がなくなる。

また、本実施形態におけるニューラルネットワーク２５３は、第１入力層３１に入力された入力画像の特徴と第２入力層３２に入力された特徴とを合成した合成特徴を抽出する畳み込み層（第１畳み込み層３３と第２畳み込み層３４と第３畳み込み層３５、あるいは第４畳み込み層）を有する。そのため、ニューラルネットワーク２５３は、クエリ画像との類似性の観点で入力画像の局所領域毎に特徴を抽出することができる。その結果、そのような合成特徴を抽出する畳み込み層を有しないニューラルネットワークと比較して、精度の向上が期待できる。

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。例えば、上記実施形態では、複数の人物が写っている入力画像中から特定の人物が写っているクエリ画像に似た部分画像を検出する画像処理装置に対して本発明を適用したが、それに限定されない。例えば、複数の人物以外の物体（例えば、車、船、犬など）が写っている入力画像中から特定の人物以外の物体が写っているクエリ画像に似た部分画像を検出する画像処理装置に対して本発明を適用してよい。

本発明は、画像から特定の物体を検出する分野に適用でき、特にサイズの大きな画像からサイズの小さな画像に似た部分画像を検出する分野に利用できる。

１０画像処理装置
１１ニューラルネットワーク
１２処理手段
２０画像処理装置
２１画像サーバ
２２通信Ｉ／Ｆ部
２３操作入力部
２４画面表示部
２５記憶部
２６演算処理部
３１第１入力層
３２第２入力層
３３第１畳み込み層
３４第２畳み込み層
３５第３畳み込み層
３６中間層
３７出力層
３８中間・出力層
２５１プログラム
２５２画像ＤＢ
２５３ニューラルネットワーク
２６１画像取得手段
２６２学習手段
２６３処理手段
３５１、３５２ニューロン

Claims

入力画像中からクエリ画像に似た部分画像を検出する画像処理装置であって、
クエリ画像と前記クエリ画像に似た部分画像を有する入力画像とが関連付けて入力された際に、前記クエリ画像に似た部分画像の前記入力画像中における推定位置を出力するように、教師データを用いて機械学習されたニューラルネットワークと、
学習済みの前記ニューラルネットワークに対して入力画像とクエリ画像とを関連付けて入力し、前記クエリ画像に似た部分画像の前記入力画像中における位置を計算する処理手段と、
を備え、
前記ニューラルネットワークは、前記入力画像が入力される第１の入力層と、前記クエリ画像が入力される第２の入力層と、前記第１の入力層に入力された前記入力画像の特徴と前記第２の入力層に入力された特徴とを合成した合成特徴を抽出する畳み込み層と、前記畳み込み層により抽出された合成特徴に基づいて前記推定位置を算出して出力する中間層および出力層とを備える、
画像処理装置。
前記畳み込み層の各ニューロンは、前記第１の入力層の局所領域のニューロンの出力値と前記第２の入力層の全てのニューロンの出力値とを入力するように構成されている、
請求項１に記載の画像処理装置。
前記中間層および出力層は、画像中の物体らしい領域を見つける検出と見つけた領域に対してクラスの判断を行う識別とを同時に行う深層畳み込みニューラルネットワークで構成されている、
請求項１または２に記載の画像処理装置。
前記中間層および出力層が、ＹＯＬＯ（ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ）により構成されている、
請求項１乃至３の何れかに記載の画像処理装置。
前記中間層および出力層が、ＳＳＤ（ＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉｂｏｘＤｅｔｅｃｔｏｒ）により構成されている、
請求項１乃至３の何れかに記載の画像処理装置。
入力画像中からクエリ画像に似た部分画像を検出する画像処理方法であって、
クエリ画像と前記クエリ画像に似た部分画像を有する入力画像とが関連付けて入力された際に、前記クエリ画像に似た部分画像の前記入力画像中における推定位置を出力するように、教師データを用いて、前記入力画像が入力される第１の入力層と、前記クエリ画像が入力される第２の入力層と、前記第１の入力層に入力された前記入力画像の特徴と前記第２の入力層に入力された特徴とを合成した合成特徴を抽出する畳み込み層と、前記畳み込み層により抽出された合成特徴に基づいて前記推定位置を算出して出力する中間層および出力層とを備える、ニューラルネットワークの機械学習を行い、
学習済みの前記ニューラルネットワークに対して入力画像とクエリ画像とを関連付けて入力し、前記クエリ画像に似た部分画像の前記入力画像中における位置を計算する、
画像処理方法。
入力画像中からクエリ画像に似た部分画像を検出するコンピュータに、
クエリ画像と前記クエリ画像に似た部分画像を有する入力画像とが関連付けて入力された際に、前記クエリ画像に似た部分画像の前記入力画像中における推定位置を出力するように、教師データを用いて、前記入力画像が入力される第１の入力層と、前記クエリ画像が入力される第２の入力層と、前記第１の入力層に入力された前記入力画像の特徴と前記第２の入力層に入力された特徴とを合成した合成特徴を抽出する畳み込み層と、前記畳み込み層により抽出された合成特徴に基づいて前記推定位置を算出して出力する中間層および出力層とを備える、ニューラルネットワークの機械学習を行う処理と、
学習済みの前記ニューラルネットワークに対して入力画像とクエリ画像とを関連付けて入力し、前記クエリ画像に似た部分画像の前記入力画像中における位置を計算する処理と、
を行わせるためのプログラム。