JP6774348B2 - 画像処理装置およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に複数の撮影対象の撮影画像を含む撮影画像群を撮影対象毎に分類する技術に関する。

従来より、複数の撮影画像で構成された撮影画像群において、撮影画像の検索、または撮影画像をグループ分けするグルーピングに関する技術が提案されている。

例えば特許文献１には、データベースに保存された画像に対して、色彩および形状の物理的構成要素の他に、人間が視覚的に類似しているか否かの判断に関する記号を付与して、画像検索に使用する技術が提案されている。

また例えばフォトブックおよびフォトアルバムを作成する技術においては、ユーザが入力する複数のイベントにおいて撮影された撮影画像を含む撮影画像群に対して、各撮影画像の撮影時刻に関する情報に基づいて、イベント毎に画像をグルーピングする技術が適用されている。

特開２００４−３３４５９４号公報

近年、建造物の点検作業に撮影画像が利用されることが多くなった。点検作業において撮影画像が利用される場合には、各点検対象について撮影箇所や撮影条件を変更して複数回の撮影が行われる。すなわち、複数の点検対象の各点検対象毎に、撮影箇所および撮影条件を変更して、撮影画像が取得される。このように、複数の点検対象のうち点検対象毎に複数枚の撮影画像を取得すると、膨大な枚数の撮影画像で構成された撮影画像群が生成されることになる。

具体例として橋梁の床版の点検を行う場合には、格間ごとに床版を撮影していくが、格間の全体像を撮影し且つ格間の損傷箇所はズームアップして撮影するなどして、一つの格間（撮影対象）に対して複数の撮影画像が取得される。また、橋梁の点検では複数の格間に関して点検を行うので、点検者（ユーザ）は複数の撮影対象の多数の撮影画像で構成された撮影画像群を得ることになる。そして点検者は、撮影画像を点検に利用するためには、得られた撮影画像群を点検対象である格間の床版（撮影対象）毎にグルーピングする必要がある。

この撮影対象毎にグルーピングする作業は、従来より点検者が視覚で判断して手動で行われる場合が多かった。

しかしながら、点検者が手動でグルーピングを行う場合にはグルーピングに時間を要してしまい、点検対象が多数ある場合にはグルーピングの作業に膨大な時間を要してしまう場合があった。また点検者の手動でのグルーピングでは、人為的な誤りにより、正しいグルーピング結果を得ることができない場合がある。

ここで点検を行う場合に取得される撮影画像群を構成する各撮影画像は、上述したフォトブックおよびフォトアルバムのようにイベント毎に撮影時刻が大きく異なる場合が少なく、単純に撮影画像が有する撮影時刻の違いだけで、点検対象毎にグルーピングすることは難しい場合が多い。

また特許文献１には、撮影対象毎に、データベースに保存されている画像群を迅速に且つ正確にグルーピングすることには言及されていない。

本発明はこのような事情に鑑みてなされたもので、その目的は、複数の撮影対象を撮影し且つ各撮影対象に対して複数の撮影画像が存在する撮影画像群において、点検対象毎にグルーピングする作業を迅速に且つ正確に行うことができる画像処理装置、画像処理方法、およびプログラムを提供することである。

上記目的を達成するために、本発明の一の態様である画像処理装置は、複数の撮影対象の撮影画像を含む撮影画像群を、撮影対象ごとのグループにグルーピングする画像処理装置であって、撮影対象の各々について第１撮影された単数または複数の第１画像と、第１撮影とは異なる撮影条件で第２撮影された複数の第２画像とを含む撮影画像群が入力される画像入力部と、第１画像のうちのいずれかを撮影対象の全体像を表す親画像として受け付ける親画像受付部と、受け付けた親画像の画像特徴と第２画像の画像特徴とに基づいて、親画像の撮影対象の一部を撮影した第２画像を子画像として特定する子画像特定部と、撮影対象の各々について、同一の撮影対象を撮影した親画像と子画像とで構成されるグループ、または子画像で構成されるグループを生成するグループ生成部と、を備える。

本態様によれば、撮影対象の各々について第１撮影された単数または複数の第１画像と、第１撮影とは異なる撮影条件で第２撮影された複数の第２画像とを含む撮影画像群を撮影対象ごとに、画像特徴の親子関係によりグループ分け（グルーピング）することができる。すなわち、親画像受付部により、撮影対象の全体像を表す親画像の指定が受け付けられ、子画像特定部により、その指定された親画像の画像特徴に基づいて同一の撮影対象の一部を撮影した子画像が特定され、同一の撮影対象を撮影した親画像および子画像、または同一の撮影対象を撮影した子画像で構成されるグループが生成される。これにより本態様は、親画像の画像特徴と子画像の画像特徴とに基づいて、撮影画像群を撮影対象毎にグルーピングするので、撮影画像群のグルーピングをより迅速に且つ正確に行うことができる。

好ましくは、親画像受付部は、撮影対象を分割撮影した複数の第１画像を親画像として受け付け、子画像特定部は、親画像として受け付けた複数の第１画像を合成処理して撮影対象の全体像を表す一枚の画像に合成し、一枚の画像の画像特徴と第２画像の画像特徴とに基づいて、子画像を特定する。

本態様によれば、親画像受付部により、撮影対象を分割撮影した複数の第１画像が親画像として受け付けられ、子画像特定部により、受け付けられた複数の親画像を撮影対象の全体像を表す一枚の画像に合成して、合成された一枚の画像の画像特徴に基づいて、子画像が特定される。これにより本態様は、撮影対象が大きく分割撮影された場合であっても、分割撮影された画像を合成して合成した画像の画像特徴に基づいて子画像が特定されるので、撮影画像群の正確なグルーピングを行うことができる。

好ましくは、子画像特定部は、第２画像と親画像との特徴点を抽出し、抽出した特徴点の対応関係に基づいて、子画像を特定する。

本態様によれば、子画像特定部により、第２画像と親画像との特徴点が抽出され、抽出された特徴点の対応関係に基づいて子画像が特定されるので、本態様は、正確に撮影画像群のグルーピングを行うことができる。

好ましくは、撮影画像群を構成する複数の撮影画像の各々は、撮影された時刻に関する情報を有し、子画像特定部は、一つのグループの親画像が撮影された時刻以降または時刻以前に撮影された第２画像を子画像の子候補画像とし、子候補画像から子画像を特定する。

本態様によれば、撮影画像群を構成する撮影画像の各々が撮影された時刻に関する情報を有する場合において、子画像特定部により、一つのグループの親画像が撮影された時刻以降または時刻以前に撮影された第２画像を子画像の子候補画像とし、子候補画像から子画像を特定する。これにより本態様は、子画像特定部による子画像の特定が、子候補画像のうちから行われるので、正確に且つ迅速に撮影画像群のグルーピングを行うことができる。

好ましくは、撮影画像群を構成する複数の撮影画像の各々は、撮影された時刻に関する情報を有し、子画像特定部は、第１グループの親画像が撮影された時刻と、第２グループの親画像が撮影された時刻との間に撮影された第２画像を第１グループの子画像の子候補画像とし、子候補画像から子画像を特定する。

本態様によれば、撮影画像群を構成する撮影画像の各々が撮影された時刻に関する情報を有する場合において、子画像特定部により、第１グループの親画像が撮影された時刻と、第２グループの親画像が撮影された時刻との間に撮影された第２画像を第１グループの子画像の子候補画像とし、子候補画像から子画像が特定される。これにより本態様は、子画像特定部による子画像の特定が、子候補画像のうちから行われるので、正確に且つ迅速に撮影画像群のグルーピングを行うことができる。

好ましくは、撮影画像群を構成する複数の撮影画像の各々は、撮影条件に関する情報を有し、親画像受付部は、撮影条件に基づいて撮影画像群の中から第１画像を抽出し、抽出された第１画像の中から、親画像を受け付ける。

本態様によれば、撮影画像群を構成する複数の撮影画像の各々が撮影条件に関する情報を有する場合において、親画像受付部により、撮影条件に基づいて撮影画像群の中から第１画像を抽出し、抽出された第１画像の中から、親画像を受け付ける。これにより本態様は、親画像として選択される候補である第１画像を抽出して、その抽出された第１画像の中から、親画像の選択が受け付けられるので、迅速に且つ正確な撮影画像群のグルーピングを行うことができる。

好ましくは、撮影画像群は、撮影画像の撮影対象が他の撮影対象に変わることを示す目印画像を含み、撮影画像群を構成する複数の撮影画像および目印画像の各々は、撮影された時刻に関する情報を有し、親画像受付部は、目印画像が撮影された直後または直前に撮影された第１画像を親画像として受け付ける。

本態様によれば、撮影画像群が撮影画像の撮影対象が他の撮影対象に変わることを示す目印画像を含み、且つ、撮影画像群を構成する複数の撮影画像および目印画像の各々は撮影された時刻に関する情報を有する場合に、親画像受付部により、目印画像が撮影された直後または直前に撮影された第１画像を親画像として受け付ける。これにより本態様は、目印画像の直前または直後の第１画像を、親画像として自動的に受け付けるので、迅速に且つ正確な撮影画像群のグルーピングを行うことができる。

好ましくは、画像処理装置は、グループ生成部で生成されたグループごとに親画像および子画像を表示部に表示させる表示制御部と、子画像の修正指示を受け付ける修正指示受付部と、を備え、グループ生成部は、修正指示に基づいてグループを再び生成する。

本態様によれば、表示制御部により、グループ生成部で生成されたグループごとに親画像および子画像を表示部に表示させ、修正指示受付部により、子画像の修正指示を受け付け、グループ生成部により、修正指示に基づいてグループが再び生成される。これにより本態様は、正確な撮影画像群のグルーピングを行うことができる。

好ましくは、画像処理装置は、グループを構成する複数の子画像を、画像合成の対象画像として特定する合成対象特定部を備える。

好ましくは、画像処理装置は、合成対象特定部で特定された画像合成の対象画像を画像合成する子画像合成部を備える。

本態様によれば、子画像合成部により、画像合成の対象画像を画像合成するので、グルーピングの結果が有効に利用される。

本発明の他の態様である画像処理方法は、複数の撮影対象の撮影画像を含む撮影画像群を、撮影対象ごとのグループにグルーピングする画像処理方法であって、撮影対象の各々について第１撮影された単数または複数の第１画像と、第１撮影とは異なる撮影条件で第２撮影された複数の第２画像とを含む撮影画像群が入力される画像入力ステップと、第１画像のうちのいずれかを撮影対象の全体像を表す親画像として受け付ける親画像受付ステップと、受け付けた親画像の画像特徴と第２画像の画像特徴とに基づいて、親画像の撮影対象の一部を撮影した第２画像を子画像として特定する子画像特定ステップと、撮影対象の各々について、同一の撮影対象を撮影した親画像と子画像とで構成されるグループ、または子画像で構成されるグループを生成するグループ生成ステップと、を含む。

本発明の他の態様である画像処理方法をコンピュータに実行させるプログラムは、複数の撮影対象の撮影画像を含む撮影画像群を、撮影対象ごとのグループにグルーピングする画像処理方法をコンピュータに実行させるプログラムであって、撮影対象の各々について第１撮影された単数または複数の第１画像と、第１撮影とは異なる撮影条件で第２撮影された複数の第２画像とを含む撮影画像群が入力される画像入力ステップと、第１画像のうちのいずれかを撮影対象の全体像を表す親画像として受け付ける親画像受付ステップと、受け付けた親画像の画像特徴と第２画像の画像特徴とに基づいて、親画像の撮影対象の一部を撮影した第２画像を子画像として特定する子画像特定ステップと、撮影対象の各々について、同一の撮影対象を撮影した親画像と子画像とで構成されるグループ、または子画像で構成されるグループを生成するグループ生成ステップと、を含む。

本発明によれば、親画像受付部により、撮影対象の全体像を表す親画像の指定が受け付けられ、子画像特定部により、その指定された親画像の画像特徴に基づいて同一の撮影対象の一部を撮影した子画像が特定され、同一の撮影対象を撮影した親画像および子画像、または同一の撮影対象を撮影した子画像で構成されるグループが生成されるので、撮影画像群のグルーピングをより迅速に且つ正確に行うことができる。

橋梁の構造を示す斜視図であり、橋梁を下から見た斜視図である。 コンピュータの外観構成を示す斜視図である。 コンピュータの外観構成を示す斜視図である。 コンピュータのシステム構成を示すブロック図である。 画像処理装置が備える機能を示すブロック図である。 格間を広角撮影した撮影画像を概念的に示す図である。 撮影対象である格間を分割撮影した場合の広角画像に関して説明する図である。 目印画像の一例を概念的に示す図である。 格間を望遠撮影した望遠画像を概念的に示す図である。 撮影画像群を示す図である グルーピング結果に関して示す図である。 グルーピング結果に関して示す図である。 グルーピング結果に関して示す図である。 グルーピング結果に関して示す図である。 画像処理装置の動作を示すフロー図である。 画像処理装置の機能を示すブロック図である。 子画像の修正に関して説明する図である。 子画像の修正に関して説明する図である。 画像処理装置の機能を示すブロック図である。 グルーピングされた複数の子画像の画像合成について説明する図である。

以下、添付図面にしたがって本発明の画像処理装置、画像処理方法、およびプログラムの好ましい実施の形態について説明する。

本発明では複数の撮影対象を撮影した撮影画像で構成された撮影画像群を撮影対象毎にグルーピングすることができる。ここで、撮影対象は特に限定されるものではないが、例えば構造物または建造物の定期点検を撮影画像を使用して行う場合の撮影対象があげられる。以下の説明では、具体例として橋梁１（図１）の点検を行う場合に、複数の格間（格間の床版６）を撮影した撮影画像で構成された撮影画像群Ｕ（図１０）のグルーピングに関して説明する。

図１は、撮影対象（点検対象）である構造物の一つである橋梁の構造を示す斜視図であり、橋梁を下から見た斜視図である。

図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５とを有し、これらがボルト、リベットまたは溶接により連結されて構成されている。また、主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。

主桁２は、橋台または橋脚の間に渡され、床版６上の車輌等の荷重を支える部材である。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４および横構５は、それぞれ風および地震の横荷重に抵抗するため、主桁２を相互に連結する部材である。

橋梁１の点検を行う場合には、例えば格間ごとに撮影画像を取得して、ヒビ割れ等の損傷箇所があるか否かを点検する。ここで格間とは、床版６が対向する２つの主桁２および対向する２つの横桁３または対傾構４により区切られた空間のことである。

次に、本発明の画像処理装置を備えるコンピュータ３００に関して説明する。

図２および図３はコンピュータ３００の外観構成を示す斜視図であり、図２は正面斜視図、図３は背面斜視図である。

コンピュータ３００は、図２および図３に示すように、タブレット型のコンピュータで構成される。コンピュータ３００は、矩形の輪郭を有する平板状の筐体３０１を備え、その筐体３０１に表示部３２６と入力部３２８とを兼ねたタッチパネルディスプレイ３０２、操作ボタン３０３、スピーカー３０４、内蔵カメラ３０５、外部接続端子３０６等を備えて構成される。

図４は、コンピュータ３００のシステム構成を示すブロック図である。

図４に示すように、コンピュータ３００は、コンピュータ３００の全体の動作を制御するＣＰＵ（Central Processing Unit）３１０を備え、このＣＰＵ３１０にシステムバス３１２を介して、メインメモリ３１４、不揮発性メモリ３１６、モバイル通信部３１８、無線ＬＡＮ通信部３２０、近距離無線通信部３２２、有線通信部３２４、表示部３２６、入力部３２８、キー入力部３３０、音声処理部３３２、画像処理部３３４等が接続されて構成される。

ＣＰＵ３１０は、不揮発性メモリ３１６に記憶された動作プログラム（ＯＳ（Operating System）、および、そのＯＳ上で動作するアプリケーションプログラム）、および、定型データ等を読み出し、メインメモリ３１４に展開して、当動作プログラムを実行することにより、このコンピュータ全体の動作を制御する制御部として機能する。

メインメモリ３１４は、たとえば、ＲＡＭ（Random Access Memory）で構成され、ＣＰＵ３１０のワークメモリとして機能する。

不揮発性メモリ３１６は、たとえば、フラッシュＥＥＰＲＯＭ（ＥＥＰＲＯＭ：Electrically Erasable Programmable Read Only Memory）で構成され、上述した動作プログラムや各種定型データを記憶する。また、不揮発性メモリ３１６は、コンピュータ３００の記憶部として機能し、各種データを記憶する。

モバイル通信部３１８は、ＩＭＴ−２０００規格（International Mobile Telecommunication-2000）に準拠した第３世代移動通信システム、および、ＩＭＴ−Ａｄｖａｎｃｅ規格（International Mobile Telecommunications-Advanced）に準拠した第４世代移動通信システムに基づき、アンテナ３１８Ａを介して、最寄りの図示しない基地局との間でデータの送受を実行する。

無線ＬＡＮ通信部３２０は、アンテナ３２０Ａを介して、無線ＬＡＮアクセスポイントや無線ＬＡＮ通信が可能な外部機器との間で所定の無線ＬＡＮ通信規格（たとえば、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格）に従った無線ＬＡＮ通信を行う。

近距離無線通信部３２２は、アンテナ３２２Ａを介して、たとえばクラス２（半径約１０ｍ内）の範囲内にある他のＢｌｕｅｔｏｏｔｈ（登録商標）規格の機器とデータの送受を実行する。

有線通信部３２４は、外部接続端子３０６を介してケーブルで接続された外部機器との間で所定の通信規格に従った通信を行う。たとえば、ＵＳＢ通信を行う。

表示部３２６は、タッチパネルディスプレイ３０２のディスプレイ部分を構成するカラーＬＣＤ（liquid crystal display）パネルと、その駆動回路と、で構成され、各種画像を表示する。

入力部３２８は、タッチパネルディスプレイ３０２のタッチパネル部分を構成する。入力部３２８は、透明電極を用いてカラーＬＣＤパネルと一体的に構成される。入力部３２８は、点検者のタッチ操作に対応した２次元の位置座標情報を生成して出力する。

キー入力部３３０は、コンピュータ３００の筐体３０１に備えられた複数の操作ボタン３０３と、その駆動回路と、で構成される。

音声処理部３３２は、システムバス３１２を介して与えられるデジタル音声データをアナログ化してスピーカー３０４から出力する。

画像処理部３３４は、撮影レンズおよびイメージセンサーを備えた内蔵カメラ３０５から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。

＜第１の実施形態＞
次に、画像処理装置２００が備える機能に関して説明する。

図５は、画像処理装置２００が備える機能を示すブロック図である。なお、画像処理装置２００はコンピュータ３００に設けられており、画像処理装置２００の各機能はコンピュータ３００により実現されている。

画像処理装置２００は、画像入力部２０１、親画像受付部２０３、子画像特定部２０５、およびグループ生成部２０７を備える。

画像入力部２０１には、撮影対象毎にグループ分け（グルーピング）される撮影画像群Ｕが入力される。ここで、撮影画像群Ｕは、複数の撮影対象について、撮影対象毎に複数の撮影画像を含む。具体的には、画像入力部２０１には、撮影対象の各々について広角撮影（第１撮影）された単数または複数の広角画像（第１画像）１００（図６参照）と、望遠撮影（第２撮影）された複数の望遠画像（第２画像）１１０（図９参照）とを含む撮影画像群Ｕが入力される。ここで広角撮影と望遠撮影とは撮影条件のうちの焦点距離が異なり、広角画像１００は焦点距離が短い条件で広角撮影が行われており、望遠画像１１０は焦点距離が長い条件で望遠撮影が行われている。

親画像受付部２０３は、広角画像１００のうちのいずれかを撮影対象の全体像を表す親画像として受け付ける。すなわち、親画像受付部２０３は、点検者から撮影対象の全体像が写っている広角画像１００について、親画像としての指定を受け付ける。例えば親画像受付部２０３は、表示部３２６に表示された撮影画像群Ｕまたは広角画像１００が点検者により選択されることにより、広角画像１００についての親画像として指定を受け付ける。

ここで、広角画像１００に関して説明する。図６は、格間を広角撮影した画像（広角画像１００）を概念的に示す図である。

橋梁１の点検を行う場合には、床版６を格間毎に点検が行われる場合が多い。この場合には、格間の全体像を広角撮影（第１撮影）により捉えた広角画像１００が取得される。広角画像１００は、横桁３と主桁２とで囲まれた範囲（格間）の床版６が撮影対象であり、格間の全体像が撮影されている。実際に橋梁１の点検を行う場合には、複数の格間についてそれぞれ広角画像１００が取得される。

また親画像受付部２０３は、撮影対象を分割撮影した複数の広角画像１００を親画像として受け付けてもよい。すなわち、撮影対象が大きく広角撮影した場合であっても撮影対象の全体像を一枚の撮影画像内に収めることができない場合には、分割撮影されることになるが、親画像受付部２０３は分割撮影された広角画像１００を親画像として受け付けてよい。この場合には、子画像特定部２０５は、親画像として受け付けた複数の広角画像１００を合成処理して撮影対象の全体像を表す一枚の画像に合成し、一枚の画像の画像特徴と望遠画像１１０の画像特徴とに基づいて、子画像を特定する。

図７は、撮影対象である格間を分割撮影した場合の広角画像１００に関して説明する図である。

撮影対象である格間Ｈが大きい場合には、分割撮影をして分割広角画像１０１Ａ、分割広角画像１０１Ｂ、および分割広角画像１０１Ｃが取得される。そして親画像受付部２０３は、親画像として分割広角画像１０１Ａ、分割広角画像１０１Ｂ、および分割広角画像１０１Ｃの指定を受け付ける。この場合、子画像特定部２０５は、分割広角画像１０１Ａ、分割広角画像１０１Ｂ、および分割広角画像１０１Ｃを合成したのちに合成画像（親画像）の画像特徴に基づいて子画像の特定を行う。

また、親画像受付部２０３は、画像入力部２０１に入力される撮影画像群Ｕを構成する複数の撮影画像の各々が撮影条件に関する情報を有する場合には、撮影条件に基づいて撮影画像群Ｕの中から広角画像１００を抽出し、抽出された広角画像１００の中から、親画像を受け付けてもよい。すなわち、撮影画像群Ｕを構成する撮影画像の各々が撮影条件（焦点距離）に関する情報を有し、その撮影条件から広角画像１００を抽出し、抽出された広角画像１００を表示部３２６に表示して点検者が親画像の選択をして、親画像受付部２０３は親画像の指定を受け付けてもよい。

また、親画像受付部２０３は、画像入力部２０１に入力される撮影画像群Ｕが撮影対象が変わることを示す目印画像１１２を含み、且つ、撮影画像群Ｕを構成する複数の撮影画像および目印画像１１２の各々が撮影された時刻に関する情報を有する場合には、親画像受付部２０３は、目印画像１１２が撮影された直後または直前に撮影された広角画像を親画像として受け付けてもよい。すなわち、親画像受付部２０３は、撮影画像群Ｕが目印画像１１２を含む場合には、目印画像１１２の直後または直前の広角画像１００を親画像として自動的または手動により受け付けてもよい。具体的には図１０で示された撮影画像群Ｕにおいて、目印画像１１２の直後の広角画像１００を親画像として指定する。

ここで目印画像１１２に関して説明する。図８は、撮影画像群Ｕに含まれる目印画像１１２の一例を概念的に示す図である。目印画像１１２は、撮影対象が切り替わることを示すために撮影される画像である。すなわち、橋梁１の点検を行う場合には、多数の格間を撮影することになるが、目印画像１１２によって、前または後でどの格間を撮影しているのか分かるようにする。図８に示された目印画像１１２では、格間の番号を書いたプレートが撮影されている。

なお、目印画像１１２の他の例としては、橋梁１の名前または部材番号が書かれたプレートを撮影した画像、およびレンズカバーをしたまま撮影した真っ黒な画像があげられる。また目印画像１１２は、撮影画像群Ｕに含まれる場合もあるし、撮影画像群Ｕに含まれない場合もある。

図５に戻って、子画像特定部２０５は、受け付けた親画像の画像特徴と望遠画像１１０の画像特徴とに基づいて、親画像の撮影対象の一部を撮影した望遠画像１１０を子画像として特定する。すなわち、子画像特定部２０５は、点検者からの指定を受けた親画像の画像特徴と望遠画像１１０の画像特徴と相関関係（一致度）を算出し、子画像を特定する。具体的には子画像特定部２０５は、望遠画像１１０と親画像との特徴点を抽出し、抽出した親画像と望遠画像１１０の特徴点の一致度が所定の値（閾値）よりも高い望遠画像１１０を子画像として特定する。子画像特定部２０５が行う、親画像の画像特徴および望遠画像１１０の特徴点の抽出、および親画像の画像特徴および望遠画像１１０の特徴点の相関関係の算出は公知の画像処理技術が適用される。

なお画像間の拡大縮小、回転および照明変化等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF (Speed-Upped Robust Feature)特徴量、およびAKAZE (Accelerated KAZE)特徴量が知られている。

ここで望遠画像１１０に関して説明する。図９は、格間を望遠撮影した望遠画像１１０を概念的に示す図である。点検検査を行う場合には、格間を広角撮影しただけでは検出できないヒビ割れがある場合や、ヒビ割れをより詳細に分析したい場合に、望遠撮影を行って拡大した撮影対象の像を取得する。また、望遠画像１１０は、格間の全域にわたって取得されてもよいし、格間のある箇所のみ取得されてもよい。

また子画像特定部２０５は、撮影画像群Ｕを構成する複数の撮影画像の各々が撮影された時刻に関する情報を有する場合には、子画像特定部２０５は、一つのグループの親画像が撮影された時刻以降または時刻以前に撮影された望遠画像１１０を子画像の子候補画像とし、子候補画像から子画像を特定してもよい。具体的には図１０で示された撮影画像群Ｕにおいて、Ｐ１またはＰ２で示した親画像が撮影された時刻以降または時刻以前に撮影された望遠画像を子候補画像として、子画像を特定してもよい。これにより、子画像特定部２０５は、撮影画像群Ｕの全ての撮影画像または全ての望遠画像１１０について特徴点を抽出して親画像との対応関係を調べる必要はなく、親画像が撮影された時刻以降または時刻以前に撮影された望遠画像１１０を子画像の子候補画像とし、その子候補画像のみに対して特徴点を抽出して対応関係を調べてもよい。

また子画像特定部２０５は、撮影画像群Ｕを構成する複数の撮影画像の各々が撮影された時刻に関する情報を有する場合には、子画像特定部２０５は、第１グループの親画像が撮影された時刻と、第２グループの親画像が撮影された時刻との間に撮影された望遠画像１１０を第１グループの子画像の子候補画像とし、子候補画像から子画像を特定する第１グループの子画像として特定してもよい。具体的には図１０で示された撮影画像群Ｕにおいて、Ｐ１とＰ２で示された親画像の間に撮影された望遠画像１１０をＰ１の広角画像を親画像とするグループの子候補画像としてもよい。これにより、子画像特定部２０５は、撮影画像群Ｕの全ての撮影画像または全ての望遠画像１１０について特徴点を抽出して親画像との対応関係を調べる必要はなく、第１グループの親画像が撮影された時刻と、第２グループの親画像が撮影された時刻との間に撮影された望遠画像１１０を第１グループの子画像として特定してもよい。

グループ生成部２０７は、撮影対象の各々について、同一の撮影対象を撮影した親画像と子画像とで構成されるグループ、または子画像で構成されるグループを生成する。グループ生成部２０７で生成されたグループは、撮影対象毎に親画像と子画像とで構成されるグループ、または撮影対象毎に子画像で構成されるグループである。具体的には、撮影対象が格間の床版６である場合には、格間毎に広角画像１００および望遠画像１１０、または格間毎の望遠画像１１０のグループが生成される。

＜撮影画像群のグルーピング＞
次に、撮影画像群Ｕおよびグルーピング結果を具体例を使って説明する。

図１０は、橋梁１の点検作業において撮影された撮影画像から構成される撮影画像群Ｕを示す図である。図１０では、撮影画像群Ｕを構成する一部の複数の撮影画像を示している。撮影画像群Ｕは、撮影対象である格間の広角画像１００、床版６の望遠画像１１０、および目印画像１１２で構成されている。なお、広角画像１００、望遠画像１１０、および目印画像１１２は、撮影された順番に画像番号として「ＤＳＣＦ３４○○」が付されており、撮影された順番に配列されている。また、撮影画像群Ｕを構成する複数の撮影画像の各々は、撮影された時刻に関する情報、および撮影条件（例えば焦点距離）の情報を有する。なお、図１０中でＰ１で示されている広角画像１００は、第１グループの親画像として指定され、Ｐ２で示されている広角画像１００は第２グループの親画像として指定される。親画像の指定は、例えば撮影画像群Ｕまたは広角画像１００のサムネイル表示を表示部３２６に表示させて、点検者がそのサムネイル表示を選択することで行われる。

図１１から図１４は、親画像受付部２０３で受け付けられた親画像、および子画像特定部２０５で特定された子画像に関して示す図である。図１１および図１２は第１グループ、図１３および図１４は第２グループの親画像および子画像が示されている。

図１１は、第１グループの親画像として指定された広角画像１００を示す図である。この場合、撮影対象を分割撮影した複数の広角画像を親画像として受け付ける。すなわち、親画像受付部２０３は、格間を４分割して撮影した広角画像１００を第１グループの親画像として受け付ける。

図１２は、撮影画像群Ｕにおいて、第１グループの子画像として特定された望遠画像１１０を示している。図１１で指定された親画像の画像特徴と望遠画像１１０の各々の画像特徴とに基づいて、子画像特定部２０５により、撮影画像群Ｕから子画像が特定されている。

図１３は、撮影画像群Ｕにおいて、第１グループの親画像として指定された広角画像１００である。この場合、親画像受付部２０３は、格間を３分割して撮影した広角画像１００を第２グループの親画像として受け付ける。

図１４は、撮影画像群Ｕにおいて、第１グループの子画像として特定された望遠画像１１０を示している。図１３で指定された親画像の画像特徴と望遠画像１１０の各々の画像特徴とに基づいて、撮影画像群Ｕから子画像が特定されている。

図１５は、画像処理装置２００の動作を示すフロー図である。

先ず画像入力部２０１に、撮影画像群Ｕが入力される（画像入力ステップ：ステップＳ１０）。撮影画像群Ｕの入力は、コンピュータ３００の有線通信部３２４、モバイル通信部３１８、無線ＬＡＮ通信部３２０、または近距離無線通信部３２２を介して行われる。その後親画像受付部２０３において、広角画像１００のうち第１グループの親画像の指定を受け付ける（親画像受付ステップ：ステップＳ１２）。例えば点検者が、表示部３２６に表示された撮影画像群Ｕのサムネイル表示を選択することにより、親画像の指定が行われる。そして、子画像特定部２０５により、望遠画像１１０において子画像が特定される（子画像特定ステップ：ステップＳ１４）。例えば子画像特定部２０５は、公知の画像処理技術により対応点検出を行い、親画像の画像特徴と撮影画像群Ｕに含まれる望遠画像１１０の画像特徴とのマッチングを算出し、マッチングが良いものを子画像として特定する。その後、グループ生成部２０７により、同一の撮影対象を撮影した親画像と子画像とで構成されるグループ、または子画像で構成されるグループが生成される（グループ生成ステップ：ステップＳ１６）。

上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ３１０、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵ３１０とＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータ３００に代表されるように、１つ以上のＣＰＵ３１０とソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

＜第２の実施形態＞
次に、本発明の第２の実施形態に関して説明する。

図１６は、本実施形態の画像処理装置２００の機能を示すブロック図である。本実施形態の画像処理装置２００は、画像入力部２０１、親画像受付部２０３、子画像特定部２０５、グループ生成部２０７、表示制御部２０９、および修正指示受付部２１１を備える。なお、図５で説明を行った箇所は、同じ符号を付し説明は省略する。

表示制御部２０９は、グループ生成部２０７で生成されたグループごとに親画像および子画像を表示部３２６に表示させる。表示制御部２０９が行うグループの表示形態は、特に限定されない。例えば表示制御部２０９は、グループごとに親画像および子画像のサムネイル画像を表示する。

修正指示受付部２１１は、子画像の修正指示を受け付ける。例えば、表示制御部２０９が表示部３２６に表示させる子画像のサムネイル画像を、点検者が選択することにより、修正指示受付部２１１は子画像の修正指示を受け付ける。

グループ生成部２０７は、修正指示受付部２１１が受け付けた修正指示に基づいてグループを再び生成する。具体的には、グループ生成部２０７は、修正指示受付部２１１が受け付けた修正指示に基づいて、グループから子画像を削除したり追加したりする。

図１７および図１８は、子画像の修正に関して説明する図である。図１７は第１グループの子画像特定部２０５により特定された子画像のサムネイルがタッチパネルディスプレイ３０２に表示されており、図１８は第２グループの子画像特定部２０５により特定された子画像のサムネイルがタッチパネルディスプレイ３０２に表示されている。点検者は、タッチパネルディスプレイ３０２のサムネイル画像を確認して、グループを構成する画像としては不適切と判断し選択して、グループから除外する。

図１７に示した場合では、第１グループの子画像として、目印画像１１２Ｂは不適切ではない。すなわち点検者はタッチパネルディスプレイ３０２に表示された第１グループの子画像のサムネイル画像を確認して、目印画像１１２Ｂが混じっていることを認識し、目印画像１１２Ｂを選択して修正指示受付部２１１を介して第１グループの子画像の修正指示を行う。なお、目印画像１１２Ｂは、第１グループの親画像との相関関係（例えば、特徴点を抽出して対応点を検出を行った結果）が目印画像１１２Ｂは極端に低いので、この相関関係を点検者に報知することにより、点検者に不適切な画像を選択させてもよい。そして、修正指示受付部２１１は目印画像１１２Ｂが選択された指示を受け付け、グループ生成部２０７は目印画像１１２Ｂを除いた新たなグループを生成する。

図１８に示した場合では、第２グループの子画像として、望遠画像１１０Ｍは不適切である。例えば望遠画像１１０Ｍは、撮影に失敗した画像であったり、余分な撮影をした画像である。したがって、点検者は、タッチパネルディスプレイ３０２に表示された第２グループの子画像のサムネイル画像を確認して、望遠画像１１０Ｍを選択する。なお、例えば望遠画像１１０Ｍの画質が良くない場合には、第２グループの親画像との相関関係は悪い結果となる。

＜第３の実施形態＞
次に、本発明の第３の実施形態に関して説明する。

図１９は、本実施形態の画像処理装置２００の機能を示すブロック図である。本実施形態の画像処理装置２００は、画像入力部２０１、親画像受付部２０３、子画像特定部２０５、グループ生成部２０７、合成対象特定部２１３、および子画像合成部２１５を備える。

合成対象特定部２１３は、グループを構成する複数の子画像を、画像合成の対象画像として特定する。撮影画像群Ｕのグルーピング結果を画像合成することにより、有効なグルーピング結果の利用を行うことができる。例えば、橋梁１の点検をする場合においては、望遠画像１１０を合成することにより、点検報告書の掲載、および損傷箇所の位置の特定を効率的に行うことができる。

子画像合成部２１５は、合成対象特定部２１３で特定された画像合成の対象画像を画像合成する。すなわち、子画像合成部２１５は、合成対象特定部２１３で合成対象として特定された子画像について画像合成を行う。なお、子画像合成部２１５が行う画像合成は、公知の画像合成技術が適用される。

図２０は、グルーピングされた複数の子画像の画像合成について説明する図である。

グループ生成部２０７で生成されたグループにおいて子画像として特定された望遠画像１１０が、合成対象特定部２１３により、合成対象として特定される。合成対象特定部２１３は、グルーピングされた望遠画像１１０について全てを合成対象としてもよいし、点検者から指定を受け付けた望遠画像１１０について合成対象としてもよい。その後、子画像合成部２１５は、合成対象として特定された子画像（望遠画像１１０）の合成を行う。図２０に示された場合には、合成対象として特定された望遠画像１１０を合成することにより、撮影対象（格間の床版６）の全体像が写った合成画像１１５が得られる。なお、合成画像１１５としては、撮影対象の全体像が写ったものに限定されず、撮影対象の一部が写った合成画像１１５でもよい。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１ 橋梁
２ 主桁
３ 横桁
４ 対傾構
５ 横構
６ 床版
１００ 広角画像
１０１Ａ〜１０１Ｃ 分割広角画像
１１０ 望遠画像
１１２ 目印画像
１１５ 合成画像
２００ 画像処理装置
２０１ 画像入力部
２０３ 親画像受付部
２０５ 子画像特定部
２０７ グループ生成部
２０９ 表示制御部
２１１ 修正指示受付部
２１３ 合成対象特定部
２１５ 子画像合成部
３００ コンピュータ
３０１ 筐体
３０２ タッチパネルディスプレイ
３０３ 操作ボタン
３０４ スピーカー
３０５ 内蔵カメラ
３０６ 外部接続端子
３１０ ＣＰＵ
３１２ システムバス
３１４ メインメモリ
３１６ 不揮発性メモリ
３１８ モバイル通信部
３１８Ａ アンテナ
３２０ 無線ＬＡＮ通信部
３２０Ａ アンテナ
３２２ 近距離無線通信部
３２２Ａ アンテナ
３２４ 有線通信部
３２６ 表示部
３２８ 入力部
３３０ キー入力部
３３２ 音声処理部
３３４ 画像処理部
ステップＳ１０〜ステップＳ１６ 画像処理方法

Claims (11)

1. 複数の撮影対象の撮影画像を含む撮影画像群を、前記撮影対象ごとのグループにグルーピングする画像処理装置であって、
   前記撮影対象の各々について第１撮影された単数または複数の第１画像と、前記第１撮影とは異なる撮影条件で第２撮影された複数の第２画像とを含む前記撮影画像群が入力される画像入力部と、
   前記第１画像のうちのいずれかを前記撮影対象の全体像を表す親画像として受け付ける親画像受付部と、
   前記受け付けた前記親画像の画像特徴と前記第２画像の画像特徴とに基づいて、前記親画像の前記撮影対象の一部を撮影した前記第２画像を子画像として特定する子画像特定部と、
   前記撮影対象の各々について、同一の前記撮影対象を撮影した前記親画像と前記子画像とで構成されるグループ、または前記子画像で構成されるグループを生成するグループ生成部と、
   を備える画像処理装置。
2. 前記親画像受付部は、前記撮影対象を分割撮影した複数の前記第１画像を前記親画像として受け付け、
   前記子画像特定部は、前記親画像として受け付けた複数の前記第１画像を合成処理して前記撮影対象の前記全体像を表す一枚の画像に合成し、前記一枚の画像の画像特徴と前記第２画像の画像特徴とに基づいて、前記子画像を特定する請求項１に記載の画像処理装置。
3. 前記子画像特定部は、前記第２画像と前記親画像との特徴点を抽出し、前記抽出した前記特徴点の対応関係に基づいて、前記子画像を特定する請求項１または２に記載の画像処理装置。
4. 前記撮影画像群を構成する複数の前記撮影画像の各々は、撮影された時刻に関する情報を有し、
   前記子画像特定部は、一つのグループの前記親画像が撮影された前記時刻以降または前記時刻以前に撮影された前記第２画像を前記子画像の子候補画像とし、前記子候補画像から前記子画像を特定する請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記撮影画像群を構成する複数の前記撮影画像の各々は、撮影された時刻に関する情報を有し、
   前記子画像特定部は、第１グループの前記親画像が撮影された時刻と、第２グループの前記親画像が撮影された時刻との間に撮影された前記第２画像を前記第１グループの前記子画像の子候補画像とし、前記子候補画像から前記子画像を特定する請求項１から３のいずれか１項に記載の画像処理装置。
6. 前記撮影画像群を構成する複数の前記撮影画像の各々は、前記撮影条件に関する情報を有し、
   前記親画像受付部は、前記撮影条件に基づいて前記撮影画像群の中から前記第１画像を抽出し、前記抽出された前記第１画像の中から、前記親画像を受け付ける請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記撮影画像群は、前記撮影画像の前記撮影対象が他の前記撮影対象に変わることを示す目印画像を含み、
   前記撮影画像群を構成する複数の前記撮影画像および前記目印画像の各々は、撮影された時刻に関する情報を有し、
   前記親画像受付部は、前記目印画像が撮影された直後または直前に撮影された前記第１画像を前記親画像を受け付ける請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記グループ生成部で生成された前記グループごとに前記親画像および前記子画像を表示部に表示させる表示制御部と、
   前記子画像の修正指示を受け付ける修正指示受付部と、を備え、
   前記グループ生成部は、前記修正指示に基づいて前記グループを再び生成する請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記グループを構成する複数の前記子画像を、画像合成の対象画像として特定する合成対象特定部を備える請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記合成対象特定部で特定された前記画像合成の対象画像を画像合成する子画像合成部を備える請求項９に記載の画像処理装置。
11. 複数の撮影対象の撮影画像を含む撮影画像群を、前記撮影対象ごとのグループにグルーピングする画像処理方法をコンピュータに実行させるプログラムであって、
    前記撮影対象の各々について第１撮影された単数または複数の第１画像と、前記第１撮影とは異なる撮影条件で第２撮影された複数の第２画像とを含む前記撮影画像群が入力される画像入力ステップと、
    前記第１画像のうちのいずれかを前記撮影対象の全体像を表す親画像として受け付ける親画像受付ステップと、
    前記受け付けた前記親画像の画像特徴と前記第２画像の画像特徴とに基づいて、前記親画像の前記撮影対象の一部を撮影した前記第２画像を子画像として特定する子画像特定ステップと、
    前記撮影対象の各々について、同一の前記撮影対象を撮影した前記親画像と前記子画像とで構成されるグループ、または前記子画像で構成されるグループを生成するグループ生成ステップと、
    を含む画像処理方法をコンピュータに実行させるプログラム。

Images