Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7696772B2 - 画像処理装置、画像処理装置の制御方法および画像処理プログラム - Google Patents
[go: Go Back, main page]

JP7696772B2 - 画像処理装置、画像処理装置の制御方法および画像処理プログラム - Google Patents

画像処理装置、画像処理装置の制御方法および画像処理プログラム Download PDF

Info

Publication number
JP7696772B2
JP7696772B2 JP2021114501A JP2021114501A JP7696772B2 JP 7696772 B2 JP7696772 B2 JP 7696772B2 JP 2021114501 A JP2021114501 A JP 2021114501A JP 2021114501 A JP2021114501 A JP 2021114501A JP 7696772 B2 JP7696772 B2 JP 7696772B2
Authority
JP
Japan
Prior art keywords
reference image
image
unit
points
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021114501A
Other languages
English (en)
Other versions
JP2023010392A (ja
Inventor
貴行 田丸
圭 徳井
謙二 吉武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Shimizu Corp
Original Assignee
Sharp Corp
Shimizu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp, Shimizu Corp filed Critical Sharp Corp
Priority to JP2021114501A priority Critical patent/JP7696772B2/ja
Publication of JP2023010392A publication Critical patent/JP2023010392A/ja
Application granted granted Critical
Publication of JP7696772B2 publication Critical patent/JP7696772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、画像処理装置、画像処理装置の制御方法および画像処理プログラムに関する。
多眼カメラなどの複数の撮像部のそれぞれによって撮像された画像間の相対的なずれ量である視差および三角測量の原理に基づいて、三次元形状の被写体である計測対象の距離情報(奥行き情報)を算出することによって、計測対象を計測する技術が知られている。
現在、上述の技術を配筋検査に適用し、計測対象の鉄筋の鉄筋径および鉄筋間隔などを計測する技術が開発されている。例えば、特許文献1には、2眼カメラによって撮像されたステレオ画像データに基づいて、画像内における複数の鉄筋の位置および寸法を計測する計測装置が記載されている。
特開2020-165886号公報
しかしながら、上述のような従来技術は、2つの撮像部が並ぶ(配置される)方向と、計測対象の長手方向とが平行になっている場合、計測精度が低下する場合がある。
そこで、本発明の一態様は、複数の撮像部によって撮像された画像に基づいて、計測対象を高精度に計測可能な画像処理装置およびその関連技術を提供することを目的とする。
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、基準撮像部によって計測対象が撮像された基準画像における、当該計測対象の1以上のエッジごとに複数の指定点を設定する設定部と、前記基準画像における前記複数の指定点に基づいて、複数の参照撮像部のそれぞれによって前記計測対象が撮像された複数の参照画像の中から、計測に使用する参照画像を選択する選択部とを備え、前記設定部は、前記基準画像における前記複数の指定点に基づいて、前記基準画像における前記計測対象の長手方向を算出し、前記選択部は、前記基準画像における前記計測対象の長手方向と、前記基準撮像部と前記複数の参照撮像部のそれぞれとが並ぶ方向である基線方向と、のなす角度に基づいて、前記計測に使用する参照画像を選択する。
本発明の一態様に係る画像処理装置の制御方法は、画像処理装置が、基準撮像部によって計測対象が撮像された基準画像における、当該計測対象の1以上のエッジごとに複数の指定点を設定し、前記複数の指定点に基づいて、前記基準画像における前記計測対象の長手方向を算出することと、前記画像処理装置が、前記基準画像における前記複数の指定点に基づいて、複数の参照撮像部のそれぞれによって前記計測対象が撮像された複数の参照画像の中から、計測に使用する参照画像を選択することと、を含み、前記計測に使用する参照画像を選択することは、前記基準画像における前記計測対象の長手方向と、前記基準撮像部と前記複数の参照撮像部のそれぞれとが並ぶ方向である基線方向と、のなす角度に基づいて、前記計測に使用する参照画像を選択する。
本発明の一態様によれば、複数の撮像部によって撮像された画像に基づいて、計測対象を高精度に計測可能な画像処理装置およびその関連技術を提供することができる。
実施形態1に係る計測装置の構成の一例を示すブロック図である。 基準画像の一例を示す図である。 基準画像における、拡大表示された領域の一例を示す図である。 第一参照画像の一例を示す図である。 第二参照画像の一例を示す図である。 基準画像の一例を示す図である。 第一参照画像の一例を示す図である。 第二参照画像の一例を示す図である。 実施形態1に係る計測装置の制御方法の一例を示すフローチャートである。 実施形態1の変形例に係る計測装置の制御方法の一例を示すフローチャートである。 実施形態2に係る計測装置の構成の一例を示すブロック図である。 第一参照画像の一例を示す図である。 第一参照画像における、拡大表示された領域の一例を示す図である。 実施形態2に係る計測装置の制御方法の一例を示すフローチャートである。 実施形態2の変形例に係る計測装置の制御方法の一例を示すフローチャートである。 実施形態3に係る計測装置の構成の一例を示すブロック図である。 設定部による、選択された参照画像に対する位置情報の投影の一例について説明するための図である。 第一参照画像の一例を示す図である。 第一参照画像における、拡大表示された領域の一例を示す図である。 実施形態3に係る計測装置の制御方法の一例を示すフローチャートである。 実施形態3の変形例に係る計測装置の制御方法の一例を示すフローチャートである。
<実施形態1>
以下、図1~9を用いて、本発明の実施形態1について説明する。
〔計測装置1〕
計測装置1は、計測対象を計測する。具体的には、計測装置1は、縦方向と横方向とに配筋された鉄筋のうち、計測対象の鉄筋を計測する。
図1は、実施形態1に係る計測装置1の構成の一例を示すブロック図である。図1に示す例では、計測装置1は、画像処理装置10と、撮像部11とを備えている。すなわち、図1に示す例では、計測装置1は、画像処理装置10と、撮像部11とが一体化している構成となっている。
〔撮像部11〕
撮像部11は、計測対象を撮像する。具体的には、撮像部11は、計測対象の鉄筋を含む、縦方向と横方向とに配筋された鉄筋を撮像する。
図1のように、撮像部11は、基準撮像部110と、第一参照撮像部111と、第二参照撮像部112とを備えている。
(基準撮像部110、第一参照撮像部111および第二参照撮像部112)
基準撮像部110、第一参照撮像部111および第二参照撮像部112としては、例えば、撮像素子と、撮像素子に光を集めるレンズとを備えるカメラなどが挙げられる。撮像素子としては、CCD(Charge Coupled Device)およびCMOS(Complementary Metal Oxide Semiconductor)センサなどが挙げられる。
基準撮像部110、第一参照撮像部111および第二参照撮像部112は、計測対象の鉄筋が含まれる共通の撮像範囲を持つように位置に配置されており、各撮像部の相対的な位置関係は、固定かつ計測されている。画像処理装置10の記憶部105は、各撮像部の相対的な位置関係の計測結果を保持している。
各撮像部の相対的な位置関係は、基準撮像部110の焦点と第一参照撮像部111の焦点とを結んだ三次元直線である第一基線と、基準撮像部110の焦点と第二参照撮像部112の焦点とを結んだ焦点を結んだ三次元直線である第二基線とが、同一直線上とならないような位置関係となっている。
このように、各撮像部の相対的な位置関係が同一直線上とならなければ、各撮像部はどのように配置されていてもよいが、基準撮像部110の光軸と、第一基線と、第二基線とが、互いに直角に近い角度となるように配置されていることが好ましい。基準撮像部110の光軸と、第一基線と、第二基線とが、互いに直角に近い角度となるように配置されていることによって、選択部103は、より好適に計測に用いる参照画像を選択することができる。
なお、上述の例では、参照撮像部は、第一参照撮像部111および第二参照撮像部112の二台から構成されているが、参照撮像部の数は二台に限定されず、二台以上とすることも可能である。
〔画像処理装置10〕
画像処理装置10は、計測対象が撮像された画像を処理する。具体的には、画像処理装置10は、具体的には、画像処理装置10は、計測対象の鉄筋を含む、縦方向と横方向とに配筋された鉄筋が撮像された画像を処理する。
画像処理装置10としては、例えば、タブレットおよびノートパソコンのように、画像処理装置10として動作するパソコンと一体となったもの、ならびに、デスクトップパソコンとモ二タとのようにケーブルによって接続可能なものが適用できる。
なお、上述の例では、計測装置1は、撮像部11と画像処理装置10とが一体化されている構成であるが、本実施形態では、計測装置1は、一体化された構成には限定されず、別々の構成とすることも可能である。
例えば、撮像部11と画像処理装置10とがそれぞれ単体の筐体となっており、メモリーカードやネットワーク通信などを介して、撮像部11の内部に保存された画像を、別の筐体の画像処理装置10に転送する構成とすることも可能である。
図1のように、画像処理装置10は、入力部100と、表示部101と、設定部102と、選択部103と、計測部104と、記憶部105とを備えている。
(入力部100)
入力部100は、基準撮像部110によって計測対象が撮像された基準画像、第一参照撮像部111によって計測対象が撮像された第一参照画像、および、第二参照撮像部112によって計測対象が撮像された第二参照画像の入力を受け付ける。
具体的には、入力部100は、基準撮像部110、第一参照撮像部111および第二参照撮像部112のそれぞれによって、計測対象の鉄筋を含む、縦方向と横方向とに配筋された鉄筋が撮像された基準画像、第一参照画像および第二参照画像の入力を受け付ける。
また、入力部100は、表示部101に表示された基準画像、第一参照画像または第二参照画像における指定点の位置などの入力(指定点の指定)をユーザから受け付ける。
入力部100は、例えば、マウス、キーボード、または、表示部101と一体型になったUI要素として機能するタッチパネルなどによって実現される。
(表示部101)
表示部101は、入力部100に入力された基準画像、入力部100に入力された第一参照画像および第二参照画像のうち、選択部103によって選択された参照画像、ならびに、計測部104によって計測対象の鉄筋が計測された計測結果などを表示する。
表示部101は、設定部102によって画像処理が行われた基準画像、および、設定部102によって画像処理が行われた第一参照画像および第二参照画像のうち、選択部103によって選択された参照画像を表示してもよい。設定部102による画像処理に関しては、後述する。
表示部101は、例えば、液晶ディスプレイ、有機EL(Electro luminescence)ディスプレイ、または、入力部100と一体型になったUI要素として機能するタッチパネルなどによって実現される。
(設定部102)
設定部102は、基準撮像部110によって計測対象が撮像された基準画像における、計測対象の鉄筋の2つのエッジごとに複数の指定点を設定する。
例えば、設定部102は、入力部100を介して、基準画像における、計測対象の鉄筋の2つのエッジごとに、ユーザが指定した複数の点を指定点として設定する。
一例として、設定部102は、入力部100と表示部101とが一体型になったUI要素として機能するタッチパネルに表示された基準画像21における計測対象の鉄筋の2つのエッジをユーザがタッチすることによって指定した点を指定点として設定してもよい。
このように、計測対象の鉄筋の2つのエッジごとに複数の指定点を設定することによって、選択部103は、第一参照画像および第二参照画像の中から、計測に使用する参照画像を好適に選択することができる。
設定部102は、記憶部105に記憶された基準撮像部110のカメラパラメータに基づき、入力部100に入力された基準画像に画像処理を行った後、画像処理が行われた基準画像における、計測対象の鉄筋の2つのエッジごとに複数の指定点を設定してもよい。
カメラパラメータとしては、例えば、内部パラメータおよび外部パラメータなどが挙げられる。内部パラメータとしては、例えば、各撮像部が備えるレンズの焦点距離、歪み係数および各撮像部によって撮像された画像の解像度など、各撮像部の特性に関するパラメータなどが挙げられる。外部パラメータとしては、例えば、各撮像部の向き、位置、画角および2台の撮像部間の位置関係など各撮像部の向きおよび位置などに関するパラメータなどが挙げられる。
例えば、設定部102は、画像処理として、基準撮像部110に対して水平右方向に存在している第一参照撮像部111によって撮像された第一参照画像が、基準画像に対して、水平右方向から撮像された画像となるようにステレオ平行化処理を行ってもよい。同様に、設定部102は、画像処理として、基準撮像部110に対して垂直上方向に存在している第二参照撮像部112によって撮像された第二参照画像が、基準画像に対して、垂直上方向から撮像された画像となるように、ステレオ平行化処理を行ってもよい。
これにより、基準画像に対して水平右方向または垂直上方向から撮像されているはずの参照画像が上下左右に傾き、誤差が生じている場合であっても、理論上、撮像されるはずの参照画像となるように傾きおよび誤差を調整することができる。その結果、ステレオマッチングにより、第一参照画像および第二参照画像のそれぞれにおいて、基準画像における指定点に対応する対応点を探索しやすくなる。
また、設定部102は、例えば、基準撮像部110と第一参照撮像部111との位置関係、および、基準撮像部110と第二参照撮像部112との位置関係などに関する外部パラメータを基準画像に重畳させる画像処理を行ってもよい。
一例として、設定部102は、基準撮像部110と第一参照撮像部111とが並ぶ(配置される)方向である第一基線方向(基線方向)および基準撮像部110と第二参照撮像部112とが並ぶ方向である第二基線方向(基線方向)を基準画像に重畳させてもよい。
カメラパラメータに基づいて画像処理が行われた基準画像における、計測対象の鉄筋のエッジに指定点を設定すれば、ユーザは、第一基線方向および第二基線方向などが重畳された画像を見ながら、より好適に計測対象の鉄筋のエッジ上の点を指定できる。これにより、設定部102は、ユーザに指定されたより好適な点を指定点として設定できる。
また、設定部102は、基準画像における複数の指定点に基づいて、基準画像における、計測対象の鉄筋が配置されている方向である計測対象の鉄筋の長手方向(鉄筋方向)を算出してもよい。
例えば、設定部102は、基準画像における計測対象の鉄筋の2つのエッジのそれぞれに設定された複数の指定点の近似直線である2本の近似直線に沿う方向を、鉄筋方向として算出する。なお、上述の複数の指定点の近似直線とは、画像上の複数の指定点の2次元座標をフィッティングして得られる近似直線のことを指し、以下の他の点の近似直線も同様にして得られる近似直線のことを指す。
このように、基準画像における計測対象の鉄筋のエッジごとに設定された複数の指定点の近似直線を鉄筋方向として算出することによって、計測対象の鉄筋のエッジに沿う直線を鉄筋方向として好適に算出することができる。これにより、選択部103は、第一参照画像および第二参照画像の中から、計測に使用する参照画像をより好適に選択することができる。
設定部102は、基準画像における計測対象の鉄筋の1つのエッジに指定点の設定が完了するごとに、計測対象の鉄筋の1つのエッジに沿う複数の指定点の近似直線を算出してもよい。設定部102は、基準画像における計測対象の鉄筋のエッジによらず、全ての指定点の設定が完了してから、2つのエッジのそれぞれに沿う複数の指定点の近似直線を算出してもよい。
このように、基準画像における指定点の近似直線を算出することによって、計測対象の鉄筋の2つのエッジのそれぞれに沿う2つの近似直線を算出することができる。これにより、計測部104は、基準画像における計測対象の鉄筋の2つの近似直線に基づいて、計測対象の鉄筋の鉄筋径を好適に算出することができる。
設定部102は、基準画像における計測対象の鉄筋の一方(片側)のエッジの指定点と、他方のエッジの指定点とを、形状および色の少なくとも一方を異ならせて表示部101に表示させてもよい。これにより、計測対象の鉄筋の一方のエッジと、他方のエッジとのそれぞれに交互に指定点を設定したり、鉄筋の2つのエッジのそれぞれに指定点が表示されていたりしても、鉄筋の一方のエッジの指定点と、他方のエッジの指定点とを容易に識別することができる。
また、設定部102は、ユーザが、基準画像における計測対象の鉄筋のエッジを、タッチパネル上で、指でなぞったり、マウスによりトラックしたりした場合、これらの1回のユーザの動作に応じて、計測対象の鉄筋のエッジ上に複数の指定点を設定してもよい。この場合、設定部102は、例えば、ユーザがなぞったり、トラックしたりした計測対象の鉄筋のエッジの開始位置と、終了位置とを、ぞれぞれ、指定点として設定してもよい。これにより、より効率的かつ好適に指定点を設定することができる。
(基準画像における指定点の設定例)
以下、図2および3を用いて、設定部102による基準画像における指定点の設定例について具体的に設定する。図2は、基準画像の一例を示す図である。具体的には、図2は、第二基線方向252と略平行な方向が長手方向となる計測対象の鉄筋22を含む、縦方向と横方向とに配筋された鉄筋が、基準撮像部110によって撮像された基準画像21を示す図である。図3は、基準画像における、拡大表示された領域の一例を示す図である。具体的には、図3は、基準画像21における、拡大表示された領域261を示す図である。
図2では、設定部102は、基準撮像部110のカメラパラメータに基づき、基準撮像部110によって計測対象の鉄筋22が撮像された基準画像21に、第一基線方向251および第二基線方向252を重畳させる画像処理を行っている。
図2では、基準撮像部110と、第一参照撮像部111と、第二参照撮像部112とは、それぞれの撮像部のレンズが鉄筋に向いた状態で、基準撮像部110と第一参照撮像部111とが並ぶ方向(基準撮像部110に対して第一参照撮像部111が存在する方向)は、右方向となっている。また、基準撮像部110と第二参照撮像部112とが並ぶ方向(基準撮像部110に対して第二参照撮像部112が存在する方向)は、上方向になっている。
そこで、設定部102は、基準撮像部110と第一参照撮像部111とが並ぶ右方向を示す矢印として、第一基線方向251を基準画像21に重畳する。また、設定部102は、基準撮像部110と第二参照撮像部112とが並ぶ上方向を示す矢印として、第二基線方向252を基準画像21に重畳する。
設定部102は、入力部100と表示部101とが一体型になったタッチパネルに表示されている基準画像21における計測対象の鉄筋22の2つのエッジを、ユーザがタッチすることによって指定した点を指定点として設定する。
この場合、設定部102は、基準画像21における計測対象の鉄筋22の1以上のエッジを含む領域を表示部101に拡大表示させてもよい。例えば、設定部102は、図2における、計測対象の鉄筋22の2つのエッジを含む、計測対象の鉄筋22の中心から所定範囲の領域261を、図3のように表示部101に拡大表示させてもよい。
図3のように、基準画像21における計測対象の鉄筋22の1以上のエッジを含む領域261を拡大表示することによって、基準画像21上の計測対象の鉄筋22のエッジに設定する指定点の目安となる情報をよりわかりやすくユーザに示すことができる。これにより、ユーザは、基準画像21における計測対象の鉄筋22のエッジに指定点231、指定点232、指定点233および指定点234を指定するのが容易となる。
また、基準画像21における計測対象の鉄筋22が存在する平面を示す平面情報に基づいて計測対象の鉄筋22の位置の目安を示す位置情報を算出しなくても、基準画像21上の計測対象の鉄筋22のエッジに設定する指定点の目安となる情報をユーザに示せる。上述の平面情報および位置情報に関しては、後述の実施形態3において詳細に説明する。
設定部102は、縦鉄筋として撮像されている計測対象の鉄筋22の2つのエッジに対するユーザの指定に基づき、計測対象の鉄筋22の一方のエッジに指定点231および指定点232を設定し、他方のエッジに指定点233および指定点234を設定する。
設定部102は、基準画像21における指定点231および指定点232と、指定点233と234とに基づいて、計測対象の鉄筋22の長手方向(鉄筋方向)を算出する。
具体的には、設定部102は、指定点231と指定点232とを結ぶ直線241と、指定点233と指定点234とを結ぶ直線242とに基づき、計測対象の鉄筋22の鉄筋方向を算出する。図2に示す例では、鉄筋方向は、第二基線方向252と略平行な方向となる。
なお、上述の例では、設定部102は、基準画像における1つの計測対象の鉄筋のエッジに対して2つの指定点を設定したが、本実施形態では、1つの計測対象の鉄筋のエッジに対して複数の指定点を設定すればよく、例えば、3つ以上の点を設定してもよい。
この場合、設定部102は、基準画像における一方の計測対象の鉄筋のエッジに複数の指定点の設定が完了した時点で、選定した指定点に基づいてエッジに沿う指定点の近似直線を算出してもよい。また、設定部102は、3つ以上の指定点を設定した場合には、最小二乗直線などにより、計測対象の鉄筋のエッジに沿う近似直線を算出してもよい。
(選択部103)
選択部103は、基準画像における複数の指定点に基づいて、第一参照撮像部111および第二参照撮像部112のそれぞれによって計測対象の鉄筋が撮像された第一参照画像および第二参照画像の中から、計測に使用する参照画像を選択する。選択部103は、選択した参照画像を表示部101に出力する。
ここで、設定部102が、基準画像における複数の指定点に基づいて鉄筋方向を算出している場合、選択部103は、基準画像における鉄筋方向と、基線方向とのなす角度に基づいて、計測に使用する参照画像を選択してもよい。
この場合、選択部103は、第一の参照画像および第二の参照画像のうち、鉄筋方向と、各参照画像に対応する基線方向とのなす角度が最も直角に近い参照撮像部によって撮像された参照画像を、計測に使用する参照画像として選択してもよい。
これにより、選択部103は、選択した参照画像に対し、基準画像の画素と、選択した参照画像の画素との対応関係を求めるステレオマッチングを行うことにより、基準画像における複数の指定点に対応する、信頼度の高い対応点が検出することができる。
その結果、計測部104は、基準画像における複数の指定点と、選択された参照画像における複数の対応点との差を視差として算出し、視差に基づいて計測対象の鉄筋の三次元座標を算出し、三次元座標に基づいて、計測対象の鉄筋を高精度に計測できる。
特に、縦方向の鉄筋と、横方向の鉄筋とが、同一の層の略同一箇所に配筋されている鉄筋など、配置される方向が一定でない計測対象を計測する場合、選択部103が、計測に使用する参照画像として選択することによって、高精度に計測対象を計測できる。
(参照画像の選択例1)
以下、図2~5を用いて、選択部103による、第一の参照画像および第二の参照画像のうち、計測に使用する参照画像の選択例1について説明する。
図4は、第一参照画像の一例を示す図である。具体的には、図4は、図2に示す基準画像21に対応する、第一参照撮像部111によって撮像された第一参照画像211を示す図である。図5は、第二参照画像の一例を示す図である。具体的には、図5は、図2に示す基準画像21に対応する、第二参照撮像部112によって撮像された第二参照画像212を示す図である。
図4では、設定部102は、基準撮像部110に対して水平右方向に存在している第一参照撮像部111によって撮像された第一参照画像211が、基準画像21に対し、水平右方向から撮像された画像となるように、ステレオ平行化処理を行っている。同様に、図5では、設定部102は、基準撮像部110に対して垂直上方向に存在している第二参照撮像部112によって撮像された第二参照画像212が、基準画像21に対し、垂直上方向から撮像された画像となるように、ステレオ平行化処理を行っている。
選択部103は、ステレオマッチングにより、第一参照画像211および第二参照画像212のそれぞれにおいて、基準画像21における各指定点の注目画素と類似度が高い、基準画像21における各指定点の注目画素に対応する画素を探索する。
例えば、選択部103は、第一参照画像211において、第一参照画像211に対応する第一基線方向251と平行な鉄筋の長手方向を走査して、基準画像21における指定点231および指定点232の注目画素と類似度が高い、対応する画素を探索する。同様に、選択部103は、第二参照画像212において、第二参照画像212に対応する第二基線方向252と平行な鉄筋の長手方向を走査して、基準画像21における指定点231および指定点232の注目画素と類似度が高い、対応する画素を探索する。
ここで、図4では、第一基線方向251に対して、第一参照画像211における計測対象の鉄筋22のエッジは略垂直である。そのため、基準画像21における指定点231および指定点232の注目画素と類似度が高い画素が、第一参照画像211の探索領域に少ない。そのため、図4の第一参照画像211においては、基準画像21における指定点231および指定点232の対応点の探索が容易であり、信頼度の高い対応点を検出することができる。
一方、図5では、第二基線方向252に対して、第二参照画像212における計測対象の鉄筋22のエッジは略平行である。そのため、基準画像21における指定点231および指定点232の注目画素と類似度が高い画素が、第二参照画像212の探索領域に多い。そのため、図5の第二参照画像212においては、基準画像21における指定点231および指定点232の対応点の探索が困難であり、信頼度の高い対応点を検出することができない。
そこで、選択部103は、基準画像21における指定点231および指定点232の対応点の探索が容易であり、信頼度の高い対応点を検出することができる第一参照画像211を、計測に使用する参照画像として選択する。
これにより、計測部104は、基準画像21における複数の指定点と、第一参照画像211における複数の対応点との視差に基づいて、計測対象の鉄筋22の三次元座標を算出し、三次元座標に基づいて、計測対象の鉄筋22を高精度に計測することができる。
このように、計測対象の鉄筋22の鉄筋方向と基線方向とのなす角度がより直角に近い第一参照画像211において、基準画像21における指定点231および指定点232の対応点を探索することによって、対応点の信頼度が向上し、高精度な計測が可能となる。
(参照画像の選択例2)
以下、図6~8を用いて、選択部103による、第一の参照画像および第二の参照画像のうち、計測に使用する参照画像の選択例2について説明する。
図6は、基準画像の一例を示す図である。具体的には、図6は、第一基線方向251と略平行な方向が長手方向となる計測対象の鉄筋22aを含む、縦方向と横方向とに配筋された鉄筋が、基準撮像部110によって撮像された基準画像21aを示す図である。図7は、第一参照画像の一例を示す図である。具体的には、図7は、図6に示す基準画像21aに対応する、第一参照撮像部111によって撮像された第一参照画像211aを示す図である。図8は、第二参照画像の一例を示す図である。具体的には、図8は、図6に示す基準画像21aに対応する、第二参照撮像部112によって撮像された第二参照画像212aを示す図である。
選択部103は、ステレオマッチングにより、第一参照画像211aおよび第二参照画像212aのそれぞれにおいて、基準画像21aにおける各指定点の注目画素と類似度が高い、対応する画素を探索する。
選択部103は、第一参照画像211aにおいて、第一参照画像211aに対応する第一基線方向251と平行な鉄筋の長手方向を走査し、基準画像21aにおける指定点231aおよび指定点232aの注目画素と類似度が高い、対応する画素を探索する。同様に、選択部103は、第二参照画像212aにおいて、第二参照画像212aに対応する第二基線方向252と平行な鉄筋の長手方向を走査して、基準画像21における指定点231aおよび指定点232aの注目画素と類似度が高い、対応する画素を探索する。
ここで、図7では、第一基線方向251に対して、第一参照画像211aにおける計測対象の鉄筋22aのエッジが略平行であるため、基準画像21aにおける指定点231aおよび指定点232aの注目画素と類似度が高い画素が探索領域に多い。そのため、図7の第一参照画像211aにおいては、基準画像21aにおける指定点231aおよび指定点232aの対応点の探索が困難であり、信頼度の高い対応点を検出できない。
一方、図8では、第二基線方向252に対して、第二参照画像212aにおける計測対象の鉄筋22aのエッジが略垂直であるため、基準画像21aにおける指定点231aおよび指定点232aの注目画素と類似度が高い画素が探索領域に少ない。そのため、図8の第二参照画像212aにおいては、基準画像21aにおける指定点231aおよび指定点232aの対応点の探索が容易であり、信頼度の高い対応点を検出することができる。
そこで、選択部103は、基準画像21aにおける指定点231aおよび指定点232aの対応点の探索が容易であり、信頼度の高い対応点を検出することができる第二参照画像212aを、計測に使用する参照画像として選択する。
これにより、計測部104は、基準画像21aにおける複数の指定点と、第二参照画像212aにおける複数の対応点との視差に基づいて、計測対象の鉄筋22aの三次元座標を算出し、三次元座標に基づいて、計測対象の鉄筋22aを高精度に計測できる。
計測対象の鉄筋22aの長手方向と基線方向とのなす角度がより直角に近い第二参照画像212aにおいて、基準画像21aにおける指定点231aおよび指定点232aの対応点を探索することにより、対応点の信頼度が向上し、高精度な計測が可能となる。
(計測部104)
計測部104は、基準画像と、第一参照画像および第二参照画像のうち、選択部103によって選択された参照画像とに基づいて、計測対象の鉄筋の鉄筋径および鉄筋間隔などを計測する。計測部104は、計測した鉄筋の鉄筋径および鉄筋間隔などを、表示部101および記憶部105の少なくとも一方に計測結果として出力する。
計測部104は、設定部102によって画像処理が行われた基準画像と、設定部102によって画像処理が行われた第一参照画像および第二参照画像のうち、選択部103によって選択された参照画像とに基づいて、計測対象の鉄筋を計測してもよい。
計測部104は、パソコン上でプログラムを動作させたり、FPGA(Field Programmable Gate Array)およびASIC(Application Specific Integrated Circuit)などのデバイスにより処理したりすることによって実現される。
(計測部104による鉄筋径の計測例1)
以下、計測部104による鉄筋径の計測例1について説明する。計測部104は、基準画像における計測対象の鉄筋の2つのエッジごとに設定された複数の指定点と、選択部103によって選択された参照画像とに基づいて、計測対象の鉄筋の鉄筋径を計測する。
具体的には、計測部104は、基準画像における計測対象の鉄筋の2つのエッジごとに設定された複数の指定点と、選択部103によって選択された参照画像における基準画像の複数の指定点に対応する複数の対応点との視差とに基づき、鉄筋の鉄筋径を計測する。
より具体的には、計測部104は、基準画像の複数の指定点と、選択部103に選択された参照画像の複数の対応点との視差および三角測量の原理に基づき、測定対象の鉄筋の三次元座標を算出し、測定対象の鉄筋の三次元座標に基づき、鉄筋の鉄筋径を計測する。
さらに具体的には、計測部104は、基準画像と選択された参照画像との視差に基づき、基準撮像部110から計測対象の鉄筋までの撮像距離を算出し、撮像距離に基づき、測定対象の鉄筋の三次元座標を算出し、三次元座標に基づき、鉄筋の鉄筋径を計測する。
この場合、計測部104は、視差Dと、基準撮像部110の焦点距離fと、基準撮像部110と選択された参照画像に対応する参照撮像部との距離を示す基線長Bとを、式D=f×B/Zに代入し、基準撮像部110から計測対象の鉄筋までの撮像距離Zを求める。
続いて、計測部104は、基準画像における計測対象の鉄筋の2つのエッジごとに設定された複数の指定点の近似直線である、2つの近似直線上の向かい合う2つの点の三次元座標を算出し、これらの2つの点の距離を鉄筋径として算出する。
この場合、計測部104は、基準画像における計測対象の鉄筋の2つのエッジに沿う指定点の近似直線上の点の画像上の座標(x、y)と、三次元座標(X、Y、Z)との関係式X=x×Z/fおよびY=y×Z/fに基づき、2つの点の三次元座標を算出する。
このように、基準画像と参照画像との視差に基づいて、計測対象の鉄筋の三次元座標を算出し、三次元座標に基づいて、計測対象の鉄筋を計測する場合、上述のように、選択部103によって選択された参照画像を用いることによって、高精度に鉄筋を計測できる。
(計測部104による鉄筋径の計測例2)
鉄筋径の計測例1では、計測部104は、基準画像における指定点と、選択部103によって選択された参照画像における対応点との視差に基づき、計測対象の鉄筋の鉄筋径を算出している。ただし、本実施形態では、計測部104は、基準画像と参照画像との視差に基づき、計測対象の鉄筋の鉄筋径を算出すれば、任意の方法によって算出された視差に基づき、計測対象の鉄筋の鉄筋径を算出してもよい。
例えば、計測部104は、基準画像における計測対象の鉄筋のエッジごとに設定された複数の指定点の近似直線と、選択された参照画像における複数の対応点の近似直線との視差に基づき、計測対象の鉄筋の鉄筋径を算出してもよい。
(計測部104による鉄筋径の計測例3)
上述の鉄筋径の計測例1では、計測部104は、基準画像における計測対象の鉄筋の2つのエッジに沿う2つの近似直線上の向かい合う2つの点の三次元座標を算出し、これらの2つの点の距離を、そのまま鉄筋径として算出している。ただし、本実施形態における計測部104による鉄筋径の計測方法は、上述の鉄筋径の計測例1に示した方法に限定されない。
本実施形態における計測部104による鉄筋径の計測方法では、例えば、計測部104が、基準画像における計測対象の鉄筋の2つのエッジに沿う2つの近似直線上の向かい合う複数の点同士の距離の平均値を、鉄筋径として算出してもよい。
(計測部104による鉄筋間隔の計測例)
計測部104は、上述の鉄筋径の計測例1~3と同様の方法により求めた、基準画像における第一の計測対象の2つのエッジに沿う2つの近似直線と、第二の計測対象の2つのエッジに沿う2つの近似直線とに基づき、計測対象の鉄筋の鉄筋間隔を計測してもよい。
具体的には、計測部104は、第一の計測対象の2つの近似直線の中心軸上の点の三次元座標と、当該点と向かい合う、第二の計測対象の2つの近似直線の中心軸上の点の三次元座標とに基づき、これらの2つの点の距離を鉄筋間隔として算出してもよい。
また、計測部104は、第一の計測対象の2つの近似直線の中心軸上と、第二の計測対象の2つの近似直線の中心軸上とで向かい合う複数の点同士の距離の平均値を鉄筋間隔として算出してもよい。
(記憶部105)
記憶部105は、計測対象の鉄筋が撮像された画像および計測結果を記憶する。
記憶部105は、例えば、ハードディスクおよびフラッシュメモリなどの不揮発性メモリを備えることによって実現される。
〔計測装置1の制御方法〕
次に、図9を用いて、実施形態1に係る計測装置1の制御方法を説明する。図9は、実施形態1に係る計測装置の制御方法の一例を示すフローチャートである。
(ステップS101)
計測装置1における画像処理装置10の入力部100は、基準画像、第一参照画像および第二参照画像の入力を受け付ける。
画像処理装置10の入力部100は、入力を受け付けた基準画像を表示部101に表示させてもよい。
(ステップS102)
画像処理装置10における設定部102は、基準撮像部110によって計測対象の鉄筋が撮像された基準画像における、鉄筋対象の鉄筋の2つのエッジごとに複数の指定点を設定する。
例えば、まず、設定部102は、表示部101に表示されている基準画像における計測対象の鉄筋の一方のエッジに複数の指定点を設定する。次に、設定部102は、基準画像における計測対象の鉄筋の他方のエッジに複数の指定点を設定する。設定部102は、基準画像における計測対象の鉄筋の一方のエッジに設定された複数の指定点の近似直線と、他方のエッジに設定された複数の指定点の近似直線とに基づき、計測対象の鉄筋の鉄筋方向を算出する。
(ステップS103)
画像処理装置10における選択部103は、基準画像における複数の指定点に基づいて、第一参照画像および第二参照画像のうち、計測に使用する参照画像を選択する。
例えば、選択部103は、基準画像における計測対象の鉄筋の鉄筋方向に基づいて、第一参照画像および第二参照画像のうち、計測に使用する参照画像を選択する。また、基準画像における計測対象の鉄筋方向と、基準撮像部と複数の参照撮像部のそれぞれとが並ぶ方向である基線方向と、のなす角度に基づいて計測に使用する参照画像を選択してもよい。
(ステップS104)
画像処理装置10における計測部104は、基準画像と、第一参照画像および第二参照画像のうち、選択部103によって選択された参照画像とに基づいて、計測対象の鉄筋を計測する。
<実施形態1の変形例>
上述の例では、計測装置1における画像処理装置10の計測部104は、は鉄筋を計測対象として計測しているが、本実施形態では、計測装置1は、鉄筋以外の計測対象を計測してもよい。
計測対象は、基準画像と参照画像との視差に基づいて計測できる物体であれば特に限定されず、任意の三次元形状の物体であってもよい。ただし、長手方向を算出できる円柱状、円錐状、角柱状、角錐状および板状(例えば、薄板)などの物体である場合、計測装置1によって高精度に計測できる。
また、上述の例では、計測装置1における画像処理装置10の設定部102は、基準画像における計測対象の鉄筋の2つのエッジごとに複数の指定点を設定している。ただし、本実施形態では、設定部102は、基準画像における計測対象の1つのエッジに複数の指定点を設定してもよい。
このように、基準画像における計測対象の1つのエッジのみに複数の指定点を設定した場合でも、計測部104は、計測対象を計測することができる。例えば、計測部104は、エッジに沿う複数の指定点の近似直線の三次元座標に基づき、円柱状、円錐状、角柱状、角錐状または板状の物体である計測対象の歪みなどを好適に計測することができる。
〔計測装置1の制御方法〕
次に、図10を用いて、実施形態1の変形例に係る計測装置1の制御方法を説明する。図10は、実施形態1の変形例に係る計測装置1の制御方法の一例を示すフローチャートである。図10のステップS111、S113およびS114は、図9のステップS101、S103およびS104と同様であるため、ここではその説明を省略する。
(ステップS112)
計測装置1における画像処理装置10の設定部102は、基準撮像部110によって計測対象が撮像された基準画像における、鉄筋対象の1つのエッジに複数の指定点を設定する。
<実施形態2>
実施形態1に係る計測装置1では、選択部103によって選択された参照画像における計測対象の鉄筋のエッジに指定点を設定していない。ただし、本発明に係る計測装置は、実施形態2に係る計測装置1Xのように、選択部103Xによって選択された参照画像における計測対象の鉄筋のエッジごとに複数の指定点を設定してもよい。
以下、図11~14を用いて、実施形態2に係る計測装置1Xについて説明する。なお、説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔計測装置1X〕
図11は、実施形態2に係る計測装置1Xの構成の一例を示すブロック図である。図11のように、計測装置1Xは、実施形態1に係る画像処理装置10の代わりに、画像処理装置10Xを備えている。この点以外は、実施形態2に係る計測装置1Xは、実施形態1に係る計測装置1と同様の構成である。
〔画像処理装置10X〕
実施形態2に係る画像処理装置10Xは、実施形態1における設定部102、選択部103および計測部104の代わりに、設定部102X、選択部103Xおよび計測部104Xを備えている。この点以外は、実施形態2に係る画像処理装置10Xは、実施形態1に係る画像処理装置10と同様の構成である。
(設定部102X)
設定部102Xは、第一参照画像および第二参照画像のうち、選択部103Xによって選択された参照画像において、計測対象の鉄筋の2つのエッジごとに複数の指定点を設定する。
設定部102Xは、基準画像における計測対象の鉄筋の2つのエッジごとに複数の指定点を設定した方法と同様の方法により、選択部103Xによって選択された参照画像における、計測対象の鉄筋の2つのエッジごとに複数の指定点を設定することができる。
例えば、設定部102Xは、入力部100を介して、選択部103Xによって選択された参照画像における、鉄筋の2つのエッジごとに、ユーザが指定した複数の点を指定点として設定する。
一例として、設定部102Xは、選択された参照画像が、タッチパネルに表示されている場合、ユーザが参照画像における計測対象の鉄筋の2つのエッジをタッチすることによって指定した点を、指定点として設定してもよい。このとき、設定部102Xは、選択された参照画像上に、基準画像における指定点に対応する対応点を表示部101に表示させてもよい。
これにより、選択された参照画像における対応点が基準画像における計測対象の鉄筋に対応する計測対象の鉄筋のエッジから外れた位置にあっても、設定部102Xは、当該計測対象の鉄筋のエッジ上の位置など、ユーザの所望の位置に指定点を設定できる。すなわち、設定部102Xは、基準画像における指定点の位置と、選択された参照画像における対応点の位置とのずれを好適に調整することができる。また、基準画像における計測対象の鉄筋に対応する、参照画像における計測対象の鉄筋をより好適に検出することができる。
設定部102Xは、記憶部105に記憶された、選択された参照画像を撮像した参照撮像部のカメラパラメータに基づき、当該参照画像に画像処理を行い、画像処理が行われた参照画像における計測対象の鉄筋の2つのエッジごとに複数の指定点を設定してもよい。
この場合、設定部102Xは、上述の基準画像に対する画像処理と同様の画像処理を、選択された参照画像に行ってもよい。例えば、設定部102Xは、基準撮像部110と第一参照撮像部111とが並ぶ方向である第一基線方向、および、基準撮像部110と第二参照撮像部112とが並ぶ方向である第二基線方向を、選択された参照画像に重畳させる画像処理を行ってもよい。
カメラパラメータに基づいて画像処理を行った参照画像における、計測対象の鉄筋のエッジに指定点を設定すれば、ユーザは、第一基線方向および第二基線方向などが重畳された画像を見ながら、より好適に計測対象の鉄筋のエッジ上の点を選択できる。これにより、設定部102Xは、ユーザに選択されたより好適な点を指定点として設定できる。
設定部102Xは、基準画像における計測対象の長手方向の算出と同様に、参照画像における計測対象の鉄筋の2つのエッジのそれぞれに設定された複数の指定点の近似直線である2本の近似直線に沿う方向を、鉄筋方向として算出してもよい。
このように、参照画像における計測対象の鉄筋のエッジに沿う近似直線を鉄筋方向として算出することによって、計測対象の鉄筋のエッジに沿う直線を鉄筋方向として好適に算出することができる。これにより、計測部104は、基準画像における計測対象のエッジの近似直線と、参照画像における計測対象のエッジの近似直線との視差に基づいて、計測対象の鉄筋の三次元座標を算出し、三次元座標に基づいて、計測対象の鉄筋をより高精度に計測できる。
設定部102Xは、基準画像における計測対象の鉄筋のエッジに沿う近似直線の算出と同様に、選択された参照画像における計測対象の鉄筋の1つのエッジに指定点の設定が完了するごとに、計測対象の鉄筋の1つのエッジに沿う近似直線を算出してもよい。設定部102Xは、選択された参照画像における計測対象の鉄筋のエッジによらず、全ての指定点の設定が完了してから、2つのエッジのそれぞれに沿う指定点の近似直線を算出してもよい。
設定部102Xは、基準画像における計測対象の鉄筋のエッジの指定点と同様に、参照画像における計測対象の鉄筋の一方のエッジの指定点と、他方のエッジの指定点とを、形状および色の少なくとも一方を異ならせて表示部101に表示させてもよい。
また、設定部102Xは、ユーザが、参照画像における計測対象の鉄筋のエッジを、タッチパネル上で、指でなぞったり、マウスによりトラックしたりした場合、これらの1回のユーザの動作に応じて、計測対象の鉄筋のエッジ上に複数の指定点を設定してもよい。
(参照画像における指定点の設定例)
以下、図2、12および13を用いて、設定部102Xによる参照画像における指定点の設定例について具体的に設定する。図12は、参照画像の一例を示す図である。具体的には、図12は、第二基線方向252と略平行な方向が長手方向となる計測対象の鉄筋22を含む、縦方向と横方向とに配筋された鉄筋が、第一参照撮像部111によって撮像された第一参照画像211bを示す図である。図13は、第一参照画像における、拡大表示された領域の一例を示す図である。具体的には、図13は、第一参照画像211bにおける拡大表示された領域2611を示す図である。
まず、設定部102Xは、図2に示す基準画像21における計測対象の鉄筋22の2つのエッジにおける指定点231と232とを結ぶ直線241、および、指定点233と234とを結ぶ直線242を算出する。その後、選択部103Xは、基準画像21における直線241および242に基づき、計測対象の鉄筋22の鉄筋方向を算出し、計測対象の鉄筋22の鉄筋方向に基づき、図12に示す第一参照画像211bを計測に用いる参照画像として選択する。
設定部102Xは、第一参照撮像部111によって計測対象の鉄筋22が撮像された第一参照画像211bに、図2に示す基準画像21における指定点231~234に対応する対応点2311、対応点2321、対応点2331および対応点2341を重畳させる画像処理を行う。
また、設定部102Xは、第一参照撮像部111のカメラパラメータに基づき、第一参照撮像部111によって計測対象の鉄筋22が撮像された第一参照画像211bに、第一基線方向251および第二基線方向252を重畳させる画像処理を行う。
図12では、基準撮像部110と、第一参照撮像部111と、第二参照撮像部112とは、それぞれの撮像部のレンズが鉄筋に向いた状態で、第一基線方向251と、第二基線方向252とに示す位置関係となるように配置されている。
設定部102Xは、入力部100と表示部101とが一体型になったタッチパネルに表示されている第一参照画像211bにおける計測対象の鉄筋22の2つのエッジを、ユーザがタッチすることによって指定した点を指定点として設定する。
この場合、設定部102Xは、第一参照画像211bにおける計測対象の鉄筋22の1以上のエッジを含む領域を表示部101に拡大表示させてもよい。例えば、設定部102Xは、図12における、計測対象の鉄筋22の2つのエッジを含む、計測対象の鉄筋22の中心から所定範囲の領域2611を、図13のように拡大表示してもよい。
図13のように、第一参照画像211bにおける計測対象の鉄筋22の1以上のエッジを含む領域2611を拡大表示することにより、第一参照画像211b上の計測対象の鉄筋22のエッジに設定する指定点の目安となる情報をよりわかりやすくユーザに示せる。これにより、ユーザは、第一参照画像211bにおける計測対象の鉄筋22のエッジに指定点531、指定点532、指定点533および指定点534を指定するのが容易となる。
また、第一参照画像211b上の計測対象の鉄筋22を含む平面を示す平面情報に基づき計測対象の鉄筋22の位置の目安を示す位置情報を算出せず、第一参照画像211b上の計測対象の鉄筋22のエッジに設定する指定点の目安となる情報をユーザに示せる。
設定部102Xは、縦鉄筋として撮像されている計測対象の鉄筋22の2つのエッジに対するユーザの指定に基づき、計測対象の鉄筋22の一方のエッジに指定点531および指定点532を設定し、他方のエッジに指定点533および指定点534を設定する。
次に、設定部102Xは、基準画像21における指定点531および指定点532と、指定点533および指定点534とに基づいて、計測対象の鉄筋22の鉄筋方向を算出する。
具体的には、設定部102Xは、指定点531と指定点532とを結ぶ直線541と、指定点533と指定点534とを結ぶ直線542とに基づき、計測対象の鉄筋22の鉄筋方向を、第二基線方向252に示す上方向と略平行な方向として算出する。
図12では、対応点2311、2321、2331および2341は、計測対象の鉄筋22のエッジから外れているが、計測対象の鉄筋22のエッジ上に指定点531、532、533および534を設定することによって、好適にずれを調整することができる。
なお、上述の例では、設定部102Xは、参照画像における1つの計測対象の鉄筋のエッジに対して2つの指定点を設定したが、本実施形態では、1つの計測対象の鉄筋のエッジに対して複数の指定点を設定すればよく、例えば、3つ以上の点を指定してもよい。
この場合、設定部102Xは、基準画像における計測対象の鉄筋のエッジに沿う近似直線の算出と同様に、参照画像における一方の計測対象の鉄筋のエッジに複数の指定点の設定が完了した時点で、指定点に基づきエッジに沿う指定点の近似直線を算出してもよい。また、設定部102Xは、3つ以上の指定点を設定した場合には、最小二乗直線などにより、計測対象の鉄筋のエッジに沿う近似直線を算出してもよい。
(選択部103X)
選択部103Xは、計測に使用する参照画像を選択した後、選択した参照画像を表示部101に表示させる。これにより、設定部102Xは、選択部103Xによって選択された参照画像において、計測対象の鉄筋の2つのエッジごとに複数の指定点を好適に設定することができる。
(計測部104X)
計測部104Xは、基準画像における計測対象の鉄筋の2つのエッジごとに設定された複数の指定点と、選択部103Xによって選択された参照画像における計測対象の2つのエッジごとに設定された複数の指定点との視差とに基づき、計測対象の鉄筋を計測する。
計測部104Xは、基準画像における計測対象の鉄筋のエッジごとに設定された複数の指定点の近似直線と、選択された参照画像における計測対象のエッジごとに設定された複数の指定点の近似直線との視差に基づき、計測対象の鉄筋を計測してもよい。
計測部104Xは、基準画像における指定点と参照画像における指定点との視差、または、基準画像における指定点の近似直線と、参照画像における指定点の近似直線との視差に基づいて計測対象の鉄筋の三次元座標を算出する。計測部104Xは、三次元座標に基づいて、計測対象の鉄筋の鉄筋径および鉄筋間隔などを計測する。
このように、上述の視差に基づいて計測対象の鉄筋を計測することにより、基準画像の指定点と参照画像の対応点との視差に基づいて計測対象の鉄筋を計測する場合よりも、高精度に計測対象の鉄筋を計測することができる。
(計測部104Xによる鉄筋径の計測例)
以下、図2および12を用いて、計測部104Xによる鉄筋径の計測例について説明する。
計測部104Xは、基準画像における計測対象の鉄筋の2つのエッジに設定された複数の指定点の近似直線と、選択された参照画像における計測対象の2つのエッジに設定された複数の指定点の近似直線との視差に基づき、計測対象の鉄筋の鉄筋径を計測する。
以下、図2のように、設定部102Xが、基準画像21における計測対象の鉄筋22の一方のエッジに指定点231および232を設定し、他方のエッジに指定点233と234とを結ぶ直線242を設定した場合について説明する。
この場合、計測対象の鉄筋22の鉄筋方向は第二基線方向252となるため、選択部103Xは、参照画像に対応する基線方向が第二基線方向252に直角な第一基線方向251となる、図12に示す第一参照画像211bを計測に用いる参照画像として選択する。
続いて、選択部103Xは、図12のように、第一参照画像211bにおける計測対象の鉄筋22の一方のエッジに指定点531および指定点532を設定し、他方のエッジに指定点533および指定点534を設定する。
計測部104Xは、基準画像21における指定点231と232とを結ぶ直線241と、直線241に対応する、第一参照画像211bにおける指定点531と指定点532とを結ぶ直線541との視差に基づき、計測対象の鉄筋22の鉄筋径を計測する。
計測部104Xは、基準画像における指定点233と234とを結ぶ直線242と、直線242に対応する、第一参照画像211bにおける指定点533と指定点534とを結ぶ直線542との視差に基づき、計測対象の鉄筋22の鉄筋径を計測してもよい。また、計測部104Xは、上述の2つの視差の平均値に基づき、計測対象の鉄筋22の鉄筋径を計測してもよい。
計測部104Xは、算出した視差に基づき、上述と同様に、基準画像21の測定対象の鉄筋22の直線241および242上の点の三次元座標を算出し、直線241および242上の点の三次元座標に基づき、計測対象の鉄筋22の鉄筋径を計測する。
ここで、設定部102Xが図6に示す第二参照画像212における計測対象の鉄筋22のエッジごとに複数の指定点を設定し、複数の指定点の近似直線を算出した場合、近似直線の方向と、第二基線方向252とが略平行になり、算出した視差の信頼度が低下する。
これに対し、設定部102Xが、計測対象の鉄筋22の鉄筋方向と、基線方向とのなす角度がより直角に近い第一参照画像211bにおいて指定点を設定することにより、計測部104Xは、高精度に計測対象の鉄筋22を計測することができる。
なお、計測部104Xは、視差を求めた後、実施形態1と同様の方法によって、鉄筋間隔を計測することができる。
〔計測装置1Xの制御方法〕
次に、図14を用いて、実施形態2に係る計測装置1Xの制御方法を説明する。図14は、実施形態2に係る計測装置1Xの制御方法の一例を示すフローチャートである。図14のステップS201およびS202は、図9のステップS101およびS102と同様であるため、ここではその説明を省略する。
(ステップS203)
計測装置1Xにおける画像処理装置10Xの設定部102Xは、実施形態1における設定部102と同様に計測に使用する参照画像を選択した後、選択した参照画像を表示部101に表示させる。
(ステップS204)
計測装置1Xにおける画像処理装置10Xの設定部102Xは、選択部103Xによって選択された参照画像における、計測対象の鉄筋の2つのエッジごとに複数の指定点を設定する。
例えば、設定部102Xは、まず、表示部101に表示されている選択された参照画像における計測対象の鉄筋の一方のエッジに複数の指定点を設定する。次に、設定部102Xは、選択された参照画像における計測対象の鉄筋の他方のエッジに複数の指定点を設定する。設定部102Xは、参照画像における計測対象の鉄筋の一方のエッジに設定された複数の指定点の近似直線と、他方のエッジに設定された複数の指定点の近似直線とに基づき、計測対象の鉄筋の鉄筋方向を算出する。
(ステップS205)
画像処理装置10Xの計測部104Xは、基準画像における計測対象の鉄筋の2つのエッジごとに設定された複数の指定点と、選択された参照画像における計測対象の2つのエッジごとに設定された複数の指定点との視差とに基づき、計測対象の鉄筋を計測する。
例えば、計測部104Xは、基準画像における計測対象の鉄筋のエッジごとに設定された複数の指定点の近似直線と、選択された参照画像における計測対象のエッジごとに設定された複数の指定点の近似直線との視差に基づき、計測対象の鉄筋を計測する。
<実施形態2の変形例>
上述の例では、設定部102Xは、基準画像における計測対象の鉄筋の2つのエッジごとに複数の指定点を設定し、2つのエッジごとに設定された複数の指定点の近似直線である2つの近似直線に基づいて鉄筋方向を算出している。また、選択部103Xは、設定部102Xが、基準画像における計測対象の2つのエッジごとに指定点を設定した後、設定部102Xが算出した鉄筋方向に基づき、計測に用いる参照画像を選択している。すなわち、上述の例では、設定部102Xが、基準画像において、計測対象の両側のエッジに沿った近似直線に基づいて鉄筋方向を算出した後、選択部103Xは、鉄筋方向に基づき、計測に用いる参照画像を選択している。
このように、上述の例では、設定部102Xは、基準画像における計測対象の鉄筋の長手方向に沿った両方のエッジに複数の指定点を設定した後、選択された参照画像における計測対象の鉄筋の長手方向に沿った両方のエッジに複数の指定点を設定している。
ただし、本実施形態では、設定部102Xは、基準画像における計測対象の鉄筋の一方のエッジに設定された複数の指定点の近似直線に基づいて鉄筋方向を算出してもよい。また、選択部103Xは、設定部102Xが、基準画像における計測対象の鉄筋の一方のエッジに複数の指定点が設定され、鉄筋方向が算出された時点で、鉄筋方向に基づき、計測に用いる参照画像を選択してもよい。
設定部102Xは、選択部103Xによって参照画像が選択された後、基準画像における計測対象の鉄筋のエッジのうち、指定点が設定されたエッジに対応する、選択された参照画像における計測対象の鉄筋の一方のエッジに複数の指定点を設定する。
続いて、設定部102Xは、基準画像における計測対象の鉄筋の他方のエッジに複数の指定点を設定し、基準画像における計測対象の鉄筋の他方のエッジに対応する、選択された参照画像における計測対象の他方のエッジに複数の指定点を設定してもよい。
このように、設定部102Xは、基準画像における計測対象の鉄筋の1つのエッジに対する複数の指定点の設定と、選択された参照画像における計測対象の鉄筋の1つのエッジに対する複数の指定点の設定とを交互に行ってもよい。すなわち、設定部102Xは、基準画像および参照画像における計測対象のエッジに指定点を設定するタイミングを上述の例と異ならせてもよい。このとき、設定部102Xは、基準画像における指定点の設定と、選択された参照画像における指定点の設定とをそれぞれ行う前に、それぞれ、基準画像および選択された参照画像を表示部101に表示させる。
これにより、基準画像における対応点が基準画像における計測対象の鉄筋に対応する計測対象の鉄筋のエッジから外れた位置にあっても、設定部102Xは、逐一、参照画像における当該計測対象の鉄筋のエッジ上など、ユーザの所望の位置に指定点を設定できる。
すなわち、設定部102Xは、基準画像における指定点の位置と、選択された参照画像における対応点の位置とのずれを、基準画像における計測対象の鉄筋の1つのエッジに指定点を設定するたびに、逐一、調整することができる。その結果、基準画像における計測対象の鉄筋に対応する、参照画像における計測対象の鉄筋をさらに好適に検出することができる。
〔計測装置1Xの制御方法〕
次に、図15を用いて、実施形態2の変形例に係る計測装置1Xの制御方法を説明する。図15は、実施形態2の変形例に係る計測装置1Xの制御方法の一例を示すフローチャートである。図15のステップS211およびS213は、図14のステップS201およびS203と同様であるため、ここではその説明を省略する。
(ステップS212)
計測装置1Xにおける画像処理装置10Xの設定部102Xは、基準撮像部110によって計測対象の鉄筋が撮像された基準画像における、鉄筋対象の鉄筋の一方のエッジに複数の指定点を設定する。
例えば、まず、設定部102Xは、表示部101に表示されている基準画像における計測対象の鉄筋の一方のエッジに複数の指定点を設定する。次に、設定部102Xは、基準画像における計測対象の鉄筋の一方のエッジに設定された複数の指定点の近似直線に基づき、計測対象の鉄筋の鉄筋方向を算出する。
(ステップS214)
計測装置1Xにおける画像処理装置10Xの設定部102Xは、選択部103Xによって選択された参照画像における、計測対象の鉄筋の一方のエッジに複数の指定点を設定する。
設定部102Xは、当該指定点を設定した後、表示部101に基準画像を表示させる。
(ステップS215)
設定部102Xは、基準画像における計測対象の他方のエッジに複数の指定点を設定する。
設定部102Xは、当該指定点を設定した後、表示部101に選択された参照画像を表示させる。
(ステップS216)
設定部102Xは、選択された参照画像における計測対象の他方のエッジに複数の指定点を設定する。
その後、設定部102Xは、参照画像における計測対象の鉄筋の一方のエッジに設定された複数の指定点の近似直線と、他方のエッジに設定された複数の指定点の近似直線とに基づき、計測対象の鉄筋の鉄筋方向を算出してもよい。
<実施形態3>
本発明に係る計測装置は、実施形態3に係る計測装置1Yのように、計測対象が存在する平面を示す平面情報に基づいて、選択部によって選択された参照画像に、当該参照画像における計測対象の位置の目安を示す位置情報を重畳させる画像処理を行ってもよい。
以下、図16~20を用いて、実施形態3に係る計測装置1Yについて説明する。なお、説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔計測装置1Y〕
図16は、実施形態3に係る計測装置1Yの構成の一例を示すブロック図である。図16のように、計測装置1Yは、実施形態2に係る画像処理装置10Xの代わりに、画像処理装置10Yを備えている。この点以外は、実施形態3に係る計測装置1Yは、実施形態2に係る計測装置1Xと同様の構成である。
〔画像処理装置10Y〕
実施形態3に係る画像処理装置10Yは、実施形態2の変形例における設定部102Xの代わりに、設定部102Yを備えている。この点以外は、実施形態3に係る画像処理装置10Yは、実施形態2に係る画像処理装置10Xと同様の構成である。
(設定部102Y)
設定部102Yは、基準撮像部110が撮像した基準画像における計測対象の鉄筋が存在する平面を示す平面情報に基づいて、選択部103Xによって選択された参照画像に、当該参照画像における計測対象の鉄筋の位置の目安を示す位置情報を重畳させる。
設定部102Yは、基準画像における複数の指定点および平面情報に基づき、選択された参照画像に、基準画像の複数の指定点に対応する複数の点、複数の点の近似直線および2つの当該近似直線の中心線の少なくともいずれかを位置情報として重畳させてもよい。
この場合、設定部102Yは、まず、基準撮像部110が撮像した基準画像における計測対象の鉄筋のエッジに設定された複数の指定点および複数の指定点の近似直線の少なくとも一方を、平面情報が示す仮想平面に投影(透視投影)する。次に、設定部102Yは、仮想平面に投影された複数の指定点および複数の指定点の近似直線の少なくとも一方を参照画像に投影する。設定部102Yは、選択された参照画像に投影された複数の指定点、当該複数の指定点の近似直線および2つの当該近似直線の中心線の少なくともいずれかを、選択された参照画像に位置情報として重畳する。
設定部102Yは、選択され、位置情報が重畳された参照画像を表示部101、例えば、入力部100と表示部101とが一体化したタッチパネルなどに表示させる。
これにより、基準画像の計測対象の鉄筋のエッジに設定された指定点や指定点の近似直線に対応する、選択された参照画像の計測対象に設定する指定点や近似直線の目安となる位置情報が、選択された参照画像に重畳される。
そのため、参照画像上での計測対象のエッジに設定する指定点や近似直線の目安となる位置情報をユーザに示すことができるため、ユーザは、参照画像における計測対象のエッジに指定点を指定するのが容易となる。例えば、ユーザは、タッチパネルに表示された位置情報を参照しながら、選択された参照画像における計測対象のエッジにおける指定点を容易に指定することができる。
その結果、設定部102Yは、タッチパネルを介して、ユーザが指定した指定点の入力情報を取得し、当該入力情報に基づいて、選択された参照画像における指定点をより好適に設定することができる。
特に、鉄筋などの類似する複数の計測対象が並置されている場合に、計測対象が存在する平面を示す平面情報に基づいて、選択された参照画像に、位置情報を重畳させると、選択された参照画像において容易かつ好適に指定点を設定できるため、有効である。
設定部102Yは、計測対象が存在する平面を示す平面情報に基づいて、選択部103Xによって選択された参照画像において、当該参照画像における計測対象の位置の目安を示す位置情報を算出し、位置情報を含む領域を表示部101に拡大表示させてもよい。
この場合、設定部102Yは、選択された参照画像に位置情報を重畳させ、当該参照画像における位置情報を含む領域を表示部101に拡大表示させてもよいし、当該参照画像に位置情報を重畳させずに位置情報を含む領域を表示部101に拡大表示させてもよい。
位置情報を含む領域を拡大表示させることにより、選択された参照画像に位置情報を重畳させるか否かに関わらず、選択された参照画像上の計測対象の鉄筋のエッジに設定する指定点および近似直線の目安となる情報をわかりやすくユーザに示すことができる。そのため、ユーザは、選択された参照画像における計測対象の鉄筋のエッジに指定点を指定するのがより容易となる。
また、選択された参照画像に位置情報を重畳させた上で、当該参照画像における位置情報を含む領域を拡大表示することにより、当該参照画像上の計測対象の鉄筋のエッジに設定する指定点および近似直線の目安となる位置情報をさらにわかりやすくユーザに示せる。そのため、ユーザは、選択された参照画像における計測対象の鉄筋のエッジに指定点を指定するのがさらに容易となる。
(設定部102Yによる平面情報の取得例)
以下、設定部102Yによる平面情報の取得例について説明する。以下の例では、設定部102Yは、基準撮像部110が計測対象の鉄筋を撮像した基準画像に基づき、平面情報を取得する。
例えば、入力部100と表示部101とが一体化したタッチパネルが、タッチパネルに表示された基準画像における計測対象の鉄筋上の3つの点の入力をユーザから受け付けた場合、設定部102Yは、3つの点を通る三次元平面の情報を平面情報として取得する。
具体的には、まず、設定部102Yは、入力部100が受け付けた基準画像における各点に対応する、選択された参照画像における対応点を、選択された参照画像においてブロックマッチングによって探索し、基準画像の各点と参照画像の各点との視差を算出する。
次に、設定部102Yは、基準画像の各点と、選択された参照画像の各対応点との視差および三角測量の原理に基づき、基準画像における3つの点の三次元位置を算出し、3つの点を通る三次元平面の三次元位置を算出することによって、平面情報を取得する。
また、別の方法として、設定部102Yは、入力部100が3つの点の入力を受け付けることなく平面情報を取得してもよい。この場合、設定部102Yは、まず、基準画像における計測対象の鉄筋を構成する画素の全画素または特徴の大きい画素からなる対象点群について、選択された参照画像とブロックマッチングすることによって、当該参照画像上の対応点を探索する。続いて、設定部102Yは、対象点群とその対応点との視差を算出する。ここで、特徴の大きい画素とは、例えば、計測対象の鉄筋のエッジにおける節および/または継手の部分の画素など、凹凸のある部分の画素などを指す。
なお、上述の例では、設定部102Yは、ステレオカメラである基準撮像部110が計測対象の鉄筋を撮像した基準画像に基づき、平面情報を取得している。ただし、本実施形態では、設定部102Yが平面情報を取得する方法は、上述の例において説明した方法に限定されない。
設定部102Yは、ステレオカメラである基準撮像部110などの撮像部11とは異なる機能を用いて平面情報を取得してもよい。例えば、設定部102Yは、ステレオカメラである撮像部11とは異なる機器であるTOF(Time of Flight)センサを用いて平面情報を取得してもよい。
この場合、設定部102Y自身が、TOFセンサなど平面情報を取得する機能を有し、当該機能により平面情報を取得してもよい。設定部102Yは、基準撮像部110などの撮像部11および設定部102Yとは別の画像処理装置10Yの外部の機器であるTOFセンサから平面情報を取得してもよい。また、基準撮像部110などの撮像部11がTOFセンサの機能を有する場合、設定部102Yは、当該機能によって平面情報を取得した撮像部11の基準撮像部110などを介して、平面情報を取得してもよい。
次に、設定部102Yは、算出した視差および三角測量の原理に基づき、対象点群の三次元位置を算出する。最後に、設定部102Yは、対象点群に対して最小二乗法などによる平面フィッティングを行うことによって、平面の三次元位置を算出し、当該平面の三次元位置を平面情報として取得する。
(設定部102Yによる指定点の投影例)
以下、図17を用いて、設定部102Yによって、図2に示す基準画像21における計測対象の鉄筋22のエッジに設定された指定点231~234を、選択された第一参照画像211cに投影する例について説明する。第一参照画像211cの詳細に関しては、図18および図19を用いて後述する。
図17は、設定部による、選択された参照画像に対する位置情報の投影の一例について説明するための図である。具体的には、図17は、設定部102Yによる、選択された第一参照画像211cに対する位置情報の投影について説明するための図である。
図17のように、設定部102Yは、図2に示す基準画像21における計測対象の鉄筋22が存在する三次元位置を示す平面情報を取得し、当該平面情報に対応する仮想平面900を仮想空間に配置する。
設定部102Yは、基準撮像部110の投影面721上の指定点231と、基準撮像部110の焦点711とを通る直線901の三次元位置を算出する。なお、図17では、見やすさの観点から、直線を線分として表している。
設定部102Yは、直線901と仮想平面900との交点であり、基準画像21における指定点231に対応する点911の三次元位置を求める。
設定部102Yは、点911と、第一参照撮像部の焦点712とを通る直線921の三次元位置を算出する。
設定部102Yは、第一参照撮像部111の投影面722に、仮想平面900の点911を、第一参照画像の投影面722と直線921との交点である点931として投影する。設定部102Yは、第一参照画像211c上の点931の位置を算出する。
同様に、設定部102Yは、基準画像の投影面721上の指定点232、指定点233および指定点234と、基準撮像部の焦点711とを通る直線902、直線903および直線904の三次元位置を算出する。
設定部102Yは、直線902、903および904と仮想平面900との交点である、基準画像21の指定点232、233および234にそれぞれ対応する点912、点913および点914の三次元位置をそれぞれ求める。
設定部102Yは、第一参照撮像部111の投影面722に、仮想平面900の点912~914を、投影面722と直線922、直線923および直線924との交点である点932、点933および点934としてそれぞれ投影する。設定部102Yは、第一参照画像211c上の点932~934の位置を算出する。
設定部102Yは、点931と932とを通る第一参照画像211c上の直線941、および、点933と934とを通る第一参照画像211c上の直線942とを算出する。
設定部102Yは、点931~934および直線941および942を第一参照画像211cに重畳させる。
(設定部102Yによる位置情報の重畳例)
以下、図18および19を用いて、設定部102Yによる、選択された参照画像に対する位置情報の重畳例について具体的に説明する。
図18は、第一参照画像の一例を示す図である。具体的には、図18は、選択部103Xによって選択された第一参照画像211cを示す図である。
図18のように、設定部102Yは、基準画像における計測対象の鉄筋22のエッジに設定された指定点231~234、直線241および242に対応する位置情報を重畳させた第一参照画像211cを表示部101に表示させる。具体的には、設定部102Yは、第一参照画像211cにおける計測対象の鉄筋22に設定する指定点および近似直線の目安となる位置情報である点931~934および直線941および942を重畳させた第一参照画像211cを表示部101に表示させる。
ここで、第一参照画像211cに重畳される位置情報である点931~934および直線941および942は、計測対象の鉄筋22のエッジの位置から外れており、誤差が生じている。
ただし、設定部102Yは、第一参照画像211cに誤差なく位置情報を重畳させなくてもよく、ユーザが第一参照画像211cにおける計測対象の鉄筋22のエッジに指定点を指定するための目安となる精度で重畳されればよい。
例えば、設定部102Yは、第一参照画像211cにおける計測対象の鉄筋22の付近に点931、点932および直線941を重畳することにより、第一参照画像211c上の計測対象の鉄筋22のエッジに設定する指定点および近似直線の目安となる位置情報をユーザに示せる。
これにより、ユーザは、第一参照画像211cにおける計測対象の鉄筋22を容易に識別し、第一参照画像211cにおける計測対象の鉄筋22のエッジに指定点を指定するのが容易となる。
また、設定部102Yは、第一参照画像211cを表示部101に表示させる場合、平面情報に基づいて算出した位置情報を第一参照画像211cに重畳させた上で、第一参照画像211cにおける位置情報を含む領域を表示部101に拡大表示させてもよい。
以下、図19を用いて、設定部102Yによって、第一参照画像211cにおける位置情報を含む領域を表示部101に拡大表示する例を説明する。図19は、第一参照画像における、拡大表示された領域の一例を示す図である。具体的には、図19は、選択部103Xによって選択された第一参照画像211cにおける、拡大表示された領域951を示す図である。
図19のように、点931~934、直線941および942を位置情報として含む領域951を拡大表示すれば、第一参照画像211c上の計測対象の鉄筋22のエッジに設定する指定点および近似直線の目安となる位置情報をよりわかりやすくユーザに示せる。そのため、ユーザは、第一参照画像211cにおける計測対象の鉄筋22のエッジに指定点を指定するのがより容易となる。
なお、上述の例では、設定部102Yは、基準画像21における指定点の全てを仮想平面900に投影し、基準画像21における指定点の全てに対応する位置情報を第一参照画像211cに重畳している。ただし、本実施形態では、設定部102Yは、基準画像21における指定点の一部を仮想平面900に投影し、基準画像21における指定点の一部に対応する位置情報を第一参照画像211cに重畳してもよい。
例えば、入力部100が、図18に示す第一参照画像211cにおける計測対象の鉄筋22の左側のエッジに対する指定点の入力をユーザから受け付ける場合、設定部102Yは、点931および932のみを第一参照画像211cに投影し、重畳させてもよい。すなわち、設定部102Yは、点933、934、直線941および942を第一参照画像211cに投影せず、重畳させなくてもよい。
同様に、入力部100が、図18に示す第一参照画像211cにおける計測対象の鉄筋22の左側のエッジに対する指定点の入力をユーザから受け付ける場合、設定部102Yは、直線941のみを第一参照画像211cに投影し、重畳させてもよい。すなわち、設定部102Yは、点931~934および直線942を第一参照画像211cに投影せず、重畳させなくてもよい。
また、入力部100が、図18に示す第一参照画像211cにおける計測対象の鉄筋22の右側のエッジに対する指定点の入力をユーザから受け付ける場合、設定部102Yは、点933および934のみを第一参照画像211cに投影し、重畳させてもよい。すなわち、設定部102Yは、点931、932、直線941および942を第一参照画像211cに投影せず、重畳させなくてもよい。
同様に、入力部100が、図18に示す第一参照画像211cにおける計測対象の鉄筋22の右側のエッジに対する指定点の入力をユーザから受け付ける場合、設定部102Yは、直線942のみを第一参照画像211cに投影し、重畳させてもよい。すなわち、設定部102Yは、点931~934および直線941を第一参照画像211cに投影せず、重畳させなくてもよい。
このように、設定部102Yは、第一参照画像211cにおける計測対象の鉄筋22の1つのエッジに指定点を設定するための最低限の位置情報のみを第一参照画像211cに投影および重畳させてもよい。これにより、参照画像上での計測対象のエッジに設定する指定点や近似直線の目安となる最低限の位置情報をユーザに示すことができるため、ユーザは、参照画像における計測対象の一方のエッジに指定点を設定する場合、指定点を設定するのがより容易となる。
なお、設定部102Yは、直線941および942の代わりに、直線941と942との中心を通る中心線を計測対象の鉄筋22の位置を示す直線として、第一参照画像211cに重畳させてもよい。この場合、設定部102Yは、直線941と942とを平均した直線を算出することによって直線941と942との中心線を算出することができる。
また、上述の例では、設定部102Yは、図19のように、位置情報として、点931~934、直線941および942を第一参照画像211cに重畳させた上で、これらの位置情報を含む領域951を表示部101に拡大表示させている。ただし、本実施形態では、設定部102Yは、点931~934、直線941および942などの位置情報を第一参照画像211cに重畳させずに、位置情報を含む領域951を表示部101に拡大表示させてもよい。
位置情報を含む領域951を拡大表示させることにより、第一参照画像211cに位置情報を重畳させなくても、第一参照画像211c上の計測対象の鉄筋22のエッジに設定する指定点および近似直線の目安となる情報をわかりやすくユーザに示すことができる。そのため、ユーザは、第一参照画像211cにおける計測対象の鉄筋22のエッジに指定点を指定するのがより容易となる。
〔計測装置1Yの制御方法〕
次に、図20を用いて、実施形態3に係る計測装置1Yの制御方法を説明する。図20は、実施形態3に係る計測装置1Yの制御方法の一例を示すフローチャートである。図20のステップS311~S313、S315およびS316は、図14のステップS201~S203、S24およびS205と同様であるため、ここではその説明を省略する。
(ステップS314)
計測装置1Yにおける画像処理装置10Yの設定部102Yは、計測対象の鉄筋が存在する平面を示す平面情報に基づいて、選択部103Xによって選択された参照画像に、当該参照画像における計測対象の位置の目安を示す位置情報を重畳させる。
例えば、設定部102Yは、選択された参照画像に、計測対象の鉄筋の2つのエッジに設定された複数の指定点に対応する複数の点、複数の点の近似直線および2つの当該近似直線の中心線の少なくともいずれかを位置情報として重畳させる。
<実施形態3の変形例>
上述の例では、設定部102Yは、基準画像における計測対象の鉄筋の長手方向に沿った両方のエッジに複数の指定点を設定した後、選択された参照画像における計測対象の鉄筋の長手方向に沿った両方のエッジに複数の指定点を設定している。
ただし、本実施形態では、設定部102Yは、基準画像における計測対象の鉄筋の1つのエッジに対する複数の指定点の設定と、選択された参照画像における計測対象の鉄筋の1つのエッジに対する複数の指定点の設定とを交互に行ってもよい。
この場合、設定部102Yは、図17において、基準画像21における指定点231および232を第一参照画像211cに投影および重畳させた後、基準画像21における計測対象の鉄筋22のエッジに指定点233および234を設定する。続いて、設定部102Yは、基準画像における指定点233および234を第一参照画像211cに投影および重畳させる。
これにより、参照画像における計測対象の鉄筋のエッジに設定する指定点や近似直線の目安となる位置情報を、逐一ユーザに示すことができるため、ユーザは、その都度、位置情報を参照しながら、参照画像における計測対象のエッジに指定点を指定できる。
その結果、位置情報が基準画像における計測対象の鉄筋に対応する計測対象の鉄筋のエッジから外れた位置にあっても、設定部102Yは、逐一、参照画像における当該計測対象の鉄筋のエッジ上など、ユーザの所望の位置に指定点を設定できる。
〔計測装置1Yの制御方法〕
次に、図21を用いて、実施形態3の変形例に係る計測装置1Yの制御方法を説明する。図21は、実施形態3の変形例に係る計測装置1Yの制御方法の一例を示すフローチャートである。図21のステップS311~S313、S315、S316、S318およびS319は、図15のステップS211~S213、S214~S217と同様であるため、ここではその説明を省略する。
(ステップS314)
計測装置1Yにおける画像処理装置10Yの設定部102Yは、選択部103Xによって選択された参照画像に、計測対象の鉄筋の一方のエッジに設定された複数の指定点に対応する位置情報を重畳させる。
例えば、設定部102Yは、選択された参照画像に、計測対象の鉄筋の一方のエッジに設定された複数の指定点に対応する複数の点、複数の点の近似直線および2つの当該近似直線の中心線の少なくともいずれかを位置情報として重畳させる。
(ステップS317)
設定部102Yは、選択部103Xによって選択された参照画像に、計測対象の鉄筋の他方のエッジに設定された複数の指定点に対応する位置情報を重畳させる。
例えば、設定部102Yは、選択された参照画像に、計測対象の鉄筋の他方のエッジに設定された複数の指定点に対応する複数の点、複数の点の近似直線および2つの当該近似直線の中心線の少なくともいずれかを位置情報として重畳させる。
〔ソフトウェアによる実現例〕
計測装置1、1Xおよび1Yにおける画像処理装置10、10Xおよび10Y(装置)の機能は、当該装置としてコンピュータを機能させるための画像処理プログラムであって、当該装置の各制御ブロックとしてコンピュータを機能させるための画像処理プログラムにより実現することができる。
この場合、上記装置は、上記画像処理プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記画像処理プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
上記画像処理プログラムは、一時的ではなく、コンピュータ読み取り可能な1または複数の記録媒体に記録されていてもよい。また、この記録媒体に記録された画像処理プログラムを、コンピュータシステムに読み込ませたり、インターネットからダウンロードしたりして実行することにより各部の処理を行ってもよい。
上記記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記画像処理プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。上記コンピュータシステムは、OSおよび周辺機器などのハードウェアを含み、WWWシステムを利用している場合であれば、ホームページ提供環境または表示環境も含むものとする。
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
また、上記各実施形態で説明した各処理は、AI(Artificial Intelligence:人工知能)に実行させてもよい。この場合、AIは上記制御装置で動作するものであってもよいし、他の装置(例えばエッジコンピュータまたはクラウドサーバなど)で動作するものであってもよい。
〔まとめ〕
本発明の態様1に係る画像処理装置は、基準撮像部によって計測対象が撮像された基準画像における、当該計測対象の1以上のエッジごとに複数の指定点を設定する設定部と、前記基準画像における前記複数の指定点に基づいて、複数の参照撮像部のそれぞれによって前記計測対象が撮像された複数の参照画像の中から、計測に使用する参照画像を選択する選択部とを備え、前記設定部は、前記基準画像における前記複数の指定点に基づいて、前記基準画像における前記計測対象の長手方向を算出し、前記選択部は、前記基準画像における前記計測対象の長手方向と、前記基準撮像部と前記複数の参照撮像部のそれぞれとが並ぶ方向である基線方向と、のなす角度に基づいて、前記計測に使用する参照画像を選択する。
本発明の態様2に係る画像処理装置は、上記態様1において、前記選択部は、前記計測対象の長手方向と、前記基線方向とのなす角度が最も直角に近い参照撮像部によって撮像された参照画像を、前記計測に使用する参照画像として選択してもよい。
本発明の態様3に係る画像処理装置は、上記態様1または2において、前記設定部は、前記選択部によって選択された参照画像において、前記計測対象の1以上のエッジごとに複数の指定点を設定してもよい。
本発明の態様4に係る画像処理装置は、上記態様3において、前記設定部は、前記計測対象が存在する平面を示す平面情報に基づいて、前記選択部によって選択された参照画像に、当該参照画像における、前記計測対象の位置の目安を示す位置情報を重畳させてもよい。
本発明の態様5に係る画像処理装置は、上記態様4において、前記設定部は、前記基準画像における前記複数の指定点および前記平面情報に基づいて、前記選択部によって選択された参照画像に、前記基準画像における前記複数の指定点に対応する複数の点、当該複数の点の近似直線および2つの当該近似直線の中心線の少なくともいずれかを、前記位置情報として重畳させてもよい。
本発明の態様6に係る画像処理装置は、上記態様1から5のいずれか1つにおいて、前記基準画像、または、前記選択部によって選択された参照画像における、計測対象の1以上のエッジを含む領域を拡大表示する表示部をさらに備えていてもよい。
本発明の態様7に係る画像処理装置は、上記態様1から6のいずれか1つにおいて、前記基準画像と、前記選択部によって選択された参照画像とに基づいて、前記計測対象を計測する計測部をさらに備えていてもよい。
本発明の態様8に係る画像処理装置の制御方法は、画像処理装置が、基準撮像部によって計測対象が撮像された基準画像における、当該計測対象の1以上のエッジごとに複数の指定点を設定し、前記複数の指定点に基づいて、前記基準画像における前記計測対象の長手方向を算出することと、前記画像処理装置が、前記基準画像における前記複数の指定点に基づいて、複数の参照撮像部のそれぞれによって前記計測対象が撮像された複数の参照画像の中から、計測に使用する参照画像を選択することと、を含み、前記計測に使用する参照画像を選択することは、前記基準画像における前記計測対象の長手方向と、前記基準撮像部と前記複数の参照撮像部のそれぞれとが並ぶ方向である基線方向と、のなす角度に基づいて、前記計測に使用する参照画像を選択する。
本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部(ソフトウェア要素)として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
10、10X、10Y 画像処理装置
11 撮像部
21、21a 基準画像
22、22a 計測対象の鉄筋
101 表示部
102、102X、102Y 設定部
103、103X 選択部
104、104X 計測部
110 基準撮像部
111 第一参照撮像部
112 第二参照撮像部
211、211a、211b、211c 第一参照画像
212、212a 第二参照画像
231、231a、232、232a、233、234、531、532、533、534 指定点
241、242、541、542、901、902、903、904、921、922、923、924、941、942 直線
251 第一基線方向(基線方向)
252 第二基線方向(基線方向)
931、932、933、934 点
261、951、2611 領域

Claims (7)

  1. 基準撮像部によって計測対象が撮像された基準画像における、当該計測対象の1以上のエッジごとに複数の指定点を設定する設定部と、
    前記基準画像における前記複数の指定点に基づいて、複数の参照撮像部のそれぞれによって前記計測対象が撮像された複数の参照画像の中から、計測に使用する参照画像を選択する選択部とを備え、
    前記設定部は、前記基準画像における前記複数の指定点に基づいて、前記基準画像における前記計測対象の長手方向を算出し、
    前記選択部は、前記基準画像における前記計測対象の長手方向と、前記基準撮像部と前記複数の参照撮像部のそれぞれとが並ぶ方向である基線方向と、のなす角度に基づいて、前記計測に使用する参照画像を選択し、
    前記設定部は、前記選択部によって選択された参照画像において、前記計測対象の1以上のエッジごとに複数の指定点を設定し、
    前記設定部は、前記計測対象が存在する平面を示す平面情報に基づいて、前記選択部によって選択された参照画像に、当該参照画像における前記計測対象の位置の目安を示す位置情報を重畳させることを特徴とする画像処理装置。
  2. 前記選択部は、前記計測対象の長手方向と、前記基線方向とのなす角度が最も直角に近い参照撮像部によって撮像された参照画像を、前記計測に使用する参照画像として選択することを特徴とする請求項1に記載の画像処理装置。
  3. 前記設定部は、前記基準画像における前記複数の指定点および前記平面情報に基づいて、前記選択部によって選択された参照画像に、前記基準画像における前記複数の指定点に対応する複数の点、当該複数の点の近似直線および2つの当該近似直線の中心線の少なくともいずれかを、前記位置情報として重畳させることを特徴とする請求項に記載の画像処理装置。
  4. 前記基準画像、または、前記選択部によって選択された参照画像における、前記計測対象の1以上のエッジを含む領域を拡大表示する表示部をさらに備えることを特徴とする請求項1からの何れか1項に記載の画像処理装置。
  5. 前記基準画像と、前記選択部によって選択された参照画像とに基づいて、前記計測対象を計測する計測部をさらに備えることを特徴とする請求項1からのいずれか1項に記載の画像処理装置。
  6. 画像処理装置が、基準撮像部によって計測対象が撮像された基準画像における、当該計測対象の1以上のエッジごとに複数の指定点を設定することと、前記複数の指定点に基づいて、前記基準画像における前記計測対象の長手方向を算出することと、
    前記画像処理装置が、前記基準画像における前記複数の指定点に基づいて、複数の参照撮像部のそれぞれによって前記計測対象が撮像された複数の参照画像の中から、計測に使用する参照画像を選択することと、を含み、
    前記計測に使用する参照画像を選択することは、前記基準画像における前記計測対象の長手方向と、前記基準撮像部と前記複数の参照撮像部のそれぞれとが並ぶ方向である基線方向と、のなす角度に基づいて、前記計測に使用する参照画像を選択することを含み、
    前記計測対象の1以上のエッジごとに複数の指定点を設定することは、前記計測に使用する参照画像を選択することによって選択された参照画像において、前記計測対象の1以上のエッジごとに複数の指定点を設定することを含み、
    前記計測対象の1以上のエッジごとに複数の指定点を設定することは、前記計測対象が存在する平面を示す平面情報に基づいて、前記計測に使用する参照画像を選択することによって選択された参照画像に、当該参照画像における前記計測対象の位置の目安を示す位置情報を重畳させることを含むことを特徴とする画像処理装置の制御方法。
  7. 請求項1からのいずれか1項に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、前記設定部および前記選択部としてコンピュータを機能させるための画像処理プログラム。
JP2021114501A 2021-07-09 2021-07-09 画像処理装置、画像処理装置の制御方法および画像処理プログラム Active JP7696772B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021114501A JP7696772B2 (ja) 2021-07-09 2021-07-09 画像処理装置、画像処理装置の制御方法および画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021114501A JP7696772B2 (ja) 2021-07-09 2021-07-09 画像処理装置、画像処理装置の制御方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2023010392A JP2023010392A (ja) 2023-01-20
JP7696772B2 true JP7696772B2 (ja) 2025-06-23

Family

ID=85118925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021114501A Active JP7696772B2 (ja) 2021-07-09 2021-07-09 画像処理装置、画像処理装置の制御方法および画像処理プログラム

Country Status (1)

Country Link
JP (1) JP7696772B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016217944A (ja) 2015-05-22 2016-12-22 シャープ株式会社 計測装置、および計測方法
JP2018173276A (ja) 2017-03-31 2018-11-08 オリンパス株式会社 計測支援装置、計測支援方法及びプログラム
JP2020165748A (ja) 2019-03-29 2020-10-08 鹿島建設株式会社 検査支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016217944A (ja) 2015-05-22 2016-12-22 シャープ株式会社 計測装置、および計測方法
JP2018173276A (ja) 2017-03-31 2018-11-08 オリンパス株式会社 計測支援装置、計測支援方法及びプログラム
JP2020165748A (ja) 2019-03-29 2020-10-08 鹿島建設株式会社 検査支援装置

Also Published As

Publication number Publication date
JP2023010392A (ja) 2023-01-20

Similar Documents

Publication Publication Date Title
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
US11222433B2 (en) 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images
US10582188B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
JP5715735B2 (ja) 3次元測定方法、装置、及びシステム、並びに画像処理装置
CN109377551B (zh) 一种三维人脸重建方法、装置及其存储介质
US10776937B2 (en) Image processing apparatus and image processing method for setting measuring point to calculate three-dimensional coordinates of subject image with high reliability
JP2012058076A (ja) 3次元計測装置及び3次元計測方法
WO2014181725A1 (ja) 画像計測装置
JP2017151026A (ja) 三次元情報取得装置、三次元情報取得方法、及びプログラム
JP2008275366A (ja) ステレオ3次元計測システム
JP2015206654A (ja) 情報処理装置、情報処理方法、プログラム
TWI417774B (zh) 光學距離判斷裝置、光學觸控螢幕系統及光學觸控測距之方法
WO2008075632A1 (ja) 複眼測距装置の検査方法および検査装置並びにそれに用いるチャート
JP2013207745A (ja) 画像撮像装置、画像処理方法およびプログラム
EP3825649A1 (en) Ranging camera
WO2020075213A1 (ja) 計測装置、計測方法および顕微鏡システム
JP7696772B2 (ja) 画像処理装置、画像処理装置の制御方法および画像処理プログラム
TWI412725B (zh) 距離量測與定位方法
US20190347827A1 (en) Image processing device, image processing method, and image processing program
JP3221384B2 (ja) 三次元座標計測装置
RU2579532C2 (ru) Оптико-электронный стереоскопический дальномер
JP2003264852A (ja) 立体画像表示装置及び方法
JP2014197004A (ja) 画像計測装置
CN107835931B (zh) 监测三维实体的线性尺寸的方法
JP6730029B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250611

R150 Certificate of patent or registration of utility model

Ref document number: 7696772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150