JP6944560B2

JP6944560B2 - トンネル撮影画像処理装置及びプログラム

Info

Publication number: JP6944560B2
Application number: JP2020044985A
Authority: JP
Inventors: 曽根　敦; 敦曽根; 洋市浦本; 学高松; 准也中野
Original assignee: Pasco Corp
Current assignee: Pasco Corp
Priority date: 2020-03-16
Filing date: 2020-03-16
Publication date: 2021-10-06
Anticipated expiration: 2040-03-16
Also published as: JP2021148432A

Description

この発明は、トンネル撮影画像処理装置及びプログラムに関する。

トンネルの壁面などを撮影した撮影データに基づいて異常などの検出を行う技術がある。特許文献１では、複数の位置（視点）からの撮影画像の特徴点に基づいて、トンネルの壁面をポリゴン化して、撮影画像中の注目事象の位置を特定する技術について開示されている。

また、位置の特定された撮影データは、展開図として２次元表示され得る。通常、視点からトンネル壁面までの距離は不均一であるので、複数の撮影画像を単純につなぐだけでは歪みが大きくなる。上記特許文献１では、展開図上の２次元座標は、視点位置を考慮しながら３次元座標から投影されて得られる。

国際公開第２０１８／１５５５９０号

しかしながら、単純に撮影位置を視点位置としてトンネルの壁面形状を２次元面に投影していくと、曲面状のトンネルの位置に応じて視線方向が変化することになり、凹凸の見え方が場所に応じて異なって見づらいという課題がある。

この発明の目的は、より見やすい展開図を得ることのできるトンネル撮影画像処理装置及びプログラムを提供することにある。

上記目的を達成するため、本開示は、
トンネル壁面を撮影した複数の撮影画像から得られた前記トンネル壁面の位置情報に基づいて当該壁面を前記複数の撮影画像の撮影範囲とは独立した複数の設定範囲に分割し、前記設定範囲ごとに当該設定範囲に応じた視点位置をそれぞれ定めて所定の投影画像を生成し、複数の前記設定範囲の前記投影画像により、前記壁面の展開図を生成する画像処理部を備えることを特徴とするトンネル撮影画像処理装置である。

本開示に従うと、トンネルの壁面の撮影画像に係るより見やすい展開図を得ることができるという効果がある。

本実施形態のトンネル撮影画像処理装置である処理装置の機能構成を示すブロック図である。展開図の生成について説明する図である。展開図の生成について説明する図である。トンネル展開図生成処理の制御手順を示すフローチャートである。展開図の生成の変形例について説明する図である。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本実施形態のトンネル撮影画像処理装置（コンピュータ）である処理装置１の機能構成を示すブロック図である。

処理装置１は、通常のコンピュータ（ＰＣ）であってよい。処理装置１は、制御部１１（画像処理部）と、記憶部１２と、入出力インターフェイス１３（Ｉ／Ｆ）と、操作受付部１４と、表示部１５などを備える。

制御部１１は、各種演算処理を行うプロセッサであり、例えば、ＣＰＵ（Central Processing Unit）などを備える。ＣＰＵは、記憶部１２からプログラムなどを読み込んで実行することで各種制御処理を行う。

記憶部１２は、各種データを記憶するメモリである。メモリには、ＲＡＭ（Random Access Memory）と不揮発性メモリとが含まれる。ＲＡＭは、ＣＰＵに作業用のメモリ空間を提供し、一時データを記憶する。不揮発性メモリは、プログラム、設定データ及び生成したトンネル展開図のデータなどを記憶保持する。不揮発性メモリにはフラッシュメモリが含まれ、あるいは、これに代えて又は加えてＨＤＤ（Hard Disk Drive）などが含まれてもよい。また、初期制御プログラムなどは、ＲＯＭ（Read Only Memory）に格納されていてもよい。プログラムには、後述のトンネル展開図生成処理に係るプログラム１２１が含まれる。

入出力インターフェイス１３は、処理装置１によりアクセスされる外部の各種データを記憶する外部データ記憶部２０を有する各種機器と接続するための構成、ここでは、接続端子１３１及び通信部１３２などを備える。接続端子１３１には、例えば、ＵＳＢ（Universal Serial Bus）など各種規格に応じたものが含まれてよい。接続端子１３１には、大型のＨＤＤといった補助記憶装置、並びにＣＤＲＯＭ、ＤＶＤ及びＢｌｕ−ｒａｙ（登録商標）といった光学ディスクなどの可搬型記憶媒体を読み取る光学読取装置２２などの周辺機器が接続される。また、可搬型記憶媒体に磁気テープが含まれ、この磁気テープを読み取る読取装置が周辺機器に含まれてもよい。通信部１３２は、例えば、ＬＡＮ（Local Area Network）などの通信規格に基づいて、ネットワーク回線を介した外部機器との間の通信を制御する。外部機器には、他のＰＣ及び専用のデータベース装置２１などが含まれていてもよい。

外部データ記憶部２０に記憶されるデータには、撮影画像データ２０１、撮影位置データ２０２及びトンネル壁面画像データ２０３などが含まれていてもよい。

撮影画像データ２０１は、撮影機器、ここでは、光学カメラにより撮影されたトンネル内の壁面の画像データである。撮影位置データ２０２は、光学カメラの方向（仰角θ、図２参照）、及びトンネルの延在方向に係る撮影位置を示す情報を含む。例えば、トンネルの延在方向に垂直な方向を向いた光学カメラを複数台用意し、各々仰角θを異ならせて配置して、当該光学カメラをトンネルの延在方向に移動させながら所定間隔で撮影を行うことでトンネルの壁面全体の撮影画像データを得る。隣り合う仰角θの撮影範囲を有する光学カメラの撮影範囲と、同一の光学カメラによる前後のタイミングの撮影範囲とは、いずれも重複範囲を有する。この場合、撮影位置データ２０２には、撮影日時の情報などが含まれてもよい。また、撮影位置を示す情報は、３次元座標であり、３次元座標は、例えば、緯度、経度及び標高の値、又は所定の原点位置から北向きを正とした第１成分の距離の値、上記所定の原点位置から東向きを正とした第２成分の距離の値、及び上記所定の原点から鉛直方向上向きを正とした第３成分の距離の値である。前者の標高の値及び後者の場合における各成分の距離の値の単位は、例えば、「ｍ」である。

なお、トンネルの壁面状態は、通常では、短時間で変化しないので、トンネルの延在方向について左側と右側の撮影を異なるタイミングで別個に行ってもよい。例えば、進行方向の左側を撮影可能な走行車両の向きを反転して往復させて、両側の壁面の撮影データを取得してもよい。

また、トンネル壁面画像データ２０３は、撮影画像データ２０１及び撮影位置データ２０２に基づいて後述の処理で生成されたトンネルの３次元形状モデルデータ、３次元形状と対応付けられた各画素の位置データや、展開図のデータが含まれる。

操作受付部１４は、ユーザなどの外部からの操作を受け付けて、入力信号として制御部１１へ出力する。操作受付部１４には、例えば、キーボード、ポインティングデバイス、タッチパネル、押しボタンスイッチなどが含まれていてもよく、また、これらに限られない。

表示部１５は、制御部１１の制御に基づく内容の表示を表示画面に行わせる。表示画面としては、例えば、液晶画面などが挙げられる。また、表示部１５は、各種の状態を示すＬＥＤ（Light Emitting Diode）ランプなどを有していてもよい。

次に、本実施形態のトンネル展開図の生成について説明する。
まず、トンネルの複数の壁面の撮影画像のデータ（撮影画像データ２０１）と撮影を行った位置のデータ（撮影位置データ２０２）から３次元壁面データ（トンネル壁面画像データ２０３）を生成する。３次元壁面データは、例えば、ＳｆＭ（Structure from Motion）により得られる。ＳｆＭでは、複数の撮影データにおける重複部分の特徴に基づいて、３次元の位置関係が特定され、各特徴点の３次元座標が定められる。なお、３次元壁面データは、トンネルの延在方向について適宜複数に区切られてもよい。その後、３次元壁面データに基づいて２次元の展開図を得る。

図２及び図３は、展開図の生成について説明する図である。図２では、トンネルＴの断面を示している。図３では、トンネルＴの断面のうち、区切られた壁面部分Ｗｓのうち２つに対応する部分を拡大して示している。

図２に示すように、トンネルＴの壁面Ｗは、通常、少なくとも上方（天井付近）が曲面状になっている。高さと幅の比は、トンネルによって異なり、これらの大きさに応じて、形状も異なり得る。トンネルＴの壁面Ｗには、非常退避用及びトンネル内設備の配置用のくぼみなどがあってもよい。また、トンネルＴの壁面Ｗに沿って位置する照明、標識、ケーブルなどは、壁面Ｗの突起部分としてみなされてよい。

壁面Ｗの撮影画像データ２０１は、上述のように、トンネルＴの延在方向に垂直な方向を向いた光学カメラを複数台、各々仰角θ（水平面からの角度。底面からの角度であってもよい）を異ならせて車両上に配置して、当該車両をトンネルＴの延在方向に走行させながら適宜な間隔で撮影を行うことで得られる。この場合、撮影位置Ｐから壁面Ｗまでの距離や視線方向と壁面Ｗとのなす角は、撮影方向に応じて変化する。

そこで、本実施形態では、上記ＳｆＭで得られたトンネルＴの壁面Ｗを仰角θ方向について所定の角度範囲ａごとに複数に区切って分割する。次いで、図３に示すように、区切られた各壁面部分Ｗｓ（設定範囲）に応じた視線方向、ここでは、各壁面部分Ｗｓをそれぞれ規定する平面（基準平面Ｗｒ、太実線）に正対する位置から見た（正対する面に投影した）投影画像の２次元画像データ（投影データ）を各々生成する。ここでは、例えば、基準平面Ｗｒに正対し平行な面Ｗｐから（に）平行投影（正射影）された２次元画像のデータが生成される。処理の簡略化のため、視点位置（面Ｗｐ）が壁面部分Ｗｓの全ての点よりもトンネルＴの内側（トンネルＴの壁面Ｗから内向き方向について正の位置）となるように、基準平面Ｗｒと面Ｗｐとの距離が特定の値に定められてもよい。すなわち、これにより、各壁面部分Ｗｓについて、視線方向が撮影位置から壁面部分Ｗｓを見た方向とは異なる方向、特に、ここでは、基準平面Ｗｒに垂直な方向に変更され、撮影位置と異なる視点位置での投影画像となる。なお、本実施形態の角度範囲ａの設定では、全ての視点位置が変化するが、もともと撮影方向が壁面Ｗに垂直な部分を含む区切り方で角度範囲ａを定めた場合には、一部の角度範囲ａの視点位置及び視線方向が結果的に変化しない場合があってもよい。視線方向を定める処理自体は上記と同様に行われてよい。

そして、これらの投影データの画像をつないで展開図を生成する。壁面部分Ｗｓを定める角度範囲ａは、曲面状の壁面部分Ｗｓとこれを基準平面Ｗｒとの乖離が十分に小さい範囲内で定められ、ここでは、例えば、１０度である。すなわち、角度範囲ａは、光学カメラの台数などとは独立に設定されてもよい。あるいは、分割される壁面部分Ｗｓの数は、光学カメラの数の整数倍であってもよい。角度範囲ａは、トンネル形状などに応じて変更可能であってもよい。

このような展開図の生成により、上記のくぼみや突起部分の見え方が展開図内で統一される。
なお、上記のように、撮影位置ＰからトンネルＴの壁面Ｗまでの距離が大きい壁面部分Ｗｓでは、撮影エリア内に写る面積が増大するので、面Ｗｐのサイズも大きくなる。一方で、サイズとは相対的に、撮影エリア内の解像度が低下する。これに伴って、展開図の解像度も場所に応じて異なる。なお、１画素が示す実面積が同一になるように、例えば、線形補間などで画像データが調整されてもよい。

基準平面Ｗｒは、通常では、区切られた壁面部分Ｗｓの４隅で特定される矩形面であってよい。あるいは、４隅のうち一部が上記突起部分やくぼみなどに該当する場合には、該当する点を除外したり、周囲の他の点や平均位置などが利用されたりしてもよい。

図４は、処理装置１で実行されるトンネル展開図生成処理の制御部１１による制御手順を示すフローチャートである。このトンネル展開図生成処理は、例えば、トンネルＴの壁面Ｗの撮影画像データ２０１と撮影位置データ２０２の指定とともに、ユーザなどによる操作受付部１４への開始命令の入力操作に基づいて開始される。

制御部１１は、外部データ記憶部２０から撮影画像データ２０１及び撮影位置データ２０２を取得する（ステップＳ１）。制御部１１は、ＳｆＭモデルを用いて撮影画像の特徴点に基づきトンネル形状を３次元モデル化する。また、制御部１１は、撮影データの各画素の３次元座標を特定する（ステップＳ２）。３次元モデルデータは、トンネル壁面画像データ２０３として入出力Ｉ／Ｆ１３を介して外部データ記憶部２０に記憶されてもよい。

制御部１１は、モデル化されたトンネルＴの壁面Ｗを所定の角度範囲ごとに区分する（ステップＳ３）。制御部１１は、区分された壁面部分Ｗｓの基準平面Ｗｒを設定する（ステップＳ４）。制御部１１は、基準平面Ｗｒに垂直な視線方向を定め、当該視線方向に沿った正射影（平行投影）で壁面部分Ｗｓの投影画像を生成する（ステップＳ５）。

制御部１１は、仰角方向に隣り合った投影画像をつなぎ合わせて、トンネルの延在方向について所定の位置での展開図を生成する（ステップＳ６）。また、この展開図の生成をトンネルの延在方向について各位置で行い、つなぎ合わせる。制御部１１は、得られた展開図のデータを、入出力Ｉ／Ｆ１３を介して外部データ記憶部２０に記憶させる。そして、制御部１１は、トンネル展開図生成処理を終了する。
上記トンネル展開図生成処理のうち、少なくともステップＳ３〜Ｓ６の処理が本実施形態のプログラムにおける画像処理手段を構成する。

図５は、展開図の生成の変形例について説明する図である。この図５は、図３と同一部分を示している。

上記実施の形態では、平行投影（正射影）で各壁面部分Ｗｓの平面図を生成するものとして説明したが、透視投影で平面図を生成してもよい。この場合、視点位置Ｐｐは、基準平面Ｗｒの中心位置、すなわち、矩形の基準平面Ｗｒの４隅の点の重心位置Ｐｇを通り、基準平面Ｗｒに垂直な線上となる。重心位置Ｐｇは、例えば、４隅の対角線の交点により得られてもよいし、上辺と下辺の中線（例えば、図５において基準平面Ｗｒ１の上辺及び下辺からの距離がそれぞれｄ１の線、及び基準平面Ｗｒ２の上辺及び下辺からの距離がｄ２の線など）、及び左辺と右辺の中線の交点などにより得られてもよい。あるいは、視点位置Ｐｐは、対向する２辺を挟んで基準平面Ｗｒとの間でなす角が等しい所定の角度となる（例えば、図５において、基準平面Ｗｒ１に係る２つの角ｂ１が同一であり、基準平面Ｗｒ２に係る２つの角ｂ２が同一である）２本の線Ｌｆ（線Ｌｆをそれぞれ含む２面）の交点に基づいて得られてもよい。

基準平面Ｗｒと視点位置Ｐｐとの距離は、適宜な一律な値であってよく、上記と同様に、壁面部分Ｗｓの全ての点に対し、基準平面Ｗｒの垂線方向についてトンネルＴの内側となるように定められてよい。例えば、特に、この距離は、底面におけるトンネルＴの幅の半分程度の値とされてもよい。

以上のように、本実施形態の処理装置１は、制御部１１を備える。制御部１１は、画像処理部として、トンネルＴの壁面Ｗを撮影した複数の撮影画像から得られた当該トンネルＴの壁面Ｗの位置情報に基づいて、壁面Ｗを分割した壁面部分Ｗｓごとに、当該壁面部分Ｗｓに応じた視点位置を定めて正射影画像を生成し、複数の壁面部分Ｗｓの投影画像の組合せ（つなぎ合わせ）により、トンネルＴの壁面Ｗの展開図を生成する。
ここでいう、壁面部分Ｗｓに応じた視点位置とは、壁面部分Ｗｓ（基準平面Ｗｒ）の向きなどに起因して定められることをいい、壁面Ｗに対する撮影位置などの視点位置が予め定まっていることを意味しない。
このような処理により、曲面形状の壁面Ｗの展開図の視線方向を見やすい向きに調整、特に、合わせることができるので、より見やすい展開図を容易に得ることができる。また、適宜な壁面部分Ｗｓごとに同一の視線方向が設定されるので、撮影位置との位置関係に応じて各点を個別に投影面にマッピングしていくよりも容易な処理で展開図を得ることができる。

また、定められた視点位置からトンネルＴの壁面Ｗへの視線方向は、展開図の中心で壁面部分Ｗｓを規定する基準平面Ｗｒに垂直な方向である。すなわち、各壁面部分Ｗｓを正対する位置から投影した画像を得るので、壁面Ｗの凹凸部分の見え方をそろえることができる。したがって、この処理装置１で得られた展開図を用いた解析や診断により、安定した判断を行いやすい。

また、制御部１１は、壁面部分Ｗｓに正対する位置を視点位置とする平行投影画像を当該壁面部分Ｗｓごとに生成する。中心位置だけでなく、壁面部分Ｗｓ全体を平行投影することで、より一様な見え方の展開図を得ることができるので、展開図の使用者が壁面状態をより見やすく、また、一律に異常などを判断しやすい。

また、視点位置は、トンネルＴの壁面Ｗから内向き方向について正の位置に定められる。投影時に壁面Ｗの裏側から見ないように視点位置を設定することで、より容易な処理で投影画像を得ることができる。

また、本実施形態のプログラム１２１をコンピュータにインストールして制御部１１のＣＰＵによりソフトウェア的に画像処理手段としての処理を行わせることで、特殊なハードウェアなどを用意せずに容易により見やすいトンネルの展開図を生成することができる。

なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、角度範囲ａごとにトンネルＴの壁面Ｗを区切ることとしたが、必ずしも角度範囲ａごとで区切らなくてもよい。高さ（長さ）を基準として区切ってもよいし、角度範囲ａが一定の値でなくてもよい。

また、トンネルの３次元壁面データの生成を行うＳｆＭに係るプログラムは、プログラム１２１に含まれていなくてもよい。外部プログラムで生成された３次元壁面データが取得されて、当該３次元壁面データに基づく展開図の生成に係る処理のみがプログラム１２１により行われてもよい。

また、３次元壁面データは、適切に得られる手法であれば、ＳｆＭに限らず他の手法で得られてもよい。

また、透視投影を行う場合、視点位置Ｐｐは、壁面部分Ｗｓの中心位置に限られない。中心位置から多少のずれがあってもよい。また、平行投影を行う場合、視線方向が適切にそろえられていれば、基準平面Ｗｒに垂直な視線方向とは限らない。

また、基準平面Ｗｒは、４隅の点に基づいて定められなくてもよい。４隅の点で囲まれる範囲内の点から回帰的に基準平面Ｗｒが定められてもよい。この場合、４隅の点が基準平面Ｗｒ上になくてもよい。

また、上記実施の形態では、トンネル断面の幅方向について中心で撮影がなされているものとして説明したが、これに限られない。例えば、中心よりもトンネルＴの壁面Ｗの側に寄った位置で撮影がなされていてもよい。

また、上記実施の形態では、トンネルＴの内側に視点位置を置いて、壁面Ｗの投影画像を得ることとしたが、壁面Ｗが適切に表示される処理が行われれば、視点位置が必ずしもトンネルＴの内側に位置していなくてもよい。

また、上記実施の形態では、処理は、制御部１１のＣＰＵが全てプログラム１２１に基づいて実行するものとして説明したが、一部が専用のハードウェア回路などで実行されてもよい。

また、以上の説明では、トンネル展開図生成処理に係るプログラム１２１を記憶するコンピュータ読み取り可能な媒体として、フラッシュメモリやＨＤＤを含む不揮発性メモリを有する記憶部１２を例に挙げて説明したが、これに限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ−ＲＯＭやＤＶＤディスクなどの可搬型記憶媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。本発明の範囲は、特許請求の範囲に記載した発明の範囲とその均等の範囲を含む。

１処理装置
１１制御部
１２記憶部
１２１プログラム
１３入出力インターフェイス
１３１接続端子
１３２通信部
１４操作受付部
１５表示部
２０外部データ記憶部
２０１撮影画像データ
２０２撮影位置データ
２０３トンネル壁面画像データ
２１データベース装置
２２光学読取装置
Ｐ撮影位置
Ｐｐ視点位置
Ｔトンネル
Ｗ壁面
Ｗｒ、Ｗｒ１、Ｗｒ２基準平面
Ｗｓ壁面部分
ａ角度範囲

Claims

トンネルの壁面を撮影した複数の撮影画像から得られた前記壁面の３次元位置情報に基づいて当該壁面を前記複数の撮影画像の撮影範囲とは独立した複数の設定範囲に分割し、前記設定範囲ごとに当該設定範囲に応じた視点位置をそれぞれ定めて所定の投影画像を生成し、複数の前記設定範囲の前記投影画像により、前記壁面の展開図を生成する画像処理部を備えることを特徴とするトンネル撮影画像処理装置。
前記定められた視点位置から前記壁面への視線方向は、前記展開図の中心で前記設定範囲を規定する平面に垂直な方向であることを特徴とする請求項１記載のトンネル撮影画像処理装置。
前記画像処理部は、前記設定範囲に正対する位置を前記視点位置とする平行投影画像を当該設定範囲ごとに生成することを特徴とする請求項１又は２記載のトンネル撮影画像処理装置。
前記視点位置は、前記壁面から前記トンネルの内向き方向について正の位置に定められることを特徴とする請求項１〜３の何れか一項に記載のトンネル撮影画像処理装置。
コンピュータを、
トンネルの壁面を撮影した複数の撮影画像から得られた前記壁面の３次元位置情報に基づいて当該壁面を前記複数の撮影画像の撮影範囲とは独立した複数の設定範囲に分割し、前記設定範囲ごとに当該設定範囲に応じた視点位置をそれぞれ定めて所定の投影画像を生成し、複数の前記設定範囲の前記投影画像により、前記壁面の展開図を生成する画像処理手段
として機能させることを特徴とするプログラム。