以下、添付図面に従って本開示の技術に係る情報処理装置、情報処理システム、情報処理方法、及びプログラムの実施形態の一例について説明する。
先ず、以下の説明で使用される文言について説明する。
CPUとは、“Central Processing Unit”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。NVMとは、“Non-volatile memory”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。ICとは、“Integrated Circuit”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。I/Fとは、“Interface”の略称を指す。UIとは、“User Interface”の略称を指す。fpsとは、“frame per second”の略称を指す。MFとは、“Manual Focus”の略称を指す。AFとは、“Auto Focus”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。LANとは、“Local Area Network”の略称を指す。WANとは、“Wide Area Network”の略称を指す。CNNとは、“Convolutional Neural Network”の略称を指す。AIとは、“Artificial Intelligence”の略称を指す。TOFとは、“Time Of Flight”の略称を指す。3Dとは、“3 Dimensions”の略称を指す。5Gとは、“5th Generation”の略称を指す。本明細書の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの一致を指す。
一例として図1に示すように、点検システム10は、情報処理システム12及び駆動系14を備えており、点検対象物16を点検する。点検とは、例えば、点検対象物16の状態の点検を指す。例えば、点検対象物16の損傷の有無及び/又は損傷の程度等が点検システム10によって点検される。点検対象物16は、本開示の技術に係る「撮像シーン」の一例である。
駆動系14は、2軸旋回装置18、車両20、及び昇降装置22を備えている。2軸旋回装置18、車両20、及び昇降装置22の各々は、通信機能を有する。2軸旋回装置18、車両20、及び昇降装置22は、情報処理システム12と通信可能に接続されており、情報処理システム12の制御下で作動する。
図1に示す例では、ゴンドラ付き車両24が示されている。ゴンドラ付き車両24は、車両20、昇降装置22、及びゴンドラ26を有する。車両20は、例えば、4つの車輪20Aを有する電動モータ付き四輪車である。車両20は、外部から与えられた指示に従って走行する。走行とは、例えば、前進、後退、及び蛇行を指す。
昇降装置22は、例えば、パンタグラフ式リフトである。昇降装置22は、パンタグラフ機構28を有する。パンタグラフ機構28は、鉛直方向に沿って伸縮する機構である。車両20の上部には、パンタグラフ機構28が取り付けられている。すなわち、パンタグラフ機構28の一端部28Aが車両20の上部20Bに取り付けられている。パンタグラフ機構28の他端部28Bは、ゴンドラ26の下面26Aに取り付けられており、ゴンドラ26は、パンタグラフ機構28によって下方から支持されている。昇降装置22は、外部から与えられた指示に従って、パンタグラフ機構28を伸縮させることで、鉛直方向に沿ってゴンドラ26を昇降させる。
なお、図1に示す例では、ゴンドラ付き車両24が示されているが、これは、あくまでも一例に過ぎず、高所作業車、橋梁点検車、昇降装置付き電動スライダ、又は昇降装置付き台車等のように、情報処理装置30、タブレット端末32、及び撮像装置34のうちの少なくとも撮像装置34を鉛直方向及び水平方向に移動させる移動装置であればよい。
情報処理システム12は、情報処理装置30、タブレット端末32、及び撮像装置34を備えている。情報処理装置30及び撮像装置34は、ゴンドラ26に設置されている。
情報処理装置30は、例えば、ノート型パーソナルコンピュータである。ここでは、ノート型パーソナルコンピュータを例示しているが、これは、あくまでも一例に過ぎず、デスクトップ型パーソナルコンピュータであってもよい。また、パーソナルコンピュータに限らず、サーバであってもよい。サーバは、オンプレミスで撮像装置34と共に用いられるメインフレームであってもよいし、クラウドコンピューティングによって実現される外部サーバであってもよい。また、サーバは、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現される外部サーバであってもよい。なお、図1に示す例では、情報処理装置30がゴンドラ26に設置されているが、これは、あくまでも一例に過ぎず、ゴンドラ26外に情報処理装置30が設置されていてもよい。
撮像装置34は、例えば、レンズ交換式のデジタルカメラである。ここでは、撮像装置34として、レンズ交換式のデジタルカメラを例示しているが、これは、あくまでも一例に過ぎず、スマートデバイス又はウェアラブル端末等の各種の電子機器に内蔵されるデジタルカメラであってもよい。
撮像装置34は、外部から与えられた指示に従って点検対象物16を撮像する。また、撮像装置34は、測距機能を有する装置である。撮像装置34は、3Dセンサ38を有しており、測距機能は3Dセンサ38によって実現される。3Dセンサ38は、外部から与えられた指示に従って、ステレオカメラ方式の測距とTOF方式の測距とを選択的に行う。本実施形態において、測距とは、撮像装置34から点検対象物16までの距離の計測を指す。なお、以下では、説明の便宜上、3Dセンサ38による測距に適用される座標系と撮像装置34による撮像に適用される座標系とを一致させるキャリブレーションが撮像装置34に対して事前に行われていることを前提として説明する。
ゴンドラ26の柵26Bには、2軸旋回装置18が取り付けられている。撮像装置34は、2軸旋回装置18に旋回可能に設置されている。2軸旋回装置18は、外部から与えられた指示に従って作動することで、撮像装置34をパンさせたりチルトさせたりする。2軸旋回装置18は、パン機構40及びチルト機構42を有する。パン機構40は、パン軸PAを有する。チルト機構42は、チルト軸TAを有する。パン機構40は、パン軸PA周りに撮像装置34を旋回させることで撮像装置34のパンを実現しており、チルト機構42は、チルト軸TA周りに撮像装置34を旋回させることで撮像装置34のチルトを実現している。
タブレット端末32は、タッチパネル式の受付I/Fと通信機能とを有するモバイルデバイスである。タブレット端末32は、ゴンドラ26に乗り込んでいるユーザ36によって使用される。なお、図1に示す例では、ゴンドラ26内でタブレット端末32がユーザ36によって使用されているが、ゴンドラ26外でタブレット端末32がユーザ36によって使用されてもよい。
なお、情報処理システム12は、本開示の技術に係る「情報処理システム」の一例である。情報処理装置30は、本開示の技術に係る「情報処理装置」の一例である。タブレット端末32は、本開示の技術に係る「受付機器」の一例である。撮像装置34は、本開示の技術に係る「撮像装置」の一例である。点検対象物16は、本開示の技術に係る「第1撮像対象」及び「第2撮像対象」の一例である。
情報処理装置30は、タブレット端末32及び撮像装置34に対して通信可能に接続されている。ユーザ36は、タブレット端末32を介して情報処理装置30に対して指示を与えることで、情報処理装置30に対して各種処理を実行させる。
ここで、各種処理とは、例えば、撮像装置34に対して点検対象物16を撮像させる処理、撮像装置34に対して点検対象物16を測距させる処理、駆動系14を作動させる処理、及び画像処理等を指す。
画像処理には、画面生成処理、合成処理、及び点検処理等が含まれる。画面生成処理は、例えば、用途に応じた各種画面を生成する処理である。合成処理は、例えば、撮像装置34によって撮像されることで得られた複数の撮像画像を縦方向及び横方向(例えば、鉛直方向及び水平方向)に繋ぎ合わせてパノラマ化させることによりパノラマ画像を生成する処理である。
点検処理には、例えば、チョーク検出処理及び損傷検出処理が含まれる。チョーク検出処理及び損傷検出処理では、例えば、画像処理によって得られたパノラマ画像が用いられる。チョーク検出処理は、パノラマ画像に像として含まれる点検対象物16にチョークで描かれたチョーク痕を検出する処理である。損傷検出処理は、パノラマ画像に像として含まれる点検対象物16の損傷(例えば、ひび割れ及び/又は錆等)を検出する処理である。チョーク検出処理は、例えば、テンプレートマッチング方式の被写体認識処理によって実現され、損傷検出処理は、例えば、AI方式の被写体認識処理によって実現される。
このように、点検処理では、被写体認識処理が用いられるので、点検処理の精度を高めるためには、パノラマ画像に欠落箇所がないことが好ましい。欠落箇所としては、例えば、複数の撮像画像の繋ぎ合わせが失敗することに起因して生じる隙間(すなわち、空白領域)が挙げられる。
複数の撮像画像を隙間なく繋ぎ合わせるためには、隣接する撮像画像間で、傾き及びサイズを合わせ、かつ、繋ぎ合わせ方向(例えば、縦方向及び横方向)で位置ずれさせることなく既定量(例えば、1フレームのうちの30%程度)をオーバーラップさせた上で撮像装置34によって1フレーム毎の撮像が行われるようにすることが好ましい。オーバーラップさせる理由の1つとしては、繋ぎ合わせの処理では、隣接する撮像画像間で一致する特徴点が参照されて繋ぎ合わされるので、そのために、ある程度の個数の特徴点が必要だからである。
傾き、サイズ、及びオーバーラップ量について、欠落箇所がないパノラマ画像を得る条件として予め定められた条件を満たす複数の撮像画像を得るためには、良好なタイミング(すなわち、傾き、サイズ、及びオーバーラップ量について、欠落箇所がないパノラマ画像を得る条件として予め定められた条件を満たしたタイミング)で撮像装置34に対して撮像を行わせることが必要となる。
このように、良好なタイミングで撮像装置34に対して撮像を行わせるために、点検システム10は、一例として図2~図43に示す構成を備えている。
一例として図2に示すように、情報処理装置30は、コンピュータ44、受付デバイス46、ディスプレイ48、外部I/F50、第1通信I/F52、第2通信I/F54、第3通信I/F56、第4通信I/F58、及び第5通信I/F60を備えている。
コンピュータ44は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ44は、プロセッサ62、ストレージ64、及びRAM66を備えている。プロセッサ62は、本開示の技術に係る「プロセッサ」の一例であり、RAM66は、本開示の技術に係る「メモリ」の一例である。
プロセッサ62、ストレージ64、RAM66、外部I/F50、第1通信I/F52、第2通信I/F54、第3通信I/F56、第4通信I/F58、及び第5通信I/F60は、バス68に接続されている。図2に示す例では、図示の都合上、バス68として1本のバスが図示されているが、複数本のバスであってもよい。バス68は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
プロセッサ62は、例えば、CPU及びGPUを有しており、情報処理装置30の全体を制御する。GPUは、CPUの制御下で動作し、画像処理の実行を担う。
ストレージ64は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ64としては、例えば、HDD及びSSDが挙げられる。なお、HDD及びSSDは、あくまでも一例に過ぎず、HDD及び/又はSSDに代えて、或いは、HDD及び/又はSSDと共に、フラッシュメモリ、磁気抵抗メモリ、及び/又は強誘電体メモリを用いてもよい。
RAM66は、一時的に情報が記憶されるメモリであり、プロセッサ62によってワークメモリとして用いられる。RAM66としては、例えば、DRAM及び/又はSRAM等が挙げられる。
受付デバイス46は、キーボード、マウス、及びタッチパネル等を有しており、ユーザ36(図1参照)からの指示を受け付ける。ディスプレイ48は、プロセッサ62の制御下で、各種情報(例えば、画像及び文字等)を表示する。ディスプレイ48としては、例えば、ELディスプレイ(例えば、有機ELディスプレイ又は無機ELディスプレイ)が挙げられる。なお、ELディスプレイに限らず、液晶ディプレイ等の他の種類のディスプレイであってもよい。
外部I/F50は、情報処理装置30の外部に存在する装置(例えば、スマートデバイス、パーソナルコンピュータ、サーバ、USBメモリ、メモリカード、及び/又はプリンタ等)との間の各種情報の授受を司る。外部I/F50の一例としては、USBインタフェースが挙げられる。USBインタフェースには、スマートデバイス、パーソナルコンピュータ、サーバ、USBメモリ、メモリカード、及び/又はプリンタ等の各種装置(図示省略)が直接的又は間接的に接続される。
第1通信I/F52は、タブレット端末32と通信可能に接続されている。ここでは、第1通信I/F52が既定の無線通信規格でタブレット端末32と無線通信可能に接続されている。既定の無線通信規格とは、例えば、Bluetooth(登録商標)が挙げられる。なお、これ以外の無線通信規格(例えば、Wi-Fi又は5G等)であってもよい。ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。第1通信I/F52は、タブレット端末32との間の情報の授受を司る。例えば、第1通信I/F52は、プロセッサ62からの要求に応じた情報をタブレット端末32に送信する。また、第1通信I/F52は、タブレット端末32から送信された情報を受信し、受信した情報を、バス68を介してプロセッサ62に出力する。
第2通信I/F54は、撮像装置34と通信可能に接続されている。ここでは、第2通信I/F54が既定の無線通信規格でタブレット端末32と無線通信可能に接続されている。また、ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。第2通信I/F54は、撮像装置34との間の情報の授受を司る。例えば、第2通信I/F54は、プロセッサ62からの要求に応じた情報を撮像装置34に送信する。また、第2通信I/F54は、撮像装置34から送信された情報を受信し、受信した情報を、バス68を介してプロセッサ62に出力する。
第3通信I/F56は、2軸旋回装置18と通信可能に接続されている。ここでは、第3通信I/F56が既定の無線通信規格で2軸旋回装置18と無線通信可能に接続されている。また、ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。第3通信I/F56は、2軸旋回装置18との間の情報の授受を司る。例えば、第3通信I/F56は、プロセッサ62からの要求に応じた情報を2軸旋回装置18に送信する。また、第3通信I/F56は、2軸旋回装置18から送信された情報を受信し、受信した情報を、バス68を介してプロセッサ62に出力する。
第4通信I/F58は、車両20と通信可能に接続されている。ここでは、第4通信I/F58が既定の無線通信規格で車両20と無線通信可能に接続されている。また、ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。第4通信I/F58は、車両20との間の情報の授受を司る。例えば、第4通信I/F58は、プロセッサ62からの要求に応じた情報を車両20に送信する。また、第4通信I/F58は、車両20から送信された情報を受信し、受信した情報を、バス68を介してプロセッサ62に出力する。
第5通信I/F60は、昇降装置22と通信可能に接続されている。ここでは、第5通信I/F60が既定の無線通信規格で昇降装置22と無線通信可能に接続されている。また、ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。第5通信I/F60は、昇降装置22との間の情報の授受を司る。例えば、第5通信I/F60は、プロセッサ62からの要求に応じた情報を車両20に送信する。また、第5通信I/F60は、昇降装置22から送信された情報を受信し、受信した情報を、バス68を介してプロセッサ62に出力する。
一例として図3に示すように、タブレット端末32は、コンピュータ70、タッチパネルディスプレイ72、外部I/F74、及び通信I/F76を備えている。
コンピュータ70は、プロセッサ78、ストレージ80、及びRAM82を備えている。プロセッサ78、ストレージ80、及びRAM82は、バス84に接続されている。図3に示す例では、図示の都合上、バス84として1本のバスが図示されているが、複数本のバスであってもよい。バス84は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
プロセッサ78は、例えば、CPU及びGPUを有しており、タブレット端末32の全体を制御する。GPUは、CPUの制御下で動作し、画像処理の実行を担う。
ストレージ80は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ80としては、例えば、フラッシュメモリ及びSSDが挙げられる。なお、フラッシュメモリ及びSSDは、あくまでも一例に過ぎず、フラッシュメモリ及び/又はSSDに代えて、或いは、フラッシュメモリ及び/又はSSDと共に、HDD、磁気抵抗メモリ、及び/又は強誘電体メモリを用いてもよい。
RAM82は、一時的に情報が記憶されるメモリであり、プロセッサ78によってワークメモリとして用いられる。RAM82としては、例えば、DRAM及び/又はSRAM等が挙げられる。
タッチパネルディスプレイ72は、タッチパネル86及びディスプレイ88を有する。ディスプレイ88の一例としては、ELディスプレイが挙げられる。なお、ELディスプレイに限らず、液晶ディプレイ等の他の種類のディスプレイであってもよい。
タッチパネルディスプレイ72は、ディスプレイ88の表示領域に対してタッチパネル86を重ね合わせることによって、又は、ディスプレイ88の内部にタッチパネル機能が内蔵されたインセル型にすることによって形成されている。なお、インセル型は、あくまでも一例に過ぎず、アウトセル型又はオンセル型であってもよい。
外部I/F74は、タブレット端末32の外部に存在する装置(例えば、スマートデバイス、パーソナルコンピュータ、サーバ、USBメモリ、メモリカード、及び/又はプリンタ等)との間の各種情報の授受を司る。外部I/F74の一例としては、USBインタフェースが挙げられる。USBインタフェースには、スマートデバイス、パーソナルコンピュータ、サーバ、USBメモリ、メモリカード、及び/又はプリンタ等の各種装置(図示省略)が直接的又は間接的に接続される。
通信I/F76は、情報処理装置30と通信可能に接続されている。ここでは、通信I/F76が既定の無線通信規格で情報処理装置30の第1通信I/F52と無線通信可能に接続されている。ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。通信I/F76は、情報処理装置30のプロセッサ62とタブレット端末32のプロセッサ78との間の情報の授受を司る。例えば、通信I/F76は、プロセッサ78からの要求に応じた情報を情報処理装置30に送信する。また、通信I/F76は、情報処理装置30のプロセッサ62から第1通信I/F52を介して送信された情報を受信し、受信した情報を、バス84を介してプロセッサ78に出力する。
タブレット端末32は、タッチパネルディスプレイ72によってユーザ36(図1参照)から受け付けられた指示に応じた処理を実行する。例えば、タブレット端末32は、タッチパネルディスプレイ72によって受け付けられた指示に従って、情報処理装置30との間で各種情報の授受を行う。例えば、タブレット端末32は、情報処理装置30から送信された画像を受信し、受信した画像をタッチパネルディスプレイ72に対して表示させる。
一例として図4に示すように、撮像装置34は、交換レンズ90と撮像装置本体92とを備えている。交換レンズ90は、撮像装置本体92に交換可能に装着される。
撮像装置本体92は、イメージセンサ94を備えている。イメージセンサ94は、CMOSイメージセンサである。イメージセンサ94は、被写体(例えば、図1に示す点検対象物16)を撮像する。交換レンズ90が撮像装置本体92に装着された場合に、被写体を示す被写体光は、交換レンズ90を透過してイメージセンサ94に結像され、被写体の画像を示す画像データがイメージセンサ94によって生成される。
なお、ここでは、イメージセンサ94としてCMOSイメージセンサを例示しているが、本開示の技術はこれに限定されず、他のイメージセンサであってもよい。
イメージセンサ94は、光電変換素子96を備えている。光電変換素子96は、受光面96Aを有する。光電変換素子96は、受光面96Aの中心と光軸OAとが一致するように撮像装置本体92内に配置されている。光電変換素子96は、マトリクス状に配置された複数の感光画素を有しており、受光面96Aは、複数の感光画素によって形成されている。感光画素は、フォトダイオード(図示省略)を有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。
交換レンズ90は、撮像レンズ98を備えている。撮像レンズ98は、対物レンズ98A、フォーカスレンズ98B、ズームレンズ98C、及び絞り98Dを有する。対物レンズ98A、フォーカスレンズ98B、ズームレンズ98C、及び絞り98Dは、被写体側(物体側)から撮像装置本体92側(像側)にかけて、光軸OAに沿って、対物レンズ98A、フォーカスレンズ98B、ズームレンズ98C、及び絞り98Dの順に配置されている。
交換レンズ90は、制御装置102、第1アクチュエータ104、第2アクチュエータ106、及び第3アクチュエータ108を備えている。制御装置102は、撮像装置本体92からの指示に従って交換レンズ90の全体を制御する。制御装置102は、例えば、CPU、NVM、及びRAM等を含むコンピュータを有する装置である。なお、ここでは、コンピュータを例示しているが、これは、あくまでも一例に過ぎず、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、制御装置102として、例えば、ハードウェア構成及びソフトウェア構成の組み合わせによって実現される装置を用いてよい。
第1アクチュエータ104は、フォーカス用スライド機構(図示省略)及びフォーカス用モータ(図示省略)を備えている。フォーカス用スライド機構には、光軸OAに沿ってスライド可能にフォーカスレンズ98Bが取り付けられている。また、フォーカス用スライド機構にはフォーカス用モータが接続されており、フォーカス用スライド機構は、フォーカス用モータの動力を受けて作動することでフォーカスレンズ98Bを光軸OAに沿って移動させる。
第2アクチュエータ106は、ズーム用スライド機構(図示省略)及びズーム用モータ(図示省略)を備えている。ズーム用スライド機構には、光軸OAに沿ってスライド可能にズームレンズ98Cが取り付けられている。また、ズーム用スライド機構にはズーム用モータが接続されており、ズーム用スライド機構は、ズーム用モータの動力を受けて作動することでズームレンズ98Cを光軸OAに沿って移動させる。
なお、ここでは、フォーカス用スライド機構とズーム用スライド機構とが別々に設けられている形態例を挙げているが、これはあくまでも一例に過ぎず、フォーカス及びズームを共に実現可能な一体型のスライド機構であってもよい。また、この場合、フォーカス用モータとズーム用モータとを用いずに、1つのモータによって生成された動力がスライド機構に伝達されるようにすればよい。
第3アクチュエータ108は、動力伝達機構(図示省略)及び絞り用モータ(図示省略)を備えている。絞り98Dは、開口98D1を有しており、開口98D1の大きさが可変な絞りである。開口98D1は、複数枚の絞り羽根98D2によって形成されている。複数枚の絞り羽根98D2は、動力伝達機構に連結されている。また、動力伝達機構には絞り用モータが接続されており、動力伝達機構は、絞り用モータの動力を複数枚の絞り羽根98D2に伝達する。複数枚の絞り羽根98D2は、動力伝達機構から伝達される動力を受けて作動することで開口98D1の大きさを変化させる。絞り98Dは、開口98D1の大きさを変化させることで露出を調節する。
フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置102に接続されており、制御装置102によってフォーカス用モータ、ズーム用モータ、及び絞り用モータの各駆動が制御される。なお、本実施形態では、フォーカス用モータ、ズーム用モータ、及び絞り用モータの一例として、ステッピングモータが採用されている。従って、フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置102からの命令によりパルス信号に同期して動作する。また、ここでは、フォーカス用モータ、ズーム用モータ、及び絞り用モータが交換レンズ90に設けられている例が示されているが、これは、あくまでも一例に過ぎず、フォーカス用モータ、ズーム用モータ、及び絞り用モータのうちの少なくとも1つが撮像装置本体92に設けられていてもよい。なお、交換レンズ90の構成物及び/又は動作方法は、必要に応じて変更可能である。
交換レンズ90は、第1センサ(図示省略)を備えている。第1センサは、フォーカスレンズ98Bの光軸OA上での位置を検出する。第1センサの一例としては、ポテンショメータが挙げられる。第1センサによる検出結果は、制御装置102によって取得され、撮像装置本体92に出力される。撮像装置本体92は、第1センサによる検出結果に基づいてフォーカスレンズ98Bの光軸OA上での位置を調節する。
交換レンズ90は、第2センサ(図示省略)を備えている。第2センサは、ズームレンズ98Cの光軸OA上での位置を検出する。第2センサの一例としては、ポテンショメータが挙げられる。第2センサによる検出結果は、制御装置102によって取得され、撮像装置本体92に出力される。撮像装置本体92は、第2センサによる検出結果に基づいてズームレンズ98Cの光軸OA上での位置を調節する。
交換レンズ90は、第3センサ(図示省略)を備えている。第3センサは、開口98D1の大きさを検出する。第3センサの一例としては、ポテンショメータが挙げられる。第3センサによる検出結果は、制御装置102によって取得され、撮像装置本体92に出力される。撮像装置本体92は、第3センサによる検出結果に基づいて開口98D1の大きさを調節する。
撮像装置34では、撮像装置本体92に対して与えられた指示に従ってMFモードとAFモードとが選択的に設定される。MFモードは、手動でピントを合わせる動作モードである。MFモードでは、例えば、ユーザによってフォーカスリング(図示省略)等が操作されることで、フォーカスリング等の操作量に応じた移動量でフォーカスレンズ98Bが光軸OAに沿って移動し、これによって焦点が調節される。
AFモードでは、撮像装置本体92が被写体距離に応じた合焦位置の演算を行い、演算して得た合焦位置に向けてフォーカスレンズ98Bを移動させることで、焦点を調節する。ここで、合焦位置とは、ピントが合っている状態でのフォーカスレンズ98Bの光軸OA上での位置を指す。なお、以下では、説明の便宜上、フォーカスレンズ98Bを合焦位置に合わせる制御を「AF制御」とも称する。
撮像装置本体92は、イメージセンサ94、コントローラ110、画像メモリ112、UI系デバイス114、外部I/F116、通信I/F118、光電変換素子ドライバ120、メカニカルシャッタドライバ122、メカニカルシャッタアクチュエータ124、メカニカルシャッタ126、及び入出力インタフェース128を備えている。また、イメージセンサ94は、光電変換素子96及び信号処理回路130を備えている。
入出力インタフェース128には、コントローラ110、画像メモリ112、UI系デバイス114、外部I/F116、通信I/F118、光電変換素子ドライバ120、メカニカルシャッタドライバ122、及び信号処理回路130が接続されている。また、入出力インタフェース128には、交換レンズ90の制御装置102も接続されている。
コントローラ110は、プロセッサ132、ストレージ134、及びRAM136を備えている。プロセッサ132、ストレージ134、及びRAM136は、バス138を介して接続されており、バス138は入出力インタフェース128に接続されている。
なお、図4に示す例では、図示の都合上、バス138として1本のバスが図示されているが、複数本のバスであってもよい。バス138は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
プロセッサ132は、例えば、CPU及びGPUを有しており、撮像装置34の全体を制御する。GPUは、CPUの制御下で動作し、画像処理の実行を担う。
ストレージ134は、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。例えば、ストレージ134は、EEPROMである。但し、これは、あくまでも一例に過ぎず、EEPROMに代えて、又は、EEPROMと共に、HDD、及び/又はSSD等をストレージ134として適用してもよい。また、RAM136は、各種情報を一時的に記憶し、ワークメモリとして用いられる。
プロセッサ132は、ストレージ134から必要なプログラムを読み出し、読み出したプログラムをRAM136で実行する。プロセッサ132は、RAM136上で実行するプログラムに従って撮像装置34の全体を制御する。図2に示す例では、画像メモリ112、UI系デバイス114、外部I/F116、通信I/F118、光電変換素子ドライバ120、メカニカルシャッタドライバ122、及び制御装置102がプロセッサ132によって制御される。
光電変換素子96には、光電変換素子ドライバ120が接続されている。光電変換素子ドライバ120は、光電変換素子96によって行われる撮像のタイミングを規定する撮像タイミング信号を、プロセッサ132からの指示に従って光電変換素子96に供給する。光電変換素子96は、光電変換素子ドライバ120から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。
交換レンズ90が撮像装置本体92に装着された場合、撮像レンズ98に入射された被写体光は、撮像レンズ98によって受光面96Aに結像される。光電変換素子96は、光電変換素子ドライバ120の制御下で、受光面96Aによって受光された被写体光を光電変換し、被写体光の光量に応じた電気信号を、被写体光を示すアナログ画像データとして信号処理回路130に出力する。具体的には、信号処理回路130が、露光順次読み出し方式で、光電変換素子96から1フレーム単位で且つ水平ライン毎にアナログ画像データを読み出す。
信号処理回路130は、アナログ画像データをデジタル化することでデジタル画像データを生成する。なお、以下では、説明の便宜上、撮像装置本体92での内部処理の対象とされるデジタル画像データと、デジタル画像データにより示される画像(すなわち、デジタル画像データに基づいて可視化されてディスプレイ等に表示される画像)とを区別して説明する必要がない場合、「撮像画像127」と称する。
メカニカルシャッタ126は、フォーカルプレーンシャッタであり、絞り98Dと受光面96Aとの間に配置されている。メカニカルシャッタ126は、先幕(図示省略)及び後幕(図示省略)を備えている。先幕及び後幕の各々は、複数枚の羽根を備えている。先幕は、後幕よりも被写体側に配置されている。
メカニカルシャッタアクチュエータ124は、リンク機構(図示省略)、先幕用ソレノイド(図示省略)、及び後幕用ソレノイド(図示省略)を有するアクチュエータである。先幕用ソレノイドは、先幕の駆動源であり、リンク機構を介して先幕に機械的に連結されている。後幕用ソレノイドは、後幕の駆動源であり、リンク機構を介して後幕に機械的に連結されている。メカニカルシャッタドライバ122は、プロセッサ132からの指示に従って、メカニカルシャッタアクチュエータ124を制御する。
先幕用ソレノイドは、メカニカルシャッタドライバ122の制御下で動力を生成し、生成した動力を先幕に付与することで先幕の巻き上げ及び引き下ろしを選択的に行う。後幕用ソレノイドは、メカニカルシャッタドライバ122の制御下で動力を生成し、生成した動力を後幕に付与することで後幕の巻き上げ及び引き下ろしを選択的に行う。撮像装置34では、先幕の開閉と後幕の開閉とがプロセッサ132によって制御されることで、光電変換素子96に対する露光量が制御される。
撮像装置34では、ライブビュー画像用撮像と、静止画像及び/又は動画像を記録するための記録画像用の撮像とが露光順次読み出し方式(ローリングシャッタ方式)で行われる。イメージセンサ94は、電子シャッタ機能を有しており、ライブビュー画像用撮像は、メカニカルシャッタ126を全開状態にしたまま作動させずに、電子シャッタ機能を働かせることで実現される。
これに対し、本露光を伴う撮像、すなわち、静止画像用の撮像(以下、「本撮像」とも称する)は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ126を先幕閉状態から後幕閉状態に遷移させるようにメカニカルシャッタ126を作動させることで実現される。
画像メモリ112には、信号処理回路130によって生成された撮像画像127が記憶される。すなわち、信号処理回路130が画像メモリ112に対して撮像画像127を記憶させる。プロセッサ132は、画像メモリ112から撮像画像127を取得し、取得した撮像画像127を用いて各種処理を実行する。
UI系デバイス114は、ディスプレイ140を備えており、プロセッサ132は、ディスプレイ140に対して各種情報を表示させる。また、UI系デバイス114は、受付デバイス142を備えている。受付デバイス142は、タッチパネル144及びレリーズボタン146等を備えている。
レリーズボタン146は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との2段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置(半押し位置)まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置(全押し位置)まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
外部I/F116は、撮像装置34の外部に存在する装置(以下、「外部装置」とも称する)との間の各種情報の授受を司る。外部I/F116の一例としては、USBインタフェースが挙げられる。USBインタフェースには、3Dセンサ38(図1及び図5参照)、スマートデバイス、パーソナルコンピュータ、サーバ、USBメモリ、メモリカード、及び/又はプリンタ等の外部装置(図示省略)が直接的又は間接的に接続される。
通信I/F118は、撮像装置34による情報処理装置30に対する情報の送受信を制御する。一例として図5に示すように、通信I/F118は、情報処理装置30と通信可能に接続されている。ここでは、通信I/F118が既定の無線通信規格で情報処理装置30の第2通信I/F54と無線通信可能に接続されている。ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。通信I/F118は、情報処理装置30のプロセッサ62と撮像装置34のプロセッサ132との間の情報の授受を司る。例えば、通信I/F118は、プロセッサ132からの要求に応じた情報を情報処理装置30に送信する。また、通信I/F118は、情報処理装置30のプロセッサ62から第2通信I/F54を介して送信された情報を受信し、受信した情報を、バス138を介してプロセッサ132に出力する。
プロセッサ132は、情報処理装置30からの指示に従って、3Dセンサ38を作動させることで、3Dセンサ38に対して測距を行わせる。すなわち、プロセッサ132は、3Dセンサ38に対して点検対象物16(図1参照)までの距離を計測させる。測距範囲、すなわち、点検対象物16のうちの3Dセンサ38によって測距される範囲は、撮像装置34によって撮像される撮像範囲(例えば、1フレーム分の撮像範囲)に相当する範囲である。プロセッサ132は、3Dセンサ38によって得られた測距結果150を取得する。測距結果150には、点検対象物16と撮像装置34との間の距離に基づく情報として距離画像148が含まれている。距離画像148は、3Dセンサ38によって、測距結果に基づいて生成される。
距離画像148は、撮像装置34から測距範囲内の複数の測距ポイントまでの距離を示す画像である。また、距離画像148は、マトリクス状に配列された複数の画素を有しており、各画素が測距によって得られた距離に応じた色で表現されている。複数の画素には、撮像装置34から測距範囲内の測距ポイントまでの距離を示す距離データが付与されており、距離データにより示される距離に応じた色が付与されている。距離に応じた色は、一定の色相角(ここでは、一例として、0度以上240度以下の色相角)内の色である。例えば、画素に付与された距離データにより示される距離が撮像装置34から離れているほど画素に対して青に近くなる色が付与され、画素に付与された距離データにより示される距離が撮像装置34に近いほど画素に対して赤に近くなる色が付与される。
一例として図6に示すように、駆動系14の1つである2軸旋回装置18は、パン機構40、チルト機構42、コントローラ152、及び通信I/F154を備えている。
コントローラ152は、2軸旋回装置18の全体を制御する。コントローラ152の一例としては、プロセッサ(例えば、CPU)、ストレージ(例えば、EEPROM)、及びRAMを有するコンピュータが挙げられる。コンピュータは、あくまでも一例に過ぎず、コンピュータに代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータに代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
通信I/F154は、コントローラ152に接続されている。また、通信I/F154は、情報処理装置30と通信可能に接続されている。ここでは、通信I/F154が既定の無線通信規格で情報処理装置30の第3通信I/F56と無線通信可能に接続されている。ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。通信I/F154は、2軸旋回装置18のコントローラ152と情報処理装置30のプロセッサ62との間の情報の授受を司る。例えば、通信I/F154は、コントローラ152からの要求に応じた情報を情報処理装置30に送信する。また、通信I/F154は、情報処理装置30のプロセッサ62から第3通信I/F56を介して送信された情報を受信し、受信した情報をコントローラ152に出力する。
パン機構40は、パン用モータ40Aを有する。パン用モータ40Aは、コントローラ152に接続されており、コントローラ152の制御下で駆動する。パン機構40は、パン用モータ40Aの駆動力をパン軸PA(図1参照)周りの動力として撮像装置34に伝達させることで撮像装置34をパンさせる。
チルト機構42は、チルト用モータ42Aを有する。チルト用モータ42Aは、コントローラ152に接続されており、コントローラ152の制御下で駆動する。チルト機構42は、チルト用モータ42Aの駆動力をチルト軸TA(図1参照)周りの動力として撮像装置34に伝達させることで撮像装置34をチルトさせる。
一例として図7に示すように、駆動系14の1つである車両20は、コントローラ156、通信I/F158、走行用モータ160、及び動力伝達機構162を備えている。
コントローラ156は、車両20の全体を制御する。コントローラ156の一例としては、プロセッサ(例えば、CPU)、ストレージ(例えば、EEPROM)、及びRAMを有するコンピュータが挙げられる。コンピュータは、あくまでも一例に過ぎず、コンピュータに代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータに代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
通信I/F158は、コントローラ156に接続されている。また、通信I/F158は、情報処理装置30と通信可能に接続されている。ここでは、通信I/F158が既定の無線通信規格で情報処理装置30の第4通信I/F58と無線通信可能に接続されている。ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。通信I/F158は、車両20のコントローラ156と情報処理装置30のプロセッサ62との間の情報の授受を司る。例えば、通信I/F158は、コントローラ156からの要求に応じた情報を情報処理装置30に送信する。また、通信I/F158は、情報処理装置30のプロセッサ62から第4通信I/F58を介して送信された情報を受信し、受信した情報をコントローラ156に出力する。
走行用モータ160は、コントローラ156に接続されており、コントローラ156の制御下で駆動する。動力伝達機構162は、走行用モータ160及び複数の車輪20A(例えば、2つの前輪、2つの後輪、又は4つの車輪20A)に接続されている。動力伝達機構162は、走行用モータ160の駆動力を複数の車輪20Aに伝達することで複数の車輪20Aを回転させる。複数の車輪20Aが回転すると、車両20は走行する。なお、車両20は、複数の車輪20Aの向きを変える向き変更機構(図示省略)、及び向き変更機構に対して動力を付与する向き変更用モータ(図示省略)も備えており、向き変更用モータの駆動は、コントローラ156によって制御される。情報処理装置30は、コントローラ156を介して走行用モータ160及び向き変更用モータの駆動を制御することで車両20の走行を制御する。
一例として図8に示すように、駆動系14の1つである昇降装置22は、コントローラ164、通信I/F166、昇降用モータ168、及び動力伝達機構170を備えている。
コントローラ164は、昇降装置22の全体を制御する。コントローラ164の一例としては、プロセッサ(例えば、CPU)、ストレージ(例えば、EEPROM)、及びRAMを有するコンピュータが挙げられる。コンピュータは、あくまでも一例に過ぎず、コンピュータに代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータに代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
通信I/F166は、コントローラ164に接続されている。また、通信I/F166は、情報処理装置30と通信可能に接続されている。ここでは、通信I/F166が既定の無線通信規格で情報処理装置30の第5通信I/F60と無線通信可能に接続されている。ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。通信I/F166は、昇降装置22のコントローラ164と情報処理装置30のプロセッサ62との間の情報の授受を司る。例えば、通信I/F166は、コントローラ164からの要求に応じた情報を情報処理装置30に送信する。また、通信I/F166は、情報処理装置30のプロセッサ62から第5通信I/F60を介して送信された情報を受信し、受信した情報をコントローラ164に出力する。
昇降用モータ168は、コントローラ164に接続されており、コントローラ164の制御下で駆動する。動力伝達機構170は、昇降用モータ168及びパンタグラフ機構28に接続されている。動力伝達機構170は、昇降用モータ168の駆動力をパンタグラフ機構28に伝達することでパンタグラフ機構28を鉛直方向に沿って伸縮させる。パンタグラフ機構28が鉛直方向に沿って伸縮することによってゴンドラ26(図1参照)の昇降が実現される。
一例として図9に示すように、情報処理装置30のストレージ64には、点検支援処理プログラム172が記憶されている。点検支援処理プログラム172は、本開示の技術に係る「プログラム」の一例である。
プロセッサ62は、ストレージ64から点検支援処理プログラム172を読み出し、読み出した点検支援処理プログラム172をRAM66上で実行する。プロセッサ62は、RAM66上で実行する点検支援処理プログラム172に従って点検支援処理を行う(図45A~図45D参照)。プロセッサ62は、点検支援処理プログラム172を実行することで、受信部62A、判定部62B、撮像装置制御部62C、画面生成部62D、算出部62E、駆動系制御部62F、取得部62G、送信部62H、合成部62I、及び信号生成部62Jとして動作する。
一例として図10に示すように、撮像装置34のストレージ134には、撮像装置側処理プログラム174が記憶されている。プロセッサ132は、ストレージ134から撮像装置側処理プログラム174を読み出し、読み出した撮像装置側処理プログラム174をRAM136上で実行する。プロセッサ132は、RAM136上で実行する撮像装置側処理プログラム174に従って撮像装置側処理を行う(図45参照)。プロセッサ132は、撮像装置側処理プログラム174を実行することで、受信部132A、撮像系制御部132B、測距系制御部132C、及び送信部132Dとして動作する。
一例として図11に示すように、タブレット端末32のストレージ80には、タブレット側処理プログラム176が記憶されている。プロセッサ78は、ストレージ80からタブレット側処理プログラム176を読み出し、読み出したタブレット側処理プログラム176をRAM82上で実行する。プロセッサ78は、RAM82上で実行するタブレット側処理プログラム176に従ってタブレット側処理を行う(図44A~図44C参照)。プロセッサ78は、タブレット側処理プログラム176を実行することで、表示制御部78A、判定部78B、信号生成部78C、送信部78D、受信部78E、及び調整値算出部78Fとして動作する。
タブレット端末32において、プロセッサ78によってタブレット側処理が行われると、一例として図12に示すように、タブレット端末32のタッチパネルディスプレイ72には、起動時設定画面178、撮像開始画面180、撮像条件調整画面182、合成確認画面184、撮像許可画面186、及び設定画面188が選択的に表示される。
起動時設定画面178は、タブレット側処理が実行されることによってタッチパネルディスプレイ72に最初に表示される。起動時設定画面178は、ユーザ36(図1参照)に対してチョーク検出処理の実行と損傷検出処理の実行とを選択させたり、ユーザ36に対して検出対象とされる損傷等の大きさを指定させたり、撮像装置34に対して撮像を開始させる指示を受け付けたりする画面である。
撮像開始画面は、チョーク検出処理及び/又は損傷検出処理で用いられるパノラマ画像用の撮像を開始する指示を受け付ける画面である。撮像条件調整画面182は、撮像装置34の撮像条件を調整する指示を受け付ける画面である。撮像条件調整画面182は、移動案内画面190、望遠ズーム案内画面192、広角ズーム案内画面194、及び傾き調整案内画面196に類別される。移動案内画面190は、撮像装置34による撮像範囲の移動方向の調整をユーザ36に対して案内する画面である。望遠ズーム案内画面192は、撮像装置34による光学式の望遠ズームの設定をユーザ36に対して案内する画面である。広角ズーム案内画面194は、撮像装置34による光学式の広角ズームの設定をユーザ36に対して案内する画面である。傾き調整案内画面196は、撮像画像127の傾きの調整をユーザ36に対して案内する画面である。
合成確認画面184は、ユーザ36に対してパノラマ画像を確認させる画面である。撮像許可画面186は、本撮像が許可されたことをユーザ36に対して報知し、かつ、本撮像を開始する指示を受け付ける画面である。設定画面188は、各種設定(例えば、チョーク検出処理から損傷検出処理への変更、損傷検出処理からチョーク検出処理への変更、及び/又は、検出対象とされる損傷等の大きさの変更等)の指示を受け付ける画面である。
以下、情報処理システム12によって、起動時設定画面178、撮像開始画面180、撮像条件調整画面182、合成確認画面184、撮像許可画面186、及び設定画面188が生成される処理の一例について説明する。
一例として図13に示すように、タブレット端末32において、表示制御部78Aは、起動時設定画面178を生成し、生成した起動時設定画面178をタッチパネルディスプレイ72に表示させる。起動時設定画面178には、第1ボタン178A、第2ボタン178B、複数の大きさ指定ボックス178C、及び撮像開始キー178Dが表示されている。第1ボタン178Aは、スライド式のソフトキーであり、第1ボタン178Aをスライドさせることで、オンとオフとが切り替えられる。第1ボタン178Aがオンされると、チョーク検出処理が実行され、第1ボタン178Aがオフされると、チョーク検出処理は実行されない。第2ボタン178Bは、スライド式のソフトキーである。第2ボタン178Bがオンされると、損傷検出処理が実行され、第2ボタン178Bがオフされると、損傷検出処理は実行されない。複数の大きさ指定ボックス178Cは、検出対象とされる損傷等の大きさを指定するために用いられる。複数の大きさ指定ボックス178Cには、検出対象とされる損傷等の大きさとして異なる大きさの範囲と、ラジオボタンとが表示されている。複数の大きさ指定ボックス178Cのうちの何れかのラジオボタンがオンされると、ラジオボタンがオンされた大きさ指定ボックス178Cに表示されている大きさの範囲の損傷等が検出対象として設定される。撮像開始キー178Dは、撮像装置34に対して撮像を開始させる指示を受け付ける。撮像開始キー178Dがオンされることによって、撮像装置34に対して撮像を開始させる指示が受け付けられる。
判定部78Bは、撮像開始キー178Dがオンされたか否かを判定する。一例として図14に示すように、撮像開始キー178Dがオンされると、信号生成部78Cは、ライブビュー撮像指示信号を生成し、かつ、測距指示信号を生成する。ライブビュー撮像指示信号は、撮像装置34に対してライブビュー画像用撮像の開始を指示する信号であり、測距指示信号は、撮像装置34に対して測距の開始を指示する信号、すなわち、撮像装置34に対して測距結果を取得させる指示を示す信号である。送信部78Dは、信号生成部78Cによって生成されたライブビュー撮像指示信号及び測距指示信号を情報処理装置30に送信する。
一例として図15に示すように、情報処理装置30において、受信部62Aは、タブレット端末32の送信部78Dから送信された測距指示信号を受信する。判定部62Bは、受信部62Aで受信された信号が測距指示信号であるか否かを判定する。受信部62Aで受信された信号が測距指示信号であると判定部62Bによって判定された場合、撮像装置制御部62Cは、受信部62Aで受信された測距指示信号を撮像装置34に転送する。
撮像装置34において、受信部132Aは、情報処理装置30の撮像装置制御部62Cによって転送された測距指示信号を受信する。受信部132Aによって測距指示信号が受信されると、測距系制御部132Cは、3Dセンサ38(図5参照)に対して測距を行わせる。
一例として図16に示すように、撮像装置34において、測距系制御部132Cは、3Dセンサ38に対して測距を行わせることで距離画像148(図5参照)を生成させ、3Dセンサ38から、距離画像148を含む測距結果150を取得する。送信部132Dは、距離画像148を含む測距結果150を情報処理装置30に送信する。
情報処理装置30において、受信部62Aは、撮像装置34の送信部132Dから送信された測距結果150を受信する。判定部62Bは、受信部62Aで受信された信号が測距結果であるか否かを判定する。受信部62Aで受信された信号が測距結果150であると判定部62Bによって判定された場合、取得部62Gは、受信部62Aで受信された測距結果150を取得し、取得した測距結果150をRAM66の測距結果記憶領域に上書き保存する。
一例として図17に示すように、情報処理装置30において、受信部62Aは、タブレット端末32の送信部78Dから送信されたライブビュー撮像指示信号を受信する。判定部62Bは、受信部62Aで受信された信号がライブビュー撮像指示信号であるか否かを判定する。受信部62Aで受信された信号がライブビュー撮像指示信号であると判定部62Bによって判定された場合、撮像装置制御部62Cは、受信部62Aで受信されたライブビュー撮像指示信号を撮像装置34に転送する。
撮像装置34において、受信部132Aは、情報処理装置30の撮像装置制御部62Cによって転送されたライブビュー撮像指示信号を受信する。受信部132Aによってライブビュー撮像指示信号が受信されると、撮像系制御部132Bは、ライブビュー画像用撮像を行う。
一例として図18に示すように、撮像装置34において、撮像系制御部132Bは、点検対象物16(図1参照)を被写体としてライブビュー画像用撮像を行うことで、撮像画像127(図4参照)としてライブビュー画像198を取得する。送信部132Dは、撮像系制御部132Bによって取得されたライブビュー画像198を情報処理装置30に送信する。
情報処理装置30において、受信部62Aは、撮像装置34の送信部132Dから送信されたライブビュー画像198を受信する。判定部62Bは、受信部62Aでライブビュー画像198が受信されたか否かを判定する。受信部62Aでライブビュー画像198が受信されたと判定部62Bによって判定された場合、取得部62Gは、受信部62Aで受信されたライブビュー画像198を取得し、取得したライブビュー画像198をRAM66のライブビュー画像記憶領域に上書き保存する。
ストレージ64には、事前撮像画像202が記憶されている。事前撮像画像202は、撮像装置34によって本撮像が行われることによって得られた静止画像206に基づく画像である。例えば、事前撮像画像202は、合成画像204又は1フレーム分の静止画像206である。静止画像206は、本開示の技術に係る「本撮像画像」の一例である。
合成画像204は、ライブビュー画像198により示される撮像シーンよりも広いシーンを示す画像である。例えば、撮像装置34によって本撮像が行われることで得られた複数の静止画像206の各々が、ライブビュー画像198により示される撮像シーンが本撮像されることで得られた場合において、合成画像204は、複数の静止画像206がパノラマ化された画像(すなわち、パノラマ画像)である。
なお、ここでは、説明の便宜上、ストレージ64に事前撮像画像202が記憶されていることを前提として説明しているが、ストレージ64に事前撮像画像202が記憶されていない場合もあり得る。この場合、撮像装置34によって本撮像が行われることで得られた1フレーム分の静止画像206がストレージ64に記憶される。
画面生成部62Dは、取得部62Gによって取得されたライブビュー画像198と、ストレージ64に記憶されている事前撮像画像202とに基づいて撮像開始画面データ200を生成する。撮像開始画面データ200は、撮像開始画面180(図12、図19及び図20参照)をタッチパネルディスプレイ72に対して表示させるための画面データ(例えば、撮像開始画面180(図12、図19及び図20参照)を示す画面データ)である。送信部62Hは、画面生成部62Dによって生成された撮像開始画面データ200をタブレット端末32に送信する。
なお、ここで、撮像開始画面データ200は、本開示の技術に係る「画面データ」の一例である。また、送信部62Hによる撮像開始画面データ200の送信は、本開示の技術に係る「画面データ」の「出力」の一例である。また、タッチパネルディスプレイ72は、本開示の技術に係る「第1ディスプレイ」及び「第2ディスプレイ」の一例である。
一例として図19及び図20に示すように、撮像開始画面180は、画面フレーム180A、ライブビュー領域180B、ガイドビュー領域180C、ワイドビュー領域180D、ガイド領域180E、及び指示受付領域180Fを含む。
画面フレーム180Aは、撮像開始画面180、撮像条件調整画面182、合成確認画面184、及び撮像許可画面186間で共通の仕様の画面フレームである。画面フレーム180Aの上端部には、設定ボタン208、撮像モード変更ボタン210、参照ボタン212、及び撮像終了キー214が表示されている。
設定ボタン208は、現時点でタッチパネルディスプレイ72に表示されている画面を設定画面188(図12参照)に切り替える指示を受け付けるボタンである。設定ボタン208がオンされると、現時点でタッチパネルディスプレイ72に表示されている画面(図19に示す例では、撮像開始画面180)から設定画面188に切り替えられる。撮像モード変更ボタン210は、スライド式のソフトキーであり、撮像モード変更ボタン210をスライドさせることで、オンとオフとが切り替えられる。撮像モード変更ボタン210がオンされると、撮像装置34の撮像モードとしてAFモードが設定され、撮像モード変更ボタン210がオフされると、撮像装置34の撮像モードとしてMFモードが設定される。参照ボタン212は、ユーザ36に参照させる情報として予め定められた情報(以下、「参照情報」と称する)を表示させる指示を受け付けるボタンである。参照ボタン212がオンされると、タッチパネルディスプレイ72に参照情報が表示される。撮像終了キー214は、ライブビュー画像用撮像を終了させる指示を受け付けるソフトキーである。撮像終了キー214がオンされると、撮像装置34によるライブビュー画像用撮像が中止される。
画面フレーム180Aのうちの上端部以外の領域にはライブビュー領域180Bが重ねられている。ライブビュー領域180Bには、ライブビュー画像198が表示される。ライブビュー領域180Bの中央部には、指示受付領域180Fが重ねられている。指示受付領域180Fは、円領域である。指示受付領域180Fであることを視覚的に識別可能なマークであればよい。ここでは、円領域の指示受付領域180Fが例示されているが、これは、あくまでも一例に過ぎず、指示受付領域180Fの形状は、円以外の形状(例えば、ひし形又は三角形等)であってもよい。指示受付領域180Fは、ソフトキーとしての機能を有しており、チョーク検出処理及び/又は損傷検出処理で用いられるパノラマ画像用の撮像を開始する指示(以下、「パノラマ画像用撮像開始指示」とも称する)を受け付ける。指示受付領域180Fによるパノラマ画像用撮像開始指示の受け付けは、指示受付領域180Fに対するタップによって実現される。
ライブビュー領域180Bの正面視左下部には、ガイドビュー領域180Cが重ねられている。ガイドビュー領域180Cには、ワイドビュー領域180D及びガイド領域180Eが含まれている。ガイドビュー領域180Cには、ガイドビュー領域180Cの外枠よりも内側の範囲内で、ワイドビュー領域180Dが重ねられている。ワイドビュー領域180Dには、事前撮像画像202(図19に示す例では、合成画像204)が表示される。ガイド領域180Eは、ワイドビュー領域180Dよりも表示面積が小さく、かつ、ガイドビュー領域180Cの外枠よりも内側の範囲内で移動可能な領域である。ガイド領域180Eは、ガイドビュー領域180C内ではガイドビュー領域180Cに対して重ねられ、ワイドビュー領域180D内ではワイドビュー領域180Dに対して重ねられる。
ガイドビュー領域180C内でのガイド領域180Eの移動は、例えば、タッチパネルディスプレイ72に対するユーザによるスワイプ又はフリックによって実現される。ガイド領域180Eには、ライブビュー画像198が表示される。ガイド領域180Eは、ライブビュー領域180Bと相似関係にある。ガイド領域180Eには、ライブビュー領域180Bに表示されているライブビュー画像198の全体が縮小化された状態で表示される。
ガイド領域180Eには、ライブビュー領域180Bに表示されているライブビュー画像198に相当する画像領域をワイドビュー領域180D内で特定可能となるようにガイド領域180Eの外縁180E1が強調表示されている。すなわち、外縁180E1は、ガイド領域180Eと他の領域との境界が視覚的に識別可能となるように強調表示されている。外縁180E1は、本開示の技術に係る「ガイド情報」の一例である。
一例として図21に示すように、タブレット端末32において、受信部78Eは、情報処理装置30の送信部62Hから送信された撮像開始画面データ200を受信する。判定部78Bは、受信部78Eで撮像開始画面データ200が受信されたか否かを判定する。受信部78Eで撮像開始画面データ200が受信された場合、表示制御部78Aは、受信部78Eによって受信された撮像開始画面データ200により示される撮像開始画面180をタッチパネルディスプレイ72に表示させる。
一例として図22に示すように、タブレット端末32において、判定部78Bは、タッチパネルディスプレイ72に表示されている撮像開始画面180内の指示受付領域180Fがユーザ36によってタップされたか否かを判定する。指示受付領域180Fがユーザ36によってタップされたと判定部78Bによって判定された場合、信号生成部78Cは、撮像条件確認信号を生成する。撮像条件確認信号は、合成画像204を生成する撮像条件の確認を情報処理装置30に対して指示する信号である。送信部78Dは、信号生成部78Cによって生成された撮像条件確認信号を情報処理装置30に送信する。
一例として図23に示すように、情報処理装置30において、受信部62Aは、タブレット端末32の送信部78Dから送信された撮像条件確認信号を受信する。判定部62Bは、受信部62Aで受信された信号が撮像条件確認信号であるか否かを判定する。受信部62Aで受信された信号が撮像条件確認信号であると判定部62Bによって判定された場合、取得部62Gは、ストレージ64から事前撮像画像202を取得し、かつ、RAM66からライブビュー画像198及び測距結果150を取得する。算出部62Eは、オーバーラップ率、ズーム倍率、及び傾斜角度を算出する。オーバーラップ率は、ライブビュー画像198の面積に対するオーバーラップ領域216の面積の割合を指す。
オーバーラップ領域216とは、ライブビュー画像198と事前撮像画像202とがオーバーラップしている領域を指す。なお、ここでは、ライブビュー画像198と事前撮像画像202とのオーバーラップを例に挙げて説明しているが、撮像装置34によって本撮像が行われることで得られた静止画像206と事前撮像画像202とのオーバーラップであってもよい。
ズーム倍率とは、ライブビュー画像198のサイズと事前撮像画像202を構成している1フレーム分の静止画像206(図18参照)のサイズとを合わせるために要する光学ズーム倍率を指す。
傾斜角度とは、点検対象物16(図1参照)に含まれる撮像対象面と受光面96A(図4参照)とで成す角度を指す。撮像対象面と受光面96Aとで成す角度とは、例えば、撮像対象面の法線ベクトルと受光面96Aの法線ベクトルとで成す角度である。撮像対象面とは、例えば、点検対象物16に対する撮像範囲の中央部(例えば、撮像範囲のうちの数十%を占める中央部)に含まれる平面を指す。撮像対象面は、例えば、測距結果150に含まれる距離画像148のうちの点検対象物16に対する撮像範囲の中央部に相当する領域148Aから特定される。例えば、領域148Aに像として含まれる最も広い平面が撮像対象面である。ここで、撮像対象面は、本開示の技術に係る「第1撮像対象面」及び「第2撮像対象面」の一例である。受光面96Aは、本開示の技術に係る「撮像装置に含まれる既定面」及び「イメージセンサの撮像面に相当する面」の一例である。
一例として図24に示すように、情報処理装置30において、判定部62Bは、図23に示す算出部62Eによって算出されたオーバーラップ率が既定範囲外か否かを判定する。既定範囲とは、例えば、30%±数%(すなわち、許容誤差)以内の範囲を指す。オーバーラップ率が既定範囲外であると判定部62Bによって判定された場合、算出部62Eは、撮像範囲の移動方向及び移動量として、オーバーラップ率が既定範囲内に収めるのに必要な移動方向及び移動量を算出する。
画面生成部62Dは、算出部62Eによって算出された移動方向及び移動量に基づいて移動案内画面データ218を生成する。移動案内画面データ218は、移動案内画面190(図12及び図25参照)をタッチパネルディスプレイ72に対して表示させるための画面データ(例えば、移動案内画面190を示す画面データ)である。送信部62Hは、画面生成部62Dによって生成された移動案内画面データ218をタブレット端末32に送信する。
一例として図25に示すように、移動案内画面データ218により示される移動案内画面190は、撮像開始画面180(図19参照)に比べ、指示受付領域180Fに代えて指示受付領域190Aが適用されている点が異なる。
指示受付領域190Aは、菱形の領域であり、菱形の4つの角に対して、上下左右の四方向の各々を指し示す楔状の印190A1~190A4が割り当てられている。また、指示受付領域190A内には、撮像範囲の移動をユーザ36に促すメッセージが表示されている。図25に示す例では、「移動させてください」というメッセージが示されている。撮像範囲を上方向に移動させる場合、印190A1がタップされ、撮像範囲を下方向に移動させる場合、印190A2がタップされ、撮像範囲を左方向に移動させる場合、印190A3がタップされ、撮像範囲を右方向に移動させる場合、印190A4がタップされる。単位移動量(例えば、1回のタップに対する移動量)は、例えば、0.01ミリメートルである。また、撮像範囲の移動量は、例えば、印190A1~190A4に対するタップ回数又はロングプレスの時間等に応じて定まる。単位移動量は、固定値であってもよいし、与えられた指示又は各種条件に応じて変更される可変値であってもよい。
一例として図26に示すように、タブレット端末32において、受信部78Eは、情報処理装置30の送信部62Hから送信された移動案内画面データ218を受信する。判定部78Bは、受信部78Eによって移動案内画面データ218が受信されたか否かを判定する。受信部78Eで移動案内画面データ218が受信されたと判定部78Bによって判定された場合、表示制御部78Aは、受信部78Eによって受信された移動案内画面データ218により示される移動案内画面190をタッチパネルディスプレイ72に表示させる。図26に示す例では、移動案内画面190内の印190A4がユーザ36によってタップされている態様が示されている。この場合、撮像範囲は左方向にタップされた回数に応じた移動量だけ移動する。なお、撮像範囲の位置が既定の位置(例えば、オーバーラップ率が既定範囲に収まる位置)に到達した場合、表示制御部78Aは、指示受付領域190A内のメッセージを消すようにしてもよい。
一例として図27に示すように、情報処理装置30において、判定部62Bは、図23に示す算出部62Eによって算出されたズーム倍率の変更が必要か否かを判定する。例えば、ズーム倍率が“1”以外の値である場合、ズーム倍率の変更が必要であると判定する。ズーム倍率の変更が必要であると判定部62Bによって判定された場合、算出部62Eは、不足ズーム倍率を算出する。不足ズーム倍率とは、ズーム倍率を“1”にするために不足しているズーム倍率を指す。
画面生成部62Dは、算出部62Eによって算出された不足ズーム倍率に基づいてズーム案内画面データ220を生成する。ズーム案内画面データ220は、望遠ズーム案内画面192(図12及び図28参照)又は広角ズーム案内画面194(図12及び図29参照)をタッチパネルディスプレイ72に対して表示させるための画面データ(例えば、望遠ズーム案内画面192又は広角ズーム案内画面194を示す画面データ)である。送信部62Hは、画面生成部62Dによって生成されたズーム案内画面データ220をタブレット端末32に送信する。なお、以下では、説明の便宜上、望遠ズーム案内画面192及び広角ズーム案内画面194を区別して説明する必要がない場合、符号を付さずに「ズーム案内画面」と称する。
一例として図28に示すように、望遠ズーム案内画面192は、移動案内画面190に比べ、指示受付領域190Aに代えて指示受付領域192Aが適用されている点、及び、参照枠192Bを有する点が異なる。
指示受付領域192Aは、撮像範囲と相似関係にある領域であり、四角形状の外枠を有している。指示受付領域192Aには、望遠ズームの操作をユーザ36に促すメッセージが表示されている。図28に示す例では、「近づけてください」というメッセージが表示されている。また、望遠ズーム案内画面192では、指示受付領域192Aに対して参照枠192Bが割り当てられている。参照枠192Bは、指示受付領域192Aと相似関係にある枠であり、指示受付領域192Aよりも大きい。参照枠192Bは、不足ズーム倍率を補って得られる撮像範囲に対応する大きさの枠である。
一例として図29に示すように、広角ズーム案内画面194は、望遠ズーム案内画面192に比べ、指示受付領域192Aに代えて指示受付領域194Aが適用されている点、及び、参照枠192Bに代えて参照枠194Bが適用されている点が異なる。
指示受付領域194Aは、撮像範囲と相似関係にある領域であり、四角形状の外枠を有している。指示受付領域194Aには、広角ズームの操作をユーザ36に促すメッセージが表示されている。図29に示す例では、「離してください」というメッセージが表示されている。また、広角ズーム案内画面194では、指示受付領域194Aに対して参照枠194Bが割り当てられている。参照枠194Bは、指示受付領域194Aと相似関係にある枠であり、指示受付領域194Aよりも小さい。参照枠194Bは、不足ズーム倍率を補って得られる撮像範囲に対応する大きさの枠である。
一例として図30に示すように、タブレット端末32において、受信部78Eは、情報処理装置30の送信部62Hから送信されたズーム案内画面データ220を受信する。判定部78Bは、受信部78Eによってズーム案内画面データ220が受信されたか否かを判定する。受信部78Eでズーム案内画面データ220が受信されたと判定部78Bによって判定された場合、表示制御部78Aは、受信部78Eによって受信されたズーム案内画面データ220により示されるズーム案内画面をタッチパネルディスプレイ72に表示させる。
図30に示す例では、望遠ズーム案内画面192内の指示受付領域192Aのサイズを参照枠192Bのサイズに合わせる操作として、タッチパネルディスプレイ72に対するピンチアウト操作がユーザ36によって行われる態様が示されている。ピンチアウト操作によって指示受付領域192Aのサイズが徐々に大きくなり、やがて参照枠192Bのサイズと一致する。なお、指示受付領域192Aのサイズが参照枠192Bのサイズと一致した場合、表示制御部78Aは、指示受付領域192A内のメッセージを消すようにしてもよいし、指示受付領域192Aに対してピーキング処理を施してもよい。
図30に示す例では、広角ズーム案内画面194内の指示受付領域194Aのサイズを参照枠194Bのサイズに合わせる操作として、タッチパネルディスプレイ72に対するピンチイン操作がユーザ36によって行われる態様が示されている。ピンチイン操作によって指示受付領域194Aのサイズが徐々に大きくなり、やがて参照枠194Bのサイズと一致する。なお、指示受付領域194Aのサイズが参照枠194Bのサイズと一致した場合、表示制御部78Aは、指示受付領域194A内のメッセージを消すようにしてもよいし、指示受付領域194Aに対してピーキング処理を施してもよい。
一例として図31に示すように、情報処理装置30において、判定部62Bは、図23に示す算出部62Eによって算出された傾斜角度が正対角度以外の角度か否かを判定する。正対角度とは、例えば、受光面96A(図4参照)との角度が0度±数百分の1度(すなわち、許容誤差)よりも大きいか否かを判定する。傾斜角度が正対角度以外の角度であると判定部62Bによって判定された場合、算出部62Eは、差分角度を算出する。差分角度とは、傾斜角度と正対角度との差分の角度を指す。差分角度は、本開示の技術に係る「撮像装置によって撮像される第2撮像対象面と撮像装置とが正対しているか否かを示す情報」の一例である。
画面生成部62Dは、算出部62Eによって算出された差分角度に基づいて傾き調整案内画面データ222を生成する。傾き調整案内画面データ222は、傾き調整案内画面196(図12及び図32参照)をタッチパネルディスプレイ72に対して表示させるための画面データ(例えば、傾き調整案内画面196を示す画面データ)である。送信部62Hは、画面生成部62Dによって生成された傾き調整案内画面データ222をタブレット端末32に送信する。
一例として図32に示すように、傾き調整案内画面196は、広角ズーム案内画面194に比べ、指示受付領域194Aに代えて指示受付領域196Aが適用されている点、及び、参照枠194Bに代えて参照枠196Bが適用されている点が異なる。
指示受付領域196Aは、撮像範囲と相似関係にある領域であり、四角形状の外枠を有している。指示受付領域196Aには、撮像範囲の傾きを調整する操作をユーザ36に促すメッセージが表示されている。図32に示す例では、「傾きを調整してください」というメッセージが表示されている。また、傾き調整案内画面196では、指示受付領域196Aに対して参照枠196Bが割り当てられている。参照枠196Bは、差分角度を補って得られる撮像範囲に対応する形状及び大きさを有する枠である。
一例として図33に示すように、タブレット端末32において、受信部78Eは、情報処理装置30の送信部62Hから送信された傾き調整案内画面データ222を受信する。判定部78Bは、受信部78Eによって傾き調整案内画面データ222が受信されたか否かを判定する。受信部78Eで傾き調整案内画面データ222が受信されたと判定部78Bによって判定された場合、表示制御部78Aは、受信部78Eによって受信された傾き調整案内画面データ222により示される傾き調整案内画面196をタッチパネルディスプレイ72に表示させる。
図33に示す例では、傾き調整案内画面196内の指示受付領域196Aの形状及び大きさを参照枠196Bの形状及び大きさに合わせる操作として、タッチパネルディスプレイ72に対するピンチイン操作及び/又はピンチアウト操作がユーザ36によって行われる態様が示されている。ピンチイン操作及び/又はピンチアウト操作によって指示受付領域196Aの形状及び大きさが変更され、やがて参照枠192Bの形状及び大きさと一致する。なお、指示受付領域196Aの形状及び大きさが参照枠192Bの形状及び大きさと一致した場合、表示制御部78Aは、指示受付領域196A内のメッセージを消すようにしてもよいし、指示受付領域196Aに対してピーキング処理を施してもよい。
一例として図34に示すように、タブレット端末32において、タッチパネルディスプレイ72を介して撮像条件調整画面182に対して調整指示が与えられると、調整値算出部78Fが調整指示に応じた調整値を算出する。ここで、調整指示とは、一例として図26に示す移動案内画面190内の指示受付領域190Aに対するユーザ36による操作(例えば、タップ)、一例として図30に示すズーム案内画面内の指示受付領域192A又は194Aに対するユーザ36による操作(例えば、ピンチイン操作及び/又はピンチアウト操作)、及び/又は、一例として図33に示す傾き調整案内画面196内の指示受付領域196Aに対するユーザ36による操作(例えば、ピンチイン操作及び/又はピンチアウト操作)を指す。
信号生成部78Cは、調整値算出部78Fによって算出された調整値を示す調整結果信号を生成する。送信部78Dは、信号生成部78Cによって生成された調整結果信号を情報処理装置30に送信する。
一例として図35に示すように、情報処理装置30において、受信部62Aは、タブレット端末32の送信部78Dから送信された調整結果信号を受信する。判定部62Bは、受信部62Aによって調整結果信号が受信されたか否かを判定する。受信部62Aで調整結果信号が受信されたと判定部62Bによって判定された場合、撮像装置制御部62Cは、受信部62Aで受信された調整結果信号に従って撮像装置34を制御し、駆動系制御部62Fは、受信部62Aで受信された調整結果信号に従って駆動系14を制御する。
例えば、受信部62Aで受信された調整結果信号により示される調整値が指示受付領域192A又は194A(図30参照)に対する調整指示に応じて定められた調整値である場合、撮像装置制御部62Cは、不足ズーム倍率を補うようにズームレンズ98C(図4参照)を光軸OAに沿って移動させる。このようにズームレンズ98Cを移動させた後、算出部62Eによって再びズーム倍率が算出される(図23参照)。
また、例えば、受信部62Aで受信された調整結果信号により示される調整値が指示受付領域190A(図26参照)に対する調整指示に応じて定められた調整値である場合、駆動系制御部62Fは、調整値に応じた移動方向及び移動量で撮像範囲を移動させるように車両20を走行させたり、昇降装置22を作動させたりする。このように車両20及び/又は昇降装置22を作動させた後、算出部62Eによって再びオーバーラップ率が算出される(図23参照)。
また、例えば、受信部62Aで受信された調整結果信号により示される調整値が指示受付領域196A(図33参照)に対する調整指示に応じて定められた調整値である場合、駆動系制御部62Fは、差分角度が解消されるように2軸旋回装置18を作動させる。このように2軸旋回装置18を作動させた後、算出部62Eによって再び傾斜角度が算出される(図23参照)。
一例として図36に示すように、情報処理装置30において、判定部62Bは、算出部62Eによって算出されたオーバーラップ率が既定範囲内であり、算出部62Eによって算出されたズーム倍率の変更が不要(例えば、ズーム倍率=1)であり、かつ、算出部62Eによって算出された傾斜角度が正対角度であるか否かを判定する。算出部62Eによって算出されたオーバーラップ率が既定範囲内であり、算出部62Eによって算出されたズーム倍率の変更が不要であり、かつ、算出部62Eによって算出された傾斜角度が正対角度であると判定部62Bによって判定された場合、信号生成部62Jは、本撮像が実行可能であると判断したことを示す撮像可能信号を設定する。すなわち、信号生成部62Jは、撮像可能信号を生成してRAM66に撮像可能信号を記憶させる。
一例として図37に示すように、情報処理装置30において、画面生成部62Dは、信号生成部62Jによって撮像可能信号が設定された場合、すなわち、RAM66に撮像可能信号が記憶された場合に、撮像許可画面データ224を生成する。撮像許可画面データ224は、撮像許可画面186(図12及び図38参照)をタッチパネルディスプレイ72に対して表示させるための画面データ(例えば、撮像許可画面186を示す画面データ)である。送信部62Hは、画面生成部62Dによって生成された撮像許可画面データ224をタブレット端末32に送信し、RAM66内の撮像可能信号を消去する。なお、撮像許可画面データ224は、本開示の技術に係る「本撮像が実行可能な状況であることを報知する表示態様の撮像指示受付領域が画面に含まれるデータ」の一例である。
一例として図38に示すように、撮像指示受付領域186Aには、本撮像が実行可能な状況であることを報知する表示態様の領域として撮像指示受付領域186Aが含まれている。撮像許可画面186は、撮像開始画面180に比べ、指示受付領域180Fに代えて撮像指示受付領域186Aが適用されている点が異なる。撮像指示受付領域186Aは、指示受付領域180Fに比べ、本撮像が実行可能であることを示すメッセージ(図38に示す例では、「撮像OK」というメッセージ)を含む点が異なる。なお、本撮像が実行可能であることを示すメッセージは必須ではなく、本撮像が実行可能であることを示すメッセージはあってもよいし、無くてもよい。
一例として図39に示すように、タブレット端末32において、受信部78Eは、情報処理装置30の送信部62Hから送信された撮像許可画面データ224を受信する。判定部78Bは、受信部78Eによって撮像許可画面データ224が受信されたか否かを判定する。受信部78Eで撮像許可画面データ224が受信されたと判定部78Bによって判定された場合、表示制御部78Aは、受信部78Eによって受信された撮像許可画面データ224により示される撮像許可画面186をタッチパネルディスプレイ72に表示させる。
一例として図40に示すように、タブレット端末32において、判定部78Bは、タッチパネルディスプレイ72に表示されている撮像許可画面186内の撮像指示受付領域186Aがユーザ36によってタップされたか否かを判定する。撮像指示受付領域186Aに対するユーザ36によるタップは、本開示の技術に係る「撮像指示」の一例である。
撮像指示受付領域186Aによってユーザ36からの指示が受け付けられた場合、すなわち、撮像指示受付領域186Aがユーザ36によってタップされたと判定部78Bによって判定された場合、信号生成部78Cは、本撮像指示信号を生成する。本撮像指示信号は、ライブビュー画像198により示される点検対象物16(図1参照)について撮像装置34に対して本撮像を行わせる指示を示す信号である。送信部78Dは、信号生成部78Cによって生成された本撮像指示信号を情報処理装置30に送信する。
一例として図41に示すように、情報処理装置30において、受信部62Aは、タブレット端末32の送信部78Dから送信された本撮像指示信号を受信する。判定部62Bは、受信部62Aによって本撮像指示信号が受信されたか否かを判定する。受信部62Aで本撮像指示信号が受信されたと判定部62Bによって判定された場合、撮像装置制御部62Cは、受信部62Aで受信された本撮像指示信号を撮像装置34に転送する。ここで、本撮像指示信号の転送は、本開示の技術に係る「本撮像指示信号」の「出力」の一例である。
撮像装置34において、受信部132Aは、情報処理装置30の撮像装置制御部62Cから転送された本撮像指示信号を受信する。受信部132Aによって本撮像指示信号が受信された場合、撮像系制御部132Bは、本撮像を行う。
一例として図42に示すように、撮像装置34において、撮像系制御部132Bは、点検対象物16(図1参照)を被写体として本撮像を行うことで、撮像画像127(図4参照)として静止画像206を取得する。送信部132Dは、撮像系制御部132Bによって取得された静止画像206を情報処理装置30に送信する。
情報処理装置30において、受信部62Aは、撮像装置34の送信部132Dから送信された静止画像206を受信する。判定部62Bは、受信部62Aで静止画像206が受信されたか否かを判定する。受信部62Aで静止画像206が受信されたと判定部62Bによって判定された場合、合成部62Iは、受信部62Aで受信された静止画像206を取得する。また、合成部62Iは、ストレージ64から事前撮像画像202を取得する。合成部62Iは、上述した既定範囲内のオーバーラップ率で静止画像206を事前撮像画像202にオーバーラップさせてパノラマ化することで合成画像204を生成する。
画面生成部62Dは、合成部62Iで生成された合成画像204を用いた合成画像入り画面データ226を生成する。合成画像入り画面データ226は、合成画像入り画面を示す画面データである。合成画像入り画面とは、例えば、撮像開始画面180、撮像条件調整画面182、合成確認画面184、及び撮像許可画面186の各々のワイドビュー領域180Dに表示される事前撮像画像202を、合成部62Iで生成された最新の合成画像204に置き換えた画面を示す画面データである。送信部62Hは、合成画像入り画面データ226をタブレット端末32に送信する。
一例として図43に示すように、合成画像入り画面データ226として生成された撮像開始画面180には、ワイドビュー領域180Dには、複数の静止画像206がパノラマ化されて得られた合成画像204が表示される。タッチパネルディスプレイ72に撮像開始画面180が表示されている状態で、表示制御部78Aは、タッチパネルディスプレイ72によって受け付けられた指示に応じて、撮像開始画面180から合成確認画面184に切り替える。ここで、タッチパネルディスプレイ72によって受け付けられた指示の一例としては、例えば、ユーザ36によるワイドビュー領域180Dに対するタップが挙げられる。また、ワイドビュー領域180Dに対するタップに限らず、ガイドビュー領域180Cに対するタップであってもよいし、ガイド領域180Eに対するタップであってもよい。また、タップは、あくまでも一例に過ぎず、タップに代えて、ロングプレスが行われてもよいし、フリック又はスワイプが行われてもよい。
合成確認画面184の正面視左下部には縮小ライブビュー領域184Aが表示され、かつ、画面中央部に合成画像確認ビュー領域180D1が表示される。縮小ライブビュー領域184Aは、ライブビュー領域180Bを縮小させた画面であり、縮小ライブビュー領域184Aには、ライブビュー領域180Bの全体が縮小ライブビュー領域184Aの外枠に合わせた大きさに縮小化されて表示される。
合成画像確認ビュー領域180D1は、拡大されたガイドビュー領域180Cに重ねて表示される。合成画像確認ビュー領域180D1は、ワイドビュー領域180Dを拡大させた領域であり、ワイドビュー領域180Dの拡大率と同じ拡大率で合成画像204も拡大されて合成画像確認ビュー領域180D1に表示される。すなわち、合成画像確認ビュー領域180D1は、合成画像204と共にワイドビュー領域180Dを拡大させた領域である。合成確認画面184において、縮小ライブビュー領域184Aがタップされると、表示制御部78Aは、タッチパネルディスプレイ72に表示される画面を、合成確認画面184から撮像開始画面180に切り替える。
なお、画面が切り替えられる場合、タブレット端末32のプロセッサ78は、情報処理装置30に対して画面の切り替え(例えば、撮像開始画面180から合成確認画面184への切り替え)を要求し、情報処理装置30のプロセッサ62は、切り替え後の画面(例えば、合成確認画面184)を示す合成確認画面データを生成してタブレット端末32に送信するようにすればよい。そして、タブレット端末32のプロセッサ62は、情報処理装置30から送信された合成確認画面データにより示される合成確認画面184をタッチパネルディスプレイ72に対して表示させればよい。
次に、情報処理システム12の作用について図44A~図46を参照しながら説明する。
先ず、タブレット端末32のプロセッサ78によって行われるタブレット側処理について図44A~図44Cを参照しながら説明する。図44A~図44Cには、プロセッサ78によって行われるタブレット側処理の流れの一例が示されている。
図44Aに示すタブレット側処理では、先ず、ステップST10で、表示制御部78Aは、起動時設定画面178を生成し、生成した起動時設定画面178をタッチパネルディスプレイ72に表示させる(図13参照)。ステップST10の処理が実行された後、タブレット側処理はステップST12へ移行する。
ステップST12で、判定部78Bは、起動時設定画面178内の撮像開始キー178Dがオンされたか否かを判定する(図13参照)。ステップST12において、撮像開始キー178Dがオンされていない場合は、判定が否定されて、タブレット側処理は、図44Cに示すステップST68へ移行する。ステップST12において、撮像開始キー178Dがオンされた場合は、判定が肯定されて、タブレット側処理はステップST14へ移行する。
ステップST14で、信号生成部78Cは、ライブビュー撮像指示信号及び測距指示信号を生成する。ステップST14の処理が実行された後、タブレット側処理はステップST16へ移行する。
ステップST16で、送信部78Dは、ステップST14で生成されたライブビュー撮像指示信号及び測距指示信号を情報処理装置30に送信する(図15及び図17参照)。ステップST16の処理が実行された後、タブレット側処理はステップST18へ移行する。
ステップST16の処理が実行されたことを条件に、図45Aに示す点検支援処理では、ステップST118の処理が実行される。ステップST118の処理が実行されることによって、情報処理装置30からタブレット端末32に撮像開始画面データ200(図18参照)が送信される。
ステップST18で、判定部78Bは、受信部78Eによって撮像開始画面データ200が受信されたか否かを判定する(図21参照)。ステップST18において、受信部78Eによって撮像開始画面データ200が受信されていない場合は、判定が否定されて、ステップST18の判定が再び行われる。ステップST18において、受信部78Eによって撮像開始画面データ200が受信された場合は、判定が肯定されて、タブレット側処理はステップST20へ移行する。
ステップST20で、表示制御部78Aは、受信部78Eによって受信された撮像開始画面データ200により示される撮像開始画面180をタッチパネルディスプレイ72に表示させる(図21参照)。ステップST20の処理が実行された後、タブレット側処理はステップST22へ移行する。
ステップST22で、判定部78Bは、タッチパネルディスプレイ72に表示されている撮像開始画面180内の指示受付領域180Fがタップされたか否かを判定する(図22参照)。ステップST22において、指示受付領域180Fがタップされていない場合は、判定が否定されて、ステップST22の判定が再び行われる。ステップST22において、指示受付領域180Fがタップされた場合は、判定が肯定されて、タブレット側処理はステップST24へ移行する。
ステップST24で、信号生成部78Cは、撮像条件確認信号を生成する(図22参照)。ステップST24の処理が実行された後、タブレット側処理はステップST26へ移行する。
ステップST26で、送信部78Dは、ステップST24で生成された撮像条件確認信号を情報処理装置30に送信する(図22参照)。ステップST26の処理が実行された後、タブレット側処理はステップST28へ移行する。
ステップST26の処理が実行されたことを条件に、図45B及び図45Cに示す点検支援処理では、ステップST132の処理、ステップST140の処理、及び/又はステップST148の処理が実行される。ステップST132の処理が実行されることによって、情報処理装置30からタブレット端末32に移動案内画面データ218(図24参照)が送信される。ステップST140の処理が実行されることによって、情報処理装置30からタブレット端末32にズーム案内画面データ220(図27参照)が送信される。ステップST148の処理が実行されることによって情報処理装置30からタブレット端末32に傾き調整案内画面データ222(図31参照)が送信される。
ステップST28で、判定部78Bは、受信部78Eによって移動案内画面データ218が受信されたか否かを判定する(図26参照)。ステップST28において、受信部78Eによって移動案内画面データ218が受信されていない場合は、判定が否定されて、タブレット側処理は、図44Bに示すステップST36へ移行する。ステップST28において、受信部78Eによって移動案内画面データ218が受信された場合は、判定が肯定されて、タブレット側処理はステップST30へ移行する。
ステップST30で、表示制御部78Aは、受信部78Eによって受信された移動案内画面データ218により示される移動案内画面190をタッチパネルディスプレイ72に表示させる(図26参照)。ステップST30の処理が実行された後、タブレット側処理はステップST32へ移行する。
ステップST32で、判定部78Bは、タッチパネルディスプレイ72に表示されている移動案内画面190(図26参照)に対して調整指示が与えられたか否かを判定する。ここで、調整指示とは、例えば、指示受付領域190Aの印190A1~190A(図26参照)に対するタップ等を指す。ステップST32において、移動案内画面190に対して調整指示が与えられていない場合は、判定が否定されて、ステップST32の判定が再び行われる。ステップST32において、移動案内画面190に対して調整指示が与えられた場合は、判定が肯定されて、タブレット側処理はステップST34へ移行する。
ステップST34で、調整値算出部78Fは、移動案内画面190(図26参照)に対して与えられた調整指示に応じた調整値を算出する(図34参照)。ステップST34の処理が実行された後、タブレット側処理は、図44Bに示すステップST36へ移行する。
図44Bに示すステップST36で、判定部78Bは、受信部78Eによってズーム案内画面データ220が受信されたか否かを判定する(図30参照)。ステップST36において、受信部78Eによってズーム案内画面データ220が受信されていない場合は、判定が否定されて、タブレット側処理はステップST44へ移行する。ステップST36において、受信部78Eによってズーム案内画面データ220が受信された場合は、判定が肯定されて、タブレット側処理はステップST38へ移行する。
ステップST38で、表示制御部78Aは、受信部78Eによって受信されたズーム案内画面データ220により示されるズーム案内画面をタッチパネルディスプレイ72に表示させる(図30参照)。ステップST38の処理が実行された後、タブレット側処理はステップST40へ移行する。
ステップST40で、判定部78Bは、タッチパネルディスプレイ72に表示されているズーム案内画面(図30参照)に対して調整指示が与えられたか否かを判定する。ここで、調整指示とは、例えば、指示受付領域192A又は194Aに対するピンチアウト操作及び/又はピンチイン操作等を指す。ステップST40において、ズーム案内画面に対して調整指示が与えられていない場合は、判定が否定されて、ステップST40の判定が再び行われる。ステップST40において、ズーム案内画面に対して調整指示が与えられた場合は、判定が肯定されて、タブレット側処理はステップST42へ移行する。
ステップST42で、調整値算出部78Fは、ズーム案内画面(図30参照)に対して与えられた調整指示に応じた調整値を算出する(図34参照)。ステップST42の処理が実行された後、タブレット側処理はステップST44へ移行する。
ステップST44で、判定部78Bは、受信部78Eによって傾き調整案内画面データ222が受信されたか否かを判定する(図33参照)。ステップST44において、受信部78Eによって傾き調整案内画面データ222が受信されていない場合は、判定が否定されて、タブレット側処理はステップST52へ移行する。ステップST44において、受信部78Eによって傾き調整案内画面データ222が受信された場合は、判定が肯定されて、タブレット側処理はステップST46へ移行する。
ステップST46で、表示制御部78Aは、受信部78Eによって受信された傾き調整案内画面データ222により示される傾き調整案内画面196をタッチパネルディスプレイ72に表示させる(図33参照)。ステップST46の処理が実行された後、タブレット側処理はステップST48へ移行する。
ステップST48で、判定部78Bは、タッチパネルディスプレイ72に表示されている傾き調整案内画面196(図33参照)に対して調整指示が与えられたか否かを判定する。ここで、調整指示とは、例えば、指示受付領域196A(図33参照)に対するピンチアウト操作及び/又はピンチイン操作等を指す。ステップST48において、傾き調整案内画面196に対して調整指示が与えられていない場合は、判定が否定されて、ステップST48の判定が再び行われる。ステップST48において、傾き調整案内画面196に対して調整指示が与えられた場合は、判定が肯定されて、タブレット側処理はステップST50へ移行する。
ステップST50で、調整値算出部78Fは、傾き調整案内画面196(図33参照)に対して与えられた調整指示に応じた調整値を算出する(図34参照)。ステップST50の処理が実行された後、タブレット側処理はステップST52へ移行する。
ステップST52で、判定部78Bは、ステップST34の処理、ステップST42の処理、及びステップST50の処理のうちの少なくとも1つの処理で調整値が算出されたか否かを判定する。ステップST52において、ステップST34の処理、ステップST42の処理、及びステップST50の処理のうちの少なくとも1つの処理で調整値が算出されていない場合は、判定が否定されて、タブレット側処理は、図44Cに示すステップST58へ移行する。ステップST52において、ステップST34の処理、ステップST42の処理、及びステップST50の処理のうちの少なくとも1つの処理で調整値が算出された場合は、判定が肯定されて、タブレット側処理はステップST54へ移行する。
ステップST54で、信号生成部78Cは、調整結果信号を生成する(図34参照)。ステップST54の処理が実行された後、タブレット側処理はステップST56へ移行する。
ステップST56で、送信部78Dは、ステップST54で生成された調整結果信号を情報処理装置30に送信する(図34参照)。ステップST56の処理が実行された後、タブレット側処理は、図44Cに示すステップST58へ移行する。
ステップST56の処理が実行されたことを条件に、図45Dに示す点検支援処理では、ステップST160の処理が実行されることによって、情報処理装置30からタブレット端末32に撮像許可画面データ224(図37参照)が送信される。
図44Cに示すステップST58で、判定部78Bは、情報処理装置30から送信された撮像許可画面データ224が受信部78Eによって受信されたか否かを判定する(図39参照)。ステップST58において、撮像許可画面データ224が受信部78Eによって受信されていない場合は、判定が否定されて、ステップST58の判定が再び行われる。ステップST58において、撮像許可画面データ224が受信部78Eによって受信された場合は、判定が肯定されて、タブレット側処理はステップST60へ移行する。
ステップST60で、表示制御部78Aは、受信部78Eによって受信された撮像許可画面データ224により示される撮像許可画面186をタッチパネルディスプレイ72に表示させる(図39参照)。ステップST60の処理が実行された後、タブレット側処理はステップST62へ移行する。
ステップST62で、判定部78Bは、タッチパネルディスプレイ72に表示されている撮像許可画面186内の撮像指示受付領域186Aがタップされたか否かを判定する(図40参照)。ステップST62において、撮像指示受付領域186Aがタップされていない場合は、判定が否定されて、ステップST62の判定が再び行われる。ステップST62において、撮像指示受付領域186Aがタップされた場合は、判定が肯定されて、タ
ブレット側処理はステップST64へ移行する。
ステップST64で、信号生成部78Cは、本撮像指示信号を生成する(図40参照)。ステップST64の処理が実行された後、タブレット側処理はステップST66へ移行する。
ステップST66で、送信部78Dは、ステップST64で生成された本撮像指示信号を情報処理装置30に送信する(図40参照)。ステップST66の処理が実行された後、タブレット側処理はステップST68へ移行する。
ステップST68で、判定部78Bは、タブレット側処理が終了する条件(以下、「タブレット側処理終了条件」と称する)を満足したか否かを判定する。タブレット側処理終了条件の第1例としては、タブレット側処理を終了させる指示がタッチパネルディスプレイ72によって受け付けられた、という条件が挙げられる。タブレット側処理終了条件の第2例としては、タブレット側処理の実行が開始されてからステップST66の処理が実行されることなく既定時間(例えば、15分)が経過した、という条件が挙げられる。
ステップST68において、タブレット側処理終了条件を満足していない場合は、判定が否定されて、タブレット側処理は、図44Aに示すステップST14へ移行する。ステップST68において、タブレット側処理終了条件を満足した場合は、判定が肯定されて、タブレット側処理が終了する。
次に、情報処理装置30のプロセッサ62によって行われる点検支援処理について図45A~図45Dを参照しながら説明する。図45A~図45Dには、プロセッサ62によって行われる点検支援処理の流れの一例が示されている。
図45Aに示す点検支援処理では、先ず、ステップST100で、判定部62Bは、図44Aに示すステップST16の処理が実行されることによってタブレット端末32から送信された測距指示信号が受信部62Aによって受信されたか否かを判定する(図15参照)。ステップST100において、測距指示信号が受信部62Aによって受信されていない場合は、判定が否定されて、点検支援処理はステップST108へ移行する。ステップST100において、測距指示信号が受信部62Aによって受信された場合は、判定が肯定されて、点検支援処理はステップST102へ移行する。
ステップST102で、撮像装置制御部62Cは、受信部62Aによって受信された測距指示信号を撮像装置34に転送する(図15参照)。ステップST102の処理が実行された後、点検支援処理はステップST104へ移行する。
ステップST102の処理が実行されたことを条件に、図46に示す撮像装置側処理では、ステップST206の処理が実行されることによって、撮像装置34から情報処理装置30に測距結果150が送信される(図5及び図16参照)。
ステップST104で、判定部62Bは、撮像装置34から送信された測距結果150が受信部62Aによって受信されたか否かを判定する(図16参照)。ステップST104において、測距結果150が受信部62Aによって受信されていない場合は、判定が否定されて、ステップST104の判定が再び行われる。ステップST104において、測距結果150が受信部62Aによって受信された場合は、判定が肯定されて、点検支援処理はステップST106へ移行する。
ステップST106で、取得部62Gは、受信部62Aによって受信された測距結果150を取得し、取得した測距結果150をRAM66に上書き保存する(図16参照)。ステップST106の処理が実行された後、点検支援処理はステップST108へ移行する。
ステップST108で、判定部62Bは、図44Aに示すステップST16の処理が実行されることによってタブレット端末32から送信されたライブビュー撮像指示信号が受信部62Aによって受信されたか否かを判定する(図17参照)。ステップST108において、ライブビュー撮像指示信号が受信部62Aによって受信されていない場合は、判定が否定されて、点検支援処理はステップST100へ移行する。ステップST108において、ライブビュー撮像指示信号が受信部62Aによって受信された場合は、判定が肯定されて、点検支援処理はステップST110へ移行する。
ステップST110で、撮像装置制御部62Cは、受信部62Aによって受信されたライブビュー撮像指示信号を撮像装置34に転送する(図17参照)。ステップST110の処理が実行された後、点検支援処理はステップST112へ移行する。
ステップST110の処理が実行されたことを条件に、図46に示す撮像装置側処理では、ステップST214の処理が実行されることによって、撮像装置34から情報処理装置30にライブビュー画像198が送信される(図18参照)。
ステップST112で、判定部62Bは、撮像装置34から送信されたライブビュー画像198が受信部62Aによって受信された否かを判定する(図18参照)。ステップST112において、ライブビュー画像198が受信部62Aによって受信されていない場合は、判定が否定されて、ステップST112の判定が再び行われる。ステップST112において、ライブビュー画像198が受信部62Aによって受信された場合は、判定が肯定されて、点検支援処理はステップST114へ移行する。
ステップST114で、取得部62Gは、受信部62Aによって受信されたライブビュー画像198を取得し、取得したライブビュー画像198をRAM66に上書き保存する(図18参照)。ステップST114の処理が実行された後、点検支援処理はステップST116へ移行する。
ステップST116で、画面生成部62Dは、撮像開始画面データ200を生成する(図18参照)。ステップST116の処理が実行された後、点検支援処理はステップST118へ移行する。
ステップST118で、送信部62Hは、ステップST116で生成された撮像開始画面データ200をタブレット端末32に送信する(図18参照)。ステップST118の処理が実行された後、点検支援処理は、図45Bに示すステップST120へ移行する。
図45Bに示すステップST120で、判定部62Bは、図44Aに示すステップST26の処理が実行されることによってタブレット端末32から送信された撮像条件確認信号が受信部62Aによって受信されたか否かを判定する(図23参照)。ステップST120において、撮像条件確認信号が受信部62Aによって受信されていない場合は、判定が否定されて、ステップST120の判定が再び行われる。ステップST120において、撮像条件確認信号が受信部62Aによって受信された場合は、判定が肯定されて、点検支援処理はステップST122へ移行する。
ステップST122で、取得部62Gは、ストレージ64から事前撮像画像202を取得し、かつ、RAM66からライブビュー画像198及び測距結果150を取得する(図23参照)。ステップST122の処理が実行された後、点検支援処理はステップST124へ移行する。
ステップST124で、算出部62Eは、ステップST122で取得された事前撮像画像202、ライブビュー画像198、及び測距結果150を用いて、オーバーラップ率、ズーム倍率、及び傾斜角度を算出する(図23参照)。ステップST124の処理が実行された後、点検支援処理はステップST126へ移行する。
ステップST126で、判定部62Bは、ステップST124で算出されたオーバーラップ率が既定範囲外であるか否かを判定する(図24参照)。ステップST126において、オーバーラップ率が既定範囲内の場合は、判定が否定されて、点検支援処理は、図45Cに示すステップST134へ移行する。ステップST126において、オーバーラップ率が既定範囲外の場合は、判定が肯定されて、点検支援処理はステップST128へ移行する。
ステップST128で、算出部62Eは、撮像装置34による撮像範囲の移動方向及び移動量として、オーバーラップ率を既定範囲内に収めることが可能な移動方向及び移動量を算出する(図24参照)。ステップST128の処理が実行された後、点検支援処理はステップST130へ移行する。
ステップST130で、画面生成部62Dは、ステップST128で算出された移動方向及び移動量に基づいて移動案内画面データ218を生成する(図24参照)。ステップST130の処理が実行された後、点検支援処理はステップST132へ移行する。
ステップST132で、送信部62Hは、ステップST130で生成された移動案内画面データ218をタブレット端末32に送信する(図24参照)。ステップST132の処理が実行された後、点検支援処理は、図45Cに示すステップST134へ移行する。
図45Cに示すステップST134で、判定部62Bは、ステップST124で算出されたズーム倍率を参照して、撮像装置34のズーム倍率の変更が必要か否かを判定する(図27参照)。ステップST134において、ズーム倍率の変更が不要の場合は、判定が否定されて、点検支援処理はステップST142へ移行する。ステップST134において、ズーム倍率の変更が必要な場合は、判定が肯定されて、点検支援処理はステップST136へ移行する。
ステップST136で、算出部62Eは、不足ズーム倍率を算出する(図27参照)。ステップST136の処理が実行された後、点検支援処理はステップST138へ移行する。
ステップST138で、画面生成部62Dは、ステップST136で算出された不足ズーム倍率に基づいてズーム案内画面データ220を生成する(図27参照)。ステップST138の処理が実行された後、点検支援処理はステップST140へ移行する。
ステップST140で、送信部62Hは、ステップST138で生成されたズーム案内画面データ220をタブレット端末32に送信する(図27参照)。ステップST140の処理が実行された後、点検支援処理はステップST142へ移行する。
ステップST142で、判定部62Bは、ステップST124で算出された傾斜角度が正対角度以外の角度であるか否かを判定する(図31参照)。ステップST142において、傾斜角度が正対角度である場合は、判定が否定されて、点検支援処理はステップST150へ移行する。ステップST142において、傾斜角度が正対角度以外の角度である場合は、判定が肯定されて、点検支援処理はステップST144へ移行する。
ステップST144で、算出部62Eは、ステップST124で算出された傾斜角度と正対角度との差分の角度である差分角度を算出する(図31参照)。ステップST144の処理が実行された後、点検支援処理はステップST146へ移行する。
ステップST146で、画面生成部62Dは、ステップST144で算出された差分角度に基づいて傾き調整案内画面データ222を生成する(図31参照)。ステップST146の処理が実行された後、点検支援処理はステップST148へ移行する。
ステップST148で、送信部62Hは、ステップST146で生成された傾き調整案内画面データ222をタブレット端末32に送信する(図31参照)。ステップST148の処理が実行された後、点検支援処理はステップST150へ移行する。
ステップST150で、判定部62Bは、図44Bに示すステップST56の処理が実行されることによってタブレット端末32から送信された調整結果信号が受信部62Aによって受信されたか否かを判定する(図35参照)。ステップST150において、調整結果信号が受信部62Aによって受信されていない場合は、判定が否定されて、点検支援処理はステップST154へ移行する。ステップST150において、調整結果信号が受信部62Aによって受信された場合は、判定が肯定されて、点検支援処理はステップST152へ移行する。
ステップST152で、駆動系制御部62Fは、受信部62Aによって受信された調整結果信号に従って駆動系14を制御し、撮像装置制御部62Cは、受信部62Aによって受信された調整結果信号に従って撮像装置34のズームレンズ98C(図4参照)を光軸OAに沿って移動させることで光学ズームを実行する(図35参照)。ステップST152の処理が実行された後、点検支援処理はステップST154へ移行する。
ステップST154で、判定部62Bは、合成画像204を作るための本撮像を行う上で必要な撮像条件を満足したか否かを判定する。ここで、合成画像204を作るための本撮像を行う上で必要な撮像条件の一例としては、オーバーラップ率が既定範囲内であり、ズーム倍率の変更が不要であり、かつ、傾斜角度が正対角度である、という条件が挙げられる(図36参照)。ステップST154において、合成画像204を作るための本撮像を行う上で必要な撮像条件を満足していない場合は、判定が否定されて、点検支援処理は、図45Dに示すステップST166へ移行する。ステップST154において、合成画像204を作るための本撮像を行う上で必要な撮像条件を満足した場合は、判定が肯定されて、点検支援処理はステップST156へ移行する。
ステップST156で、信号生成部62Jは、撮像可能信号を生成し、生成した撮像可能信号をRAM66に記憶させる(図36参照)。ステップST156の処理が実行された後、点検支援処理は、図45Dに示すステップST158へ移行する。
図45Dに示すステップST158で、画面生成部62Dは、撮像許可画面データ224を生成する(図37参照)。すなわち、画面生成部62Dは、RAM66に撮像可能信号が記憶されたことを条件に撮像許可画面データ224を生成する。ステップST158の処理が実行された後、点検支援処理はステップST160へ移行する。
ステップST160で、送信部62Hは、ステップST158で生成された撮像許可画面データ224をタブレット端末32に送信し、RAM66から撮像可能信号を消去する(図37参照)。ステップST160の処理が実行された後、点検支援処理はステップST162へ移行する。
ステップST162で、判定部62Bは、図44Cに示すステップST66の処理が実行されることによってタブレット端末32から送信された本撮像指示信号が受信部62Aによって受信されたか否かを判定する(図41参照)。ステップST162において、本撮像指示信号が受信部62Aによって受信されていない場合は、判定が否定されて、ステップST162の判定が再び行われる。ステップST162において、本撮像指示信号が受信部62Aによって受信された場合は、判定が肯定されて、点検支援処理はステップST164へ移行する。
ステップST164で、撮像装置制御部62Cは、受信部62Aによって受信された本撮像指示信号を撮像装置34に転送する(図41参照)。ステップST164の処理が実行された後、点検支援処理はステップST166へ移行する。
ステップST166で、判定部62Bは、点検支援処理が終了する条件(以下、「点検支援処理終了条件」と称する)を満足したか否かを判定する。点検支援処理終了条件の第1例としては、点検支援処理を終了させる指示が情報処理装置30に対して与えられた、という条件が挙げられる。点検支援処理終了条件の第2例としては、点検支援処理の実行が開始されてからステップST164の処理が実行されることなく既定時間(例えば、15分)が経過した、という条件が挙げられる。
ステップST166において、点検支援処理終了条件を満足していない場合は、判定が否定されて、点検支援処理は、図45Aに示すステップST100へ移行する。ステップST166において、点検支援処理終了条件を満足した場合は、判定が肯定されて、点検支援処理が終了する。
次に、撮像装置34のプロセッサ132によって行われる撮像装置側処理について図46を参照しながら説明する。図46には、プロセッサ132によって行われる撮像装置側処理の流れの一例が示されている。
図46に示す撮像装置側処理では、先ず、ステップST200で、測距系制御部132Cは、図45Aに示すステップST102の処理が実行されることによって情報処理装置30から転送された測距指示信号が受信部132Aによって受信されたか否かを判定する。ステップST200において、測距指示信号が受信部132Aによって受信されていない場合は、判定が否定されて、撮像装置側処理はステップST208へ移行する。ステップST200において、測距指示信号が受信部132Aによって受信された場合は、判定が肯定されて、撮像装置側処理はステップST202へ移行する。
ステップST202で、測距系制御部132Cは、3Dセンサ38(図1及び図5参照)に対した測距を行わせる(図15及び図16参照)。ステップST202の処理が実行された後、撮像装置側処理はステップST204へ移行する。
ステップST204で、測距系制御部132Cは、3Dセンサ38から測距結果150を取得する(図16参照)。ステップST204の処理が実行された後、撮像装置側処理はステップST206へ移行する。
ステップST206で、送信部132Dは、ステップST204で取得された測距結果150を情報処理装置30に送信する(図16参照)。ステップST206の処理が実行された後、撮像装置側処理はステップST208へ移行する。
ステップST208で、撮像系制御部132Bは、図45Aに示すステップST110の処理が実行されることによって転送されたライブビュー撮像指示信号が受信部132Aによって受信されたか否かを判定する。ステップST208において、ライブビュー撮像指示信号が受信部132Aによって受信されていない場合は、判定が否定されて、撮像装置側処理はステップST220へ移行する。ステップST208において、ライブビュー撮像指示信号が受信部132Aによって受信された場合は、判定が肯定されて、撮像装置側処理はステップST210へ移行する。
ステップST210で、撮像系制御部132Bは、ライブビュー画像用撮像を実行する(図17及び図18参照)。ステップST210の処理が実行された後、撮像装置側処理はステップST212へ移行する。
ステップST212で、撮像系制御部132Bは、ライブビュー画像198を取得する(図18参照)。ステップST212の処理が実行された後、撮像装置側処理はステップST214へ移行する。
ステップST214で、送信部132Dは、ステップST212で取得されたライブビュー画像198を情報処理装置30に送信する(図18参照)。ステップST214の処理が実行された後、撮像装置側処理はステップST216へ移行する。
ステップST216で、撮像系制御部132Bは、図45Dに示すステップST164の処理が実行されることによって情報処理装置30から転送された本撮像指示信号が受信部132Aによって受信されたか否かを判定する。ステップST216において、本撮像指示信号が受信部132Aによって受信されていない場合は、判定が否定されて、撮像装置側処理はステップST220へ移行する。ステップST216において、本撮像指示信号が受信部132Aによって受信された場合は、判定が肯定されて、撮像装置側処理はステップST218へ移行する。
ステップST218で、撮像系制御部132Bは、本撮像を実行することで静止画像206を取得する。そして、送信部132Dは、撮像系制御部132Bによって取得された静止画像206を情報処理装置30に送信する。ステップST218の処理が実行された後、撮像装置側処理はステップST220へ移行する。
ステップST218の処理が実行されることによって情報処理装置30に送信された静止画像206は、情報処理装置30の合成部62Iによって事前撮像画像202と合成されることでパノラマ化され、これによって、合成画像204が生成される(図42参照)。また、情報処理装置30では、合成部62Iによって得られた合成画像204に基づいて画面生成部62Dによって合成画像入り画面データ226がタブレット端末32に送信される(図42参照)。タブレット端末32では、タッチパネルディスプレイ72に、合成画像入り画面データ226により示される合成画像入り画面が表示される。合成画像入り画面には、合成画像204が表示される(図43参照)。合成画像204は、タッチパネルディスプレイ72に対して与えられた指示に従って拡縮される(図43参照)。
ステップST220で、撮像系制御部132Bは、撮像装置側処理が終了する条件(以下、「撮像装置側処理終了条件」と称する)を満足したか否かを判定する。撮像装置側処理終了条件の第1例としては、撮像装置側処理を終了させる指示が撮像装置34に対して与えられた、という条件が挙げられる。撮像装置側処理終了条件の第2例としては、撮像装置側処理の実行が開始されてからステップST218の処理が実行されることなく既定時間(例えば、15分)が経過した、という条件が挙げられる。
ステップST220において、撮像装置側処理終了条件を満足していない場合は、判定が否定されて、撮像装置側処理は、ステップST200へ移行する。ステップST200において、撮像装置側処理終了条件を満足した場合は、判定が肯定されて、撮像装置側処理が終了する。
以上説明したように、情報処理装置30では、撮像画像127及び測距結果150に基づいて撮像可能信号が設定される。撮像可能信号は、撮像装置34による本撮像が実行可能であると判断したことを示す信号である。情報処理装置30では、撮像可能信号が設定された場合に、撮像指示受付領域186Aを含む撮像許可画面186を示す撮像許可画面データ224がタブレット端末32に送信される。そして、タブレット端末32のタッチパネルディスプレイ72に表示された撮像許可画面186に含まれる撮像指示受付領域186Aがタップされた場合に、ライブビュー画像198により示される撮像シーンについて撮像装置34に対して本撮像を行わせる指示を示す本撮像指示信号が撮像装置34に送信される。撮像装置34では、本撮像指示信号が受信されたことを条件に本撮像が実行される。従って、本構成によれば、撮像画像127及び測距結果150の何れも用いずに定められたタイミングが撮像タイミングとしてユーザ36に報知される場合に比べ、良好なタイミングで撮像装置34に対して本撮像を行わせることができる。
また、情報処理装置30では、合成画像204が生成される。合成画像204は、ライブビュー画像198により示される撮像シーンよりも広い撮像シーンを示す画像である。従って、本構成によれば、ユーザ36に対して、ライブビュー画像198により示される撮像シーンよりも広いシーンを視覚的に認識させることができる。
また、情報処理装置30では、複数の静止画像206がパノラマ化されて得られた画像が合成画像204として生成される。従って、本構成によれば、複数の静止画像206を1フレームずつ順番に表示される場合に比べ、ユーザ36に対して、本撮像が行われたエリアを視覚的に容易に認識させることができる。
また、情報処理装置30では、合成画像204と共にワイドビュー領域180Dを拡大させた合成画像確認ビュー領域180D1を含む画面を示すデータが合成画像入り画面データ226としてタブレット端末32に送信され、タブレット端末32のタッチパネルディスプレイ72には、合成画像確認ビュー領域180D1を含む画面として合成確認画面184が表示される。従って、本構成によれば、合成画像204が拡大されない場合に比べ、合成画像204の視認性を高めることができる。
また、情報処理装置30では、撮像装置34に対して測距結果を取得させる指示を示す信号、及び、点検対象物16と撮像装置34との間の距離を撮像装置34に対して計測させる指示を示す信号として測距指示信号が撮像装置34に送信される。撮像装置34は、測距指示信号を受信した場合に、測距を実行する。従って、本構成によれば、ユーザ36が撮像装置34に直接触れて撮像装置34を操作せずとも撮像装置34に対して測距結果を取得させることができる。また、ユーザ36が撮像装置34に直接触れて撮像装置34を操作せずとも点検対象物16と撮像装置34との間の距離を撮像装置34に対して計測させることができる。
また、情報処理装置30では、撮像可能信号が生成されたことを条件に本撮像指示信号が撮像装置34に送信され、これによって、撮像装置34によって本撮像が行われる。撮像可能信号は、算出部62Eによって算出された傾斜角度が正対角度であることを条件に生成される。従って、本構成によれば、傾斜角度が正対角度以外の角度のときに撮像可能信号が生成される場合に比べ、傾きが少ない静止画像206を得ることができる。
また、情報処理装置30では、撮像可能信号が生成されたことを条件に本撮像指示信号が撮像装置34に送信され、これによって、撮像装置34によって本撮像が行われる。撮像可能信号は、算出部62Eによって算出されたオーバーラップ率が既定範囲内であることを条件に生成される。従って、本構成によれば、複数の静止画像206がパノラマ化された合成画像204が生成されるにあたってオーバーラップ率を全く考慮されていない場合に比べ、合成画像204内に欠落箇所(例えば、空白領域)が生じることを抑制することができる。
また、情報処理装置30では、判定部62Bによって、測距結果150に基づく情報として、傾斜角度が正対角度であるか否かを示す情報が取得される(図31及び図36参照)。従って、本構成によれば、ユーザ36が撮像装置34に直接触れて撮像装置34を操作せずとも、傾斜角度が正対角度であるか否かを示す情報を得ることができる。
また、情報処理装置30では、撮像系制御部132Bによって、点検対象物16と撮像装置34との間の距離に基づく情報として距離画像148が取得される(図5及び図16参照)。従って、ユーザ36が撮像装置34に直接触れて撮像装置34を操作せずとも、距離画像148を得ることができる。
なお、上記実施形態では、合成画像204により示される撮像領域の実空間面積(以下、単に「実空間面積」とも称する)が算出されていないが、一例として図47に示すように、算出部62Eによって実空間面積が算出されるようにしてもよい。この場合、例えば、算出部62Eは、下記の数式(1)を用いて被写体(例えば、点検対象物16)に含まれる実空間上の区域の長さLを算出し、算出したLを用いて実空間面積を算出する。数式(1)において、Lは、被写体(例えば、点検対象物16)に含まれる実空間上の区域の長さであり、u1及びu2は、合成画像204内のうちの指定された画素のアドレスであり、Dは、3Dセンサ38によって計測された距離であり、pは、光電変換素子96に含まれる感光画素間のピッチであり、fは、撮像レンズ98の焦点距離である。
画面生成部62Dは、算出部62Eによって算出された実空間面積を含む画面を示す画面データ228を生成する。送信部62Hは、画面生成部62Dによって生成された画面データ228をタブレット端末32に送信する。画面データ228は、例えば、図12に示す撮像開始画面180、撮像条件調整画面182、合成確認画面184、及び撮像許可画面186のうちの少なくとも1つの画面に実空間面積を含めた画面を示す画面データである。タブレット端末32のタッチパネルディスプレイ72には、画面データ228により示される画面が表示される。図48に示す例では、画面データ228により示される画面の一例として、表示領域184Bを含む合成確認画面184が示されている。表示領域184Bは、合成画像確認ビュー領域180D1からポップアップした状態で表示されている。表示領域184B内には、算出部62Eによって算出された実空間面積が表示されている。従って、合成画像204により示される撮像領域の実空間面積を視覚的に把握させることができる。
図47に示す例では、情報処理装置30から実空間面積を含む画面を示す画面データ228がタブレット端末32に送信されているが、本開示の技術は、これに限定されない。情報処理装置30のプロセッサ62は、測距結果150に基づく情報をタッチパネルディスプレイ72に対して表示させるための測距結果データをタブレット端末32に送信するようにしてよい。
この場合、例えば、画面生成部62Dが、画面データ228として、測距結果データを含む画面を示す画面データを生成し、送信部62Hが、画面生成部62Dによって生成された画面データ228をタブレット端末32に送信する。
ここで、測距結果データの第1例としては、距離画像148が挙げられる。また、測距結果データの第2例としては、撮像装置34から点検対象物16内の特定位置(例えば、ユーザ36によって指定された位置)までの距離が挙げられる。また、測距結果データの第3例としては、傾斜角度が正対角度であるか否かの判定結果を示す正対情報が挙げられる。また、測距結果データの第4例としては、測距結果150に基づいて特定されたフォーカスエリアを示す枠であるフォーカスエリア枠が挙げられる。
図49には、画面生成部62Dによって測距結果データに基づいて生成された画面データ228により示される画面として合成確認画面184がタッチパネルディスプレイ72に表示されている態様の一例が示されている。図49に示す例では、合成確認画面184は測距情報表示領域230を有する。測距情報表示領域230には、ユーザ36によって指定された位置までの距離を示す情報がメッセージ形式で表示されている。これにより、ユーザ36に対して、ユーザ36が指定した位置までの距離を視覚的に認識させることができる。また、合成画像確認ビュー領域180D1に表示されている合成画像204内に、撮像装置34からユーザ36によって指定された位置まで距離を示す数値(図49に示す例では、50.0m及び35.2m)が表示されている。
図49に示す例では、タッチパネルディスプレイ72に距離に関するメッセージ及び数値が表示されているが、これに限らず、タッチパネルディスプレイ72に、距離画像148、正対情報、及び/又はフォーカスエリア枠等も表示されるようにしてもよい。また、この場合、正対情報については、メッセージ形式で測距情報表示領域230に表示されるようしてもよい。
上記実施形態では、撮像指示受付領域186Aがタップされることによって本撮像が開始されるようにしたが、本開示の技術は、これに限定されず、レリーズボタン146(図4参照)が操作されることによって本撮像が開始されるようにしてもよい。
上記実施形態では、情報処理装置30によって点検支援処理が行われる形態例を挙げて説明したが、本開示の技術は、これに限定されない。例えば、タブレット端末32及び/又は撮像装置34によって点検支援処理が行われるようにしてもよい。この場合、タブレット端末32が情報処理装置30を介さずに駆動系14及び撮像装置34と直接的に通信を行うようにしてもよい。また、複数の装置(例えば、情報処理装置30及びタブレット端末32)が点検支援処理を分散して行うようにしてもよい。
上記実施形態では、タブレット端末32のタッチパネルディスプレイ72に各種画面(例えば、図12に示す各種画面)が表示される形態例を挙げて説明したが、本開示の技術は、これに限定されず、情報処理装置30のディスプレイ48に各種画面が表示されるようにしてもよい。この場合、情報処理装置30によってタブレット側処理が行われるようにすればよい。
上記実施形態では、撮像指示受付領域186Aによって本撮像の指示が受け付けられる形態例を挙げて説明したが、本開示の技術はこれに限定されず、レリーズボタン146によっても本撮像の指示が受け付けられるようにしてもよい。この場合、例えば、事前にレリーズボタン146をロック状態にしておき、撮像指示受付領域186Aが表示されるタイミングでレリーズボタン146のロック状態が解除されるようにする。撮像指示受付領域186Aが表示されるタイミングでレリーズボタン146のロック状態を解除するために、情報処理装置30において、判定部62Bは、撮像許可信号がRAM66に記憶されたか否かを判定する。撮像許可信号がRAM66に記憶されたと判定部62Bによって判定された場合、撮像装置制御部62Cは、レリーズボタン146のロック状態を解除させるためのロック解除指示信号を撮像装置34に送信する。撮像装置34において、受信部132Aによってロック解除指示信号が受信されると、撮像系制御部132Bは、レリーズボタン146のロック状態を解除する。これにより、レリーズボタン146が操作されない方が良いタイミングで誤ってレリーズボタン146が操作されないようにし、かつ、レリーズボタン146が操作されても良いタイミングでレリーズボタン146が操作されるようにすることができる。
上記実施形態では、タッチパネルディスプレイ72を介して撮像条件調整画面182に対して与えられた調整指示に応じた調整値が調整値算出部78Fによって算出されるようにしたが、本開示の技術は、これに限定されず、撮像範囲の位置ずれ量、不足ズーム倍率、及び差分角度から、調整指示を介さずに直接調整値が算出されるようにしてもよい。この場合、例えば、位置ずれ量、不足ズーム倍率、及び/又は差分角度を独立変数とし、調整値を従属変数とする演算式から調整値が算出されるようにしてもよいし、位置ずれ量、不足ズーム倍率、及び/又は差分角度を入力とし、調整値を出力とするテーブルから調整値が導出されるようにしてもよい。そして、上記実施形態で説明した要領で、プロセッサ62によって、調整値に従って、位置ずれ量、不足ズーム倍率、及び差分角度が調整されたことを条件に撮像可能信号が設定されるようにしてもよい。このように撮像可能信号が設定されたとしても、上記実施形態と同様に、撮像許可画面186に撮像指示受付領域186Aが表示される。
上記実施形態では、3Dセンサ38によって測距が行われる形態例を挙げて説明したが、本開示の技術は、これに限定されず、3Dセンサ38に代えて、又は、3Dセンサ38と共に、像面位相差方式の光電変換素子を備えたイメージセンサによって撮像と測距とが選択的に行われるようにしてもよい。この場合、例えば、イメージセンサ94に代えて、1つの画素に一対のフォトダイオードが設けられた像面位相差方式の光電変換素子を備えたイメージセンサ(以下、「像面位相差方式イメージセンサ)とも称する)を用いればよい。
像面位相差方式イメージセンサの光電変換素子に含まれる全ての感光画素の各々は、独立した一対のフォトダイオードを含む。一対のフォトダイオードのうちの一方のフォトダイオードには、撮像レンズ98を透過した被写体を示す光束(以下、「被写体光束」とも称する)が瞳分割されることで得られた第1光束が入射され、一対のフォトダイオードのうちの他方のフォトダイオードには、被写体光束が瞳分割されることで得られた第2光束が入射される。
像面位相差方式イメージセンサの光電変換素子に含まれる全ての感光画素は、撮像及び位相差に関するデータを出力する機能を有している。例えば、撮像モードにおいて撮像が行われる場合に、像面位相差方式イメージセンサの光電変換素子は、一対のフォトダイオードを合わせて1つの画素とすることで、非位相差画素データを出力する。例えば、測距モードにおいて測距が行われる場合に、像面位相差方式イメージセンサの光電変換素子は、一対のフォトダイオードのそれぞれから位相差画素データを出力する。
像面位相差方式イメージセンサの光電変換素子において、感光画素は、非位相差画素データと、位相差画素データとを選択的に出力可能である。非位相差画素データは、感光画素の全領域によって光電変換が行われることで得られる画素データであり、位相差画素データは、感光画素の一部の領域によって光電変換が行われることで得られる画素データである。ここで、「画素の全領域」とは、一対のフォトダイオードを合わせた受光領域である。また、「画素の一部の領域」とは、一対のフォトダイオードのうちの一方のフォトダイオードの受光領域、又は、一対のフォトダイオードのうちの他方のフォトダイオードの受光領域である。
撮像画像127は、非位相差画素データに基づいて生成される。撮像装置34から点検対象物16までの距離は、位相差画素データに基づいて算出される。すなわち、一対のフォトダイオードのうちの一方のフォトダイオードから出力された信号による像と、一対のフォトダイオードのうちの他方のフォトダイオードから出力された信号による像との位相差(すなわち、ずれ量及びずれ方向)に基づいて、各画素に対応する実空間ポイントまでの距離が算出される。距離画像148は、画素毎に算出された距離に基づいて生成される。
なお、本開示の技術は、像面位相差方式イメージセンサの光電変換素子に含まれる全ての感光画素が撮像及び位相差に関するデータを出力する機能を兼ね備えていることには限定されない。すなわち、光電変換素子には、撮像及び位相差に関するデータを出力する機能を有しない感光画素が含まれていてもよい。また、イメージセンサの光電変換素子は、一画素に一対のフォトダイオードが設けられた像面位相差方式の光電変換素子に限られず、非位相差画素データを取得するための撮像用の感光画素と、位相差画素データを取得するための位相差検出用の感光画素とを含む光電変換素子であってもよい。この場合、位相差画素は、第1の瞳部分領域と第2の瞳部分領域とのうちの一方を受光するように遮光部材が設けられる。
上記実施形態では、ストレージ64に点検支援処理プログラム172が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、点検支援処理プログラム172がSSD又はUSBメモリなどの可搬型の記憶媒体300に記憶されていてもよい。記憶媒体300は、非一時的記憶媒体である。記憶媒体300に記憶されている点検支援処理プログラム172は、情報処理装置30のコンピュータ44にインストールされる。プロセッサ62は、点検支援処理プログラム172に従って点検支援処理を実行する。
また、ネットワークを介して情報処理装置30に接続される他のコンピュータ又はサーバ装置等の記憶装置に点検支援処理プログラム172を記憶させておき、情報処理装置30の要求に応じて点検支援処理プログラム172がダウンロードされ、コンピュータ44にインストールされるようにしてもよい。
なお、情報処理装置30に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はストレージ64に点検支援処理プログラム172の全てを記憶させておく必要はなく、点検支援処理プログラム172の一部を記憶させておいてもよい。
また、図2に示す情報処理装置30にはコンピュータ44が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ44が情報処理装置30の外部に設けられるようにしてもよい。
上記実施形態では、コンピュータ44が例示されているが、本開示の技術はこれに限定されず、コンピュータ44に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ44に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
上記実施形態で説明した点検支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、点検支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで点検支援処理を実行する。
点検支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、点検支援処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、点検支援処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、点検支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、点検支援処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の点検支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。