Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6869264B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents
[go: Go Back, main page]

JP6869264B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP6869264B2
JP6869264B2 JP2018562898A JP2018562898A JP6869264B2 JP 6869264 B2 JP6869264 B2 JP 6869264B2 JP 2018562898 A JP2018562898 A JP 2018562898A JP 2018562898 A JP2018562898 A JP 2018562898A JP 6869264 B2 JP6869264 B2 JP 6869264B2
Authority
JP
Japan
Prior art keywords
photographed
mark
altitude
size
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018562898A
Other languages
English (en)
Other versions
JPWO2018135110A1 (ja
Inventor
象 村越
象 村越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Network Communications Inc
Original Assignee
Sony Network Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Network Communications Inc filed Critical Sony Network Communications Inc
Publication of JPWO2018135110A1 publication Critical patent/JPWO2018135110A1/ja
Application granted granted Critical
Publication of JP6869264B2 publication Critical patent/JP6869264B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/02Means for marking measuring points
    • G01C15/06Surveyors' staffs; Movable markers
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional [3D] objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本開示は、情報処理装置、情報処理方法、プログラムおよび対空標識システムに関する。
近年、地表に設置された対空標識を空から撮影し、その撮影により得られる撮影画像に映る対空標識が設置された標定点に基づいて、地上の3次元モデルを作成することで、土量計測を容易に行う技術が提案されている(例えば、特許文献1)。
特開2005−140550号公報
ここで、既存の技術では、対空標識に付されたマークの検出に用いられるパラメータを、当該マークの特徴に応じて設定することができなかったため、単一のマークが付された対空標識が用いられていた。これによって、実施者は、計測対象領域がいかなる環境であっても対空標識を設置するために当該単一のマークが付された対空標識を運搬しなければならないため、計測対象領域が山岳地帯などの、実施者の立ち入りが困難な環境である場合には、対空標識の設置および回収にかかる実施者への負荷が大きかった。
そこで、本開示は、上記に鑑みてなされたものであり、本開示は、対空標識に付されたマークの検出に用いられるパラメータを、当該マークの特徴に応じて設定することが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラムおよび対空標識システムを提供する。
本開示によれば、撮影画像を取得する取得部と、前記撮影画像中の被撮影物が有する特徴を検出する検出部と、前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを前記特徴に基づいて決定する決定部と、を備える、情報処理装置が提供される。
また、本開示によれば、撮影画像を取得することと、前記撮影画像中の被撮影物が有する特徴を検出することと、前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを前記特徴に基づいて決定することと、を有する、コンピュータにより実行される情報処理方法が提供される。
また、本開示によれば、撮影画像を取得することと、前記撮影画像中の被撮影物が有する特徴を検出することと、前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを前記特徴に基づいて決定することと、をコンピュータに実現させるためのプログラムが提供される。
また、本開示によれば、第1の特徴を有する第1のマークが付された第1の対空標識と、前記第1の特徴と異なる第2の特徴を有する第2のマークが付された第2の対空標識と、を備え、前記第1のマークの大きさと前記第2のマークの大きさは互いに異なる、対空標識システムが提供される。
以上説明したように本開示によれば、対空標識に付されたマークの検出に用いられるパラメータを、当該マークの特徴に応じて設定することが可能になる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る土量計測システムを示す図である。 UAVにより空撮された対空標識のマークを示す図である。 既存技術におけるパラメータの設定例を示す図である。 本実施形態において、対空標識に付されたマークが有する色彩がマークの大きさを表す場合の一例を示す図である。 本実施形態において、マークの大きさおよび撮影時の高度に基づくパラメータの設定例を示す図である。 本実施形態に係るクラウドサーバの機能構成を示す図である。 本実施形態に係る土量計測システムで行われる土量計測の作業フローの例を示すフローチャートである。 本実施形態に係る土量計測システムで行われるマークの検出処理フローの例を示すフローチャートである。 第1の変形例において、マークが有する形状がマークの大きさを表す場合の一例を示す図である。 第2の変形例において、マークに付された色彩の順番がマークの大きさを表す場合の一例を示す図である。 パラメータの設定方式のバリエーションの一例を示す図である。 パラメータの設定方式のバリエーションの一例を示す図である。 パラメータの設定方式のバリエーションの一例を示す図である。 本実施形態に係るクラウドサーバのハードウェア構成を示す図である。 互いに特徴が異なるマークが、同一の対空標識に付される場合の一例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.実施形態の概要
2.装置の機能構成(クラウドサーバの機能構成)
3.装置の動作
4.変形例
5.パラメータの設定方式
6.クラウドサーバのハードウェア構成
7.備考
8.むすび
<1.本開示の概要>
(1−1.本開示の一実施形態の概要)
本開示の一実施形態は土量計測システムに関する。まず、図1を参照して、本開示の一実施形態の概要について説明する。図1は、本開示の一実施形態に係る土量計測システムを示す図である。
図1に示すように、本実施形態に係る土量計測システムは、対空標識100と、クラウドサーバ200と、ドローン300と、管制装置400と、を備える。対空標識100には、所定のマーク10が付されている。
本実施形態に係る土量計測システムでは、UAV(無人航空機:Unmanned aerial vehicle)による土量計測が行われる。より具体的に説明すると、UAVが地表に設置されている対空標識100を上空から撮影し、生成した撮影画像の解析が行われることによって土量計測が行われる。本実施形態では、UAVとしてドローン300が用いられる場合を一例として説明する。
本実施形態に係る対空標識100に付されているマーク10は、土量計測に用いられる標定点として機能する。より具体的に説明すると、土量計測の実施者は、土量計測を行う対象領域に、所定(例えば、数百メートル程度)の間隔でマーク10が付された対空標識100を設置し、当該対象領域がドローン300によって上空から撮影される。その後、撮影画像中から検出される複数のマーク10と、各マーク10が設置された地点の水平位置(緯度及び経度)及び標高等の情報とが対応付けられることで、地上の3次元モデルが生成され、当該3次元モデルに基づいて土量計測が行われる。
ドローン300は、マーク10が設置された土量計測の対象領域を空撮するUAVである。より具体的に説明すると、ドローン300は、実施者によって予め飛行高度を含む飛行ルート等の各種設定が行われ、当該設定に基づいて飛行し、マーク10が設置されている対象領域を空撮する。そして、ドローン300は、無線通信によって1枚以上の撮影画像を撮影画像データとしてクラウドサーバ200へ送信する。
クラウドサーバ200は、撮影画像データを解析する情報処理装置である。より具体的に説明すると、クラウドサーバ200は、ドローン300から受信した撮影画像データを解析し、マーク10を検出する。そして、クラウドサーバ200は、検出したマーク10と、各マーク10が設置された地点の緯度、経度及び標高等の情報とを対応付けることで、地上の3次元モデルを生成し、当該3次元モデルに基づいて土量計測を行う。
管制装置400は、GCS(Ground Control Station)(Ground Station)として機能する専用の装置で構成される情報処理装置である。又は、管制装置400は、PC(Personal Computer)、タブレット、若しくは、スマートフォン等の通信機能を有する装置が、そのような装置をGCSとして機能させるためのプログラムを実行することで構成される。
管制装置400は、操作者の操作に従って、ドローン300と通信を行い、ドローン300の飛行の制御や、位置の取得、ドローン300に搭載されたカメラ301に対する撮影の指令、カメラ301で撮影された撮影画像の取得の指令等を行う。
管制装置400は、操作者の操作に従って、クラウドサーバ200によるマーク10の検出処理で得られる対空標識100の検出結果を表示することができる。操作者は、対空標識100の検出結果から、対空標識100の撮影が適切に行われたかを確認することができる。
対空標識100の撮影が適切に行われていない場合、例えば、検出処理で対空標識100を検出することができなかった場合、操作者は、管制装置400を操作することにより、ドローン300を再度飛行させ、対空標識100の撮影を行わせることができる。
なお、管制装置400は、ドローン300から取得した撮影画像を、クラウドサーバ200にアップロードすることができる。また、本実施形態では、ドローン300から取得した撮影画像を、管制装置400を介してクラウドサーバ200にアップロードするが、これに限定されない。たとえば、管制装置400を介さずに、ドローン300から取得した撮影画像や、ドローン300の現在の位置をクラウドサーバ200に直接送信するようにしても構わない。
(1−2.背景)
以上では、本開示の一実施形態の概要について説明した。続いて、本開示の背景について説明する。
UAVを用いた土量計測システムにおいて、画像解析プログラムが対空標識に付されたマークを検出する精度は、主に、撮影装置からマークまでの距離(高度とほぼ等価。以降便宜的に「高度」と記載する)およびマークの大きさに依存する。より具体的に説明すると、撮影時の高度およびマークの大きさに基づいて各種パラメータが画像解析プログラムに設定されることで、画像解析プログラムがマークの検出処理を行う。したがって、パラメータ設定に用いられる撮影時の高度の情報またはマークの大きさの情報が実際の情報と異なるほど、マークの検出精度が低下する。なお、高度が低いほどマークの検出精度が高くなるとは限らない(同様に高度が高いほどマークの検出精度が低くなるとも限らない)。また、マークが大きいほどマークの検出精度が高くなるとは限らない(同様にマークが小さいほどマークの検出精度が低くなるとも限らない)。すなわち、マークの検出精度を向上させるには、高度およびマークの大きさに基づいてより適したパラメータが選定されることが望ましい。
ここで、撮影時の高度は、UAVに搭載されている気圧センサによって測定された気圧情報に基づいて特定される。一方、マークの大きさを特定することは、撮影時の高度が高いことにより、または、マークの大きさが小さいことにより困難である場合があった。ここで、図2を参照してより具体的に説明する。図2は、UAVにより空撮された対空標識のマークを示す図である。
例えば、撮影時の高度が数十[m](例えば60[m]程度)であり、マークが直径数十[cm](例えば30[cm]程度)の円形状を有しているとき、撮影画像全体に対してマークの大きさが小さいため、図2に示すように、撮影画像におけるマークのピクセル数(情報量)が少ない。したがって、撮影画像の解析によってマークの大きさを特定することは困難である。以上により、既存の技術においては、異なる大きさを有するマークではなく、相当の大きさを有する単一のマークが付された対空標識が用いられることが多かった。
以上から、既存の土量計測システムにおいては、図3に示すように、事前の飛行計画にて実施者により設定された高度(図中には「所定の高度」と記載)と、単一のマークの大きさ(図中には「所定の大きさ」と記載)と、に基づいてマークの検出に使用されるプログラムのパラメータが設定されていた。この場合、例えば、UAVが飛行計画にて設定された高度とは異なる高度で空撮を行った場合には、マークの検出精度が低下する可能性があった。
さらに、相当の大きさを有する単一のマークが付された対空標識が用いられることによって、実施者は、対象領域がいかなる環境であっても対空標識を設置するために当該対空標識を運搬しなければならないため、対象領域が山岳地帯などの、実施者の立ち入りが困難な環境である場合には、対空標識の設置および回収にかかる実施者への負荷が大きかった。
そこで、本開示は、上記の点に着眼し、対空標識を撮影した撮影画像から、従来の方法より高い精度で対空標識を検出することが出来るようにする方法を提案する。本開示の一実施形態においては、大きさの異なるマーク10が付された複数種類の対空標識100が用いられ、各対空標識100に付されたマーク10は、その大きさに応じて異なる特徴を有している。換言すると、互いに大きさの異なる第1のマーク(第1の対空標識に付されているマーク)と第2のマーク(第2の対空標識に付されているマーク)があるとすると、第1のマークはその大きさに対応する第1の特徴を有しており、第2のマークはその大きさに対応し、かつ、第1の特徴とは異なる第2の特徴を有している。より具体的には、各対空標識100に付されたマーク10は、その大きさに応じて異なる色彩、配色または形状等を有している。これによって、撮影画像を解析する装置は、マーク10の特徴に関する情報を撮影画像から検出し、当該特徴に基づいてマーク10の大きさを判定し、当該大きさに基づいてパラメータを設定することで、マーク10の検出を行う。これによって、本実施形態に係る土量計測システムは、マーク10を検出するのに適切なパラメータを設定することができるため、マーク10の検出精度を向上させることができる。
(1−3.土量計測システムの機能概要)
上記では、本開示の背景について説明した。続いて、図4および図5を参照して、本実施形態に係る土量計測システムの機能概要について説明する。
図4は、本実施形態において、図1の対空標識100に付されたマーク10が有する色彩がマーク10の大きさを表す場合の一例を示す図である。図4に示すように、本実施形態では、例えば、大中小と異なる大きさを有したマーク11〜マーク13が付された対空標識111〜対空標識113が用いられ、マーク11〜マーク13は、それぞれの大きさに対応した色彩で描かれている。より具体的には、マーク11は、最も大きく、その大きさに対応する色彩として例えば赤色(図中においては、低密度のドットパターンでハッチングされている。以降の図面においても同様とする)で描かれている(以降、便宜的に「マーク11」を「大マーク11」と呼称する)。マーク12は、2番目に大きく、その大きさに対応する色彩として例えば青色(図中においては、モザイクパターンでハッチングされている。以降の図面においても同様とする)で描かれている(以降、便宜的に「マーク12」を「中マーク12」と呼称する)。マーク13は、最も小さく、その大きさに対応する色彩として例えば緑色(図中においては、高密度のドットパターンでハッチングされている。以降の図面においても同様とする)で描かれている(以降、便宜的に「マーク13」を「小マーク13」と呼称する)。なお、図4におけるマーク11〜マーク13の少なくともいずれか一つのマークを示す場合にマーク10と称し、対空標識111〜対空標識113の少なくともいずれか一つの対空標識を示す場合に対空標識100と称す。
本実施形態に係るクラウドサーバ200は、ドローン300が空撮した撮影画像を解析し、マーク11〜マーク13の各色彩に対応する色相の画素を探索する。クラウドサーバ200は、マーク11〜マーク13の各色彩に対応する色相の画素を検出できた場合、この画素の位置を、マーク(マーク11〜マーク13の少なくともいずれか)が位置する可能性がある候補領域とする。そして、クラウドサーバ200は、検出できたマークが有する大きさを出力することができる。
また、併せて、クラウドサーバ200は、撮影時の高度に関する情報をドローン300から取得する。そして、クラウドサーバ200は、撮影画像中に映っていると推定したマークの大きさおよび撮影時の高度に基づいてパラメータを設定する。
ここで、図5を参照して、パラメータの設定例について説明する。図5は、マーク10の大きさおよび撮影時の高度に基づくパラメータの設定例を示す図である。クラウドサーバ200は、撮影画像を解析し、小マーク13が撮影されていると判定した場合には、パラメータA1〜パラメータA3のうち、撮影時の高度に対応するパラメータを設定する。例えば、撮影時の高度が50[m]であれば、クラウドサーバ200は、A2のパラメータを設定する。小マーク13と同様に、クラウドサーバ200は、中マーク12が撮影されていると判定した場合にはパラメータB1〜パラメータB3のうち撮影時の高度に対応するパラメータを設定し、大マーク11が撮影されていると判定した場合にはパラメータC1〜パラメータC3のうち撮影時の高度に対応するパラメータを設定する。
以上によって、本実施形態に係る土量計測システムは、マーク10に付された色彩に基づいてマーク10の大きさを判定することができ、マーク10の大きさおよび撮影時の高度に基づいて、マーク10を検出するのに適切なパラメータを設定することができる。これによって、本実施形態に係る土量計測システムは、マーク10の検出精度を向上させることができるため、土量計測の精度を向上させることができる。
さらに、本実施形態に係る土量計測システムは、マーク10に付された色彩に基づいてマーク10の大きさを判定でき、異なる大きさを有するマーク10が付された対空標識100を混在させた状態で地表に設置し、土量計測を行うことができる。これによって、本実施形態に係る土量計測システムは、設置場所に適した大きさのマーク10が付された対空標識100を用いることができる。例えば、山岳地帯などの、実施者の立ち入りが困難な環境である場合には、立ち入りが簡単な環境に設置される対空標識100よりもより小さいマーク10が付された対空標識100が設置されてもよい。これにより、本実施形態に係る土量計測システムは、対空標識100の設置および回収にかかる実施者への負荷を軽減させることができる。
また、本実施形態に係る土量計測システムは、図4の例のように、円など、回転対称性を有する図形をマーク10として使用することでマーク10の検出精度をより向上させることができる。より具体的に説明すると、撮影画像を解析するクラウドサーバ200は、撮影画像においてマーク10が映っていると推定される領域を抽出し、当該領域と、当該領域を回転させた回転画像との相関(相関値、類似度)を求め、相関の高さ(相関値、類似度の大きさ)に基づいて当該領域にマーク10が映っているか否かを判定してもよい。当該領域と回転画像との相関が高い(相関性がある)ほど、当該領域は対空標識100として識別されやすくなる。回転対称性を有する図形がマーク10として使用された場合、本実施形態に係る土量計測システムは、上記のような処理によって、マーク10の検出精度をより向上させることができる。
また、本実施形態に係る土量計測システムは、図4の例のように、対空標識100のマーク10に隣接するマーク10以外の領域に無彩色の一種である黒色を付すことでマーク10の検出精度をより向上させることができる。より具体的に説明すると、本実施形態に係る土量計測システムは、マーク10に隣接するマーク10以外の領域に黒色を付すことで、黒色以外を付す場合よりも、撮影画像において、マーク10の領域とそれ以外の領域(土の領域、草の領域、コンクリートの領域など、設置場所の領域も含む)との混色が発生する可能性をより低減させることができるため、マーク10の検出精度をより向上させることができる。
なお、マーク10以外の領域に付される色は、黒色に限定されない。例えば、本実施形態に係る土量計測システムは、マーク10に付される色彩に対応する色相と、マーク10に隣接するマーク10以外の領域に付される色彩とが所定の閾値以上異なるようにする。これによって、土量計測システムは、上記と同様に混色の発生を抑制することができ、マーク10の検出精度をより向上させることができる。
また、本実施形態に係る土量計測システムは、図4の例のように、円など、中抜き形状を有するマーク10を採用することでマーク10の検出精度をより向上させることができる。より具体的に説明すると、マーク10以外の被撮影物の多くは、撮影画像において中抜き形状ではない形状で映っているため、本実施形態に係る土量計測システムは、中抜き形状を有するマーク10を採用することで、マーク10を、マーク10以外の被撮影物とより容易に区別することができる。これにより、本実施形態に係る土量計測システムは、マーク10の検出精度をより向上させることができる。
なお、上記で説明したマーク10はあくまで一例であり、マーク10の大きさ、大きさに対応する色彩、形状等は適宜変更されてもよい。例えば、大中小という3種類よりも多い(または少ない)種類の大きさのマーク10が用意されてもよい。また、マーク10に付される色彩は、赤色、青色、緑色以外でもよい。また、マーク10は、円以外の任意の形状を有していてもよい。
<2.装置の機能構成(クラウドサーバの機能構成)>
以上では、本実施形態に係る土量計測システムの機能概要について説明した。続いて、図6を参照して、本実施形態に係るクラウドサーバ200の機能構成について説明する。図6は、本実施形態に係るクラウドサーバ200の機能構成を示す図である。
図6に示すように、本実施形態に係るクラウドサーバ200は、通信部210と、情報取得部220と、処理部230と、制御部240と、記憶部250と、を備える。また、処理部230は、候補領域抽出部231と、特徴量抽出部232と、マーク検出部233と、土量計測部234と、を備える。
(通信部210)
通信部210は、ドローン300との通信を行う。より具体的に説明すると、通信部210は、ドローン300から撮影画像データおよび撮影時の高度に関する情報を受信する。ここで、通信部210がドローン300から受信する情報には、撮影画像データおよび撮影時の高度に関する情報以外の情報が適宜含まれてもよい。通信部210は、ドローン300から受信した各種情報を情報取得部220へ提供する。
ここで、通信部210とドローン300との通信の方式は任意である。例えば、通信部210とドローン300とは、インターネット、電話回線網、衛星通信網などの公衆回線網を介して通信を行ってもよいし、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを介して通信を行ってもよい。また、通信部210とドローン300とは、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網や、Bluetooth(登録商標)などの近距離無線通信網を介して通信を行ってもよい。
なお、本明細書では通信部210とドローン300とが無線通信を行うことを想定して記載するが、通信部210とドローン300とは有線通信を行ってもよい。例えば、実施者が、空撮後にドローン300を回収し、ドローン300とクラウドサーバ200とをケーブルで接続することによって、クラウドサーバ200の通信部210とドローン300とは、撮影画像データ等を通信してもよい。
(情報取得部220)
情報取得部220は、土量計測に使用される各種情報を取得する取得部として機能する。より具体的に説明すると、情報取得部220は、通信部210から撮影画像データおよび撮影時の高度に関する情報を含む各種情報を取得し、これらの情報を処理部230へ提供する。なお、情報取得部220は、取得した情報を適宜編集してもよい。例えば、情報取得部220は、取得した情報のうち土量計測に不要な情報を削除したり、撮影画像データのデータ量を削減したりしてもよい。すなわち、ドローン300の飛行前から飛行後まで撮影をした場合に取得される、離着陸時の画像や、旋回時の重複画像、高度調整時の重複画像の中から、不要な画像を削除してもよい。また、取得された複数の撮影画像のうち、重複している領域を除去して保存するようにしてもよい。
(処理部230)
処理部230は、撮影画像中の被撮影物が有する特徴(本実施形態においては色彩)を検出する検出部としての機能と、検出できた特徴に基づいて被撮影物がマーク10であるか否かを判定する処理に用いられる各種パラメータを決定する決定部としての機能と、被撮影物がマーク10であるか否かを判定する判定部としての機能を有する。また、処理部230は、これらの機能を用いて撮影画像から検出できたマーク10に基づいて土量計測処理を行う。上記のとおり、処理部230は、候補領域抽出部231と、特徴量抽出部232と、マーク検出部233と、土量計測部234と、を備えており、これらの構成が分担して処理を行う。
(候補領域抽出部231)
候補領域抽出部231は、撮影画像において、マーク10(または対空標識100)が映る領域の候補である候補領域を抽出する。より具体的に説明すると、候補領域抽出部231は、情報取得部220から提供された撮影画像データに対して、撮影画像の画素の2値化処理、Erosion処理(浸食処理)、Dilation処理(膨張処理)、マーク10であると推定される画素の輪郭を検出する輪郭検出処理、輪郭に外接する矩形の抽出処理を行うことで、マーク10が含まれる領域の候補である候補領域を抽出する。候補領域抽出部231は、抽出した候補領域に関する情報を特徴量抽出部232へ提供する。各処理の詳細については後述する。
(特徴量抽出部232)
特徴量抽出部232は、候補領域の特徴量を抽出する。例えば、特徴量抽出部232は、以下のような候補領域の特徴量を抽出することができる。
例えば、候補領域抽出部231は、候補領域の特徴量として、候補領域の大きさと、撮影画像にマーク10が映っている場合におけるマーク10の大きさの推定値との比(以降、便宜的に「サイズ比」と呼称する)を求めることができる。
ここで、撮影画像は、例えば、EXIF(Exchangeable Image File Format)形式でファイルに記録される。EXIF形式のファイルには、撮影のメタデータとして、撮影日時、焦点距離、撮影位置の緯度、経度および高度(標高)等のGPS(Global Positioning System)情報等が記録される。
特徴量抽出部232は、例えば、EXIF形式のファイルに記録された撮影位置の高度と焦点距離から、撮影画像にマーク10が映っている場合の、そのマーク10の大きさを推定する。
特徴量抽出部232は、サイズ比を用いることによって、大きすぎる候補領域または小さすぎる候補領域はマーク10を含まないと判定され易くすることができる。例えば、サイズ比が1.0に近いほど、当該候補領域がマーク10を含むと判定される可能性が高くなる。
また、特徴量抽出部232は、候補領域の特徴量として、例えば、候補領域のアスペクト比を求めることができる。特徴量抽出部232は、候補領域のアスペクト比を用いることによって、マーク10の縦方向の長さと横方向の長さの比率と比べて異なる(縦方向と横方向の)比率を有する候補領域はマーク10を含まないと判定され易くすることができる。例えば、候補領域のアスペクト比が1.0に近いほど、当該候補領域がマーク10を含むと判定される可能性が高くなる。
また、特徴量抽出部232は、候補領域の特徴量として、例えば、候補領域と、マーク10のテンプレート画像との相関(相関値、類似度)を求めることができる。例えば、特徴量抽出部232は、候補領域とテンプレート画像との相関値が所定の閾値より大きい(相関がある)ほど、当該候補領域がマーク10を含むと判定され易くすることができる。なお、マーク10のテンプレート画像は、予め用意されることとする。また、相関値の算出方法は任意である。
また、特徴量抽出部232は、候補領域の特徴量として、例えば、候補領域と、その候補領域を回転した回転画像との相関を求めることができる。例えば、特徴量抽出部232は、候補領域と回転画像との相関値が大きいほど、当該候補領域がマーク10を含むと判定され易くすることができる。本実施形態に係るマーク10のように回転対称性を有している場合には、特徴量抽出部232は、候補領域と、その候補領域を回転した回転画像との相関を求めることで、マーク10の検出精度を向上させることができる。なお、候補領域の回転は、2πの整数倍以外の所定の角度だけ行われることとする。
また、特徴量抽出部232は、例えば、候補領域およびテンプレート画像に対してマーク10に付された色彩を強調するフィルタ(関数)を適用し、そのフィルタ適用後の候補領域とフィルタ適用後のテンプレート画像との相関を候補領域の特徴量として求めることができる。例えば、特徴量抽出部232は、フィルタ適用後の候補領域とフィルタ適用後のテンプレート画像との相関値が大きいほど、当該候補領域がマーク10を含むと判定され易くすることができる。
なお、特徴量抽出部232が抽出する候補領域の特徴量は、上述した特徴量に限定されない。特徴量抽出部232は、抽出した特徴量に関する情報をマーク検出部233へ提供する。
(マーク検出部233)
マーク検出部233は、マーク10の検出処理を行う。より具体的に説明すると、マーク検出部233は、特徴量抽出部232から提供される候補領域の特徴量に関する情報に基づいて当該候補領域がマーク10を含んでいるか否かを判定する。そして、マーク検出部233は、当該判定によって検出したマーク10に関する情報を土量計測部234へ提供する。
なお、候補領域がマーク10を含んでいるか否かを判定する方法は任意である。例えば、マーク検出部233は、候補領域の各特徴量を閾値処理し、その閾値処理の結果の多数決、または、閾値処理の結果を表す点数の重み付け加算等によって、候補領域がマーク10を含んでいるか否かを判定してもよい。また、マーク検出部233は、候補領域の各特徴量を、予め学習を行ったニューラルネットワーク等で構成される識別器(不図示)に入力し、その入力に対する識別器の出力に基づいて、候補領域がマーク10を含んでいるか否かを判定してもよい。
(土量計測部234)
土量計測部234は、地上の3次元モデルを生成し土量計測処理を行う。より具体的に説明すると、土量計測部234は、マーク検出部233によって検出された各マーク10の位置と、別途測定された各マーク10の緯度、経度および標高等の情報とを対応づけることによって地上の3次元モデルを生成し、当該3次元モデルを用いて土量計測を行う。
<3.装置の動作>
以上では、本実施形態に係るクラウドサーバ200の機能構成について説明した。続いて、本実施形態に係る各装置の動作について説明する。
(3−1.土量計測)
まずは、図7を参照して、土量計測における各装置の動作について説明する。図7は、本実施形態に係る土量計測システムで行われる土量計測の作業フローの例を示すフローチャートである。
ステップS1000では、土量計測の実施者によって、土量計測の事前計画がたてられる。事前計画では、ドローン300の飛行ルートの決定や、対空標識100が設置される標定点となる位置の決定等が行われる。
ステップS1004では、事前計画に従い、例えば、数百[m]程度の間隔で設定された標定点に、対空標識100が設置される。対空標識100の設置は、例えば、人手や移動可能なロボット等によって行われてもよいし、ドローン300によって空から投下されることで実現されてもよい。なお、本実施形態においては、異なる大きさを有するマーク10が付された複数種類の対空標識100が混在した状態で設置されてもよい。
ステップS1008では、対空標識100が設置された各標定点の水平位置(緯度および経度)と標高とが計測される。ステップS1012では、事前計画に従い、ドローン300が飛行し、マーク10を含む地表を空撮する(またはドローン300に搭載された撮影装置が空撮する)。ステップS1012での空撮は、複数の撮影画像が撮影され、各撮影画像の一部が互いに重複するように行われる。そして、当該空撮は、対空標識100が設置された範囲の一部又は全体が撮影されるように行われる。
ステップS1016では、地上に設置された対空標識100が実施者等によって回収されるとともに、撮影画像データがクラウドサーバ200にアップロード(送信)される。その後、クラウドサーバ200は、撮影画像同士の重複部分等に基づいて複数の撮影画像を結合させる。ステップS1020では、クラウドサーバ200が、結合後の撮影画像から、当該結合後の撮影画像に映るマーク10を検出する検出処理を行う。当該検出処理の動作フローの詳細については後述する。
ステップS1024では、クラウドサーバ200はステップS1008で計測された各標定点の水平位置と標高と、ステップS1020で行われた検出処理で得られるマーク10の検出結果とを用いて、地上の3次元モデルを生成する。そして、ステップS1032では、クラウドサーバ200が、地上の3次元モデルを用いて土量計測を行い、その計測結果を出力することで処理が終了する。
(3−2.マークの検出処理)
続いて、図8を参照して、図7のステップS1020「画像中のマークの検出処理」の詳細について説明する。図8は、本実施形態に係る土量計測システムで行われるマーク10の検出処理フローの例を示すフローチャートである。
まず、ステップS1100では、クラウドサーバ200の候補領域抽出部231が、撮影画像から、候補領域を抽出する候補領域抽出処理(ステップS1104〜ステップS1120)を行う。ステップS1104では、候補領域抽出部231は、マーク10に付された各色彩の画素であるか、または、その色彩以外の画素であるかによって、撮影画像の各画素(の画素値)を2値化する。
例えば、候補領域抽出部231は、図4に示した大マーク11に付された赤色に対応するHSV空間の色相H(Hue)を利用し、その赤色の色相Hとみなせる範囲の色相Hの画素(例えば、320[度]〜360[度]の範囲の画素)を、大マーク11に付された色彩の画素であると判定して、その画素値を0または1のいずれか一方(例えば、1)に設定する。また、候補領域抽出部231は、色相Hが320[度]〜360[度]の範囲以外の画素(大マーク11に付された赤色の画素であると判定されない画素)を、大マーク11に付された赤色の画素ではない画素であると判定して、その画素値を0または1のうちの、例えば、0に設定する。候補領域抽出部231は、上記の処理と同様に、中マーク12に付された青色、小マーク13に付された緑色を検出するための2値化処理を行う。
なお、撮影画像の画素の2値化は、HSV空間の色相Hの他、彩度S(Saturation)または明度V(Value)も併せて利用されてもよい。例えば、マーク10に付された色彩が赤色である場合、候補領域抽出部231は、HSV空間の色相Hが320[度]〜360[度]の範囲であり、かつ、彩度Sが30〜255の範囲の画素を、マーク10に付された色彩の画素であると判定してもよい。あるいは、候補領域抽出部231は、HSV空間の色相Hが320[度]〜360[度]の範囲であり、彩度Sが30〜255の範囲であり、かつ、明度Vが50〜255の範囲の画素を、マーク10に付された色彩の画素であると判定してもよい。以上のように、候補領域抽出部231は、マーク10に付された色彩の色相H、彩度Sおよび明度Vのうちの、少なくとも色相Hを利用して、候補領域を抽出するための2値化を行うことができる。
また、候補領域抽出部231は、マーク10に付された色彩の色相H、彩度Sおよび明度Vのうちの、少なくとも色相Hを利用して、候補領域を抽出するための2値化を行うことにより、マーク10が映る領域として、より確からしい候補領域を抽出することができる。
ステップS1108では、候補領域抽出部231は、撮影画像の2値化によって得られる2値化画像のErosion処理(浸食処理)を行う。ステップS1112では、候補領域抽出部231は、Erosion処理後の2値化画像に対してDilation処理(膨張処理)を行う。候補領域抽出部231は、Erosion処理およびDilation処理によって2値化画像のノイズを除去することができる。
ステップS1116では、候補領域抽出部231は、Dilation処理後の2値化画像において、画素値が1になっている画素の領域、すなわち、撮影画像においてマーク10であると推定される画素の輪郭を検出する輪郭検出処理を行う。
ステップS1120では、候補領域抽出部231は、輪郭検出処理により検出した輪郭に外接する矩形に対応する領域を、マーク10が含まれる候補領域として抽出し、抽出した候補領域に関する情報を特徴量抽出部232に提供する。なお、輪郭検出処理により検出された輪郭が複数である場合には、その複数の輪郭それぞれに対して、候補領域の抽出が行われる。
ステップS1124では、特徴量抽出部232は、候補領域の特徴量を抽出する特徴量抽出処理を行い、その特徴量抽出処理により得られる候補領域の特徴量をマーク検出部233に提供する。
ステップS1128では、マーク検出部233が、各候補領域の特徴量に基づいて当該候補領域にマーク10が含まれるか否かを判定することによって、マーク10を検出し、検出結果を出力する。
<4.変形例>
以上では、マーク10の検出処理の詳細について説明した。続いて、本開示の変形例について説明する。上記の実施形態では、マーク10に付された色彩によってマーク10の大きさが表されていた。以下の変形例では、マーク10が有する色彩以外の特徴によってマーク10の大きさが表される。
(4−1.第1の変形例)
まず、第1の変形例について説明する。第1の変形例は、マーク10が有する形状によってマーク10の大きさが表される場合である。ここで、図9を参照して、第1の変形例について説明する。図9は、第1の変形例において、マーク10が有する形状がマーク10の大きさを表す場合の一例を示す図である。
図9に示すように、第1の変形例では、例えば、大中小と異なる大きさを有したマーク21〜マーク23が付された対空標識121〜対空標識123が用いられ、マーク21〜マーク23は、それぞれの大きさに対応した形状を有している。より具体的には、マーク21は、最も大きく、その大きさに対応する形状として、半径が異なり、所定長の幅を有する3個の円が同心円状に配置された形状を有している(以降、便宜的に「マーク21」を「大マーク21」と呼称する場合がある)。
また、マーク22は、2番目に大きく、その大きさに対応する形状として、半径が異なり、所定長の幅を有する2個の円が同心円状に配置された形状を有している(以降、便宜的に「マーク22」を「中マーク22」と呼称する場合がある)。最後に、マーク23は、最も小さく、その大きさに対応する形状として、所定長の幅を有する1個の円が配置された形状を有している(以降、便宜的に「マーク23」を「小マーク23」と呼称する場合がある)。
第1の変形例に係るクラウドサーバ200は、ドローン300が撮影した撮影画像を解析し、撮影画像中にてマーク21〜マーク23が有する形状を探索する。ここで、探索方法は、上記の実施形態と同様の方法が用いられてもよい。クラウドサーバ200は、マーク21〜マーク23が有する形状を検出できた場合、その検出できた位置を、マーク(マーク21〜マーク23の少なくともいずれか)が位置する可能性がある候補領域とする。そして、クラウドサーバ200は、検出できたマークが有する大きさを出力することができる。
そして、上記の実施形態と同様に、クラウドサーバ200は、撮影時の高度に関する情報をドローン300から取得する。そして、クラウドサーバ200は、撮影画像中に映っていると推定したマークの大きさおよび撮影時の高度に基づいてパラメータを設定する。パラメータの設定方法は、図5を参照して説明した方法と同様であるため、説明を省略する。
なお、図9に示すマーク21〜マーク23も、図4に示すマーク11〜マーク13と同様に、回転対称性を有しているため、特徴量抽出部232は、特徴量抽出処理において、候補領域とその候補領域を回転した回転画像との相関を求めることで、マーク21〜マーク23の検出精度を向上させることができる。
また、図9に示すマーク21〜マーク23の複数の円の間にも、図4に示すマーク11〜マーク13と同様に、無彩色の一種である黒色が付されている。これにより、第1の変形例に係る土量計測システムも、撮影画像において、マーク21〜マーク23の領域とそれ以外の領域(土の領域、草の領域、コンクリートの領域など、設置場所の領域も含む)との混色が発生する可能性をより低減させることができるため、マーク21〜マーク23の検出精度をより向上させることができる。なお、マーク21〜マーク23以外の領域に付される色が黒色に限定されない点は、上記の実施形態と同様である。
また、図9に示すマーク21〜マーク23も、図4に示すマーク11〜マーク13と同様に、中抜き形状を有する。これにより、第1の変形例に係る土量計測システムも、マーク21〜マーク23を、マーク21〜マーク23以外の被撮影物とより容易に区別することができるため、マーク21〜マーク23の検出精度をより向上させることができる。
なお、図9に示すマーク21〜マーク23はあくまで一例であり、各マークの大きさ、大きさに対応する形状、色彩等は適宜変更されてもよい。例えば、大中小という3種類よりも多い(または少ない)種類の大きさのマークが用意されてもよい。また、各マークが有する形状は多角形等でもよい。
(4−2.第2の変形例)
続いて、第2の変形例について説明する。第2の変形例は、マーク10の配色(例えば、マーク10に付された色彩の順番)によってマーク10の大きさが表される場合である。ここで、図10を参照して、第2の変形例について説明する。図10は、第2の変形例において、マーク10に付された色彩の順番がマーク10の大きさを表す場合の一例を示す図である。
図10に示すように、第2の変形例では、例えば、大中小と異なる大きさを有したマーク31〜マーク33が付された対空標識131〜対空標識133が用いられる。マーク31〜マーク33は、半径が異なり、所定長の幅を有する3個の円が同心円状に配置された形状である。
そして、マーク31〜マーク33は、それぞれの大きさに対応する順番で色彩が付されている。より具体的には、マーク31は、最も大きく、その大きさに対応する配色として、外側の円から順に赤色、青色、緑色が付されている(以降、便宜的に「マーク31」を「大マーク31」と呼称する場合がある)。
また、マーク32は、2番目に大きく、その大きさに対応する配色として、外側の円から順に青色、緑色、赤色が付されている(以降、便宜的に「マーク32」を「中マーク32」と呼称する場合がある)。最後に、マーク33は、最も小さく、その大きさに対応する配色として、外側の円から順に緑色、赤色、青色が付されている(以降、便宜的に「マーク33」を「小マーク33」と呼称する場合がある)。
第2の変形例に係るクラウドサーバ200は、ドローン300が撮影した撮影画像を解析し、撮影画像中にてマーク31〜マーク33が有する配色を探索する。ここで、探索方法は、上記の実施形態と同様の方法が用いられてもよい。クラウドサーバ200は、マーク31〜マーク33が有する配色を検出できた場合、その検出できた位置を、マーク(マーク31〜マーク33の少なくともいずれか)が位置する可能性がある候補領域とする。そして、クラウドサーバ200は、検出できたマークが有する大きさを出力することができる。
そして、上記の実施形態と同様に、クラウドサーバ200は、撮影時の高度に関する情報をドローン300から取得する。そして、クラウドサーバ200は、撮影画像中に映っていると推定したマークの大きさおよび撮影時の高度に基づいてパラメータを設定する。パラメータの設定方法は、図5を参照して説明した方法と同様であるため、説明を省略する。
なお、図10に示すマーク31〜マーク33も、図4に示すマーク11〜マーク13と同様に、回転対称性を有しているため、特徴量抽出部232は、特徴量抽出処理において、候補領域とその候補領域を回転した回転画像との相関を求めることで、マーク31〜マーク33の検出精度を向上させることができる。
また、図10に示すマーク31〜マーク33の複数の円の間にも、図4に示すマーク11〜マーク13と同様に、無彩色の一種である黒色が付されている。これにより、第2の変形例に係る土量計測システムも、撮影画像において、マーク31〜マーク33の領域とそれ以外の領域(土の領域、草の領域、コンクリートの領域など、設置場所の領域も含む)との混色が発生する可能性をより低減させることができるため、マーク31〜マーク33の検出精度をより向上させることができる。なお、マーク31〜マーク33以外の領域に付される色が黒色に限定されない点は、上記の実施形態と同様である。
また、図10に示すマーク31〜マーク33も、図4に示すマーク11〜マーク13と同様に、中抜き形状を有する。これにより、第2の変形例に係る土量計測システムも、マーク31〜マーク33を、マーク31〜マーク33以外の被撮影物とより容易に区別することができるため、マーク31〜マーク33の検出精度をより向上させることができる。
なお、図10に示すマーク31〜マーク33はあくまで一例であり、各マークの大きさ、大きさに対応する配色、形状等は適宜変更されてもよい。例えば、大中小という3種類よりも多い(または少ない)種類の大きさのマークが用意されてもよい。また、各マークが有する形状は多角形等でもよい。
<5.パラメータの設定方式>
以上では、本開示の第2の変形例について説明した。続いて、図11〜図13を参照して、パラメータの設定方式のバリエーションについて説明する。図11〜図13は、パラメータの設定方式のバリエーションの一例を示す図である。上述の図5の例では、マーク11〜マーク13において、パラメータが変更される高度(閾値)が一致していた。例えば、マーク11〜マーク13のいずれにおいても、パラメータは高度20[m]、40[m]、60[m]を境に変更されていた。
ここで、パラメータの設定方式は図5の方式に限定されない。例えば、図11に示すように、各マークの大きさに応じて、パラメータが変更される高度(閾値)が異なっていてもよい。例えば、図11の例のように、小マーク13の検出に用いられるパラメータは、20[m]、30[m]、40[m]、50[m]、60[m]を境に変更され、中マーク12の検出に用いられるパラメータは、20[m]、40[m]、60[m]を境に変更され、大マーク11の検出に用いられるパラメータは、20[m]、50[m]を境に変更されてもよい。
これによって、本実施形態に係る土量計測システムは、各マークの検出精度を向上させることができる。より具体的に説明すると、本実施形態に係る土量計測システムは、検出されにくいマーク(例えば、小マーク13)の検出に用いられるパラメータをより細かく変更することによって、当該マークの検出精度を向上させることができる。一方、検出され易いマーク(例えば、大マーク11)の検出に用いられるパラメータは細かく変更されなくても検出精度は大きく低減しないと考えられるため、本実施形態に係る土量計測システムは、検出され易いマークの検出に用いられるパラメータを細かく変更しないことによってパラメータ変更処理を省略することができる。なお、小マーク13が検出されにくいマークであり、大マーク11が検出され易いマークであるという記載はあくまで一例であり、各マークの検出し易さは、マークの形状、色彩、解析プログラムの性能等の様々な要因によって変わり得る。
また、パラメータが変更される高度(閾値)の間隔は一様でなくてもよい。例えば、図12に示すように、パラメータが変更される高度(閾値)が20[m]、40[m]、50[m]、60[m]、65[m]、70[m]というように、高度が高くなるにつれて
パラメータが変更される高度(閾値)の間隔が小さくなってもよい。なお、これはあくまで一例であり、パラメータが変更される高度(閾値)およびその間隔は適宜変更され得る。
これによって、本実施形態に係る土量計測システムは、各マークの検出精度を向上させることができる。より具体的に説明すると、本実施形態に係る土量計測システムは、マークを検出しにくい高度(例えば、より高い高度)で撮影された撮影画像の解析に用いるパラメータをより細かく変更することによって、当該マークの検出精度を向上させることができる。一方、検出され易い高度(例えば、より低い高度)で撮影された撮影画像の解析に用いるパラメータは細かく変更されなくても検出精度は大きく低減しないと考えられるため、本実施形態に係る土量計測システムは、検出され易い高度で撮影された撮影画像の解析に用いるパラメータを細かく変更しないことによってパラメータ変更処理を省略することができる。なお、より高い高度での撮影画像からはマークが検出しにくく、より低い高度での撮影画像からはマークが検出しやすいという記載はあくまで一例であり、各マークの検出し易さは、マークの形状、色彩、解析プログラムの性能等の様々な要因によって変わり得る。
また、複数のパラメータによるマークの検出処理が行われてもよい。例えば、図13に示すように、60[m]以上の高度で撮影された撮影画像の解析に用いられるパラメータは、小マーク13についてはA1およびA2、中マーク12についてはB1およびB2、大マーク11についてはC1およびC2というように複数であってもよい。より具体的には、本実施形態に係る土量計測システムは、まず、複数のパラメータのうちのいずれか一方を設定してマークの検出を行い、その後(または並行して)、その他のパラメータを設定してマークの検出を行う。そして、本実施形態に係る土量計測システムは、より多くのマークが検出された検出結果を正としたり、各パラメータによる検出結果を併合(マージ)したり、何らかの方法でより精度が高いと判定できる検出結果を正としたりしてもよい。
これによって、本実施形態に係る土量計測システムは、各マークの検出精度を向上させることができる。より具体的に説明すると、本実施形態に係る土量計測システムは、マークを検出しにくい高度(例えば、より高い高度)で撮影された撮影画像を、複数のパラメータを用いて解析することによって、当該マークの検出精度を向上させることができる。一方、検出され易い高度(例えば、より低い高度)で撮影された撮影画像の解析に用いるパラメータは上記の実施形態と同様に単数でもよい。なお、より高い高度での撮影画像からはマークが検出しにくく、より低い高度での撮影画像からはマークが検出しやすいという記載はあくまで一例であり、各マークの検出し易さは、マークの形状、色彩、解析プログラムの性能等の様々な要因によって変わり得る。また、図示していないが、検出されにくいマーク(例えば、小マーク13)の検出処理に用いられるパラメータが複数にされてもよい。
<6.クラウドサーバのハードウェア構成>
以上、本開示の実施形態を説明した。上記のマーク10の検出処理等の情報処理は、ソフトウェアと、以下に説明するクラウドサーバ200のハードウェアとの協働により実現される。
図14は、本実施形態に係るクラウドサーバ200のハードウェア構成を示す図である。クラウドサーバ200は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、を備える。また、クラウドサーバ200は、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置(HDD)910と、ドライブ911と、通信装置912とを備える。
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従ってクラウドサーバ200内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904により相互に接続されている。当該CPU901、ROM902およびRAM903の協働により、情報取得部220、処理部230および制御部240の各機能が実現される。
ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。クラウドサーバ200のユーザは、該入力装置908を操作することにより、クラウドサーバ200に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。さらに、出力装置909は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置909は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
ストレージ装置910は、本実施形態にかかるクラウドサーバ200の記憶部250の一例として構成されたデータ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。
ドライブ911は、記憶媒体用リーダライタであり、クラウドサーバ200に内蔵、あるいは外付けされる。ドライブ911は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体913に記録されている情報を読み出して、RAM903に出力する。また、ドライブ911は、リムーバブル記憶媒体913に情報を書き込むこともできる。
通信装置912は、例えば、通信網914に接続するための通信デバイス等で構成された通信インタフェースである。当該通信装置912により、通信部210の機能が実現される。
<7.備考>
なお、上記では、互いに特徴が異なるマーク10(例えば、互いに色彩が異なるマーク10、互いに形状が異なるマーク10、互いに配色が異なるマーク10等)が、異なる対空標識100に付される例について説明したが、これに限定されない。例えば、互いに特徴が異なるマーク10は、同一の対空標識100に付されてもよい。
図15には、互いに特徴が異なるマーク10が、同一の対空標識100に付される場合の一例が示されている。図15Bに示すように、互いに特徴が異なるマーク10は、同一の対空標識100の表面と裏面に付されてもよい。これにより、実施者は、一種類の対空標識100によって適宜マーク10を変更することができる。また、図15Aに示すように、対空標識100を折り畳むことができる機構が対空標識100に設けられてもよい。これにより、運搬時には、対空標識100がより小さく折り畳まれることによって運搬者の負荷が軽減され、空撮時には、対空標識100が展開されることによってより大きなマーク10が設置され得る。
<8.むすび>
以上説明したように、本開示の一実施形態においては、大きさの異なるマーク10が付された複数種類の対空標識100が用いられ、各対空標識100に付されたマーク10は、その大きさに応じて異なる特徴を有している。より具体的には、各対空標識100に付されたマーク10は、その大きさに応じて異なる色彩、配色または形状等を有している。これによって、撮影画像を解析する装置は、マーク10の特徴に関する情報を撮影画像から検出し、当該特徴に基づいてマーク10の大きさを判定し、当該大きさに基づいてパラメータを設定することで、マーク10の検出を行う。これによって、本実施形態に係る土量計測システムは、マーク10を検出するのに適切なパラメータを設定することができるため、マーク10の検出精度を向上させることができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記の実施形態では、土量計測のためにマーク10が検出されているが、マーク10ではなく対空標識100自体が検出されることで、土量計測が実現されてもよい。
また、上記のクラウドサーバ200が行う処理は、クラウドサーバ200ではなく、ドローン300で行うことができる。また、上述のクラウドサーバ200が行う処理は、ドローン300とクラウドサーバ200とで分担することができる。すなわち、上記の実施形態では、クラウドサーバ200が撮影画像を解析しているが、ドローン300が撮影画像の一部または全部の解析を行ってもよい。例えば、ドローン300が撮影を行い、生成できた撮影画像をリアルタイムに解析し、解析結果をクラウドサーバ200へ送信してもよい。また、ドローン300は、撮影画像の解析結果に基づいて自律飛行を行ってもよい。
また、上記の実施形態では、ドローン300が用いられているが、これに限定されず、例えば、人工衛星、人が操縦する飛行体等が用いられてもよい。
なお、上記の実施形態では、クラウドサーバ200が用いられているが、これに限定されず、クラウドサーバ200以外の任意のサーバが用いられてもよい。
また、上記の実施形態では、クラウドサーバ200がドローン300から受信した撮影画像データを解析し、マーク10を検出するが、これに限定されない。すなわち、管制装置400が、操作者の操作に従って、ドローン300から取得した撮影画像データから、対空標識100を検出する検出処理を行っても構わない。
また、対空標識100としては、所定の図形を印刷した紙やプラスチック等を採用することができる。また、対空標識100としては、所定の形状のプラスチックやゴム等の平板状の材料を重ねたものを採用することができる。さらに、対空標識100としては、所定の図形を表示するLCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の表示パネルを採用することができる。また、対空標識100としては、レフ板のような、広げて展開するものも採用することができる。
また、図5、図11、図12、図13にパラメータの設定例を示したが、パラメータ設定における境(閾値)の高度では、当該境の高度より低い高度に対応するパラメータを設定してもいいし、当該境の高度より高い高度に対応するパラメータを設定してもいい。例えば、図5において小マーク13が撮影されていると判定した場合、高度40[m]の場合にパラメータA3を設定してもいいし、パラメータA2を設定しても構わない。このことは、他の境の高度、他のマーク、他の図面に関しても同様である。
また、上記の実施形態では、本開示が土量計測システムに適用されているが、これに限定されず、本開示は他システムまたは他装置等に適用されてもよい。例えば、本開示は、自動運転システム等に適用されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
撮影画像を取得する取得部と、
前記撮影画像中の被撮影物が有する特徴を検出する検出部と、
前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを前記特徴に基づいて決定する決定部と、を備える、
情報処理装置。
(2)
前記決定部は、前記特徴に基づいて前記被撮影物の大きさを特定し、前記大きさに基づいて前記パラメータを決定する、
前記(1)に記載の情報処理装置。
(3)
前記決定部は、前記特徴に基づいて前記大きさが複数の候補のうちのいずれであるかを特定する、
前記(2)に記載の情報処理装置。
(4)
前記特徴は、前記被撮影物に付された色彩または配色である、
前記(1)から(3)のいずれか1項に記載の情報処理装置。
(5)
前記被撮影物にて、異なる色彩が隣接して付される場合、各色彩に対応する色相は所定の閾値以上異なる、
前記(4)に記載の情報処理装置。
(6)
前記特徴は、前記被撮影物の形状である、
前記(1)から(3)のいずれか1項に記載の情報処理装置。
(7)
前記形状は、異なる半径を有する複数の円が同心円状に配置された形状である、
前記(6)に記載の情報処理装置。
(8)
前記取得部は、前記撮影画像が撮影された高度に関する情報を取得し、
前記決定部は、前記高度にも基づいて前記パラメータを決定する、
前記(1)から(7)のいずれか1項に記載の情報処理装置。
(9)
前記パラメータを用いて前記判定を行う判定部をさらに備える、
前記(1)から(8)のいずれか1項に記載の情報処理装置。
(10)
前記被撮影物は対空標識に付されたマークである、
前記(1)から(9)のいずれか1項に記載の情報処理装置。
(11)
撮影画像を取得することと、
前記撮影画像中の被撮影物が有する特徴を検出することと、
前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを前記特徴に基づいて決定することと、を有する、
コンピュータにより実行される情報処理方法。
(12)
撮影画像を取得することと、
前記撮影画像中の被撮影物が有する特徴を検出することと、
前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを前記特徴に基づいて決定することと、
をコンピュータに実現させるためのプログラム。
(13)
第1の特徴を有する第1のマークが付された第1の対空標識と、
前記第1の特徴と異なる第2の特徴を有する第2のマークが付された第2の対空標識と、を備え、
前記第1のマークの大きさと前記第2のマークの大きさは互いに異なる、
対空標識システム。
(14)
前記第1の特徴は、前記第1のマークの色彩または配色であり、
前記第2の特徴は、前記第2のマークの色彩または配色である、
前記(13)に記載の対空標識システム。
(15)
異なる色彩が隣接して付される場合、各色彩に対応する色相は所定の閾値以上異なるか、一方が黒色である、
前記(14)に記載の対空標識システム。
(16)
前記第1の特徴は、前記第1の対空標識の形状であり、
前記第2の特徴は、前記第2の対空標識の形状である、
前記(13)に記載の対空標識システム。
(17)
前記形状は、異なる半径を有する複数の円が同心円状に配置された形状である、
前記(16)に記載の対空標識システム。
100 対空標識
200 クラウドサーバ
210 通信部
220 情報取得部
230 処理部
231 候補領域抽出部
232 特徴量抽出部
233 マーク検出部
234 土量計測部
240 制御部
250 記憶部
300 ドローン
400 管制装置

Claims (17)

  1. 撮影画像を取得し、前記撮影画像が撮影された高度に関する情報を取得する取得部と、
    前記撮影画像中の被撮影物が有する特徴を検出する検出部と、
    前記特徴に基づいて前記被撮影物の大きさを特定し、前記大きさ及び前記高度に応じて、前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを変更する決定部と、を備え
    前記パラメータが変更される高度は、前記大きさに応じて異なる、
    情報処理装置。
  2. 撮影画像を取得し、前記撮影画像が撮影された高度に関する情報を取得する取得部と、
    前記撮影画像中の被撮影物が有する特徴を検出する検出部と、
    前記特徴に基づいて前記被撮影物の大きさを特定し、前記大きさ及び前記高度に応じて、前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを変更する決定部と、を備え、
    前記パラメータが変更される高度の間隔は、前記高度が高くなるにつれて小さくなる、
    情報処理装置。
  3. 撮影画像を取得し、前記撮影画像が撮影された高度に関する情報を取得する取得部と、
    前記撮影画像中の被撮影物が有する特徴を検出する検出部と、
    前記特徴に基づいて前記被撮影物の大きさを特定し、前記大きさ及び前記高度に応じて、前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを変更する決定部と、を備え、
    前記パラメータの数は、前記高度が高くなると増える、
    情報処理装置。
  4. 前記パラメータが変更される高度の間隔は、前記大きさが大きくなると大きくなる、
    請求項1に記載の情報処理装置。
  5. 前記決定部は、前記特徴に基づいて前記大きさが複数の候補のうちのいずれであるかを特定する、
    請求項1から4のいずれか一項に記載の情報処理装置。
  6. 前記特徴は、前記被撮影物に付された色彩または配色である、
    請求項1から5のいずれか一項に記載の情報処理装置。
  7. 前記被撮影物にて、異なる色彩が隣接して付される場合、各色彩に対応する色相は所定の閾値以上異なる、
    請求項に記載の情報処理装置。
  8. 前記特徴は、前記被撮影物の形状である、
    請求項1から5のいずれか一項に記載の情報処理装置。
  9. 前記形状は、異なる半径を有する複数の円が同心円状に配置された形状である、
    請求項に記載の情報処理装置。
  10. 前記パラメータを用いて前記判定を行う判定部をさらに備える、
    請求項1から9のいずれか一項に記載の情報処理装置。
  11. 前記被撮影物は対空標識に付されたマークである、
    請求項1から10のいずれか一項に記載の情報処理装置。
  12. 撮影画像を取得し、前記撮影画像が撮影された高度に関する情報を取得することと、
    前記撮影画像中の被撮影物が有する特徴を検出することと、
    前記特徴に基づいて前記被撮影物の大きさを特定し、前記大きさ及び前記高度に応じて、前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを変更することと、を有
    前記パラメータが変更される高度は、前記大きさに応じて異なる、
    コンピュータにより実行される情報処理方法。
  13. 撮影画像を取得し、前記撮影画像が撮影された高度に関する情報を取得することと、
    前記撮影画像中の被撮影物が有する特徴を検出することと、
    前記特徴に基づいて前記被撮影物の大きさを特定し、前記大きさ及び前記高度に応じて、前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを変更することと、を有し、
    前記パラメータが変更される高度の間隔は、前記高度が高くなるにつれて小さくなる、
    コンピュータにより実行される情報処理方法。
  14. 撮影画像を取得し、前記撮影画像が撮影された高度に関する情報を取得することと、
    前記撮影画像中の被撮影物が有する特徴を検出することと、
    前記特徴に基づいて前記被撮影物の大きさを特定し、前記大きさ及び前記高度に応じて、前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを変更することと、を有し、
    前記パラメータの数は、前記高度が高くなると増える、
    コンピュータにより実行される情報処理方法。
  15. 撮影画像を取得し、前記撮影画像が撮影された高度に関する情報を取得することと、
    前記撮影画像中の被撮影物が有する特徴を検出することと、
    前記特徴に基づいて前記被撮影物の大きさを特定し、前記大きさ及び前記高度に応じて、前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを変更することと、
    前記パラメータが変更される高度は、前記大きさに応じて異なることと、
    をコンピュータに実現させるためのプログラム。
  16. 撮影画像を取得し、前記撮影画像が撮影された高度に関する情報を取得することと、
    前記撮影画像中の被撮影物が有する特徴を検出することと、
    前記特徴に基づいて前記被撮影物の大きさを特定し、前記大きさ及び前記高度に応じて、前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを変更することと、
    前記パラメータが変更される高度の間隔は、前記高度が高くなるにつれて小さくなることと、
    をコンピュータに実現させるためのプログラム。
  17. 撮影画像を取得し、前記撮影画像が撮影された高度に関する情報を取得することと、
    前記撮影画像中の被撮影物が有する特徴を検出することと、
    前記特徴に基づいて前記被撮影物の大きさを特定し、前記大きさ及び前記高度に応じて、前記被撮影物が所定の物体であるか否かの判定に用いられるパラメータを変更することと、
    前記パラメータの数は、前記高度が高くなると増えることと、
    をコンピュータに実現させるためのプログラム。
JP2018562898A 2017-01-20 2017-11-13 情報処理装置、情報処理方法およびプログラム Expired - Fee Related JP6869264B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017008287 2017-01-20
JP2017008287 2017-01-20
PCT/JP2017/040718 WO2018135110A1 (ja) 2017-01-20 2017-11-13 情報処理装置、情報処理方法、プログラムおよび対空標識システム

Publications (2)

Publication Number Publication Date
JPWO2018135110A1 JPWO2018135110A1 (ja) 2020-01-09
JP6869264B2 true JP6869264B2 (ja) 2021-05-12

Family

ID=62908108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018562898A Expired - Fee Related JP6869264B2 (ja) 2017-01-20 2017-11-13 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (2) US11170216B2 (ja)
JP (1) JP6869264B2 (ja)
WO (1) WO2018135110A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170216B2 (en) * 2017-01-20 2021-11-09 Sony Network Communications Inc. Information processing apparatus, information processing method, program, and ground marker system
US11726478B2 (en) 2018-11-05 2023-08-15 Usic, Llc Systems and methods for autonomous marking maintenance
US11467582B2 (en) 2018-11-05 2022-10-11 Usic, Llc Systems and methods for an autonomous marking apparatus
CN109816675A (zh) * 2018-12-28 2019-05-28 歌尔股份有限公司 物体的检测方法、检测装置及存储介质
WO2020235004A1 (ja) * 2019-05-21 2020-11-26 日本電信電話株式会社 位置計測方法、運動制御方法、運動制御システム、及びマーカー
JP7364381B2 (ja) * 2019-07-19 2023-10-18 ファナック株式会社 画像処理装置
CN111080794B (zh) * 2019-12-10 2022-04-05 华南农业大学 一种耕地现场边云协同的三维重建方法
US11508042B1 (en) 2020-01-29 2022-11-22 State Farm Mutual Automobile Insurance Company Imputation of 3D data using generative adversarial networks
JP7540710B2 (ja) * 2020-02-04 2024-08-27 Tiアサヒ株式会社 対空標識
EP4104030A1 (en) * 2020-02-13 2022-12-21 Tinamu Labs AG Uav positioning system and method for controlling the position of an uav
JPWO2021255940A1 (ja) * 2020-06-19 2021-12-23
IL289357B2 (en) * 2021-12-23 2026-04-01 Ariel Scient Innovations Ltd Unmanned aerial vehicle and method for landing it
WO2025225029A1 (ja) * 2024-04-26 2025-10-30 三菱電機株式会社 撮影処理システム、撮影処理装置、撮影処理方法及び撮影処理プログラム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS604910U (ja) 1983-06-23 1985-01-14 三菱重工業株式会社 タ−ゲツト
JP3267733B2 (ja) 1993-04-09 2002-03-25 石川島播磨重工業株式会社 2物体間の相対的位置及び角度の検出方法及び装置とこれに用いるマーカー
JPH0854927A (ja) * 1994-08-10 1996-02-27 Kawasaki Heavy Ind Ltd ランドマークの決定方法および装置
JP4841080B2 (ja) 2001-09-04 2011-12-21 西松建設株式会社 トンネル坑内の形状測定システムおよび形状測定方法
JP2005062143A (ja) * 2003-08-08 2005-03-10 Kyushu Techno Research Kk 航空写真測量用対空標識
JP4426254B2 (ja) * 2003-11-04 2010-03-03 ユニバーサルテクノロジー有限会社 三次元モデル作成方法
JP2010091517A (ja) * 2008-10-10 2010-04-22 Soka Univ 位置計測装置
US8577083B2 (en) 2009-11-25 2013-11-05 Honeywell International Inc. Geolocating objects of interest in an area of interest with an imaging system
JP2011120076A (ja) * 2009-12-04 2011-06-16 Panasonic Corp 画像検出装置及び画像検出方法
US8811743B2 (en) * 2010-06-09 2014-08-19 Microsoft Corporation Resource-aware computer vision
US8620026B2 (en) * 2011-04-13 2013-12-31 International Business Machines Corporation Video-based detection of multiple object types under varying poses
WO2013023706A1 (en) * 2011-08-18 2013-02-21 Layar B.V. Computer-vision based augmented reality system
US10036631B2 (en) * 2012-05-01 2018-07-31 Texas Department Of Transportation System and method for measuring three-dimensional surface features
JP5666538B2 (ja) * 2012-11-09 2015-02-12 富士重工業株式会社 車外環境認識装置
US8712163B1 (en) * 2012-12-14 2014-04-29 EyeNode, LLC Pill identification and counterfeit detection method
JP2014126424A (ja) 2012-12-26 2014-07-07 Kawasaki Heavy Ind Ltd 三次元計測用シール
CN103714541B (zh) * 2013-12-24 2015-07-08 华中科技大学 一种利用山体轮廓区域约束识别定位建筑物的方法
US9122958B1 (en) * 2014-02-14 2015-09-01 Social Sweepster, LLC Object recognition or detection based on verification tests
US20160122038A1 (en) * 2014-02-25 2016-05-05 Singularity University Optically assisted landing of autonomous unmanned aircraft
US9316502B2 (en) * 2014-07-22 2016-04-19 Toyota Motor Engineering & Manufacturing North America, Inc. Intelligent mobility aid device and method of navigating and providing assistance to a user thereof
US10055850B2 (en) * 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
CN105981074B (zh) * 2014-11-04 2018-02-02 深圳市大疆创新科技有限公司 用于标定成像装置的系统、方法和装置
US9840003B2 (en) * 2015-06-24 2017-12-12 Brain Corporation Apparatus and methods for safe navigation of robotic devices
WO2017096547A1 (en) * 2015-12-09 2017-06-15 SZ DJI Technology Co., Ltd. Systems and methods for uav flight control
US10217236B2 (en) * 2016-04-08 2019-02-26 Orbital Insight, Inc. Remote determination of containers in geographical region
EP3440428B1 (en) * 2016-04-08 2022-06-01 Orbital Insight, Inc. Remote determination of quantity stored in containers in geographical region
US10220964B1 (en) * 2016-06-21 2019-03-05 Amazon Technologies, Inc. Unmanned aerial vehicle sensor calibration validation before flight
US10248124B2 (en) * 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
CN109643129A (zh) * 2016-08-26 2019-04-16 深圳市大疆创新科技有限公司 自主着陆的方法和系统
US10514711B2 (en) * 2016-10-09 2019-12-24 Airspace Systems, Inc. Flight control using computer vision
US10540782B2 (en) * 2016-11-15 2020-01-21 Colorado Seminary Which Owns And Operates The University Of Denver Image processing for pose estimation
US11170216B2 (en) * 2017-01-20 2021-11-09 Sony Network Communications Inc. Information processing apparatus, information processing method, program, and ground marker system
MX2020008586A (es) * 2018-02-23 2020-09-21 Crown Equip Corp Sistemas y metodos para navegacion interior de vehiculos en base a objetivos opticos.

Also Published As

Publication number Publication date
US11733042B2 (en) 2023-08-22
US20220036037A1 (en) 2022-02-03
US11170216B2 (en) 2021-11-09
US20190354742A1 (en) 2019-11-21
JPWO2018135110A1 (ja) 2020-01-09
WO2018135110A1 (ja) 2018-07-26

Similar Documents

Publication Publication Date Title
JP6869264B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7732488B2 (ja) 画像処理装置、及び、画像処理方法
US11454988B2 (en) Systems and methods for automated landing of a drone
TWI709109B (zh) 偵測航拍影像內物體之非暫態電腦可讀取媒體及系統,以及航拍影像中物體偵測之方法
CN108109437B (zh) 一种基于地图特征的无人机自主航线提取生成方法
CN108022235B (zh) 高压输电铁塔关键部件缺陷识别方法
KR101797006B1 (ko) 드론을 이용한 토지 조사 시스템 및 방법
JP2018146546A (ja) 情報処理システム、情報処理装置および情報処理方法
WO2020093630A1 (zh) 一种基于多尺度深度语义分割网络的天线下倾角测量方法
KR102023470B1 (ko) 비행경로생성 알고리즘을 이용한 태양광 모듈 감시 시스템 및 이를 이용한 태양광 모듈 감시 방법
CN108932273B (zh) 图片筛选方法及装置
CN108446707B (zh) 基于关键点筛选及dpm确认的遥感图像飞机检测方法
WO2018211777A1 (ja) 制御装置、制御方法およびプログラム
JP2020091640A (ja) 物体分類システム、学習システム、学習データ生成方法、学習済モデル生成方法、学習済モデル、判別装置、判別方法、およびコンピュータプログラム
Dasilva et al. Unmanned aerial vehicle-based automobile license plate recognition system for institutional parking lots
TW202125324A (zh) 航拍影像自動物體偵測之方法及系統
KR101199959B1 (ko) 영상 내 교통표지판 인식 시스템
CN115619959B (zh) 基于无人机采集视频抽取关键帧的综合环境三维建模方法
KR20200026012A (ko) 지형도생성장치 및 방법
KR102772340B1 (ko) 항공 모빌리티의 정밀 착륙을 위한 영상 기반 버티포트 검출 시스템 및 착륙 가이드 방법
KR102959740B1 (ko) 드론 영상을 이용한 기준점 자동탐지장치 및 그 방법
Permana et al. Analysis of aerial photography with unmanned aerial vehicle (uav) using ecognition developer to estimate the number of trees in the forest area
CN111666959A (zh) 矢量图像匹配方法及装置
CN120871934A (zh) 基于无人机航拍的测绘控制方法、装置及测绘控制系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190709

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20190917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210413

R150 Certificate of patent or registration of utility model

Ref document number: 6869264

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees