Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7198966B2 - 測位システム - Google Patents
[go: Go Back, main page]

JP7198966B2 - 測位システム - Google Patents

測位システム Download PDF

Info

Publication number
JP7198966B2
JP7198966B2 JP2022509468A JP2022509468A JP7198966B2 JP 7198966 B2 JP7198966 B2 JP 7198966B2 JP 2022509468 A JP2022509468 A JP 2022509468A JP 2022509468 A JP2022509468 A JP 2022509468A JP 7198966 B2 JP7198966 B2 JP 7198966B2
Authority
JP
Japan
Prior art keywords
vehicle
global
local
content
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022509468A
Other languages
English (en)
Other versions
JPWO2021192873A1 (ja
Inventor
宏樹 林
泰士 山本
真治 木村
幹生 岩村
修 後藤
江利子 大関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JPWO2021192873A1 publication Critical patent/JPWO2021192873A1/ja
Application granted granted Critical
Publication of JP7198966B2 publication Critical patent/JP7198966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • G06T11/60Creating or editing images; Combining images with text
    • G06T11/65Creating or editing images; Combining images with text on geographic maps
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Description

本発明の一態様は、測位システムに関する。
ユーザが携帯する端末の位置に応じて拡張現実表示を行う技術が知られている(例えば特許文献1参照)。このような端末は、例えば端末自身のカメラからの画像と、搭載されているジャイロセンサ及び加速度センサ等のセンシング結果とに基づき、自己位置認識を行い、認識した自己位置に応じたAR(Augmented Reality)コンテンツを表示する。
特開2015-069362号公報
ここで、例えば端末を保持したユーザが、電車、自動車等の乗り物によって移動している場合において、端末のカメラが乗り物の内部を撮像している場合を考える。この場合、端末のジャイロセンサ又は加速度センサのセンシング結果を用いた自己位置認識では、端末が乗り物の移動速度で移動していると認識される。一方で、端末のカメラの撮像結果を用いた自己位置認識では、乗り物が移動していても乗り物内部の撮像結果が大きく変化しないため、乗り物内部の画像に基づき端末が移動していない(或いはわずかしか移動していない)と認識される。このように互いに矛盾する自己位置認識結果が取得されている場合には、端末においてどの自己位置認識結果が乗り物外部の自己位置又は乗り物内部の自己位置として正しいのかを判別できないおそれがある。
このような問題は、例えば端末のカメラの撮像結果のみに基づいて自己位置認識を行う場合においても同様に生じうる。すなわち、端末のカメラが乗り物外部及び乗り物内部を撮像している場合においては、自己位置認識結果として、乗り物外部の撮像結果に基づく自己位置認識結果と、乗り物内部の撮像結果に基づく自己位置認識結果とが得られるが、端末においてどの自己位置認識結果が乗り物外部の自己位置又は乗り物内部の自己位置として正しいのかを判別できないおそれがある。
本発明の一態様は上記実情に鑑みてなされたものであり、乗り物に乗ったユーザが携帯する端末の測位について、互いに異なる複数の自己位置認識結果が得られる場合において、各領域に関して適切に位置情報を推定することを目的とする。
本発明の一態様に係る測位システムは、乗り物に乗ったユーザが携帯する端末の測位に係る測位システムであって、予め撮像された、乗り物外部の画像データに含まれる特徴点の特徴量と、該特徴点に係るグローバル位置情報とが対応付けられたグローバルマップデータ、及び、予め撮像された、乗り物内部の画像データに含まれる特徴点の特徴量と、該特徴点に係るローカル位置情報とが対応付けられたローカルマップデータを記憶する第1記憶部と、端末において撮像された画像データについて、乗り物外部の画像領域と乗り物内部の画像領域とに分割する分割部と、第1記憶部に記憶されているグローバルマップデータの特徴点と、乗り物外部の画像領域の特徴点とのマッチングを行い、グローバルマップデータの特徴点に係るグローバル位置情報に基づいて、乗り物外部の画像領域に係るグローバル位置情報を推定するグローバル位置推定部と、第1記憶部に記憶されているローカルマップデータの特徴点と乗り物内部の画像領域の特徴点とのマッチングを行い、ローカルマップデータの特徴点に係るローカル位置情報に基づいて、乗り物内部の画像領域に係るローカル位置情報を推定するローカル位置推定部と、を備える。
本発明の一態様に係る測位システムでは、乗り物外部の画像データに含まれる特徴点の特徴量と、該特徴点に係るグローバル位置情報とが対応付けられたグローバルマップデータと、乗り物内部の画像に含まれる特徴点の特徴量と、該特徴点に係るローカル位置情報とが対応付けられたローカルマップデータが記憶されている。そして、本発明の一態様に係る測位システムでは、端末において撮像された画像データが乗り物外部の画像領域と乗り物内部の画像領域とに分割され、グローバルマップデータの特徴点と、乗り物外部の画像領域の特徴点とのマッチングが行われると共に、ローカルマップデータの特徴点と、乗り物内部の画像領域の特徴点とのマッチングが行われる。このように、乗り物外部の画像領域と乗り物内部の画像領域とに分割され、乗り物外部の画像領域についてはグローバルマップデータからグローバル位置情報が推定されると共に、乗り物内部の画像領域についてはローカルマップデータからローカル位置情報が推定されることにより、乗り物外部及び乗り物内部の両方が撮像されて複数の自己位置認識結果が得られる場合においても、それぞれの領域に対応付けて位置情報が推定される。これにより、乗り物に乗ったユーザが携帯する端末の測位について、互いに異なる複数の自己位置認識結果が得られる場合において、各領域に関して適切に位置情報を推定することができる。
本発明の一態様によれば、乗り物に乗ったユーザが携帯する端末の測位について、互いに異なる複数の自己位置認識結果が得られる場合において、各領域に関して適切に位置情報を推定することができる。
本実施形態に係る測位システムの機能構成を示すブロック図である。 測位システムが行う処理を示すシーケンス図である。 実施形態に係る測位システムのARコンテンツの表示例を示す図である。 測位システムに含まれる位置測位サーバ、コンテンツサーバ、空間構造サーバ及び端末のハードウェア構成を示す図である。
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。
図1は、本実施形態に係る測位システム1の機能構成を示すブロック図である。図1に示す測位システム1は、端末50において撮像された画像データに基づき測位を行う測位システムである。測位システム1は、例えば、測位結果(端末50の位置)に応じてARコンテンツを提供するサービスにおいて、端末50の測位を行うシステムである。以下では、測位システム1がARコンテンツを提供するサービスに係るシステムであるとして説明するが、測位システム1は他の用途に係るシステムであってもよい。測位システム1は、位置測位サーバ10と、コンテンツサーバ20と、空間構造サーバ30と、端末50とを備える。測位システム1は、例えば、位置測位サーバ10、コンテンツサーバ20、空間構造サーバ30、及び端末50がそれぞれ通信可能なように接続される。図1において端末50が1台のみ示されているが、実際には端末50は複数台含まれていてもよい。
端末50は、例えば無線通信が可能な端末であり、例えばスマートフォン、タブレット型端末、PC等である。端末50は、機能的な構成要素として、撮像部51と、分割部52と、移動速度推定部53と、を有する。
撮像部51は、端末50に実装されたカメラを制御することにより端末50の周囲を撮像する。撮像部51は、例えばARコンテンツに係るアプリケーションが実行されると継続的に撮像を実行する。
分割部52は、撮像により得られた画像データについて、乗り物外部の画像領域と乗り物内部の画像領域とに分割する。乗り物外部の画像領域とは、例えば乗り物の内側から、窓を介して見える画像の領域である。分割部52は、例えばセマンティックセグメンテーションにより、画像データにおける各ピクセルの意味(周辺のピクセルの情報を考慮した意味)を推定し、該推定結果に基づいて各領域をカテゴライズ(意味付け)してもよい。分割部52は、例えば画像データの各ピクセルが乗り物外部を示すピクセルであるか、又は乗り物内部を示すピクセルであるかを推定し、各領域の意味付けを行うことによって、乗り物外部の画像領域と乗り物内部の画像領域とに分割する。乗り物外部を示すピクセルとは、例えば道路、鉄道又は建物等に係るピクセルをいい、乗り物内部を示すピクセルとは、例えば車窓、車壁、床、天井又は座席等に係るピクセルをいう。分割部52は、例えば画像認識により車窓を認識し、車窓の内側を乗り物外部の画像領域とし、その他の領域を乗り物内部の画像領域とすること等により画像領域を分割してもよい。分割部52は、乗り物外部の画像領域と乗り物内部の画像領域とに分割した画像データ(以下、「分割画像データ」という。)を位置測位サーバ10に送信する。分割部52は、移動速度推定部53で推定した乗り物の移動速度(詳細は後述)に応じて、分割画像データを位置測位サーバ10に送信する頻度を変更してもよい。分割部52は、移動速度推定部53によって推定された移動速度が速いほど、分割画像データの送信頻度を高くしてもよい。一方、端末50は、移動速度推定部53によって推定された移動速度が遅いほど、分割画像データの送信頻度を低くしてもよい。
移動速度推定部53は、端末50を携帯するユーザが搭乗している乗り物の移動速度を推定する。移動速度推定部53は、例えば加速度センサ又は画像認識による位置の変化等に基づいて乗り物の移動速度を推定する。移動速度推定部53による移動速度の推定方法は、これらに限られない。また、移動速度推定部53は、推定した速度が一定以上の速度かどうかに基づいて、例えば電車、自動車等の乗り物によって移動していることを検出してもよい。
位置測位サーバ10は、端末50において撮像された画像データに基づき、撮像時における端末50の位置情報を推定するサーバである。位置測位サーバ10は、機能的な構成要素として、第1記憶部11と、グローバル位置推定部12と、ローカル位置推定部13とを有する。
第1記憶部11は、予め撮像された、乗り物外部の画像データに含まれる特徴点の特徴量(例えば輝度方向ベクトル)と、該特徴点に係るグローバル位置情報とが対応付けられたグローバルマップデータ110を記憶する。このようなグローバルマップデータ110は、例えば、対象物を複数の異なる方向から同時に撮像可能なステレオカメラ(不図示)等によって予め撮像された大量の画像データに基づき生成されるものである。特徴点とは、画像中において際立って検出される点であり、例えば他の領域と比べて輝度(強度)が大きい(又は小さい)点である。グローバル位置情報とは、乗り物外部における3次元の位置情報である。特徴点に係るグローバル位置情報とは、画像中の特徴点が示す領域についての現実空間におけるグローバル位置情報である。
また、第1記憶部11は、予め撮像された乗り物内部の画像データに含まれる特徴点の特徴量と該特徴点に係る位置情報であるローカル位置情報とが対応付けられたローカルマップデータ111を記憶する。ローカルマップデータ111は、グローバルマップデータ110と同様の手法により生成される。ローカル位置情報とは、乗り物内部における3次元の位置情報である。ローカル位置情報は、例えば乗り物の種類ごと又は乗り物単体ごとに記憶され得る。特徴点に係るローカル位置情報とは、画像中の特徴点が示す領域についての現実空間におけるローカル位置情報である。
第1記憶部11は、グローバルマップデータ110及びローカルマップデータ111の特徴点に係る位置情報として、3次元の位置情報を記憶している。第1記憶部11は、特徴点に係る3次元の位置情報として、例えば、特徴点の緯度・経度・高さを記憶している。
グローバル位置推定部12は、分割画像データのうちの乗り物外部の画像領域と、第1記憶部11に記憶されているグローバルマップデータ110とに基づいて、撮像時における乗り物外部の画像領域に係るグローバル位置情報を推定する。例えば、グローバル位置推定部12は、グローバルマップデータ110の特徴点と、分割画像データのうちの乗り物外部の画像領域の特徴点とのマッチングを行い、乗り物外部の画像領域に対応するグローバルマップデータ110の領域を特定する。そして、グローバル位置推定部12は、特定した領域に係るグローバルマップデータ110の特徴点に係るグローバル位置情報に基づいて、撮像時における乗り物外部の画像領域に係るグローバル位置情報を推定する。グローバル位置推定部12は、推定したグローバル位置情報を端末50に送信する。
ローカル位置推定部13は、分割画像データのうちの乗り物内部の画像領域と、第1記憶部11に記憶されているローカルマップデータ111とに基づいて、撮像時における乗り物内部の画像領域に係るローカル位置情報を推定する。例えば、ローカル位置推定部13は、ローカルマップデータ111の特徴点と、分割画像データのうちの乗り物内部の画像領域の特徴点とのマッチングを行い、乗り物内部の画像領域に対応するローカルマップデータ111の領域を特定する。そして、ローカル位置推定部13は、特定した領域に係るローカルマップデータ111の特徴点に係るローカル位置情報に基づいて、撮像時における乗り物内部の画像領域に係るローカル位置情報を推定する。ローカル位置推定部13は、推定したローカル位置情報を端末50に送信する。
コンテンツサーバ20は、端末50から送信されたグローバル位置情報及びローカル位置情報に応じたARコンテンツを出力するサーバである。コンテンツサーバ20は、機能的な構成要素として、第2記憶部21と、ARコンテンツ出力部22とを有する。
第2記憶部21は、乗り物外部のグローバル位置情報とARコンテンツとが対応付けられたグローバルARコンテンツデータ210、及び、乗り物内部のローカル位置情報とARコンテンツとが対応付けられたローカルARコンテンツデータ211を記憶する。
ARコンテンツ出力部22は、グローバル位置推定部12によって推定されたグローバル位置情報とグローバルARコンテンツデータ210とに基づいて、該グローバル位置情報に応じたARコンテンツを特定して出力する。また、ARコンテンツ出力部22は、ローカル位置推定部13によって推定されたローカル位置情報とローカルARコンテンツデータ211とに基づいて、該ローカル位置情報に応じたARコンテンツを特定して出力する。
ARコンテンツ出力部22は、後述するグローバル空間構造データ310におけるオブジェクトの形状を考慮して、グローバル位置情報に応じたARコンテンツの表示態様を決定してもよい。例えば、ARコンテンツ出力部22は、建物の看板を遮らないようにARコンテンツの表示位置を決定してもよく、他の建物等と重ならないようにARコンテンツの大きさを決定してもよく、建物の外壁に沿うようにARコンテンツの角度を決定してもよい。また、ARコンテンツ出力部22は、後述するローカル空間構造データ311におけるオブジェクトの形状を考慮してローカル位置情報に応じたARコンテンツの表示態様を決定してもよい。例えば、ARコンテンツ出力部22は、座席の上部に沿うようにARコンテンツの表示位置を決定してもよく、座席の上部の幅に合うようにARコンテンツの大きさを決定してもよく、座席の角度に合うようにARコンテンツの角度を決定してもよい。
空間構造サーバ30は、端末50から送信されたグローバル位置情報及びローカル位置情報に基づいて、グローバル位置情報に応じた空間構造データ、及びローカル位置情報に応じた空間構造データを特定するサーバである。空間構造サーバ30は、特定した空間構造データをコンテンツサーバ20に送信する。空間構造サーバ30は、機能的な構成要素として、第3記憶部31と、特定部32とを有する。
第3記憶部31は、乗り物外部の空間のオブジェクトの形状を示すグローバル空間構造データ310、及び、乗り物内部の空間のオブジェクトの形状を示すローカル空間構造データ311を記憶する。グローバル空間構造データ310は、具体的には、乗り物外部の現実空間のオブジェクトの位置(グローバル位置情報)に対応する3次元の仮想空間上の位置において、当該オブジェクトの形状を表すデータである。ローカル空間構造データ311は、具体的には、乗り物内部の現実空間のオブジェクトの位置(ローカル位置情報)に対応する3次元の仮想空間上の位置において、当該オブジェクトの形状を表すデータである。
グローバル空間構造データ310は、例えば、乗り物外部の現実空間に複数の建物が存在する場合、地面のオブジェクト、及び当該乗り物外部の現実空間と同じ位置に配置された複数の建物のオブジェクトが仮想空間上に表されている。ローカル空間構造データ311は、例えば、乗り物内部の現実空間に座席が存在する場合、当該乗り物内部の現実空間に対応する仮想空間の空間構造データには、当該乗り物内部の現実空間と同じ位置に配置された車壁のオブジェクト、床のオブジェクト、天井のオブジェクト、及び座席のオブジェクトが表されている。すなわち、グローバル空間構造データ310及びローカル空間構造データ311におけるオブジェクトは、現実空間におけるオブジェクトとリンクしている。なお、グローバル空間構造データ310及びローカル空間構造データ311は、静的なオブジェクト(基本的に動かないオブジェクト)のみの形状を表すデータであってもよい。また、グローバル空間構造データ310及びローカル空間構造データ311のオブジェクトには、現実空間におけるオブジェクトとリンクしていないオブジェクトが含まれてもよい。
特定部32は、端末50から送信されたグローバル位置情報と、第3記憶部31に記憶されているグローバル空間構造データ310とに基づいて、グローバル位置情報に応じた空間構造データを特定する。グローバル位置情報に応じた空間構造データとは、例えばグローバル位置情報が示す位置から所定の範囲内の領域に対応する空間構造データである。また、特定部32は、端末50から送信されたローカル位置情報と、第3記憶部31に記憶されているローカル空間構造データ311とに基づいて、ローカル位置情報に応じた空間構造データを特定する。ローカル位置情報に応じた空間構造データとは、例えばローカル位置情報が示す位置から所定の範囲内の領域に対応する空間構造データである。特定部32は、グローバル位置情報に応じた空間構造データ、及びローカル位置情報に応じた空間構造データをコンテンツサーバ20に送信する。空間構造データは、端末50を介してコンテンツサーバ20に送信されてもよい。
次に、図2を参照して、測位システム1が行う処理について説明する。図2は、測位システム1が行う処理を示すシーケンス図である。
端末50は、推定した速度が一定以上の速度かどうかに基づいて、例えば電車、自動車等の乗り物によって移動していることを検出する(ステップS1)。
端末50は、画像データの撮像を開始する(ステップS2)。
端末50は、撮像により得られた画像データについて、乗り物外部の画像領域と乗り物内部の画像領域とに分割して、分割画像データを取得する(ステップS3)。端末50は、例えばセマンティックセグメンテーションにより、画像データにおける各ピクセルの意味を推定し、該推定結果に基づいて各領域をカテゴライズしてもよい。端末50は、例えば各ピクセルが乗り物外部を示すピクセルであるか、又は乗り物内部を示すピクセルであるかを推定し、各領域の意味付けを行うことによって、画像データを乗り物外部の画像領域と、乗り物内部の画像領域とに分割する。端末50は、推定した移動速度が所定の分割開始速度(例えば時速10km等)よりも速い場合に限り、撮像により得られた画像データについて、乗り物外部の画像領域と乗り物内部の画像領域とに分割してもよい。分割開始速度とは、撮像により得られた画像データについて画像領域を分割するかどうかを判定するための閾値である。
端末50は、分割画像データを位置測位サーバ10に送信する(ステップS4)。端末50は、推定した乗り物の移動速度に応じて、分割画像データを位置測位サーバ10に送信する頻度を変更してもよい。端末50は、推定した移動速度が速いほど、分割画像データの送信頻度を高くしてもよい。分割画像データの送信頻度が高くなると、位置測位サーバ10は、グローバル位置情報の推定頻度を高くしてもよい。一方、端末50は、推定した移動速度が遅いほど、分割画像データの送信頻度を低くしてもよい。分割画像データの送信頻度が低くなると、位置測位サーバ10は、グローバル位置情報の推定頻度を低くしてもよい。
位置測位サーバ10は、分割画像データのうちの乗り物外部の画像領域と、グローバルマップデータ110とに基づいて、撮像時における乗り物外部の画像領域に係るグローバル位置情報を推定する(ステップS5)。例えば、位置測位サーバ10は、グローバルマップデータ110の特徴点と、分割画像データのうちの乗り物外部の画像領域の特徴点とのマッチングを行い、乗り物外部の画像領域に対応するグローバルマップデータ110の領域を特定する。そして、位置測位サーバ10は、特定した領域に係るグローバルマップデータ110の特徴点に係るグローバル位置情報に基づいて、撮像時における乗り物外部の画像領域に係るグローバル位置情報を推定する。
位置測位サーバ10は、分割画像データのうちの乗り物内部の画像領域と、ローカルマップデータ111とに基づいて、撮像時における乗り物内部の画像領域に係るローカル位置情報を推定する(ステップS6)。例えば、位置測位サーバ10は、ローカルマップデータ111の特徴点と、分割画像データのうちの乗り物内部の画像領域の特徴点とのマッチングを行い、乗り物内部の画像領域に対応するローカルマップデータ111の領域を特定する。そして、位置測位サーバ10は、特定した領域に係るローカルマップデータ111の特徴点に係るローカル位置情報に基づいて、撮像時における乗り物内部の画像領域に係るローカル位置情報を推定する。
位置測位サーバ10は、推定したグローバル位置情報と、ローカル位置情報とを端末50に送信する(ステップS7)。
端末50は、位置測位サーバ10によって推定されたグローバル位置情報及びローカル位置情報、撮像された画像データ、及び、端末50のカメラの情報(画角等)等に基づいて、コンテンツサーバ20からARコンテンツの提供を受け、ARコンテンツを表示する(ステップS8)。具体的には、端末50は、グローバル位置情報及びローカル位置情報をコンテンツサーバ20に送信する。コンテンツサーバ20は、グローバル位置情報とグローバルARコンテンツデータ210とに基づいて該グローバル位置情報に応じたARコンテンツを特定して出力すると共に、ローカル位置情報とローカルARコンテンツデータ211とに基づいて該ローカル位置情報に応じたARコンテンツを特定して出力する。端末50はARコンテンツ、撮像された画像データ、及び、端末50のカメラの情報(画角等)等を用いて、ARコンテンツを表示する。また、コンテンツサーバ20は、グローバル空間構造データ310におけるオブジェクトの形状を考慮してグローバル位置情報に応じたARコンテンツの表示態様を決定すると共に、ローカル空間構造データ311におけるオブジェクトの形状を考慮してローカル位置情報に応じたARコンテンツの表示態様を決定してもよい。
図3は、本実施形態に係る測位システム1のARコンテンツの表示例を示す図である。図3は、端末50を携帯するユーザがバスに搭乗している場合において、端末50にARコンテンツが表示されている例を示す。
ARコンテンツ220は、グローバル位置情報に基づく乗り物外部のARコンテンツであり、車窓の領域(窓枠)の内側に表示されていることを示す。バスが移動することによってグローバル位置情報が変更された場合、ARコンテンツ220の表示位置が変更されてもよい。例えば、バスが前方に移動することによって、ARコンテンツ220は進行方向に対し後方に移動するように表示位置が変更されてもよいし、非表示となってもよい。
ARコンテンツ221及び222は、ローカル位置情報に基づく乗り物内部のARコンテンツであり、バスの内部に表示されていることを示す。端末50が乗り物内部で移動(例えば座席変更等)することによって、ローカル位置情報が変更された場合、ARコンテンツ221及び222の表示位置が変更されてもよい。
図3に示されるARコンテンツ220、221及び222は、空間構造データにさらに基づいて表示されたものであってもよい。例えば、ARコンテンツ220は、グローバル位置情報に応じた空間構造データにさらに基づいて、乗り物外部のオブジェクト(建物等)の形状を考慮した位置に表示されてもよい。形状を考慮した位置は、例えばARコンテンツ220が建物の看板を遮らない位置等とすることができるが、これに限られない。例えば、ARコンテンツ220は、他の建物等と重ならないような大きさで表示されてもよく、建物の外壁に沿うような角度で表示されてもよい。また、例えば、ARコンテンツ221及び222は、ローカル位置情報に応じた空間構造データにさらに基づいて、乗り物内部のオブジェクトの形状を考慮した位置に表示されてもよい。例えば、ARコンテンツ222が座席の形状を考慮して、座席の上部に沿うような位置に表示されてもよい。また、例えばARコンテンツ222は、座席の上部の幅を考慮した大きさで表示されてもよく、座席の角度に合わせた角度で表示されてもよい。
このようにARコンテンツを提供するサービスに対し、本実施形態に係る測位システム1を適用することによって、移動中のバス等の乗り物に搭乗している場合に乗り物外部のARコンテンツ及び乗り物内部のARコンテンツを同時に表示することができる。
次に、本実施形態に係る測位システム1の作用効果について説明する。
測位システム1は、乗り物に乗ったユーザが携帯する端末50の測位に係る測位システム1であって、予め撮像された、乗り物外部の画像データに含まれる特徴点の特徴量と、該特徴点に係るグローバル位置情報とが対応付けられたグローバルマップデータ110、及び、予め撮像された、乗り物内部の画像データに含まれる特徴点の特徴量と、該特徴点に係るローカル位置情報とが対応付けられたローカルマップデータ111を記憶する第1記憶部11と、端末50において撮像された画像データについて、乗り物外部の画像領域と乗り物内部の画像領域とに分割する分割部52と、第1記憶部11に記憶されているグローバルマップデータ110の特徴点と、乗り物外部の画像領域の特徴点とのマッチングを行い、グローバルマップデータ110の特徴点に係るグローバル位置情報に基づいて、乗り物外部の画像領域に係るグローバル位置情報を推定するグローバル位置推定部12と、第1記憶部11に記憶されているローカルマップデータ111の特徴点と乗り物内部の画像領域の特徴点とのマッチングを行い、ローカルマップデータ111の特徴点に係るローカル位置情報に基づいて、乗り物内部の画像領域に係るローカル位置情報を推定するローカル位置推定部13と、備える。
本実施形態に係る測位システム1では、乗り物外部の画像データに含まれる特徴点の特徴量と、該特徴点に係るグローバル位置情報とが対応付けられたグローバルマップデータ110と、乗り物内部の画像に含まれる特徴点の特徴量と、該特徴点に係るローカル位置情報とが対応付けられたローカルマップデータ111が記憶されている。そして、本実施形態に係る測位システム1では、端末50において撮像された画像データが乗り物外部の画像領域と乗り物内部の画像領域とに分割され、グローバルマップデータ110の特徴点と、乗り物外部の画像領域の特徴点とのマッチングが行われると共に、ローカルマップデータ111の特徴点と、乗り物内部の画像領域の特徴点とのマッチングが行われる。このように、乗り物外部の画像領域と乗り物内部の画像領域とに分割され、乗り物外部の画像領域についてはグローバルマップデータ110からグローバル位置情報が推定されると共に、乗り物内部の画像領域についてはローカルマップデータ111からローカル位置情報が推定されることにより、乗り物外部及び乗り物内部の両方が撮像されて複数の自己位置認識結果が得られる場合においても、それぞれの領域に対応付けて位置情報が推定される。これにより、乗り物に乗ったユーザが携帯する端末50の測位について、互いに異なる複数の自己位置認識結果が得られる場合において、各領域に関して適切に位置情報を推定することができる。
測位システム1は、乗り物外部のグローバル位置情報とARコンテンツとが対応付けられたグローバルARコンテンツデータ210、及び、乗り物内部のローカル位置情報とARコンテンツとが対応付けられたローカルARコンテンツデータ211を記憶する第2記憶部21と、グローバル位置推定部12によって推定されたグローバル位置情報とグローバルARコンテンツデータ210とに基づいて該グローバル位置情報に応じたARコンテンツを特定して出力すると共に、ローカル位置推定部13によって推定されたローカル位置情報とローカルARコンテンツデータ211とに基づいて該ローカル位置情報に応じたARコンテンツを特定して出力するARコンテンツ出力部22と、を更に備える。このように、乗り物外部の画像領域についてはグローバルARコンテンツデータ210のARコンテンツが対応付けて出力され、乗り物内部の画像領域についてはローカルARコンテンツデータ211のARコンテンツが対応付けて出力されることにより、画像の各領域に関して適切な位置に適切なARコンテンツを表示させることができる。
測位システム1は、乗り物外部の空間のオブジェクトの形状を示すグローバル空間構造データ310、及び、乗り物内部の空間のオブジェクトの形状を示すローカル空間構造データ311を記憶する第3記憶部31を更に備え、ARコンテンツ出力部22は、グローバル空間構造データ310におけるオブジェクトの形状を考慮してグローバル位置情報に応じたARコンテンツの表示態様を決定すると共に、ローカル空間構造データ311におけるオブジェクトの形状を考慮してローカル位置情報に応じたARコンテンツの表示態様を決定する。実際のオブジェクトの形状を示す空間構造データの形状が考慮されてARコンテンツの表示態様が決定されることにより、例えば実際のオブジェクトと重ならない位置にARコンテンツを表示したり、実際のオブジェクトの特定の部分の形状に沿ってARコンテンツを表示したりすることが可能になる。すなわち、測位システム1において、オブジェクトの形状が考慮されてARコンテンツの表示態様が決定されることにより、ARコンテンツの視認性等を向上させ、ユーザにとってより快適なAR体験を提供することができる。そして、このような測位システム1によれば、即座にARコンテンツが視認されるため、視認に係るコンピュータリソースの効率を向上させることができるという技術的効果を奏する。
測位システム1は、乗り物の移動速度を推定する移動速度推定部53を更に備え、グローバル位置推定部12は、移動速度推定部53によって推定された移動速度が速いほど、グローバル位置情報の推定頻度を高くする。移動速度が速い(位置の変化が早い)場合においてリローカライズ(グローバル位置情報の再取得)が高頻度に行われないと、測位精度が低下したり、実際のグローバル位置情報に合ったARコンテンツを表示したりすることができない(過去のARコンテンツが表示され続けてしまう)おそれがある。この点、移動速度が速いほどグローバル位置情報の推定頻度が高くされることにより、移動速度が速い場合においても実際のグローバル位置情報に合ったARコンテンツを表示させやすくすることができ、ユーザにとって快適なAR体験を提供することができる。そして、このような測位システム1によれば、実際のグローバル位置情報に合わないARコンテンツに係る処理が不要となるため、処理負荷を軽減することができるという技術的効果を奏する。
測位システム1の分割部52は、移動速度推定部53によって推定された移動速度が所定の分割開始速度よりも速い場合に限り、端末50において撮像された画像データについて、乗り物外部の画像領域と乗り物内部の画像領域とに分割する。これにより、乗り物が動き出して画像領域を分割してグローバル位置情報及びローカル位置情報を推定する必要がある場合に限り分割処理を行うことができ、乗り物が動き出しておらず分割の必要がない場合(移動速度が所定の分割開始速度未満である場合)において不要な分割処理により測位システム1の計算量が増加することを抑制できる。
測位システム1の分割部52は、端末50において撮像された画像データについて、セマンティックセグメンテーションにより、各領域の意味付けを行い、乗り物外部の画像領域と乗り物内部の画像領域とに分割する。このように、セマンティックセグメンテーションによる各領域を意味付けし、当該意味付けの結果に基づき画像領域を分割することにより、より高精度に乗り物外部の画像領域と乗り物内部の画像領域とを分割することができる。
[変形例]
以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示は上記実施形態に限定されるものではない。本開示はその要旨を逸脱しない範囲で様々な変形が可能である。
端末50は、例えばGPS(Global Positioning System)測位によって、端末50が取得した位置情報を示す端末取得位置情報を取得してもよい。端末50は、分割画像データと共に端末取得位置情報を位置測位サーバ10に送信してもよい。
第1記憶部11は、グローバルマップデータ110について位置情報に応じて一定の領域毎に分割した複数の分割マップデータを記憶していてもよい。各分割マップデータは、互いに境界付近の領域(グローバル位置情報)が重複していてもよいし、重複していなくてもよい。
グローバル位置推定部12は、複数の分割マップデータから選択した一又は複数の分割マップデータを用いてグローバル位置情報を推定してもよい。例えば、グローバル位置推定部12は、端末50から受信した端末取得位置情報に応じて、複数の分割マップデータから一又は複数の分割マップデータを選択し、選択した分割マップデータの特徴点と、端末50において撮像された画像データの特徴点とのマッチングの結果に基づき、撮像時におけるグローバル位置情報を推定してもよい。グローバル位置推定部12は、例えば端末取得位置情報に示される位置を含む分割マップデータを選択する。このように、マップデータがグローバル位置情報に応じて複数に分割され、端末取得位置情報に応じて複数の分割マップデータからマッチング対象の分割マップデータが選択されることにより、適切にマッチング範囲(探索範囲)を絞りこむことができ、マッチング処理の効率化を図ることができる。
最後に、測位システム1に含まれる位置測位サーバ10、コンテンツサーバ20、空間構造サーバ30、及び端末50のハードウェア構成について、図4を参照して説明する。上述の位置測位サーバ10、コンテンツサーバ20、空間構造サーバ30、及び端末50は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、バス1007などを含むコンピュータ装置として構成されてもよい。
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。位置測位サーバ10、コンテンツサーバ20、空間構造サーバ30、及び端末50のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
位置測位サーバ10、コンテンツサーバ20、空間構造サーバ30、及び端末50における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ1001が演算を行い、通信装置1004による通信や、メモリ1002及びストレージ1003におけるデータの読み出し及び/又は書き込みを制御することで実現される。
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。例えば、位置測位サーバ10のグローバル位置推定部12等の制御機能はプロセッサ1001で実現されてもよい。
また、プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュールやデータを、ストレージ1003及び/又は通信装置1004からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、位置測位サーバ10のグローバル位置推定部12等の制御機能は、メモリ1002に格納され、プロセッサ1001で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、1つのプロセッサ1001で実行される旨を説明してきたが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つで構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ1002及び/又はストレージ1003を含むデータベース、サーバその他の適切な媒体であってもよい。
通信装置1004は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
また、プロセッサ1001やメモリ1002などの各装置は、情報を通信するためのバス1007で接続される。バス1007は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
また、位置測位サーバ10、コンテンツサーバ20、空間構造サーバ30、及び端末50は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つで実装されてもよい。
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
例えば、グローバル位置推定部12により行われるグローバル位置情報の推定、及びローカル位置推定部13により行われるローカル位置情報の推定は順序を問わず、又は同時に(並列に)実行されてもよい。また、例えばグローバル位置情報の推定が3回行われるごとにローカル位置情報の推定が1回行われる等、推定の回数が異なってもよい。また、上記実施形態では説明のため、位置測位サーバ10、コンテンツサーバ20、空間構造サーバ30、及び端末50に分けて記載したが、各処理は他のサーバ又は端末により実行されてもよい。例えば、分割部52が位置測位サーバ10に備えられていてもよいし、ARコンテンツ出力部22が端末50に備えられていてもよいし、特定部32が端末50に備えられていてもよい。位置測位サーバ10、コンテンツサーバ20、空間構造サーバ30、及び端末50は、一つのサーバ又は一つの端末としてもよい。
本明細書で説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G、5G、FRA(Future Radio Access)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broad-band)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、UWB(Ultra-Wide Band)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及び/又はこれらに基づいて拡張された次世代システムに適用されてもよい。
本明細書で説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:trueまたはfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
本明細書で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
なお、本明細書で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
ユーザ端末は、当業者によって、移動端末、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。
本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)(例えば、テーブル、データベースまたは別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
本明細書で「第1の」、「第2の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第1および第2の要素への参照は、2つの要素のみがそこで採用され得ること、または何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
「含む(include)」、「含んでいる(including)」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または(or)」は、排他的論理和ではないことが意図される。
本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
1…測位システム、11…第1記憶部、110…グローバルマップデータ、111…ローカルマップデータ、12…グローバル位置推定部、13…ローカル位置推定部、21…第2記憶部、210…グローバルARコンテンツデータ、211…ローカルARコンテンツデータ、22…ARコンテンツ出力部、31…第3記憶部、310…グローバル空間構造データ、311…ローカル空間構造データ、50…端末、52…分割部、53…移動速度推定部。

Claims (6)

  1. 乗り物に乗ったユーザが携帯する端末の測位に係る測位システムであって、
    予め撮像された、乗り物外部の画像データに含まれる特徴点の特徴量と、該特徴点に係るグローバル位置情報とが対応付けられたグローバルマップデータ、及び、予め撮像された、乗り物内部の画像データに含まれる特徴点の特徴量と、該特徴点に係るローカル位置情報とが対応付けられたローカルマップデータを記憶する第1記憶部と、
    前記端末において撮像された画像データについて、乗り物外部の画像領域と乗り物内部の画像領域とに分割する分割部と、
    前記第1記憶部に記憶されている前記グローバルマップデータの特徴点と、前記乗り物外部の画像領域の特徴点とのマッチングを行い、前記グローバルマップデータの特徴点に係るグローバル位置情報に基づいて、前記乗り物外部の画像領域に係るグローバル位置情報を推定するグローバル位置推定部と、
    前記第1記憶部に記憶されている前記ローカルマップデータの特徴点と前記乗り物内部の画像領域の特徴点とのマッチングを行い、前記ローカルマップデータの特徴点に係るローカル位置情報に基づいて、前記乗り物内部の画像領域に係るローカル位置情報を推定するローカル位置推定部と、
    を備える、測位システム。
  2. 乗り物外部のグローバル位置情報とARコンテンツとが対応付けられたグローバルARコンテンツデータ、及び、乗り物内部のローカル位置情報とARコンテンツとが対応付けられたローカルARコンテンツデータを記憶する第2記憶部と、
    前記グローバル位置推定部によって推定された前記グローバル位置情報と前記グローバルARコンテンツデータとに基づいて該グローバル位置情報に応じたARコンテンツを特定して出力すると共に、前記ローカル位置推定部によって推定された前記ローカル位置情報と前記ローカルARコンテンツデータとに基づいて該ローカル位置情報に応じたARコンテンツを特定して出力するARコンテンツ出力部と、を更に備える請求項1記載の測位システム。
  3. 乗り物外部の空間のオブジェクトの形状を示すグローバル空間構造データ、及び、乗り物内部の空間のオブジェクトの形状を示すローカル空間構造データを記憶する第3記憶部を更に備え、
    前記ARコンテンツ出力部は、前記グローバル空間構造データにおけるオブジェクトの形状を考慮して前記グローバル位置情報に応じたARコンテンツの表示態様を決定すると共に、前記ローカル空間構造データにおけるオブジェクトの形状を考慮して前記ローカル位置情報に応じたARコンテンツの表示態様を決定する、請求項2記載の測位システム。
  4. 前記乗り物の移動速度を推定する移動速度推定部を更に備え、
    前記グローバル位置推定部は、前記移動速度推定部によって推定された移動速度が速いほど、前記グローバル位置情報の推定頻度を高くする、請求項1~3のいずれか一項記載の測位システム。
  5. 前記分割部は、前記移動速度推定部によって推定された移動速度が所定の分割開始速度よりも速い場合に限り、前記端末において撮像された画像データについて、乗り物外部の画像領域と乗り物内部の画像領域とに分割する、請求項4記載の測位システム。
  6. 前記分割部は、前記端末において撮像された画像データについて、セマンティックセグメンテーションにより、各領域の意味付けを行い、乗り物外部の画像領域と乗り物内部の画像領域とに分割する、請求項1~5のいずれか一項記載の測位システム。
JP2022509468A 2020-03-27 2021-03-03 測位システム Active JP7198966B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020057634 2020-03-27
JP2020057634 2020-03-27
PCT/JP2021/008265 WO2021192873A1 (ja) 2020-03-27 2021-03-03 測位システム

Publications (2)

Publication Number Publication Date
JPWO2021192873A1 JPWO2021192873A1 (ja) 2021-09-30
JP7198966B2 true JP7198966B2 (ja) 2023-01-04

Family

ID=77891307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022509468A Active JP7198966B2 (ja) 2020-03-27 2021-03-03 測位システム

Country Status (3)

Country Link
US (1) US12444142B2 (ja)
JP (1) JP7198966B2 (ja)
WO (1) WO2021192873A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7778351B2 (ja) * 2021-10-21 2025-12-02 Cellid株式会社 画像処理装置、画像処理方法及びプログラム
JP7476866B2 (ja) * 2021-11-22 2024-05-01 トヨタ自動車株式会社 ウェアラブル端末の画像表示制御装置及び画像表示制御方法及び画像表示システム
US12293543B1 (en) * 2022-12-19 2025-05-06 Zoox, Inc. Computer vision techniques using projections of map data into image data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014200018A (ja) 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP2018164187A (ja) 2017-03-24 2018-10-18 トヨタ自動車株式会社 車両用視認装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5471626B2 (ja) * 2010-03-09 2014-04-16 ソニー株式会社 情報処理装置、マップ更新方法、プログラム及び情報処理システム
EP2608153A1 (en) * 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle
JP6039525B2 (ja) 2013-09-27 2016-12-07 株式会社トヨタマップマスター ヘッドマウントディスプレイ及びその制御方法、並びにヘッドマウントディスプレイを制御するためのコンピュータプログラム及びコンピュータプログラムを記録した記録媒体
US9550419B2 (en) * 2014-01-21 2017-01-24 Honda Motor Co., Ltd. System and method for providing an augmented reality vehicle interface
ES2704327B2 (es) * 2017-09-15 2020-02-21 Seat Sa Método y sistema para mostrar información de realidad virtual en un vehículo
JP2020177289A (ja) * 2019-04-15 2020-10-29 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
KR102622882B1 (ko) * 2019-08-26 2024-01-09 엘지전자 주식회사 Xr 컨텐츠 제공 방법 및 xr 디바이스
JP2022175629A (ja) * 2021-05-14 2022-11-25 キヤノン株式会社 情報端末システム、情報端末システムの制御方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014200018A (ja) 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP2018164187A (ja) 2017-03-24 2018-10-18 トヨタ自動車株式会社 車両用視認装置

Also Published As

Publication number Publication date
JPWO2021192873A1 (ja) 2021-09-30
WO2021192873A1 (ja) 2021-09-30
US12444142B2 (en) 2025-10-14
US20230351703A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
US10445945B2 (en) Directional and X-ray view techniques for navigation using a mobile device
JP7198966B2 (ja) 測位システム
US8823734B1 (en) Indicating availability of indoor content on a digital map
US12238459B2 (en) Rendezvous assistance apparatus, rendezvous assistance system, and rendezvous assistance method
US20210342601A1 (en) Information processing system, method of information processing, and program
JP7134252B2 (ja) マップデータ生成装置
WO2019082924A1 (ja) 情報処理装置
WO2019041339A1 (en) APPARATUS AND METHOD FOR A SINGLE WIFI CONNECTION IN A VEHICLE
WO2020115945A1 (ja) 測位システム
US20200034098A1 (en) Control device and computer-readable storage medium
US12437575B2 (en) Information processing system, information processing method, and non-transitory computer readable medium
JP7355840B2 (ja) Arシステム及び端末
JP7246255B2 (ja) 情報処理装置及びプログラム
JP7529950B2 (ja) 情報処理システム
JP2023040322A (ja) コンテンツ共有システム及び端末
JP2023037043A (ja) マップデータ生成装置及び測位装置
AU2020277255A1 (en) Method and system for camera assisted map and navigation
WO2022163651A1 (ja) 情報処理システム
JP7644245B2 (ja) 表示制御装置
WO2022123922A1 (ja) 情報処理システム
JP7246254B2 (ja) 情報処理装置及びプログラム
JP7267105B2 (ja) 情報処理装置及びプログラム
JP7307593B2 (ja) 情報処理装置及びプログラム
WO2023008277A1 (ja) コンテンツ共有システム
JP2023044054A (ja) 周囲画像推定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221219

R150 Certificate of patent or registration of utility model

Ref document number: 7198966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250