JP7611774B2 - Remote support device, remote support method, remote support program, and remote support system - Google Patents
Remote support device, remote support method, remote support program, and remote support system Download PDFInfo
- Publication number
- JP7611774B2 JP7611774B2 JP2021094513A JP2021094513A JP7611774B2 JP 7611774 B2 JP7611774 B2 JP 7611774B2 JP 2021094513 A JP2021094513 A JP 2021094513A JP 2021094513 A JP2021094513 A JP 2021094513A JP 7611774 B2 JP7611774 B2 JP 7611774B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- support
- real
- unit
- past
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Rehabilitation Tools (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、遠隔支援装置、遠隔支援方法、遠隔支援プログラム及び遠隔支援システムに関する。 The present invention relates to a remote support device, a remote support method, a remote support program, and a remote support system.
今日において、視覚障害者等の被支援者が、単独で安全に行動できるように支援する装置が知られている。 Today, devices are known that help people who need assistance, such as visually impaired people, to move around safely and independently.
例えば、特許文献１（特開２０００－３１２３５６号公報）には、視覚障害者の身体に取り付けられたカメラ装置で撮像された画像に基づいて、支援者が視覚障害者の周囲の状況を確認し、安全な方向へ遠隔誘導する視覚障害者誘導システムが開示されている。 For example, Patent Document 1 (JP Patent Publication No. 2000-312356) discloses a guidance system for visually impaired persons in which a support person checks the situation around the visually impaired person based on images captured by a camera device attached to the visually impaired person's body, and remotely guides the visually impaired person in a safe direction.
しかし、特許文献１の視覚障害者誘導システムの場合、支援者は、視覚障害者を安全に誘導するために、視覚障害者に携帯されるカメラ装置で撮像された撮像画像を、高い集中力を持って終始監視する必要がある。このため、支援者の多大な監視労力が必要となる問題があった。この問題は、一人の支援者で複数の視覚障害者の支援を行う場合に、より顕著となる。
However, in the case of the visually impaired person guidance system of
本発明は、上述の課題に鑑みてなされたものであり、被支援者の遠隔支援における、支援者の監視労力の軽減を図った、遠隔支援装置、遠隔支援方法、遠隔支援プログラム及び遠隔支援システムの提供を目的とする。 The present invention has been made in consideration of the above-mentioned problems, and aims to provide a remote support device, a remote support method, a remote support program, and a remote support system that reduce the monitoring effort of a supporter when remotely supporting a supported person.
上述した課題を解決し、目的を達成するために、本発明は、被支援者により携帯されるカメラ装置で過去に撮像された過去画像、過去画像の地理的な撮像位置を示す撮像位置情報、及び、過去画像に付された所定のマークに関するマーキング情報をそれぞれ関連付けて記憶部に記憶制御する記憶制御部と、被支援者により携帯されるカメラ装置でリアルタイムに撮像されるリアルタイム撮像画像を受信し、リアルタイム撮像画像の撮像位置に対応する過去画像及びマーキング情報を記憶部から読み出す読み出し制御部と、被支援者を支援する支援者が監視する表示部に表示するための支援画像であり、リアルタイム撮像画像及び過去画像の何れか、又は両方に対して、記憶部から読み出されたマーキング情報で示される所定のマークを反映させた支援画像を生成する支援画像生成部と、を有する。 In order to solve the above-mentioned problems and achieve the object, the present invention has a storage control unit that controls storage in a storage unit of past images captured in the past by a camera device carried by the person being supported, image capture location information indicating the geographical image capture location of the past images, and marking information regarding a specified mark affixed to the past images, in association with each other; a read control unit that receives real-time captured images captured in real time by a camera device carried by the person being supported, and reads out from the storage unit the past images and marking information corresponding to the image capture location of the real-time captured images; and an assistance image generation unit that generates an assistance image to be displayed on a display unit monitored by a supporter supporting the person being supported, the support image reflecting the specified mark indicated by the marking information read out from the storage unit for either or both of the real-time captured images and the past images.
本発明によれば、被支援者の遠隔支援における、支援者の監視労力を軽減できる。 The present invention can reduce the monitoring effort required by the supporter when remotely supporting the support recipient.
以下、図面を参照して、本発明の一例となる実施の形態の遠隔支援システムの説明をする。この実施の形態の遠隔支援システムは、被支援者に装着されたカメラ装置の撮像画像に基づいて、支援者が被支援者の遠隔支援を行うものである。この実施の形態の遠隔支援システムは、例えば視覚障害者の遠隔支援の他、子供の遠隔支援、又は、見知らぬ土地を移動する人の誘導等に用いることができる。以下、被支援者の一例として、視覚障害者の遠隔支援を行う例を説明する。 Below, a remote support system according to an embodiment of the present invention will be described with reference to the drawings. In this embodiment of the remote support system, a supporter remotely supports a person being supported based on images captured by a camera device worn by the person being supported. In addition to remote support for visually impaired people, the remote support system according to this embodiment can be used for remote support for children, or to guide people moving through unfamiliar areas. Below, an example of remote support for a visually impaired person will be described as an example of a person being supported.
（システム構成）
図１は、実施の形態の遠隔支援システムのシステム構成を示す図である。この図１に示すように、実施の形態の遠隔支援システムは、視覚障害者が装着する視覚障害者装置１、支援者が操作する遠隔監視端末装置３、及び、視覚障害者装置１と遠隔監視端末装置３との間の通信を中継するセンタサーバ装置２を有している。センタサーバ装置２及び遠隔監視端末装置３は、所定のネットワーク４を介して相互に接続されている。ネットワーク４としては、例えばインターネット等の広域網又はＬＡＮ（Local Area Network）等のプライベート網を用いることができる。センタサーバ装置２は、遠隔支援装置の一例である。
(System Configuration)
Fig. 1 is a diagram showing a system configuration of a remote support system according to an embodiment. As shown in Fig. 1, the remote support system according to the embodiment includes a visually
視覚障害者装置１は、無線基地局５との間で無線通信を行う。後述するように、視覚障害者装置１は、視覚障害者により携帯され、その視覚障害者装置１に備わるカメラ装置で視覚障害者の周囲の画像を動画像として撮像すると共に、同じくその視覚障害者装置１に備わるマイクロホン装置で視覚障害者の音声を集音する。このような視覚障害者の周囲の撮像画像及び視覚障害者の音声は、無線基地局５及びネットワーク４を介してセンタサーバ装置２に送信され、センタサーバ装置２において、撮像画像に対して後述するプライバシー保護処理がなされたうえで、視覚障害者の音声とともに、遠隔監視端末装置３へ送信される。また、遠隔監視端末装置３において入力された、支援者による支援音声が、センタサーバ装置２へ送信され、さらにセンタサーバ装置２からネットワーク４及び無線基地局５を介して視覚障害者装置１に送信される。これにより、支援者からの支援音声により、視覚障害者の遠隔支援が可能となる。
The visually impaired person's
（視覚障害者装置のハードウェア構成）
図２は、実施の形態の遠隔支援システムに設けられている視覚障害者装置１のブロック図である。この図２に示すように、視覚障害者装置１は、ヘッドセット装置７及び携帯端末装置８を有している。携帯端末装置８としては、無線通信機能を備えた携帯機器であるスマートホン又はタブレット端末装置等を用いることができる。
(Hardware configuration of device for visually impaired persons)
Fig. 2 is a block diagram of the visually
ヘッドセット装置７は、視覚障害者が支援者の支援音声を聴取するためのイヤホン装置２５、視覚障害者の周囲の画像を撮像するカメラ装置２６、及び、視覚障害者が発生する音声を集音するためのマイクロホン装置２７を有している。詳しくは、後述する。
The
携帯端末装置８は、ＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、内蔵メモリ１３、通信部１４、近距離無線通信部１５、タッチパネル１６、ＧＰＳ（Global Positioning System）センサ１７を備えている。また、携帯端末装置８は、加速度センサ１８、タイマ１９、外部インターフェース（外部Ｉ／Ｆ）２０、カメラ部２１、マイクロホン部２２及びスピーカ部２３を備えている。
The mobile terminal device 8 includes a CPU (Central Processing Unit) 11, a RAM (Random Access Memory) 12, an internal memory 13, a
内蔵メモリ１３には、音声支援プログラムが記憶されている。後述するように、ＣＰＵ１１がこの音声支援プログラムを実行することにより、携帯端末装置８の各機能が実現される。携帯端末装置８の電源投入後、視覚障害者が後述するタッチパネル１６を操作することによって、ＣＰＵ１１が音声支援プログラムの実行を開始する。あるいは、携帯端末装置８の電源が投入されるのに連動して、ＣＰＵ１１が音声支援プログラムの実行を開始するようにしてもよい。ＣＰＵ１１は、音声支援プログラムに基づいて、ヘッドセット装置７で撮像された視覚障害者の周囲の画像を受信して、その画像に後述するＧＰＳセンサ１７が取得したＧＰＳ情報を撮像位置、タイマ１９がカウントした時刻を撮像時刻情報（タイムスタンプ）として付加し、センタサーバ装置２へ送信する。また、ＣＰＵ１１は、音声支援プログラムに基づいて、ヘッドセット装置７で集音された視覚障害者の音声を受信して、センタサーバ装置２に送信する。また、ＣＰＵ１１は、音声支援プログラムに基づいて、センタサーバ装置２から支援者の支援音声を受信して、ヘッドセット装置７に送信する。また、ＣＰＵ１１は、音声支援プログラムに基づいて、後述するＧＰＳセンサ１７が取得したＧＰＳ情報、及び加速度センサ１８が取得した加速度情報を、センタサーバ装置２へ送信する。
A voice support program is stored in the built-in memory 13. As described later, the CPU 11 executes this voice support program to realize each function of the mobile terminal device 8. After the mobile terminal device 8 is powered on, the visually impaired person operates the touch panel 16 described later, causing the CPU 11 to start execution of the voice support program. Alternatively, the CPU 11 may start execution of the voice support program in conjunction with the powering on of the mobile terminal device 8. Based on the voice support program, the CPU 11 receives an image of the surroundings of the visually impaired person captured by the
通信部１４は、無線基地局５との間で無線通信を行う。近距離無線通信部１５は、例えばブルートゥース（登録商標）等の近距離無線通信を、ヘッドセット装置７の間で行う。タッチパネル１６は、表示部及び操作部が一体化されたデバイスである。ユーザは、このタッチパネル１６を接触操作することで、所望の入力操作が可能となっている。ＧＰＳセンサ１７は、上空に存在する複数のＧＰＳ衛星からの信号に基づいて、携帯端末装置８を携帯する視覚障害者の現在位置を示すＧＰＳ情報を出力する。加速度センサ１８は、携帯端末装置８を携帯する視覚障害者の移動方向を検出するための加速度情報を出力する。タイマ１９は、ヘッドセット装置７のカメラ装置２６で撮像される撮像画像に付加される撮像時刻をカウントする。通信部１４は、ヘッドセット装置７で撮像された視覚障害者の周囲の画像を、ヘッドセット装置７から受信し、タイマ１９がカウントした撮像時刻を付加して、センタサーバ装置２へ送信する。
The
外部Ｉ／Ｆ２０は、図２中、点線のブロックで示すように、ヘッドセット装置７のイヤホン装置２５、カメラ装置２６及びマイクロホン装置２７を、例えばＵＳＢケーブル等により有線接続する際に用いられるインターフェースである。カメラ部２１は、携帯端末装置８に内蔵されている撮像機能である。マイクロホン部２２は、携帯端末装置８に内蔵されている集音機能である。スピーカ部２３は、携帯端末装置８に内蔵されている音声出力機能である。
The external I/F 20, as shown by the dotted line block in FIG. 2, is an interface used when connecting the
（携帯端末装置の機能構成）
図３は、携帯端末装置８のＣＰＵ１１が、内蔵メモリ１３に記憶されている音声支援プログラムを実行することで実現される各機能の機能ブロック図である。この図３に示すように、ＣＰＵ１１は、音声支援プログラムに基づいて、通信制御部３１、取得部３２及び音声制御部３３の各機能を実現する。
(Functional configuration of the mobile terminal device)
3 is a functional block diagram of each function realized by the CPU 11 of the mobile terminal device 8 executing the voice support program stored in the built-in memory 13. As shown in this Fig. 3, the CPU 11 realizes each function of a communication control unit 31, an
通信制御部３１は、無線基地局５との間の無線通信制御の他、ヘッドセット装置７との間の近距離無線通信制御を行う。取得部３２は、通信制御部３１の近距離無線通信制御により受信された、ヘッドセット装置７のカメラ装置２６で撮像された視覚障害者の周囲の撮像画像、及び、ヘッド装置７のマイクロホン装置２７で集音された視覚障害者の音声を取得し、無線基地局５及びネットワーク４を介してセンタサーバ装置２へ送信する。また、通信制御部３１は、センタサーバ装置２から送信された視覚障害者を支援する支援者の支援音声を、ネットワーク４及び無線基地局５を介して受信し、近距離無線通信でヘッドセット装置７に送信する。音声制御部３３は、ヘッド装置７のマイクロホン装置２７を使用しない場合に、携帯端末装置８のマイクロホン部２２で視覚障害者の音声を集音し、通信制御部３１を介してセンタサーバ装置２へ送信制御する。また、音声制御部３３は、ヘッド装置７のイヤホン装置２５を使用しない場合に、センタサーバ装置２から送信された視覚障害者を支援する支援者の支援音声を、ネットワーク４、無線基地局５、及び通信制御部３１を介して受信し、携帯端末装置８のスピーカ部２３を介して出力制御する。
The communication control unit 31 controls wireless communication with the
（ヘッドセット装置の外観構成）
図４は、ヘッドセット装置７の外観構成を示す斜視図である。この図４に示すように、ヘッドセット装置７は、いわゆる眼鏡型のヘッドセット装置となっている。視覚障害者の耳に掛ける部分である左のテンプル部（つる）３５Ｌには、左ユニット筐体部３６Ｌが設けられており、右のテンプル部３５Ｒには、右ユニット筐体部３６Ｒが設けられている。
(External configuration of headset device)
Fig. 4 is a perspective view showing the external configuration of the
左ユニット筐体部３６Ｌには、視覚障害者の前方の画像を撮像するカメラ装置２６ＬＦ及び視覚障害者の後方の画像を撮像するカメラ装置２６ＬＲが設けられている。同様に、右ユニット筐体部３６Ｒには、視覚障害者の前方の画像を撮像するカメラ装置２６ＲＦ及び視覚障害者の後方の画像を撮像するカメラ装置２６ＲＲが設けられている。
The
各カメラ装置２６ＬＦ，２６ＬＲ，２６ＲＦ，２６ＲＲは、例えば魚眼レンズ等の画角の広いレンズ（広角レンズ）を備えている。一例として、各カメラ装置２６ＬＦ，２６ＬＲ，２６ＲＦ，２６ＲＲの画角は、約１８０度程度となっている。このため、各カメラ装置２６ＬＦ，２６ＬＲ，２６ＲＦ，２６ＲＲにより、視覚障害者の左右の側面側及び足元を含む、周囲３６０度の範囲を撮像可能となっている。ここで、カメラ装置２６ＬＦ及びカメラ装置２６ＲＦを組み合わせて、ステレオカメラとして使用することで、これらのカメラ装置が撮像した画像内の対象物までの距離を検知することができる。実施の形態では、後述するセンタサーバ装置２において、カメラ装置２６ＬＦ及びカメラ装置２６ＲＦが撮像した画像による距離の検知を利用する。
Each of the camera devices 26LF, 26LR, 26RF, and 26RR is equipped with a lens with a wide angle of view (wide-angle lens), such as a fisheye lens. As an example, the angle of view of each of the camera devices 26LF, 26LR, 26RF, and 26RR is approximately 180 degrees. Therefore, each of the camera devices 26LF, 26LR, 26RF, and 26RR can capture an image of a 360-degree range around the visually impaired person, including the left and right sides and feet. Here, by combining the camera devices 26LF and 26RF and using them as a stereo camera, it is possible to detect the distance to an object in the images captured by these camera devices. In the embodiment, the
また、右ユニット筐体部３６Ｒには、視覚障害者の右耳に装着されるイヤホン装置２５が設けられている。このイヤホン装置２５を介して、支援者からの支援音声が出力され、視覚障害者に対する行動の指示、又は、危険物に対する注意喚起等が行われる。イヤホン装置２５は、被支援者により携帯される音声出力装置の一例である。
The
なお、図４の例は、右ユニット筐体部３６Ｒにのみ、イヤホン装置２５を設けた例であるが、左ユニット筐体部３６Ｌにのみ、イヤホン装置２５を設けてもよいし、両方のユニット筐体部３６Ｌ，３６Ｒに、それぞれイヤホン装置２５を設けてもよい。
In the example shown in FIG. 4, the
また、左ユニット筐体部３６Ｌには、視覚障害者の音声を集音するマイクロホン装置２７が設けられている。このマイクロホン装置２７により集音された視覚障害者の音声は、所定の通信プロトコルに基づいてセンタサーバ装置２及び遠隔監視端末装置３に送信可能なデータ形態（音声データ）に変換処理されて、近距離無線通信により携帯端末装置８に送信され、所定の通信事業者により提供される無線通信プロトコルに従って、無線基地局５を介してセンタサーバ装置２に送信され、さらにセンタサーバ装置２から遠隔監視端末装置３に送信される。遠隔監視端末装置３では、受信した音声データがアナログ信号に変換処理され、支援者に対して出力される。これにより、支援者は、視覚障害者の音声を介して視覚障害者の意図を認識でき、視覚障害者の要望に応じた適格な支援を行うことができる。
The
また、この例では、左右のユニット筐体部３６Ｌ，３６Ｒを設けることとしたが、いずれか一方のユニット筐体部を設けてもよい。また、ユニット筐体部に設けるカメラ装置２６も、視覚障害者の前方を撮像するカメラ装置のみを設けてもよい。この場合でも、カメラ装置２６は、広角レンズを有しているため、視覚障害者の前方の広範囲の画像を撮像できる。ただ、左右のユニット筐体部３６Ｌ，３６Ｒで視覚障害者の前後を撮像することで、視覚障害者の周囲の、より広範囲の撮像画像を得ることができ、より的確な支援を可能とすることができる。
In addition, in this example, left and right
なお、ヘッドセット装置７のマイクロホン装置２７を使用しない場合、携帯端末装置８を、例えば視覚障害者が胸ポケット等に入れて携帯し、携帯端末装置８のマイクロホン部２２で視覚障害者の音声を集音することとしてもよい。
When the
また、ヘッドセット装置７のイヤホン装置２５を使用しない場合、携帯端末装置８を、例えば視覚障害者が胸ポケット等に入れて携帯し、携帯端末装置８のスピーカ部２３から支援者の支援音声を出力することとしてもよい。
In addition, when the
また、この実施の形態の例では、ヘッドセット装置７及び携帯端末装置８は、近距離無線通信を行うことで、画像及び音声を送受信することとして説明を進める。しかし、図２に点線のブロックで示すように、携帯端末装置８の外部Ｉ／Ｆ２０を介して、例えばＵＳＢケーブル等により、ヘッドセット装置７と携帯端末装置８との間を有線接続し、画像及び音声の送受信を行うようにしてもよい。
In addition, in this embodiment, the
（ユニット筐体部のハードウェア構成）
図５は、左右のユニット筐体部３６Ｌ，３６Ｒのハードウェア構成を示すブロック図である。この図５に示すように各ユニット筐体部３６Ｌ，３６Ｒは、マイクロコンピュータ４０、ＲＡＭ４１、内蔵メモリ４２、カメラ装置２６、近距離無線通信部４４、イヤホン装置２５及びマイクロホン装置２７を有している。内蔵メモリ４２には、制御プログラムが記憶されている。マイクロコンピュータ４０は、この制御プログラムに基づいて動作することで、カメラ装置２６で撮像された視覚障害者の周囲の画像を、近距離無線通信部４４を介して携帯端末装置８に送信制御する。
(Hardware configuration of unit housing)
Fig. 5 is a block diagram showing the hardware configuration of the left and
また、マイクロコンピュータ４０は、制御プログラムに基づいて動作することで、マイクロホン装置２７により集音された視覚障害者の音声を、所定の通信プロトコルに基づいてセンタサーバ装置２及び遠隔監視端末装置３に送信可能なデータ形態（音声データ）に変換処理し、近距離無線通信部４４を介して携帯端末装置８に送信制御する。さらに、マイクロコンピュータ４０は、制御プログラムに基づいて動作することで、携帯端末装置８から近距離無線通信部４４を介して受信した支援者の支援音声データを、アナログ信号に変換処理し、イヤホン装置２５を介して出力制御する。
The
（ユニット筐体部の機能構成）
図６は、左右のユニット筐体部３６Ｌ，３６Ｒのマイクロコンピュータ４０が、制御プログラムに基づいて動作することで実現される各機能の機能ブロック図である。この図６に示すように、マイクロコンピュータ４０は、制御プログラムを実行することで、カメラ制御部４８、音声制御部４９及び近距離無線通信制御部５０として機能する。
(Functional configuration of unit housing)
6 is a functional block diagram of the functions realized by the
カメラ制御部４８は、視覚障害者の周囲を撮像するように、カメラ装置２６を撮像制御する。音声制御部４９は、マイクロホン装置２７で集音された視覚障害者の音声を取得し、所定の通信プロトコルに基づいてセンタサーバ装置２及び遠隔監視端末装置３に送信可能なデータ形態（音声データ）に変換処理する。また、音声制御部４９は、携帯端末装置８から受信した支援者の支援音声データをアナログ信号に変換処理し、イヤホン装置２５を介して出力制御する。近距離無線通信制御部５０は、カメラ装置２６で撮像された視覚障害者の周囲の画像、及び、マイクロホン装置２７で集音された視覚障害者の音声データを、携帯端末装置８に送信するように、近距離無線通信部４４を制御する。
The camera control unit 48 controls the
（センタサーバ装置のハードウェア構成）
図７は、センタサーバ装置２のハードウェア構成を示すブロック図である。この図７に示すように、センタサーバ装置２は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、ＨＤＤ（Hard Disk Drive）５４及び通信部５５を有している。
(Hardware configuration of center server device)
7 is a block diagram showing a hardware configuration of the
通信部５５は、ネットワーク４を介して遠隔監視端末装置３との間で通信を行い、また、ネットワーク４及び無線基地局５を介して携帯端末装置８との間で通信を行う。
The
ＨＤＤ５４は、記憶部の一例である。ＨＤＤ５４には、遠隔支援制御プログラム、地図データ、音声メモデータ、マーキング情報、過去画像、特徴点管理テーブル及び要注意領域管理テーブル等が記憶されている。ＣＰＵ５１は、遠隔支援制御プログラムに基づいて、視覚障害者により携帯される視覚障害者装置１のカメラ装置２６で撮像された撮像画像（リアルタイム動画像）を視覚障害者装置１から受信すると、その画像に対して、写っている人物のプライバシーを保護する処理（プライバシー保護処理）を施す。ここで、リアルタイム動画像は、リアルタイム撮像画像の一例である。また、ＣＰＵ５１は、遠隔支援制御プログラムに基づいて、リアルタイム動画像の撮像位置に対応する過去画像及びマーキング情報を記憶部から読み出し、プライバシー保護処理が施されたリアルタイム動画像とともにその過去画像及びマーキング情報を遠隔監視端末装置３に提供し、支援者による視覚障害者の支援を補助する。
The
また、ＣＰＵ５１は、遠隔支援制御プログラムに基づいて、地図データ上に視覚障害者の現在位置を表示して、遠隔監視端末装置３に提供する。また、ＣＰＵ５１は、支援者により遠隔監視端末装置３に入力された、例えば「この先段差があるため、注意してください」等の、支援者が要注意領域の存在を認識し易くするための音声メモデータ又はテキスト情報等を、遠隔支援制御プログラムに基づいて、遠隔監視端末装置３から受信し、ＨＤＤ５４に記憶制御する。また、ＣＰＵ５１は、詳しくは後述するが、プライバシー保護処理が施されて遠隔監視端末装置３に提供したリアルタイム動画像上で支援者が指定した要注意領域を示すマーキング情報を、リアルタイム動画像とともに遠隔監視端末装置３から受信し、遠隔支援制御プログラムに基づいて、受信したリアルタイム動画像を過去画像として、受信したマーキング情報ととともにＨＤＤ５４に記憶制御する。なお、過去画像はリアルタイム動画像と同様にプライバシー保護処理が施された動画像である。
The
また、ＣＰＵ５１は、遠隔支援制御プログラムに基づいて、過去画像から、例えばエッジ部分及びコーナー部分等の、画像的な特徴を有する特徴点を抽出して特徴点管理テーブルに記憶すると共に、各要注意領域に対応する特徴点の直和である領域特徴ベクトルを算出して要注意領域管理テーブルに過去画像と対応付けて記憶する。この特徴点及び領域特徴ベクトルの算出については、後述する。
Based on the remote assistance control program, the
（センタサーバ装置の機能構成）
図８は、センタサーバ装置２の機能構成を示すブロック図である。この図８に示すように、センタサーバ装置２のＣＰＵ５１は、ＨＤＤ５４に記憶されている遠隔支援制御プログラムを実行することで、取得部６０、特徴点抽出部６１、計算部６２、現在位置特定部６３及びプライバシー保護画像生成部６４の各機能を実現する。また、ＣＰＵ５１は、遠隔支援制御プログラムを実行することで、マッチング処理部６５、支援画像生成部６６、通信制御部６７、色彩選択部６８、人物領域検出部６９、記憶制御部７０、マーキング情報処理部７１及び要注意領域変更処理部７２を実現する。
(Functional configuration of center server device)
Fig. 8 is a block diagram showing the functional configuration of the
取得部６０は、視覚障害者により携帯される視覚障害者装置１から、その視覚障害者装置１が撮像した視覚障害者の周囲の画像、集音した視覚障害者の音声データ、ＧＰＳセンサ１７が取得したＧＰＳ情報、及び加速度センサ１８が取得した加速度情報を取得する。また、取得部６０は、遠隔監視端末装置３から、支援者の支援音声、及び、支援者がリアルタイム動画像上で指定した要注意領域を示すマーキング情報を取得する。特徴点抽出部６１は、過去のリアルタイム動画像である過去画像、及び視覚障害者により携帯される視覚障害者装置１が撮像した画像をプライバシー保護処理されたリアルタイム動画像から、例えばエッジ部分及びコーナー部分等の画像的な特徴を有する特徴点を抽出する。算出部６２は、抽出された特徴点に基づいて、各要注意領域に対応する特徴点の直和である領域特徴ベクトルを算出する。
The acquisition unit 60 acquires, from the
現在位置特定部６３は、視覚障害者の携帯端末装置８から取得したＧＰＳ情報及び加速度情報に基づいて、視覚障害者の現在位置、移動方向及び移動速度を特定する。プライバシー保護画像生成部６４は、プライバシー保護部の一例であり、視覚障害者により撮像された画像（リアルタイム動画像）に写っている人物像の領域（輪郭）を、所定の色で塗り潰す等の方法より所定の色で表してプライバシーを保護し、プライバシー保護画像としてのリアルタイム動画像を生成する（プライバシー保護処理）。マッチング処理部６５は、過去画像及びリアルタイム動画像を、領域特徴ベクトルに基づいてマッチング処理し、リアルタイム動画像上における、支援者により指定された要注意領域を検出する。
The current
支援画像生成部６６は、支援者が視覚障害者を監視する際に見る支援画像を生成する。通信制御部６７は、ネットワーク４を介して、遠隔監視端末装置３との間の通信を行う。また、通信制御部６７は、ネットワーク４及び無線基地局５を介して、視覚障害者装置１との間の通信を行う。色彩選択部６８は、プライバシー保護画像を生成する際に、視覚障害者に対して予測される危険度に応じて、人物を塗り潰す際に用いる色を選択する。人物領域検出部６９は、視覚障害者装置１により撮像された画像（リアルタイム動画像）から、人物が写っている領域を検出する。記憶制御部７０は、支援者により指定された要注意領域を示すマーキング情報、及び、支援者が要注意領域の存在を認識し易くするための音声メモデータ又はテキスト情報等をＨＤＤ５４に記憶制御する。音声メモデータ及びテキスト情報は、補助情報の一例である。
The support
マーキング情報処理部７１は、支援者により指定された要注意領域を示すマーキング情報を生成する。要注意領域変更処理部７２は、過去画像上で指定されている要注意領域の大きさを変更し（拡大又は縮小）、マッチング処理部６５のマッチング精度の向上を図る。
The marking
（遠隔監視端末装置のハードウェア構成）
図９は、遠隔監視端末装置３のハードウェア構成を示すブロック図である。この図９に示すように遠隔監視端末装置３は、ＣＰＵ８１、ＲＯＭ８２、ＲＡＭ８３、通信部８４、ＨＤＤ８５、入出力インターフェース（入出力Ｉ／Ｆ）８６、マイクロホン部８７及びスピーカ部８８を有している。入出力Ｉ／Ｆ８６には、モニタ装置８９及び操作部９０等が接続される。
(Hardware configuration of remote monitoring terminal device)
Fig. 9 is a block diagram showing the hardware configuration of the remote
モニタ装置８９は、表示部又は表示装置の一例である。モニタ装置８９には、センタサーバ装置２から取得した、プライバシー保護処理が施されたリアルタイム動画像、そのリアルタイム動画像の撮像位置に対応する過去画像とマーキング情報、及び、視覚障害者の現在位置を示す地図情報等が表示される。操作部９０としては、例えばキーボード装置及びマウス装置等の入力装置が接続される。支援者は、操作部９０を操作することで、リアルタイム動画像に対して要注意領域の入力等を行う。マイクロホン部８７は、視覚障害者に対して注意を促す支援者の支援音声を集音する。スピーカ部８８は、センタサーバ装置２から取得した視覚障害者の音声を出力する。
The
（遠隔監視端末装置の機能構成）
ＨＤＤ８５には、遠隔支援プログラムが記憶されている。ＣＰＵ８１は、この遠隔支援プログラムを実行することで、図１０に示すように取得部９１、表示制御部９２、マーキング処理部９３、通信制御部９４及び音声処理部９５の各機能を実現する。
(Functional configuration of the remote monitoring terminal device)
A remote assistance program is stored in the
取得部９１は、センタサーバ装置２から送信される、リアルタイム動画像、そのリアルタイム動画像の撮像位置に対応する過去画像とマーキング情報、視覚障害者の現在位置を示す地図情報等、及び、視覚障害者の音声データを、ネットワーク４及び後述する通信制御部９４を介して取得する。表示制御部９２は、取得部９１が取得した、リアルタイム動画像、そのリアルタイム動画像の撮像位置に対応する過去画像とマーキング情報、及び、視覚障害者の現在位置を示す地図情報等をモニタ装置８９に表示制御する。
The acquisition unit 91 acquires the real-time video, past images and marking information corresponding to the capture positions of the real-time video, map information indicating the current location of the visually impaired person, and voice data of the visually impaired person, all of which are transmitted from the
マーキング処理部９３は、取得部９１が取得したリアルタイム動画像に対して、支援者により指定された要注意領域を特定する。通信制御部９４は、センタサーバ装置２から送信される、リアルタイム動画像、そのリアルタイム動画像の撮像位置に対応する過去画像とマーキング情報、視覚障害者の現在位置を示す地図情報等、及び、視覚障害者の音声データを受信する。また、通信制御部９４は、支援者により指定されたリアルタイム動画像上の要注意領域を示すマーキング情報を、リアルタイム動画像とともに、ネットワーク４を介してセンタサーバ装置２に送信する。また、通信制御部９４は、後述する音声処理部９５が変換処理した支援者の支援音声（音声データ）を、ネットワーク４を介してセンタサーバ装置２へ送信する。
The marking processing unit 93 identifies an area requiring attention designated by the supporter in the real-time video acquired by the acquisition unit 91. The communication control unit 94 receives the real-time video, past images and marking information corresponding to the capture positions of the real-time video, map information indicating the current location of the visually impaired person, and the voice data of the visually impaired person, all of which are transmitted from the
音声処理部９５は、視覚障害者に対して注意を促す支援者の支援音声を、所定の通信プロトコルに基づいてセンタサーバ装置２及び視覚障害者装置１に送信可能なデータ形態に変換処理する。また、音声処理部９５は、センタサーバ装置２を介して受信した、視覚障害者の音声データを、スピーカ部８８を介して出力可能なアナログ信号に変換処理する。
The
(センタサーバ装置におけるプライバシー保護画像の生成動作)
次に、このような実施の形態の遠隔支援システムにおける、センタサーバ装置２のプライバシー保護画像の生成動作を説明する。実施の形態の遠隔支援システムは、視覚障害者装置１により撮像された画像（リアルタイム動画像）を、センタサーバ装置２から遠隔監視端末装置３に送信する。そして、遠隔監視端末装置３を操作する支援者が、センタサーバ装置２から送信されたリアルタイム動画像を見ながら、視覚障害者に対して危険を回避するための支援等を行う。
(Generation of Privacy Protection Images in the Center Server Device)
Next, a description will be given of the operation of generating a privacy protection image by the
しかし、視覚障害者装置１で撮像された画像には、様々な人物が写っている可能性がある。このため、視覚障害者装置１で撮像された画像に写っている人物のプライバシーを保護する必要がある。このようなことから、センタサーバ装置２は、視覚障害者装置１で撮像された画像に写っている人物を塗り潰したプライバシー保護画像を生成し（プライバシー保護処理）、遠隔監視端末装置３に送信する。これにより、視覚障害者装置１で撮像された画像に写っている人物のプライバシーを保護したうえで、視覚障害者に対する支援を可能とすることができる。
However, there is a possibility that various people may appear in the image captured by the device for visually
なお、以下、プライバシー保護処理の対象は、人物であることとして説明を進めるが、この他、例えば乗員の顔やナンバープレートが写り込んだことにより所有者が割り出される可能性がある自動車等をプライバシー保護処理の対象として塗り潰してもよい。この場合、自動車等全体を塗り潰すと、塗り潰された自動車等がプライバシー保護画面の大半を占め、何が移っているのか判別しにくくなる状況があり得るので、写り込んだ乗員やナンバープレートはプライバシー保護処理の対象として塗り潰し、自動車等全体に対しては、代表となる一つ又は複数の特徴点を着色して表示してもよい。 In the following, the subject of privacy protection processing will be assumed to be a person, but other objects such as automobiles, which may reveal the owner due to the faces of passengers or license plates captured in the images, may also be painted over as subjects of privacy protection processing. In this case, if the entire automobile is painted over, the painted-over automobile may take up most of the privacy protection screen, making it difficult to determine what is being captured. Therefore, the passengers and license plates that are captured may be painted over as subjects of privacy protection processing, and one or more representative feature points may be displayed in color for the entire automobile.
また、プライバシー保護処理は、元のリアルタイム動画像を不可逆的に直接加工する方法でもよいし、元のリアルタイム動画像の付加情報として塗り潰すパターンを別途作成し、表示する際にリアルタイム動画像上に塗り潰すパターンを重畳表示する方法でもよい。 The privacy protection process may involve a method of directly and irreversibly processing the original real-time video, or a method of creating a fill pattern separately as additional information for the original real-time video and superimposing the fill pattern on the real-time video when it is displayed.
図１１は、センタサーバ装置２におけるリアルタイム動画像の生成動作の流れを示すフローチャートである。まず、視覚障害者により携帯される視覚障害者装置１で撮像された画像は、視覚障害者の現在位置を示すＧＰＳ情報及び加速度情報と共に、無線基地局５及びネットワーク４を介してセンタサーバ装置２に送信される。ステップＳ１では、図８に示すセンタサーバ装置２の取得部６０が、通信部５５及び通信制御部６７を介して視覚障害者装置１で撮像された画像（リアルタイム動画像）、ＧＰＳ情報及び加速度情報を取得する。
Figure 11 is a flowchart showing the flow of the operation of generating real-time video in the
ステップＳ２では、特徴点抽出部６１が、リアルタイム動画像に写っている物体の例えばエッジ部分及びコーナー部分等の複数の特徴点を抽出する。ステップＳ３では、計算部６２が、リアルタイム動画像に写っている物体の各特徴点に対する視覚障害者からの距離及び相対速度を図４にて説明したステレオカメラの機能に算出する。具体的には、視覚障害者装置１のヘッドセット装置７に備わる２台のカメラ装置２６ＬＦ、２６ＲＦをステレオカメラとして使用し、各カメラ装置が撮像した画像に基づいて、その画像に写っている物体までの距離、及びその時間変化（相対速度）を検出する。ここで視覚障害者を基準とした、画像に写っている物体の相対速度は、視覚障害者に対して接近する方向を正とする。
In step S2, the feature
次に、ステップＳ４では、色彩選択部６８が、視覚障害者に対する各特徴点の移動方向（正負相対：視覚障害者に接近する方向への移動か（正方向への移動）、又は、視覚障害者から離れてく方向への移動か（負方向への移動））及び相対速度の大きさに対応する色彩を選択する。また、ステップＳ５では、人物領域検出部６９が、ステップＳ２で検出された各特徴点に基づいて、リアルタイム動画像に写っている人物像の領域を検出する。そして、ステップＳ６において、プライバシー保護画像生成部６４が、ステップＳ５で検出された人物像の領域を、ステップＳ４で選択された色で塗り潰した、プライバシー保護処理されたリアルタイム動画像を生成する。
Next, in step S4, the
具体的には、図１２は、プライバシー保護処理を施す前後のリアルタイム動画像の一例を示す図である。図１２（ａ）は、視覚障害者に携帯される視覚障害者装置１で撮像された画像（プライバシー保護処理を施す前のリアルタイム動画像）の一例を示している。一例ではあるが、このような図１２（ａ）に示すリアルタイム動画像としては、図４及び図５を用いて説明したヘッドセット装置７の左右のカメラ装置２６で撮像された左右の撮像画像に基づいて、プライバシー保護画像生成部６４が、いわゆる視差演算を行うことで形成した視差画像を用いることができる。
Specifically, FIG. 12 shows an example of a real-time video before and after privacy protection processing. FIG. 12(a) shows an example of an image (real-time video before privacy protection processing) captured by a visually
図１２（ａ）に例示するリアルタイム動画像の場合、視覚障害者の正面に杖を持った銅像が写っており、この銅像の左側には、視覚障害者から遠ざかる方向に歩行する二人の人物が写っている。また、銅像の右側には、視覚障害者に近づく方向に歩行する二人の人物が写っている。また、視覚障害者に近づく方向に歩行する二人の人物のうち、リアルタイム動画像の右端に写っている人物の歩行速度は速く、右端に写っている人物の隣の人物の歩行速度は遅いものとする。 In the case of the real-time video shown in FIG. 12(a), a bronze statue holding a cane is shown in front of a visually impaired person, and to the left of the statue are two people walking away from the visually impaired person. In addition, to the right of the statue are two people walking toward the visually impaired person. Of the two people walking toward the visually impaired person, the person on the right edge of the real-time video has a fast walking speed, and the person next to the person on the right edge walks slowly.
このような例において、銅像の左側を、視覚障害者から遠ざかる方向に歩行する二人の人物の相対速度としては、負の相対速度が得られる。視覚障害者から遠ざかる方向に歩行する人物は、視覚障害者と接触する可能性が低く、視覚障害者に対する危険度は低い。このため、色彩選択部６８は、視覚障害者に対して安全であることを意味する「青色」を選択する。そして、プライバシー保護画像生成部６４は、銅像の左側を歩行する二人の人物像を、図１２（ｂ）に示すように青色で塗り潰したプライバシー保護画像を生成する。
In this example, the relative speed of the two people walking to the left of the bronze statue in a direction away from the visually impaired person is negative. A person walking in a direction away from the visually impaired person is less likely to come into contact with the visually impaired person, and is less of a danger to the visually impaired person. For this reason, the
これに対して、銅像の右側を、視覚障害者に対して近づく方向に歩行する二人の人物の相対速度としては、正の相対速度が得られる。視覚障害者に対して近づく方向に歩行する人物は、視覚障害者と接触する可能性があり、危険度が高い。また、歩行速度が速くなるほど、接触した際に視覚障害者が受けるダメージは大きくなる。このため、色彩選択部６８は、正の相対速度が所定以上の速度の人物に対しては、危険度が高いことを示す「赤色」を選択し、正の相対速度が所定未満の速度の人物に対しては、中程度の危険度であることを示す「黄色」を選択する。
In contrast, the relative speed of two people walking to the right of the statue in a direction approaching the visually impaired person is positive. People walking in a direction approaching the visually impaired person are at high risk of coming into contact with the visually impaired person. Furthermore, the faster the walking speed, the greater the damage the visually impaired person will receive in the event of contact. For this reason, the
そして、プライバシー保護画像生成部６４は、銅像の右側を歩行する二人の人物のうち、正の相対速度像が所定以上の右端の人物は、図１２（ｂ）に示すように赤色で塗り潰したプライバシー保護画像を生成する。また、プライバシー保護画像生成部６４は、銅像の右側を歩行する二人の人物のうち、正の相対速度が所定未満の速度の人物は、図１２（ｂ）に示すように黄色で塗り潰したプライバシー保護画像を生成する。 Then, the privacy protection image generating unit 64 generates a privacy protection image in which the rightmost person, of the two people walking to the right of the bronze statue, whose positive relative velocity image is equal to or greater than a predetermined value, is filled in red, as shown in FIG. 12(b). The privacy protection image generating unit 64 also generates a privacy protection image in which the rightmost person, of the two people walking to the right of the bronze statue, whose positive relative velocity is less than a predetermined value, is filled in yellow, as shown in FIG. 12(b).
また、例えば椅子に座っている人物、柱に寄り掛かっている人物等のように、相対速度に基づいて移動が検出されない人物に対しては、色彩選択部６８は、危険度は略無いことを示す「緑色」を選択する。プライバシー保護画像生成部６４は、移動が検出されない人物は、図１２（ｂ）に示すように緑色で塗り潰したプライバシー保護画像を生成する。
For a person whose movement is not detected based on the relative speed, such as a person sitting in a chair or leaning against a pillar, the
なお、上述の危険度の判定において、視覚障害者装置１から受信するＧＰＳ情報、加速度情報により現在位置特定部６３が特定した、視覚障害者の現在位置、移動方向及び移動速度を考慮してもよい。例えば、画像に写る人物について、同じ正の相対速度が検出された場合であっても、視覚障害者が静止している場合は危険度を中程度、視覚障害者がその人物の方向へ移動している場合は高程度、と判定するようにしてもよい。また、例えば、現在位置が交通量の多い場所である場合には、交通量の少ない場所に比べて危険度を高めに判定するようにしてもよい。
In addition, in determining the above-mentioned risk level, the current position, moving direction, and moving speed of the visually impaired person identified by the current
このように、プライバシー保護画像生成部６４が、視覚障害者装置１が撮像した画像（リアルタイム動画像）に写っている人物像を所定の色で塗り潰したプライバシー保護画像を生成（プライバシー保護処理）することによって、その人物のプライバシーを保護することができる。このプライバシー保護処理されたリアルタイム動画像は、図１１のフローチャートのステップＳ７において、通信制御部６７により、通信部５５を介して、支援者の遠隔監視端末装置３に送信される。これにより、遠隔監視端末装置３のモニタ装置８９には、図１２（ｂ）に例示したように、視覚障害者の視覚障害者装置１で撮像された画像に写っている人物のプライバシーが保護された画像が表示される。また、視覚障害者装置１が撮像した画像（リアルタイム動画像）に写っている人物像を塗り潰す色が、その人物の視覚障害者にとっての危険度に応じて選択されるので、支援者は、視覚障害者の周囲の状況を的確に把握することができる。
In this way, the privacy protection image generating unit 64 generates a privacy protection image (privacy protection processing) in which the image of a person in the image (real-time moving image) captured by the visually
詳しくは、後述するが、支援者は、モニタ装置８９に表示されるプライバシー保護処理されたリアルタイム動画像に対して、視覚障害者に対して危険となることが予測される要注意領域に所定のマークを付すマーキング処理を行う。図１２（ｃ）は、視覚障害者に対して危険となることが予測される要注意領域が、支援者により楕円形状のマークでマーキング処理されたプライバシー保護画像を示している。この図１２（ｃ）の例の場合、左下の段差部分、銅像の左下に載置されている紙袋、及び銅像が、支援者によりマーキング処理され、要注意領域として指定されたことを示している。なお、マーキング処理に用いるマークとしては、矢印等の他のマークを用いてもよい。
As will be described in more detail later, the assistant performs a marking process on the privacy-protected real-time video displayed on the
また、支援者は、このような要注意領域の入力操作と共に、覚え書きとなる音声メモデータ（テキスト情報でもよい）の入力も可能となっている。図１２（ｃ）の例は、段差部分に対しては、「足元、つまずき注意」との音声メモデータが、銅像の左下の紙袋に対しては、「足元、ぶつかり注意」との音声メモデータが、銅像に対しては、「障害物、注意」との音声メモデータが入力されたことを示している。 In addition to inputting areas requiring attention, the assistant can also input voice memo data (or text information) to serve as a reminder. The example in FIG. 12(c) shows that voice memo data "Watch your step, don't trip" has been input for the step, voice memo data "Watch your step, don't bump into things" for the paper bag at the lower left of the statue, and voice memo data "Watch your step, don't bump into things" for the statue.
このような要注意領域を示すマーキング情報、及び、覚え書きとなる音声メモデータ（又はテキスト情報）は、プライバシー保護処理されたリアルタイム動画像とともにセンタサーバ装置２に送信され、ＨＤＤ５４に保存される。なお、リアルタイム動画像は過去画像として保存される。そして、マーキング情報及び音声メモデータ（又はテキスト情報）は、次回、同じ場所における支援時にＨＤＤ５４から読み出され、視覚障害者装置１で撮像された画像をプライバシー保護処理されたリアルタイム動画像とともに、遠隔監視端末装置３に送信される。
The marking information indicating such areas requiring attention and the voice memo data (or text information) serving as a memo are transmitted to the
これにより、遠隔監視端末装置３のモニタ装置８９に、プライバシー保護処理されたリアルタイム動画像と併せて、その撮像位置に対応する、過去に入力した要注意領域を示すマークが表示され、スピーカ部８８を介して、音声メモデータによる「足元、ぶつかり注意」との音声が出力される。或いは、音声メモデータの代わりにテキスト情報を受信した場合には、遠隔監視端末装置３のモニタ装置８９に、要注意領域を示すマーク及び「足元、ぶつかり注意」等のテキスト情報が併せて表示される。支援者は、プライバシー保護処理されたリアルタイム動画像と併せて表示されている要注意領域を視認すると共に、音声メモデータによる音声を聴取することで、視覚障害者が歩行している場所における要注意領域を認識する。
As a result, a mark indicating the previously inputted caution area corresponding to the captured position is displayed on the
そして、支援者は、例えば「この先に、段差があります。つまずきに注意してください」等の支援音声を、マイクロホン部８７を介して音声入力する。この支援音声は、視覚障害者装置１に送信され、イヤホン装置２５を介して出力される。視覚障害者は、この支援音声により、現在の場所から、間も無く段差があることを認識でき、安全な歩行が可能となる。
Then, the support person inputs support voice, such as "There is a step up ahead. Be careful not to trip," via the
（マーキング情報の処理動作及び要注意領域の表示動作）
次に、上述のマーキング情報の処理動作、及び、マーキング情報に基づく要注意領域の表示動作を詳細に説明する。図１３は、遠隔監視端末装置３におけるマーキング情報の処理動作及びマーキング情報に基づく要注意領域の表示処理の流れを示すフローチャートである。この図１３のフローチャートにおいて、まず、ステップＳ１１では、図１０に示す遠隔監視端末装置３の通信制御部９４及び取得部９１が、センタサーバ装置２から上述のプライバシー保護処理されたリアルタイム動画像を受信して取得する。ステップＳ１２では、表示制御部９２が、プライバシー保護処理されたリアルタイム動画像をモニタ装置８９に表示制御する。
(Processing of marking information and displaying of caution areas)
Next, the above-mentioned marking information processing operation and the attention area display operation based on the marking information will be described in detail. Fig. 13 is a flowchart showing the flow of the marking information processing operation in the remote
ステップＳ１３では、マーキング処理部９３が、支援者がプライバシー保護処理されたリアルタイム動画像の所望の領域を例えば楕円形状のマークで囲む等の入力操作で指定された危険対象（要注意領域）を示すマーキング情報を生成する。 In step S13, the marking processing unit 93 generates marking information indicating a dangerous object (area requiring attention) designated by an input operation, such as by the supporter encircling a desired area of the real-time video image that has been subjected to privacy protection processing with, for example, an oval-shaped mark.
マーキング情報の入力操作は、視覚障害者が歩行中の道路を、支援者が監視している際に行うことができる。 The marking information can be entered while a support person is monitoring the road where a visually impaired person is walking.
図１４は、ステップＳ１３において、支援者により要注意領域に対するマーキング処理が行われた、プライバシー保護処理されたリアルタイム動画像の一例を示す図である。この図１４は、プライバシー保護処理を施す対象の人物像は写っておらず、歩道と車道の境目に存在する段差を楕円形状のマークでマーキングし、それぞれ要注意領域ＤＺ１，ＤＺ２として指定すると共に、「足元、つまずき注意」、「左より飛び出し注意」等の音声メモデータの入力を行った例を示している。このようなマーキング操作が行われると、ステップＳ１４において、通信制御部９４が、マーキング処理が行われた、プライバシー保護処理されたリアルタイム動画像、指定された要注意領域を示すマーキング情報及び音声メモデータ（又はテキスト情報）をセンタサーバ装置２に送信するように、通信部８４を制御する。
Figure 14 is a diagram showing an example of a privacy-protected real-time video in which the supporter has performed marking processing on the attention-required areas in step S13. This Figure 14 shows an example in which the image of the person to whom privacy protection processing is to be performed is not shown, and the steps at the boundary between the sidewalk and the roadway are marked with oval marks and designated as attention-required areas DZ1 and DZ2, respectively, and voice memo data such as "Watch out for tripping under your feet" and "Watch out for people jumping out from the left" are input. When such a marking operation is performed, in step S14, the communication control unit 94 controls the
ここで、図１５のフローチャートは、遠隔監視端末装置３からマーキング情報を受信したセンタサーバ装置２における、マーキング情報の処理動作の流れを示すフローチャートである。センタサーバ装置２は、遠隔監視端末装置３から、マーキング処理が行われた、プライバシー保護処理されたリアルタイム動画像、マーキング情報、及び音声メモデータ（又はテキスト情報）を受信すると、ステップＳ２１において、これらの受信した、プライバシー保護処理されたリアルタイム動画像、マーキング情報、及び音声メモデータ（又はテキスト情報）を、関連付けてＨＤＤ５４に記憶する。図７に示すＨＤＤ５４に記憶される「過去画像」は、このステップＳ２１においてＨＤＤ５４に記憶するプライバシー保護処理されたリアルタイム動画像、つまり、遠隔監視端末装置３からマーキング情報等と共に、センタサーバ装置２が受信した、プライバシー保護処理されたリアルタイム動画像を示している。以後、ステップＳ２１においてＨＤＤ５４に保存された、プライバシー保護処理されたリアルタイム動画像を、過去画像と表記する。
Here, the flowchart in FIG. 15 is a flowchart showing the flow of the marking information processing operation in the
次に、特徴点抽出部６１が、ＨＤＤ５４に記憶された過去画像とそれに関連付けられたマーキング情報に基づいて、過去画像から特徴点を抽出する。具体的に説明すると、まず、図８に示す特徴点抽出部６１が、マーキング情報で示される要注意領域内及び要注意領域近辺の特徴点を、過去画像から抽出する。図１６は、過去画像に対して指定された要注意領域及び特徴点を示す図である。この図１６は、楕円形状のマークで囲まれた領域が要注意領域ＤＺ２を示している。特徴点抽出部６１は、図１６中、×印で示すように、この要注意領域ＤＺ２内外の特徴点を抽出する。そして、特徴点抽出部６１は、要注意領域ＤＺ２の重心又は重心から最も近い特徴点に対して「１」の特徴点識別番号（特徴点ＩＤ）を付す（ＩＤ＝１）。
Next, the feature
次に、特徴点抽出部６１は、ＩＤ＝１の特徴点を含むセグメントから距離が近い順にセグメントを検索し、他の特徴点を検出する。そして、検出した各セグメントの特徴点に対して、反時計回り（左回り）に、順に特徴点ＩＤを付す。
Next, the feature
図１７は、各特徴点に対して特徴点ＩＤを付す順序を説明するための図である。この図１７に点線で示す同心の楕円で区切られた領域は、それぞれセグメントを示している。要注意領域ＤＺ２の重心に相当するＩＤ＝１の特徴点は、最も内側のセグメントに含まれている。特徴点抽出部６１は、ＩＤ＝１の特徴点を決定すると、このＩＤ＝１を含むセグメントの一つ外側のセグメント内に存在する特徴点に対して、反時計回り（左回り）に、順に特徴点ＩＤを付す。次に、特徴点抽出部６１は、ＩＤ＝１を含むセグメントの二つ外側のセグメント内に存在する特徴点に対して、反時計回り（左回り）に、順に特徴点ＩＤを付す。特徴点抽出部６１は、このような動作を繰り返すことで、図１７に渦巻き状の矢印で示すように、ＩＤ＝１を起点として反時計回り方向（左回り方向）に、順に、各特徴点に対して特徴点ＩＤを付す。
17 is a diagram for explaining the order in which feature point IDs are assigned to each feature point. In FIG. 17, the regions divided by concentric ellipses shown with dotted lines indicate segments. The feature point with ID=1, which corresponds to the center of gravity of the attention area DZ2, is included in the innermost segment. When the feature
次に、特徴点抽出部６１は、このように特徴点ＩＤを付した各特徴点に関する情報を、下記の表１に示す特徴点管理テーブル（図７参照）に記憶する。
Next, the feature
この表１に示すように、特徴点抽出部６１は、要注意領域が指定された過去画像に付されているタイムスタンプ（ＴＳ）、ＧＰＳ位置座標メッシュ領域及び特徴点ＩＤを特徴点管理テーブルに記憶する。また、特徴点抽出部６１は、特徴点画像内座標、要注意領域内外フラグ、特徴点ベクトル値、及び、要注意領域原点（特徴点ＩＤ１）からの相対座標を特徴点管理テーブルに記憶する。
As shown in Table 1, the feature
タイムスタンプ（ＴＳ）は、過去画像の撮像時刻情報である。この撮像時刻情報は、元は、図２に示すタイマ１９でカウントされ、視覚障害者装置１で撮像された画像（リアルタイム動画像）に付与されたものであり、過去画像にもそのタイムスタンプ（ＴＳ）が付与された状態でＨＤＤ５４に保存されている。ＧＰＳ位置座標メッシュ領域は、その過去画像が元々視覚障害者装置１で撮像された時点で視覚障害者が位置していた場所の位置情報（撮像位置情報の一例）である。この位置情報は、要注意領域が指定された過去画像を複数のメッシュ状に分割した分割領域のうち、視覚障害者が位置していた分割領域が、例えば第１のメッシュ、第２のメッシュ等のように記憶される。
The time stamp (TS) is the time information when a past image was captured. This capture time information was originally counted by the
特徴点ＩＤは、上述のようにＩＤ＝１を起点として反時計回り方向（左回り方向）に、順に、各特徴点に付したＩＤである。特徴点画像内座標は、各特徴点のＸ軸及びｙ軸の座標値である。要注意領域内外フラグは、各特徴点ＩＤの特徴点が、それぞれ要注意領域内に位置するか、又は要注意領域外に位置するか、を示す情報である。その特徴点ＩＤの特徴点が、要注意領域内に位置する場合は、「１」の要注意領域内外フラグが特徴点管理テーブルに記憶される。また、その特徴点ＩＤの特徴点が、要注意領域外に位置する場合は、「０」の要注意領域内外フラグが特徴点管理テーブルに記憶される。 The feature point ID is an ID that is assigned to each feature point in order in a counterclockwise direction (left-handed direction) starting from ID=1 as described above. The feature point image coordinates are the x-axis and y-axis coordinate values of each feature point. The attention area inside/outside flag is information that indicates whether the feature point of each feature point ID is located inside or outside the attention area. If the feature point of that feature point ID is located inside the attention area, a attention area inside/outside flag of "1" is stored in the feature point management table. If the feature point of that feature point ID is located outside the attention area, a attention area inside/outside flag of "0" is stored in the feature point management table.
特徴点ベクトル値は、図１８に示すように各特徴点ＩＤの特徴点のベクトル値である。要注意領域原点（特徴点ＩＤ１）からの相対座標は、ＩＤ＝１の特徴点に対して離れている距離を示す他の各特徴点のＸ座標値及びｙ座標値を示す。 The feature point vector value is the vector value of the feature point for each feature point ID, as shown in FIG. 18. The relative coordinates from the origin of the attention area (feature point ID 1) indicate the x-coordinate value and y-coordinate value of each other feature point, which indicate the distance away from the feature point with ID=1.
次に、特徴点抽出部６１は、このように特徴点を抽出した過去画像のフレームから一定時間分、過去のフレーム、及び、一定時間分、未来のフレームに対して、上述と同様に特徴点を抽出し、特徴点画像内座標等を特徴点管理テーブルに記憶する。マーキング情報処理部７１は、この特徴点管理テーブルを参照し、各特徴点の重心位置及び分布範囲に基づいて、フレーム毎に要注意領域を検出する。マーキング情報処理部７１は、各フレームに関連付けて、検出した要注意領域の座標等を、下記の表２に示す要注意領域管理テーブルに記憶する（図７参照）。
The feature
この表２に示すように、マーキング情報処理部７１は、過去画像に付されているタイムスタンプ（ＴＳ）、そのフレーム上で指定されている要注意領域に対して付した要注意領域識別番号（要注意領域ＩＤ）を要注意領域管理テーブルに記憶する。また、マーキング情報処理部７１は、要注意領域内外の各特徴点の特徴点画像内座標、要注意領域内外フラグ、重み付け係数、特徴点ベクトル値、及び、要注意領域原点（特徴点ＩＤ１）からの相対座標を要注意領域管理テーブルに記憶する。
As shown in Table 2, the marking
要注意領域内外フラグは、各特徴点ＩＤの特徴点が、それぞれ要注意領域内に位置するか、又は要注意領域外に位置するか、を示す情報である。その特徴点ＩＤの特徴点が、要注意領域内に位置する場合は、「１」の要注意領域内外フラグが要注意領域管理テーブルに記憶される。また、その特徴点ＩＤの特徴点が、要注意領域外に位置する場合は、「０」の要注意領域内外フラグが要注意領域管理テーブルに記憶される。 The caution area inside/outside flag is information indicating whether the feature point of each feature point ID is located inside or outside the caution area. If the feature point of that feature point ID is located inside the caution area, a caution area inside/outside flag of "1" is stored in the caution area management table. If the feature point of that feature point ID is located outside the caution area, a caution area inside/outside flag of "0" is stored in the caution area management table.
重み付け係数は、後述する領域特徴ベクトルを算出する際に用いられる係数であり、その特徴点ＩＤの特徴点が、要注意領域内に位置する場合は、「１」が重み付け係数として用いられる。また。その特徴点ＩＤの特徴点が、要注意領域外に位置する場合は、「０」が重み付け係数として用いられる。 The weighting coefficient is a coefficient used when calculating the region feature vector described below, and if the feature point of that feature point ID is located inside the region requiring attention, a weighting coefficient of "1" is used. Also, if the feature point of that feature point ID is located outside the region requiring attention, a weighting coefficient of "0" is used.
特徴点ベクトル値は、図１８に示すように各特徴点ＩＤの特徴点のベクトル値である。要注意領域原点（特徴点ＩＤ１）からの相対座標は、ＩＤ＝１の特徴点に対して離れている距離を示す他の各特徴点のＸ座標値及びｙ座標値を示す。 The feature point vector value is the vector value of the feature point for each feature point ID, as shown in FIG. 18. The relative coordinates from the origin of the attention area (feature point ID 1) indicate the x-coordinate value and y-coordinate value of each other feature point, which indicate the distance away from the feature point with ID=1.
このような要注意領域管理テーブルを参照することで、支援者によりマーキングされた要注意領域の位置及び大きさを検出でき、対応するリアルタイム動画像に反映することができる。 By referencing such an attention area management table, the position and size of the attention area marked by the assistant can be detected and reflected in the corresponding real-time video image.
すなわち、要注意領域を反映したリアルタイム動画像を生成する場合、現在位置特定部６３は、ステップＳ２２において、視覚障害者装置１から送信されるＧＰＳ情報に基づいて、視覚障害者の現在位置を特定する。ステップＳ２３では、読み出し制御部の一例である記憶制御部７０が、リアルタイム動画像の撮像位置に対応する過去画像をＨＤＤ５４から読み出す。また、記憶制御部７０は、要注意領域管理テーブルを参照することで、読み出した過去画像に関連付けられている要注意領域の座標位置及び大きさを検出する。さらに、記憶制御部７０は、読み出した過去画像に関連付けられている音声メモデータ（又はテキスト情報）をＨＤＤ５４から読み出す。
That is, when generating a real-time video reflecting an attention-requiring area, the current
支援画像生成部６６は、要注意領域管理テーブルを参照することで検出した位置及び大きさの要注意領域を反映したリアルタイム動画像、音声メモデータ（又はテキスト情報）、及び視覚障害者の現在位置を示す地図データを含む「支援画像」を生成する。そして、通信制御部６７が、このような支援画像を、遠隔監視端末装置３に送信する。なお、過去画像及びリアルタイム動画像には、上述のプライバシー保護処理が施されている。
The support
図１３のフローチャートのステップＳ１５では、このようにセンタサーバ装置２から送信される支援画像を受信するように、遠隔監視端末装置３の通信制御部９４が通信部８４を制御する。そして、遠隔監視端末装置３の表示制御部９２が、センタサーバ装置２から受信した支援画像をモニタ装置８９に表示する。
In step S15 of the flowchart in FIG. 13, the communication control unit 94 of the remote
支援者は、支援画像に含まれるプライバシー保護処理されたリアルタイム動画像に基づいて、視覚障害者の現在位置の周囲の状況を認識すると共に、要注意領域を反映した過去画像及び音声メモデータ（又はテキスト情報）に基づいて、視覚障害者の現在位置に対応する要注意領域を認識する。そして、マイクロホン部８７を介して、要注意領域を回避させる支援音声を入力する。この支援音声は、ステップＳ１６において、通信制御部９４により、センタサーバ装置２に送信され、センタサーバ装置２からネットワーク４及び無線基地局５を介して、視覚障害者装置１に送信され、視覚障害者装置１のイヤホン装置２５を介して出力される。これにより、視覚障害者を危険から回避させることができる。
The support person recognizes the situation around the visually impaired person's current location based on the privacy-protected real-time video included in the support image, and recognizes the attention-required area corresponding to the visually impaired person's current location based on past images reflecting the attention-required area and voice memo data (or text information). The support person then inputs a support voice to avoid the attention-required area via the
図１９は、遠隔監視端末装置３のモニタ装置８９に表示される支援画像の一例を示す図である。図１９（ａ）は、視覚障害者装置１から受信したＧＰＳ情報に基づいて検出した視覚障害者の現在位置を表示した地図画像である。この図１９（ａ）は、上から順に、時刻の経過に沿った視覚障害者の現在位置の移動を示している。センタサーバ装置２の現在位置特定部６３は、視覚障害者装置１から受信したＧＰＳ情報に基づいて、視覚障害者の現在位置を特定する。そして、支援画像生成部６６が、現在位置特定部６３で特定された視覚障害者の現在位置を表示した地図画像を生成する。
Figure 19 is a diagram showing an example of a support image displayed on the
図１９（ｂ）は、現在位置特定部６３により特定された視覚障害者の現在位置、つまりリアルタイム動画像の撮像位置に対応する過去画像（過去に撮像されプライバシー保護処理されたリアルタイム動画像）を示している。この図１９（ｂ）は、上から順に、過去における時刻の経過（ＴＳ＝０００１～ＴＳ＝０００５）に沿って撮像された歩道、車道、店舗等の風景の画像を示している。人物が写っていた場合は、上述のプライバシー保護処理が施されたうえで記憶される。また、この図１９（ｂ）の例は、歩道の端部に存在する段差に対して要注意領域ＤＺ１，ＤＺ２のマーキング情報が付加されると共に、「足元、注意」との音声メモデータ（又はテキスト情報）が、各過去画像に付されていることを示している。
Figure 19(b) shows past images (real-time video captured in the past and processed for privacy protection) corresponding to the current location of the visually impaired person identified by the current
センタサーバ装置２の支援画像生成部６６は、リアルタイム動画像の撮像位置に対応する過去画像をＨＤＤ５４から読み出す。また、支援画像生成部６６は、要注意領域管理テーブルを参照することで、読み出した過去画像に対応する要注意領域を、例えば楕円形状のマーク等で過去画像上に反映させる。これにより、図１９（ａ）及び図１９（ｂ）に示すように、視覚障害者の移動位置に対応する要注意領域が反映された過去画像が生成される。
The support
図１９（ｃ）は、視覚障害者装置１で撮像された、視覚障害者の現在位置の周囲の風景にプライバシー保護処理をしたリアルタイム動画像を示している。この図１９（ｃ）は、上から順に、時刻の経過（ＴＳ＝１００１～ＴＳ＝１００５）に沿って撮像された、プライバシー保護処理をしたリアルタイム動画像を示している。図１９（ｂ）及び図１９（ｃ）は、同じ場所を、過去（ＴＳ＝０００１～ＴＳ＝０００５）及び現在（ＴＳ＝１００１～ＴＳ＝１００５）の時間を隔てて撮像した動画像となっている。
Figure 19(c) shows real-time video that has undergone privacy protection processing of the scenery around the visually impaired person's current location, captured by the visually impaired person's
センタサーバ装置２の支援画像生成部６６は、視覚障害者の現在位置を表示した地図画像（図１９（ａ））、要注意領域を示す楕円形状のマークを反映させた過去画像（図１９（ｂ））、及び、視覚障害者装置１で撮像された、プライバシー保護処理をしたリアルタイム動画像（図１９（ｃ））を含む支援画像を生成する。通信制御部６７は、このように生成された支援画像に、各過去画像に関連付けられた音声メモデータ（又はテキスト情報）を付加して遠隔監視端末装置３に送信するように通信部５５を制御する。
The support
遠隔監視端末装置３の表示制御部９３は、センタサーバ装置２から受信した支援画像をモニタ装置８９に表示制御する。また、音声処理部９５は、支援画像に付加されている音声メモデータに対応する音声を、スピーカ部８８を介して出力制御する。これにより、支援者は、視覚障害者の現在位置（図１９（ａ））及び視覚障害者装置１で撮像された、プライバシー保護処理をしたリアルタイム動画像（図１９（ｃ））に基づいて、視覚障害者の周囲の様子を認識できる。また、要注意領域が反映された過去画像（図１９（ｂ））、及び、音声メモデータによる音声により、現在、視覚障害者が歩行している周囲の要注意領域を認識して、視覚障害者の歩行を支援する音声を送信することができる。
The display control unit 93 of the remote
この支援者からの視覚障害者に対する支援の音声は、遠隔監視端末装置３のマイクロホン部８７により集音され、通信制御部９４により通信部８４を介して視覚障害者装置１に送信され、視覚障害者装置１のイヤホン装置２５を介して出力される。これにより、視覚障害者は、イヤホン装置２５を介して支援者の支援音声を聴取することができ、未然に危険を回避する行動を取ることができる。
The voice of the support person providing support to the visually impaired person is collected by the
（過去画像で指定された要注意領域をリアルタイム動画像に反映する例）
次に、図１９を用いて説明した例は、視覚障害者の現在位置、リアルタイム動画像及び過去画像を含む支援画像を生成する例であった。しかし、過去動画で指定されている要注意領域を示す楕円形状のマーク等を、リアルタイム動画像に重畳してもよい。この場合、視覚障害者の現在位置、及び、要注意領域を示す楕円形状のマークが重畳されたリアルタイム動画像の２つを含む支援画像が遠隔監視端末装置３のモニタ装置８９に表示されることとなる。
(An example of reflecting areas of interest specified in past images in real-time video)
Next, the example described with reference to Fig. 19 is an example of generating a support image including the current location of the visually impaired person, real-time video, and past images. However, an elliptical mark or the like indicating an area requiring attention specified in a past video may be superimposed on the real-time video. In this case, a support image including both the current location of the visually impaired person and the real-time video on which an elliptical mark indicating an area requiring attention is superimposed is displayed on the
ここで、過去画像上に指定されている要注意領域をリアルタイム動画像上に表示する場合、過去画像上で指定されている要注意領域を、リアルタイム動画像から正確に検出することが好ましい。この場合、実施の形態の遠隔支援システムは、過去画像で指定されている要注意領域の領域特徴ベクトルと同じ領域特徴ベクトルを、リアルタイム動画像から検出する(領域特徴ベクトルのマッチング処理)。これにより、過去画像で指定されている要注意領域を、リアルタイム動画像上に、正確に反映することができる。 Here, when displaying an area requiring attention specified on a past image on a real-time video, it is preferable to accurately detect the area requiring attention specified on the past image from the real-time video. In this case, the remote support system of the embodiment detects an area feature vector from the real-time video that is the same as the area feature vector of the area requiring attention specified on the past image (area feature vector matching process). This allows the area requiring attention specified on the past image to be accurately reflected on the real-time video.
図２０は、過去画像で指定された要注意領域をリアルタイム動画像に反映する動作の流れを示すフローチャートである。この場合、図８に示す遠隔監視端末装置３の計算部６２は、表２に示した上述の特徴点マーキング情報で示される要注意領域の領域特徴ベクトルを、以下の数１式及び数２式に基づいて予め計算し、ＲＡＭ５３又はＨＤＤ５４等の記憶部に保存しておく（ステップＳ３１）。
Figure 20 is a flowchart showing the flow of the operation of reflecting the attention area specified in the past image in the real-time video image. In this case, the calculation unit 62 of the remote
図１８は、この数１式及び数２式で算出される要注意領域の領域特徴ベクトルを示している。この図１８に示すように、計算部６２は、各要注意領域に対応する各特徴点ベクトル値の直和を、数１式に基づいて、領域特徴ベクトル「Ｖｉ」として算出する。なお、領域特徴ベクトルの次元数は、各要注意領域に対応する各特徴点ベクトルの次元数の総和である。
Fig. 18 shows the region feature vector of the attention region calculated by
すなわち、数１式において、「ｃｊ」は表２に示したようにその特徴点が要注意領域内であるか、要注意領域外であるかで付される重み付け係数である。「ｖｊ」は、各特徴点のベクトル値である。「Ｘｄｊ」は、その要注意領域の重心に位置するＩＤ＝１の特徴点から離れているＸ座標上の距離である。「ｙｄｊ」は、その要注意領域の重心に位置するＩＤ＝１の特徴点から離れているｙ座標上の距離である。
In other words, in
計算部６２は、数２式に示すように各特徴点ベクトル値「ｖｊ」を直和処理することで、数１式で示される各特徴点ベクトル値の直和である領域特徴ベクトル「Ｖｉ」を算出して、ＲＡＭ５３又はＨＤＤ５４等の記憶部に保存しておく。これにより、記憶部には、各過去画像上の各要注意領域に対応する領域特徴ベクトルがそれぞれ記憶されることとなる。
The calculation unit 62 performs direct sum processing on each feature point vector value "vj" as shown in
次に、図２０のステップＳ３２において、記憶制御部７０が、リアルタイム動画像の撮像位置に対応する過去画像を、リアルタイム動画像の撮像時刻に基づいてＨＤＤ５４から読み出す。
Next, in step S32 of FIG. 20, the
ステップＳ３３では、計算部６２が、リアルタイム動画像内の全領域の領域特徴ベクトルを、上述の数１式及び数２式に基づいてそれぞれ算出する。また、ステップＳ３３では、マッチング処理部６５が、リアルタイム動画像の各領域特徴ベクトルと、ＨＤＤ５４から読み出された過去画像の要注意領域の領域特徴ベクトルとのマッチング処理を行う。そして、マッチング処理部６５は、過去画像の要注意領域の領域特徴ベクトルに対するマッチング度が一番高いリアルタイム動画像上の領域特徴ベクトルを検出する。
In step S33, the calculation unit 62 calculates the region feature vectors of all regions in the real-time video based on the above-mentioned
ステップＳ３４では、マッチング処理部６５が、過去画像の要注意領域の領域特徴ベクトルに対して一番高いマッチング度となるリアルタイム動画像の領域特徴ベクトルは、一定値以上となるマッチング度であるか否かを判別する。 In step S34, the matching processing unit 65 determines whether the area feature vector of the real-time video image that has the highest matching degree to the area feature vector of the attention area of the past image has a matching degree equal to or greater than a certain value.
マッチング度が一定値以上であるということは（ステップＳ３４：Ｙｅｓ）、リアルタイム動画像と過去画像との間に地理的なズレが殆ど無いことを意味している。このため、処理がステップＳ３８に進み、過去画像の要注意領域を反映したリアルタイム動画像を生成する。 If the degree of matching is equal to or greater than a certain value (step S34: Yes), this means that there is almost no geographical discrepancy between the real-time video and the past image. Therefore, the process proceeds to step S38, where a real-time video reflecting the attention-requiring areas of the past image is generated.
なお、このリアルタイム動画像には、上述のプライバシー保護処理が施されている。そして、このリアルタイム動画像は、要注意領域に対応する音声メモデータ（又はテキスト情報）、及び、視覚障害者の現在位置を示す地図データと共に、通信制御部６７により通信部５５を介して遠隔監視端末装置３に送信される。遠隔監視端末装置３の支援者は、リアルタイム動画像に反映された要注意領域、及び、音声メモデータにより要注意領域の注意事項を示す音声に基づいて要注意領域の存在を認識し、視覚障害者を支援する支援音声を視覚障害者装置１に送信する。
The real-time video has been subjected to the above-mentioned privacy protection processing. The real-time video is then transmitted by the
これに対して、一定値以上のマッチング度が得られないということは（ステップＳ３４：Ｎｏ）、過去画像の要注意領域に合致する大きさの領域が、リアルタイム動画像上からは検出されないことを意味している。この場合、処理がステップＳ３５に進み、要注意領域変更処理部７２が、要注意領域の大きさを一定数倍に変更（拡大又は縮小）すると共に、領域特徴ベクトル内の特徴点の座標を同じ比率で変更処理する。 On the other hand, if a matching degree equal to or greater than a certain value is not obtained (step S34: No), it means that an area of a size matching the attention area of the previous image is not detected in the real-time video. In this case, the process proceeds to step S35, and the attention area modification processing unit 72 modifies (enlarges or reduces) the size of the attention area by a certain factor, and modifies the coordinates of the feature points in the area feature vector by the same ratio.
マッチング処理部６５は、ステップＳ３６において、このように変更処理された要注意領域の領域特徴ベクトルに基づいて、再度、リアルタイム動画像に対してマッチング処理を行う。そして、マッチング処理部６５は、ステップＳ３７において、変更処理された過去画像の要注意領域の領域特徴ベクトルに対するマッチング度が一番高いリアルタイム動画像の領域特徴ベクトルを検出する。 In step S36, the matching processing unit 65 again performs matching processing on the real-time video based on the area feature vector of the attention area that has been changed in this way. Then, in step S37, the matching processing unit 65 detects the area feature vector of the real-time video that matches most closely with the area feature vector of the attention area of the changed previous image.
ステップＳ３７では、マッチング処理部６５が、変更処理された過去画像の要注意領域の領域特徴ベクトルに対して一番高いマッチング度となるリアルタイム動画像上の領域特徴ベクトルは、一定値以上のマッチング度であるか否かを判別する。 In step S37, the matching processing unit 65 determines whether the area feature vector in the real-time video that has the highest matching degree to the area feature vector of the attention area in the changed previous image has a matching degree equal to or greater than a certain value.
一定値以上のマッチング度が得られないということは（ステップＳ３７：Ｎｏ）、過去画像の要注意領域に合致する大きさの領域が、リアルタイム動画像上からは検出されないことを意味している。このため、処理がステップＳ３５に戻り、要注意領域変更処理部７２が、再度、要注意領域の大きさを一定数倍に変更（拡大又は縮小）すると共に、領域特徴ベクトル内の特徴点の座標を同じ比率で変更処理する。マッチング処理部６５は、変更処理された過去画像の要注意領域の領域特徴ベクトルに基づいて、再度、上述のマッチング処理を行う。 If a matching degree of a certain value or more is not obtained (step S37: No), it means that an area of a size matching the attention area of the previous image is not detected in the real-time video. Therefore, the process returns to step S35, and the attention area modification processing unit 72 again modifies (enlarges or reduces) the size of the attention area by a certain number of times, and modifies the coordinates of the feature points in the area feature vector by the same ratio. The matching processing unit 65 again performs the above-mentioned matching process based on the area feature vector of the attention area of the previous image that has been modified.
このようにマッチング処理を繰り返し行った結果、マッチング度が一定値以上の領域特徴ベクトルをリアルタイム動画像上から検出すると（ステップＳ３７：Ｙｅｓ）、ステップＳ３８において、リアルタイム動画像上から検出した領域に、過去画像の要注意領域を反映させる。 As a result of repeating the matching process in this manner, if a region feature vector with a matching degree equal to or greater than a certain value is detected from the real-time video (step S37: Yes), in step S38, the region of interest from the past image is reflected in the region detected from the real-time video.
なお、このリアルタイム動画像には、上述のプライバシー保護処理が施されている。そして、このリアルタイム動画像は、反映した要注意領域に対応する音声メモデータ（又はテキスト情報）、及び、視覚障害者の現在位置を示す地図データと共に、支援画像として、通信制御部６７により通信部５５を介して遠隔監視端末装置３に送信される。遠隔監視端末装置３の支援者は、リアルタイム動画像に反映された要注意領域、及び、音声メモデータ（又はテキスト情報）により要注意領域の存在を認識し、視覚障害者を支援する支援音声を視覚障害者装置１に送信する。
The real-time video has been subjected to the above-mentioned privacy protection processing. This real-time video, together with voice memo data (or text information) corresponding to the reflected attention area and map data indicating the current location of the visually impaired person, is transmitted as a support image by the
図２１は、過去画像の要注意領域が反映されたリアルタイム動画像の一例を示す図である。図２１（ａ）は、時刻の経過（ＴＳ＝１００１～ＴＳ＝１００５）に沿って視覚障害者装置１で撮像されているリアルタイム動画像を示している。図２１（ｂ）は、視覚障害者の現在位置が移動する様子を示す地図データである。図２１（ｃ）は、要注意領域が指定されている過去画像（ＴＳ＝０００１～ＴＳ＝０００５）を示している。この過去画像に表示されている「足元、注意」等の文字は、音声メモデータを視覚的に表現したものである。
Figure 21 shows an example of a real-time video image in which a cautionary area from a past image is reflected. Figure 21(a) shows real-time video image captured by the
上述のように、リアルタイム動画像に対して過去画像の要注意領域が反映されると、支援画像生成部６６は、図２１（ｂ）に示す視覚障害者の現在位置を示す地図データ、音声メモデータと共に、過去画像の要注意領域が反映されたリアルタイム動画像を、支援画像として生成する。この支援画像は、通信制御部６７により通信部５５を介して遠隔監視端末装置３に送信される。
As described above, when the attention-requiring area of the past image is reflected in the real-time video, the support
これにより、図２１（ｄ）に示すように、過去画像上で指定された要注意領域が反映されたリアルタイム動画像が、遠隔監視端末装置３のモニタ装置８９に表示される。また、遠隔監視端末装置３のスピーカ部８８を介して、音声メモデータに対応する音声が出力される。支援者は、リアルタイム動画像に表示される要注意領域、及び、スピーカ部８８を介して出力される要注意領域に関連する音声に基づいて、視覚障害者に注意が必要となる領域を認識する。そして、支援者は、マイクロホン部８７を介して、視覚障害者の注意を促す支援音声を入力する。この支援音声は、音声処理部９５により所定のデータ処理が施され、通信制御部９４により通信部８４を介して視覚障害者装置１に送信され、視覚障害者装置１のイヤホン装置２５を介して出力される。これにより、視覚障害者は支援者の支援音声を聴取することができ、例えば前方の段差を回避して安全に歩行することができる。
As a result, as shown in FIG. 21(d), a real-time video image reflecting the area requiring attention designated on the past image is displayed on the
（実施の形態の効果）
以上の説明から明らかなように、実施の形態の遠隔支援システムは、以下の効果を得ることができる。
(Effects of the embodiment)
As is clear from the above description, the remote support system according to the embodiment can provide the following effects.
１．視覚障害者等の被支援者の現在位置に対応する過去画像又はリアルタイム動画像に要注意領域を表示して支援者の遠隔監視端末装置３に表示する。これにより、支援者に対して、長時間の高い集中力及び危険予知スキルを要求することなく、被支援者の現在位置で注意が必要となる、例えば横方向からの飛び出し、足元の段差又は穴等を容易に認識させることができ、被支援者の的確な支援を可能とすることができる。従って、例えば視覚障害者が、盲導犬又はガイドヘルパーの同行に頼ることなく、多面的な歩行リスクに対処して、外出可能とすることができる。また、支援者は、長時間の高い集中力及び危険予知スキルを必要とすることなく被支援者の支援が可能であるため、被支援者の監視労力を軽減でき、一人の支援者で複数の被支援者を容易に支援可能とすることができる。
1. An area requiring attention is displayed on a past image or real-time video image corresponding to the current location of a person supported, such as a visually impaired person, on the supporter's remote
２．支援者の遠隔監視端末装置３に表示する過去画像又はリアルタイム動画像に写る人物等を所定の色で塗り潰して、遠隔監視端末装置３に提供する。これにより、過去画像又はリアルタイム動画像に写る人物等のプライバシーを保護できる。
2. People and the like appearing in past images or real-time video images displayed on the supporter's remote
３．人物等を塗りつぶす際に用いる色を、被支援者に対する危険度に応じて変更する。これにより、被支援者の周囲に存在する各人物の被支援者に対する危険度を、支援者に示すことができる。このため、被支援者に対して、事前に危険を回避させる支援を行うことができる。 3. The color used to fill in people and other objects is changed depending on the level of danger to the person being supported. This makes it possible to show the supporter the level of danger to the person being supported from each person around the person being supported. This makes it possible to provide support to the person being supported to avoid danger in advance.
４．被支援者が周囲の風景等を撮像するカメラ装置２６には、魚眼レンズ等の広角レンズを用いる。これにより、被支援者の周囲の、より広範囲を撮像できる。そして、支援者は、このような広範囲の撮像画像に基づいて、より広範囲を監視しながら被支援者の支援を行うことができる。
4. A wide-angle lens such as a fisheye lens is used for the
最後に、上述の実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。 Finally, the above-described embodiment is presented as an example and is not intended to limit the scope of the present invention. This novel embodiment can be implemented in various other forms, and various omissions, substitutions, and modifications can be made without departing from the spirit of the invention.
例えば、上述の実施の形態において、各種プログラムで実現されることとした各機能は、全部又は一部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。 For example, in the above-described embodiment, the functions that are realized by various programs may be realized, in whole or in part, by hardware such as an integrated circuit (IC).
また、上述の各種プログラムは、インストール可能な形式又は実行可能な形式のファイル情報でＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、上述の各種プログラムは、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disc）、ブルーレイ（登録商標）ディスク、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、上述の各種プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、上述の各種プログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。 The above-mentioned various programs may be provided by recording the file information in an installable or executable format on a computer-readable recording medium such as a CD-ROM or a flexible disk (FD). The above-mentioned various programs may be provided by recording the file information in an installable or executable format on a computer-readable recording medium such as a CD-R, a DVD (Digital Versatile Disc), a Blu-ray (registered trademark) disc, or a semiconductor memory. The above-mentioned various programs may be provided by installing the programs via a network such as the Internet. The above-mentioned various programs may be provided by being pre-installed in a ROM or the like within the device.
また、遠隔支援システムのシステム構成は、視覚障害者が携帯する視覚障害者装置１、支援者が操作する遠隔監視端末装置３、及び、視覚障害者装置１と遠隔監視端末装置３との間の通信を仲介するセンタサーバ装置２を備えることとした。しかし、センタサーバ装置２の機能を、携帯端末装置１及び遠隔監視端末装置３に分散して設けてもよい。または、センタサーバ装置２の機能の一部又は全部を遠隔監視端末装置３に設けてもよい。センタサーバ装置２の機能の全部を遠隔監視端末装置３に設けた場合には、遠隔支援システムのシステム構成として、センタサーバ装置２を省略したうえで、上述の効果を得ることができる。
The system configuration of the remote support system includes a visually impaired person's
また、上述の実施の形態の説明では、例えば楕円形状のマーク等で要注意領域が反映された過去画像を含む支援画像を生成し、又は、要注意領域が反映されたリアルタイム動画像を含む支援画像を生成することとした。しかし、過去画像及びリアルタイム画像の両方に要注意領域を反映させて支援画像を生成してもよい。この場合も、上述と同様の効果を得ることができる。 In the above embodiment, a support image is generated that includes a past image in which a region requiring attention is reflected, for example, by an oval-shaped mark, or a support image is generated that includes a real-time video image in which a region requiring attention is reflected. However, a support image may be generated that reflects the region requiring attention in both a past image and a real-time image. In this case, the same effect as described above can be obtained.
また、実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Furthermore, the embodiments and variations of the embodiments are within the scope and spirit of the invention, and are also within the scope of the invention and its equivalents described in the claims.
１ 視覚障害者装置
２ センタサーバ装置
３ 遠隔監視端末装置
４ ネットワーク
５ 無線基地局
７ ヘッドセット装置
１７ ＧＰＳセンサ
１８ 加速度センサ
１９ タイマ
２５ イヤホン装置
２６ カメラ装置
２７ マイクロホン装置
３６Ｌ 左ユニット筐体部
３６Ｒ 右ユニット筐体部
６０ 取得部
６１ 特徴点抽出部
６２ 計算部
６３ 現在位置特定部
６４ プライバシー保護画像生成部
６５ マッチング処理部
６６ 支援画像生成部
６７ 通信制御部
６８ 色彩選択部
６９ 人物領域検出部
７０ 記憶制御部
７１ マーキング情報処理部
７２ 要注意領域変更処理部
８７ マイクロホン部
８８ スピーカ部
８９ モニタ装置
９３ マーキング処理部
LIST OF
Claims (12)
前記被支援者により携帯される前記カメラ装置でリアルタイムに撮像されるリアルタイム撮像画像を受信し、前記リアルタイム撮像画像の撮像位置に対応する前記過去画像及び前記マーキング情報を前記記憶部から読み出す読み出し制御部と、
前記被支援者を支援する支援者が監視する表示部に表示するための支援画像であって、前記リアルタイム撮像画像、及び前記過去画像の何れか、又は両方に対して、前記記憶部から読み出された前記マーキング情報で示される所定の前記マークを反映させた支援画像を生成する支援画像生成部と、
を有する遠隔支援装置。 A storage control unit that controls storage in a storage unit of a past image captured in the past by a camera device carried by the support recipient, image capture location information indicating the geographical image capture location of the past image, and marking information regarding a predetermined mark attached to the past image, in association with each other;
A read control unit that receives a real-time captured image captured in real time by the camera device carried by the support recipient, and reads out the past image and the marking information corresponding to the capturing position of the real-time captured image from the storage unit;
a support image generating unit that generates a support image to be displayed on a display unit monitored by a supporter who supports the supportee, the support image being generated by reflecting a predetermined mark indicated by the marking information read out from the storage unit on either or both of the real-time captured image and the past image;
A remote support device having the above configuration.
を特徴とする請求項１に記載の遠隔支援装置。 The remote support device according to claim 1 , wherein the support image generation unit reflects, in the real-time captured image, a predetermined mark indicated by the marking information corresponding to an imaging position of the real-time captured image read out from the memory unit by the read control unit.
前記支援画像生成部は、前記支援画像に、前記マーキング情報に関連する前記補助情報を付加すること
を特徴とする請求項１又は請求項２に記載の遠隔支援装置。 The storage control unit further controls the storage unit to store auxiliary information that allows the supporter to recognize information related to the marking information,
The remote support device according to claim 1 or 2, wherein the support image generating unit adds the auxiliary information related to the marking information to the support image.
を特徴とする請求項１から請求項３のうち、いずれか一項に記載の遠隔支援装置。 The remote support device according to claim 1 , further comprising a privacy protection unit that applies a predetermined privacy protection process to privacy protection objects included in the past image and the real-time captured image.
を特徴とする請求項４に記載の遠隔支援装置。 The remote support device according to claim 4 , wherein the privacy protection unit performs a process of displaying the privacy protection target in a predetermined color.
を特徴とする請求項５に記載の遠隔支援装置。 The remote support device according to claim 5 , wherein the privacy protection unit performs a process of expressing the privacy protection target in a color corresponding to a degree of danger that the privacy protection target poses to the support recipient.
前記支援画像生成部は、前記マッチング処理部により検索された前記リアルタイム撮像画像上の領域に前記マークを反映させた前記支援画像を生成すること
を特徴とする請求項１から請求項６のうち、いずれか一項に記載の遠隔支援装置。 a matching processing unit that performs a matching process for searching, when reflecting the mark in the real-time captured image, an area having the same image characteristics as an area in the past image in which the mark is reflected, from the real-time captured image;
The remote support device according to claim 1 , wherein the support image generation unit generates the support image by reflecting the mark in an area on the real-time captured image searched for by the matching processing unit.
を特徴とする請求項７に記載の遠隔支援装置。 The remote support device according to claim 7, characterized in that, when an area having a matching degree of a predetermined degree or higher with the image characteristics of the area in which the mark is reflected on the past image is not searched for in the real-time captured image, the matching processing unit performs the matching processing based on the image characteristics obtained by changing the size of the area in which the mark is reflected on the past image.
を特徴とする請求項１から請求項８のうち、いずれか一項に記載の遠隔支援装置。 The remote support device according to claim 1 , wherein the camera device includes a wide-angle lens having a wide angle of view, or a stereo camera installed on the left and right sides in front of the person being supported.
読み出し制御部が、前記被支援者により携帯される前記カメラ装置でリアルタイムに撮像されるリアルタイム撮像画像を受信し、前記リアルタイム撮像画像の撮像位置に対応する前記過去画像及び前記マーキング情報を前記記憶部から読み出す読み出し制御ステップと、
支援画像生成部が、前記被支援者を支援する支援者が監視する表示部に表示するための支援画像であり、前記リアルタイム撮像画像、及び前記過去画像の何れか、又は両方に対して、前記記憶部から読み出された前記マーキング情報で示される所定の前記マークを反映させた支援画像を生成する支援画像生成ステップと、
を有する遠隔支援方法。 a storage control step in which a storage control unit controls storage in a storage unit of a past image captured in the past by a camera device carried by the support recipient, image capture location information indicating a geographical image capture location of the past image, and marking information regarding a predetermined mark attached to the past image, in association with each other;
A read control step in which a read control unit receives a real-time captured image captured in real time by the camera device carried by the support recipient, and reads out the past image and the marking information corresponding to the capturing position of the real-time captured image from the storage unit;
a support image generating step in which a support image generating unit generates a support image to be displayed on a display unit monitored by a supporter who supports the supportee, the support image being generated by reflecting a predetermined mark indicated by the marking information read out from the storage unit on either or both of the real-time captured image and the past image;
A remote support method comprising the steps of:
被支援者により携帯されるカメラ装置で過去に撮像された過去画像、前記過去画像の地理的な撮像位置を示す撮像位置情報、及び、前記過去画像に付された所定のマークに関するマーキング情報をそれぞれ関連付けて記憶部に記憶制御する記憶制御部と、
前記被支援者により携帯される前記カメラ装置でリアルタイムに撮像されるリアルタイム撮像画像を受信し、前記リアルタイム撮像画像の撮像位置に対応する前記過去画像及び前記マーキング情報を前記記憶部から読み出す読み出し制御部と、
前記被支援者を支援する支援者が監視する表示部に表示するための支援画像であり、前記リアルタイム撮像画像、及び前記過去画像の何れか、又は両方に対して、前記記憶部から読み出された前記マーキング情報で示される所定の前記マークを反映させた支援画像を生成する支援画像生成部として機能させること
を特徴とする遠隔支援プログラム。 Computer,
A storage control unit that controls storage in a storage unit of a past image captured in the past by a camera device carried by the support recipient, image capture location information indicating the geographical image capture location of the past image, and marking information regarding a predetermined mark attached to the past image, in association with each other;
A read control unit that receives a real-time captured image captured in real time by the camera device carried by the support recipient, and reads out the past image and the marking information corresponding to the capturing position of the real-time captured image from the storage unit;
A remote support program characterized by functioning as a support image generation unit that generates a support image to be displayed on a display unit monitored by a supporter supporting the supportee, the support image reflecting a predetermined mark indicated by the marking information read out from the memory unit for either the real-time captured image or the past image, or for both.
前記被支援者装置及び前記遠隔監視端末装置の間の通信を中継する遠隔支援装置を、さらに備え、
前記遠隔支援装置は、
前記被支援者により携帯される前記カメラ装置で過去に撮像された過去画像、前記過去画像の地理的な撮像位置を示す撮像位置情報、及び、前記過去画像に付された所定のマークに関するマーキング情報をそれぞれ関連付けて記憶部に記憶制御する記憶制御部と、
前記被支援者により携帯される前記カメラ装置でリアルタイムに撮像されるリアルタイム撮像画像を受信し、前記リアルタイム撮像画像の撮像位置に対応する前記過去画像及び前記マーキング情報を前記記憶部から読み出す読み出し制御部と、
前記被支援者を支援する支援者が監視する表示部に表示するための支援画像であり、前記リアルタイム撮像画像、及び前記過去画像の何れか、又は両方に対して、前記記憶部から読み出された前記マーキング情報で示される所定の前記マークを反映させた支援画像を生成する支援画像生成部と、を備えること
を特徴とする遠隔支援システム。 A remote support system having a support recipient device carried by the support recipient, the support recipient device including a camera device for capturing an image of the surroundings of the support recipient and an audio output device for outputting audio for supporting the support recipient, a display device for displaying an image captured by the camera device, and a remote monitoring terminal device including a transmission unit for collecting the support voice of a supporter supporting the support recipient and transmitting the support voice to the support recipient device,
Further comprising a remote support device that relays communication between the support recipient device and the remote monitoring terminal device,
The remote support device includes:
A storage control unit that controls storage in a storage unit of a past image captured in the past by the camera device carried by the support recipient, image capture location information indicating a geographical image capture location of the past image, and marking information regarding a predetermined mark added to the past image, in association with each other;
A read control unit that receives a real-time captured image captured in real time by the camera device carried by the support recipient, and reads out the past image and the marking information corresponding to the capturing position of the real-time captured image from the storage unit;
a support image generation unit that generates a support image to be displayed on a display unit monitored by a supporter supporting the supportee, the support image reflecting a specific mark indicated by the marking information read out from the memory unit for either the real-time captured image or the past image, or for both.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021094513A JP7611774B2 (en) | 2021-06-04 | 2021-06-04 | Remote support device, remote support method, remote support program, and remote support system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021094513A JP7611774B2 (en) | 2021-06-04 | 2021-06-04 | Remote support device, remote support method, remote support program, and remote support system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022186346A JP2022186346A (en) | 2022-12-15 |
| JP7611774B2 true JP7611774B2 (en) | 2025-01-10 |
Family
ID=84442074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021094513A Active JP7611774B2 (en) | 2021-06-04 | 2021-06-04 | Remote support device, remote support method, remote support program, and remote support system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7611774B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116319727A (en) * | 2023-03-03 | 2023-06-23 | 北京尚优力达科技有限公司 | Remote online marking method and system |
| JP2025048980A (en) * | 2023-09-21 | 2025-04-03 | ソフトバンクグループ株式会社 | system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001221649A (en) | 2000-02-07 | 2001-08-17 | Mitsubishi Electric Corp | Pedestrian guidance system |
| US20120062357A1 (en) | 2010-08-27 | 2012-03-15 | Echo-Sense Inc. | Remote guidance system |
| JP2014137752A (en) | 2013-01-17 | 2014-07-28 | Jb Craft:Kk | Walking guidance system for people with visual impairment, walking guidance method for people with visual impairment, server and computer program executable on the same |
| JP2016205865A (en) | 2015-04-16 | 2016-12-08 | 株式会社パンタグラフ | Guiding system, mobile terminal, and program |
| WO2018025531A1 (en) | 2016-08-05 | 2018-02-08 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2019101709A (en) | 2017-11-30 | 2019-06-24 | Ｓｂドライブ株式会社 | Vehicle control device, vehicle control method, and control program of vehicle control device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006003855A (en) * | 2004-06-17 | 2006-01-05 | Fureai No Wa | Commentary system for image by remote camera |
| JP7308442B2 (en) * | 2018-07-19 | 2023-07-14 | パナソニックＩｐマネジメント株式会社 | Information processing method, information processing device, and information processing system |
-
2021
- 2021-06-04 JP JP2021094513A patent/JP7611774B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001221649A (en) | 2000-02-07 | 2001-08-17 | Mitsubishi Electric Corp | Pedestrian guidance system |
| US20120062357A1 (en) | 2010-08-27 | 2012-03-15 | Echo-Sense Inc. | Remote guidance system |
| JP2014137752A (en) | 2013-01-17 | 2014-07-28 | Jb Craft:Kk | Walking guidance system for people with visual impairment, walking guidance method for people with visual impairment, server and computer program executable on the same |
| JP2016205865A (en) | 2015-04-16 | 2016-12-08 | 株式会社パンタグラフ | Guiding system, mobile terminal, and program |
| WO2018025531A1 (en) | 2016-08-05 | 2018-02-08 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2019101709A (en) | 2017-11-30 | 2019-06-24 | Ｓｂドライブ株式会社 | Vehicle control device, vehicle control method, and control program of vehicle control device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022186346A (en) | 2022-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11734898B2 (en) | Program, information processing method, and information processing terminal | |
| US10909759B2 (en) | Information processing to notify potential source of interest to user | |
| JP6948325B2 (en) | Information processing equipment, information processing methods, and programs | |
| US20120194554A1 (en) | Information processing device, alarm method, and program | |
| JP2005037181A (en) | Navigation device, server, navigation system, and navigation method | |
| JP4161208B2 (en) | Mobile information device, mobile phone device, and display control method | |
| JP2008227877A (en) | Video information processing device | |
| KR102033118B1 (en) | Apparatus for warning of a work site risk, a method therefor and a computer recordable medium storing program to perform the method | |
| JP7611774B2 (en) | Remote support device, remote support method, remote support program, and remote support system | |
| WO2016199248A1 (en) | Information presentation system and information presentation method | |
| JP2009176262A (en) | PHOTO MAPPING METHOD AND SYSTEM, PROGRAM, AND STORAGE MEDIUM | |
| CN111904806A (en) | Blind guiding system | |
| JP4375879B2 (en) | Walking support system and information recording medium for the visually impaired | |
| JP2006251596A (en) | Visually impaired person support device | |
| JP7652078B2 (en) | Information processing device, information processing method, and program | |
| WO2019021973A1 (en) | Terminal device, risk prediction method, and recording medium | |
| WO2019085945A1 (en) | Detection device, detection system, and detection method | |
| JP2015138534A (en) | Electronics | |
| CN112241662B (en) | A method and device for detecting drivable areas | |
| JP2014059208A (en) | Moving assistance apparatus and moving assistance method | |
| JP2005309537A (en) | Information providing device | |
| JP7239013B2 (en) | GUIDING DEVICE, GUIDING METHOD, PROGRAM | |
| JP2016138852A (en) | Navigation system, navigation device, glass type device, and device cooperation method | |
| CN115965936A (en) | Edge position marking method and equipment | |
| JP6197405B2 (en) | Information processing apparatus, information processing system, and information processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240501 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20241120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241224 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7611774 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |