JP7670146B2

JP7670146B2 - 安全運転支援システム、安全運転支援方法及びプログラム

Info

Publication number: JP7670146B2
Application number: JP2023548057A
Authority: JP
Inventors: 信之戸澤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2021-09-17
Filing date: 2021-09-17
Publication date: 2025-04-30
Anticipated expiration: 2041-09-17
Also published as: JPWO2023042371A1; US20240331542A1; WO2023042371A1

Description

本発明は、安全運転支援システム、安全運転支援装置、安全運転支援方法及びプログラム記録媒体に関する。

特許文献１に、歩道の状況を判別することができるという路側機が開示されている。同文献によると、この路側機は、自機の周囲の歩道の状況を判別できる情報を検出する検出部であるカメラと、他の機器（車載装置、又は、携帯電子機器（例えば、スマートフォン））と通信する通信部と、制御部とを備える。そして、制御部は、カメラで検出した情報に基づいて、自機の周囲の歩道の状況を判別し、判別した歩道の状況を他の機器に送信することが記載されている。また、同文献の段落００６３には、この路側が通知する「歩道の状況」には、歩行者及び自転車の有無と数、歩行者に子供又は老人を含むか否かの情報、並びに、歩行者及び自転車の飛び出し等の状況が含まれ得ることが記載されている。

国際公開第２０１８／０６１９７５号公報

以下の分析は、本発明者によって与えられたものである。特許文献１の発明によれば、他の機器（車載装置、又は、携帯電子機器（例えば、スマートフォン））に歩道の状況を通知することが可能であるが、歩道外、例えば、車道にはみ出したり、車道を横切ったりする歩行者や自転車を通知することができないという問題点がある。

今後、自動運転技術の普及に伴い、車載カメラによる歩行者や自転車の検出精度が向上する可能性があるが、車載カメラでは、視点が低い上、視野角も限られるため、歩行者や自転車の発見が遅れる可能性がある。また、道路によっては、本来、道路交通法で禁止されている、横断歩道外での横断や斜め横断が日常的に行われている箇所があり、早急な対策が望まれている。また、地域によっては、車両が野生の動物等を衝突する事故も起きている。

本発明は、横断歩道外での横断や斜め横断を行う人や動物の早期発見に貢献することができる安全運転支援システム、安全運転支援装置、安全運転支援方法及びプログラム記録媒体を提供することを目的とする。

第１の視点によれば、道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する判定手段と、前記判定の結果を出力する出力手段と、を備える安全運転支援システムが提供される。

第２の視点によれば、道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、前記人又は動物の検出結果を送信する送信手段と、を備えるサーバに接続される安全運転支援装置であり、前記サーバから受信した前記人又は動物の検出結果に基づいて、前記人又は前記動物の横断位置が横断歩道内であるか否かを判定する手段と、前記判定の結果を出力する手段と、を備える安全運転支援装置が提供される。

第３の視点によれば、カメラから取得した画像に基づいて、道路を横断している又は横断する可能性のある人又は動物を検出し、前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定し、前記判定の結果を出力する安全運転支援方法が提供される。

第４の視点によれば、道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、前記人又は動物の検出結果を送信する送信手段と、を備えるサーバから、前記人又は動物の検出結果を受信し、前記サーバから受信した前記人又は動物の検出結果に基づいて、前記人又は前記動物の横断位置が横断歩道内であるか否かを判定し、前記判定の結果を出力する、安全運転支援方法が提供される。

第５の視点によれば、カメラから画像を取得可能なコンピュータに、カメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する処理と、前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する処理と、上記検出の結果及び判定の結果を出力する処理と、を実行させるプログラムを記録したプログラム記録媒体が提供される。

本発明によれば、横断歩道外での横断や斜め横断を行う人や動物の早期発見に貢献することができる。

本発明の一実施形態の構成を示す図である。本発明の一実施形態の動作の流れを表した流れ図である。本発明の一実施形態の動作を説明するための図である。本発明の第１の実施形態の概略構成を表した図である。本発明の第１の実施形態のサーバの構成を表した機能ブロック図である。本発明の第１の実施形態の動作を表したシーケンス図である。本発明の第１の実施形態のサーバの動作を説明するための図である。本発明の第１の実施形態のサーバの動作を説明するための別の図である。本発明の第１の実施形態のサーバの動作を説明するための別の図である。本発明の第１の実施形態の変形動作を表したシーケンス図である。本発明の第２の実施形態の概略構成を表した図である。本発明の第２の実施形態のサーバの構成を表した機能ブロック図である。本発明の第２の実施形態の動作を表したシーケンス図である。本発明の第３の実施形態の概略構成を表した図である。本発明の第３の実施形態のサーバの構成を表した機能ブロック図である。本発明の第３の実施形態の動作を表したシーケンス図である。本発明の第３の実施形態のサーバの動作を説明するための図である。本発明の第３の実施形態のサーバの動作を説明するための別の図である。本発明のサーバとして機能可能なコンピュータの構成を示す図である。本発明の第１の実施形態の変形構成を示す機能ブロック図である。

はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースがあるが図示省略する。

本発明は、その一実施形態において、図１に示すように、検出手段１１と、判定手段１２と、出力手段１３とを備える安全運転支援システム１０にて実現できる。

検出手段１１は、道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する。カメラ１４としては、交通流や交差点内の状況を把握するカメラを用いることができる。もちろん、カメラ１４として、防犯カメラやその他移動体に搭載されたカメラを用いることもできる。検出手段１１が、画像から人又は動物を検出する方法としては、画像内の物体のクラスを識別するクラス識別器を用いる方法や、自動運転やセキュリティ分野で用いられている物体検出技術を用いることができる。

判定手段１２は、前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する。以下、本明細書では、「横断位置」という場合、画像から検出した人又は動物が道路を横断している場合の現在位置である横断中の位置と、これから横断する場合の将来の予測位置である横断予定位置を含むものとする。カメラ１４で得られる画像中の横断歩道の位置が既知である場合、判定手段１２は、画像中に写った人又は動物の位置（画像中の座標）により、人又は動物の横断位置が横断歩道内か否かを判定することができる。また、前記画像中に写った人又は動物の位置（画像中の座標）から、人又は動物の横断位置が横断歩道内か否かを判定するにあたり、画像中の人又は動物の像の位置に加え、画像中の人又は動物の像の大きさを考慮に入れてもよい。また、横断歩道の位置が既知でない場合やカメラ１４が移動しているような場合、画像中に写った横断歩道の像に基づいて、人又は動物の横断位置が横断歩道内か否かを判定する方法を採ることもできる。例えば、予め横断歩道のパターンを学習させたモデルを用いて、画像において横断歩道が写った領域を検出し、画像内における人又は動物の横断位置と横断歩道の領域とが重複又は近接している場合に、横断位置が横断歩道内であると判定してもよい。さらに、地図情報上の位置情報として横断歩道の位置を取得できる場合、地図情報上の人又は動物の横断位置を求めることで、人又は動物の横断位置が横断歩道内か否かを判定する方法を採ることもできる。

出力手段１３は、所定の出力先に、前記検出の結果及び判定の結果を出力する。出力手段１３の情報の出力先は、前記人や動物と交錯（衝突）の可能性のある車両とすることができる。また、別の態様として、出力手段１３は、道路の付近等の車両のドライバーから見やすい位置に設置された電光掲示板や大型ディスプレイを出力先として、これらの情報を出力する構成を採ることができる。

図２は、安全運転支援システム１０の動作の流れを表した流れ図である。図２に示すとおり、安全運転支援システム１０は、カメラ１４から取得した画像に基づいて前記道路を横断している又は横断する可能性のある人又は動物を検出する（ステップＳ００１）。例えば、安全運転支援システム１０は、カメラ１４から取得した画像に基づいて、図３の歩行者Ｐ１１、Ｐ１３、自転車Ｐ１２、動物Ｐ１４を検出する。

次に、安全運転支援システム１０は、前記検出した人又は動物の横断位置が横断歩道内か否かを判定する。例えば、安全運転支援システム１０は、図３の歩行者Ｐ１１については、横断歩道内を横断する位置にあると判定する。一方、安全運転支援システム１０は、図３の自転車Ｐ１２、歩行者Ｐ１３、動物Ｐ１４については、横断歩道外を横断する位置にあると判定する。

最後に、安全運転支援システム１０は、所定の出力先に対して、上記検出の結果及び判定の結果を出力する。安全運転支援システム１０は、道路を通行中の車両に対し、図３の自転車Ｐ１２、歩行者Ｐ１３、動物Ｐ１４の存在と、これらが横断歩道外を横断する位置にあることを知らせる。これにより、この道路を通行中の車両を運転しているドライバーは、前方に注意を払ったり、減速したりする等の対応を採ることができる。

以上説明したように、本実施形態によれば、横断歩道外での横断や斜め横断を行う人や動物を早期に発見し、車両等に知らせることで事故を防止することが可能となる。

［第１の実施形態］
続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図４は、本発明の第１の実施形態の概略構成を表した図である。図４参照すると、サーバ１００と、基地局２００と、端末２１０と、カメラ１４０とを含む構成が示されている。

カメラ１４０は、交差点の信号機付近に設置され、横断歩道が設置された交差点を通行する車両等を撮影するカメラである。本実施形態では、このカメラ１４０を、横断歩道以外の箇所で道路を渡る人又は動物を検出するためのカメラとして用いる。なお、本実施形態では、人の具体例として歩行者や自動車を検出する場合を主に説明する。また、図４の例では、２台のカメラを交差点の対角線上に対向配置した例を示しているが、カメラの台数に制限はない。例えば、交差点の信号機の信号柱のそれぞれに１台以上のカメラを設置してもよい。また、図４の例では、カメラ１４０が、交差点の内側を指向しているが、交差点の外側を指向しているカメラを用いてもよい。

端末２１０は、基地局２００と無線で接続する機能を備えた端末である。本実施形態では、端末２１０は、カメラ１４０で撮影された画像を基地局２００経由でサーバ１００に送信する送信装置として機能する。この端末２１０は、基地局２００を介して、カメラ１４０で撮影された画像を交通管制センターやサーバ等に送信するための交通管制用途の端末であってもよい。

基地局２００は、サーバ１００に対して、端末２１０から受信したカメラ画像を送信する。この基地局２００は、端末２１０だけでなく、交差点付近を通行する車両の車載端末は歩行者の端末にサービスを提供する基地局であってもよい。例えば、基地局２００は、電気通信事業者が設置する第５世代移動通信システムの基地局であってもよいし、ローカル５Ｇと呼ばれる電気通信事業者以外の者が運営するネットワークの基地局であってもよい。

サーバ１００は、カメラ１４０で撮影された画像から横断歩道外を横断しようとする歩行者や自転車を検出し、車両に通知するサーバである。サーバ１００は、クラウド基盤やインターネット上に設置されたサーバでもよいが、物理的に基地局に近い位置に設置されたＭＥＣサーバであってもよい、なお、「ＭＥＣ」は、Ｍｕｌｔｉ－ａｃｃｅｓｓＥｄｇｅＣｏｍｐｕｔｉｎｇ又はＭｕｌｔｉ－ａｃｃｅｓｓＥｄｇｅＣｏｍｐｕｔｉｎｇの略である。

図５は、上記サーバ１００の構成を表した機能ブロック図である。図５を参照すると、検出部１０１と、判定部１０２と、送信部１０３と、を備えた構成が示されている。

検出部１０１は、上記した検出手段１１に相当し、基地局２００から、カメラ１４０で撮影された画像を受信する。検出部１０１は、カメラ１４０で撮影された画像内の道路を横断する可能性のある歩行者や自転車等を検出する。

判定部１０２は、上記した判定手段１２に相当し、検出部１０１にて検出された歩行者や自転車について、横断歩道内を渡っているか否か又は渡ろうとしているのか否かを判定する。ごく簡単には、判定部１０２は、カメラ１４０の画像内の歩行者や自転車が写っている位置に基づいて、歩行者や自転車が横断歩道内を渡っているか否か又は渡ろうとしているのか否かを判定することができる。さらに、本実施形態では、判定部１０２は、歩行者や自転車の位置を特定する。ここでの位置情報は、緯度経度といった絶対座標でもよいし、交差点の情報とその交差点からの相対位置によって特定された位置情報であってもよい。

送信部１０３は、上記した出力手段１３に相当し、交差点に接近する車両に対し、前記検出した歩行者や自転車等の位置と、これらが横断歩道内を渡っているか否か又は渡ろうとしているのか否かの判定結果を送信する。送信部１０３による、これらの情報の送信形態としては種々の方法が考えられる。例えば、送信部１０３が基地局２００を介して、これらの情報をブロードキャストする方法を採ることができる。また、サーバ１００が、それぞれの車両の車載端末のＩＰアドレス等を取得可能である場合、サーバ１００が、車両を選択して、マルチキャスト又はユニキャストでこれらの情報を送信してもよい。さら送信部１０３は、道路に設置された路側機等を使って、これらの情報を送信してもよい。また、送信部１０３は、交差点を通行する車両に対し、上記した情報に加え、種々の情報を付加して送ってもよい。例えば、送信部１０３は、車両に対し、カメラ１４０から得られた画像中の歩行者や自転車の像やこれらの像から得た属性情報等を送信してもよい。

続いて、本実施形態の動作について図面を参照して詳細に説明する。図６は、本発明の第１の実施形態の動作を表したシーケンス図である。図６を参照すると、端末２１０は、基地局２００経由で、カメラ１４０から受信した画像をサーバ１００に送信する（ステップＳ１０１）。

前記画像を受信したサーバ１００は、受信した画像から、道路を横断している又は横断する可能性のある歩行者や自転車を検出する。なお、道路を横断する可能性は、実際に、道路の横断を開始している像が得られている場合のほか、歩行者や自転車の事前の挙動に基づいて判定してもよい。例えば、道路の縁石に歩行者がいる場合や、横断歩道のない場所で歩行者が道路に向かい、左右を確認している場合、これから道路を横断する可能性が高いといえる。また、走行中の自転車がふらついていたり、車体の向きを変えて横断し始めていたりする場合、これを捉えて道路を横断する可能性が高いと、判定できる。または、自転車に乗った人が車道側を振り返った場合、これから道路を斜め横断する可能性が高いといえる。

次に、サーバ１００は、前記検出した歩行者や自転車の現在位置と、その横断位置が横断歩道内であるか否かを判定する（ステップＳ１０３）。

次に、サーバ１００は、車両に対し、前記検出した歩行者や自転車の位置と、その横断位置が横断歩道内であるか否かの情報を送信する（ステップＳ１０４）。

前記情報を受信した車両の車載端末は、サーバ１００から受信した情報に基づいた動作を実施する（ステップＳ１０５）。具体的には、前記情報を受信した車載端末は、自車の位置、移動方向や移動速度を参照して、サーバ１００から受信した情報を利用するか否かを判断する。例えば、横断歩道外を渡ろうとしている歩行者がいたとしても、自車がその歩行者から遠ざかっている場合、その歩行者との交錯（衝突）の可能性はないため、当該情報を受信した車載端末はこれらの情報を破棄してもよい。また、自車との歩行者との距離が短い場合であっても、自車が停止している場合や、移動速度が遅い場合、その歩行者との交錯（衝突）の可能性は少ないため、当該情報を受信した車載端末はこれらの情報を破棄してもよい。また、歩行者が横断歩道内を渡ろうとしている場合、さしあたりの危険性はないため、車載端末はこれらの情報を破棄してもよい。

一方、自車が横断歩道外を渡ろうとしている歩行者に近づいている場合、車載端末はこれらの情報を用いてドライバーに警告を行う。例えば、車載端末は、カーナビゲーション装置のディスプレイやＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）表示を用いて、サーバ１００から通知された歩行者とその位置を表示する。これにより、ドライバーに、横断歩道外を渡ろうとしている歩行者との交錯（衝突）の回避動作を採らせることが可能なる。

続いて、図７～図９を用いて、本実施形態のサーバ１００の具体的な動作例を説明する。例えば、カメラ１４０から図７のような画像が送られてきたものとする。この場合、サーバ１００は、図７の画像中から、道路を横断する可能性のある歩行者Ｐ１、Ｐ３を検出する。なお、横断歩道を渡りきっている歩行者Ｐ２は、前のタイミングにて検出済みであるものとする。

次に、サーバ１００は、検出した歩行者Ｐ１、Ｐ３の横断位置が横断歩道内であるか否かを判定する。例えば、図７の例では、歩行者Ｐ１は、横断歩道の手前の待機位置にいるので、横断位置は横断歩道内であると判定される。一方、遠方に写っている歩行者Ｐ３は、横断歩道の待機位置以外にいるので、横断位置は横断歩道外であると判定される。サーバ１００が、歩行者Ｐ１、Ｐ３の存在とともに、このような判定結果を送ることで、車載端末等は、車両のドライバー等に、歩行者Ｐ３に注意を喚起する動作を行うことができる。また、このとき、車載端末等は、歩行者Ｐ３への注意喚起効果を高めるため、車両のドライバー等に対する歩行者Ｐ１に関する注意喚起を省略してもよい。歩行者Ｐ１は横断歩道の待機位置におり、車両との交錯（衝突）の可能性は少ないからである。

図８は、図７の時点から一定時間が経過した後に、カメラ１４０から送信された画像を示す図である。図８の例では、歩行者Ｐ１が信号待ちをしていた歩行者信号が青になり、歩行者Ｐ１が横断を開始している。また、遠方には、交差点の方向に向かっている自転車Ｐ４が写っている。この場合、サーバ１００は、図８の画像中から、道路を横断する可能性のある自転車Ｐ４を検出する。なお、横断歩道の横断を開始している歩行者Ｐ１は、横断位置が横断歩道内であるため、車両のドライバー等に対する注意喚起の対象外となる。

次に、サーバ１００は、検出した自転車Ｐ４の横断位置が横断歩道内であるか否かを判定する。例えば、図８の例では、自転車Ｐ４は、横断歩道の待機位置以外にいるので、横断位置は横断歩道外であると判定される。サーバ１００が、自転車Ｐ４の存在とともに、このような判定結果を送ることで、車載端末等は、車両のドライバー等に、自転車Ｐ４に注意を喚起する動作を行うことができる。もちろん、自転車Ｐ４以外に、現に道路を横断しており、その位置が横断歩道外である歩行者が見つかっている場合、当該歩行者も、車両のドライバー等に対する注意喚起の対象となる。

なお、上記図７、図８の例では、サーバ１００は、歩行者や自転車の存在と、それぞれの横断位置の判定結果を送るものとして説明したが、サーバ１００に車載端末に出力させる情報を作成させてもよい。例えば、サーバ１００が、各車両の位置や進行方向を把握しており、かつ、個々の車両に対して個別に情報を送信できる場合、サーバ１００は、個々の車両向けのメッセージを作成することができる。例えば、図９のように、図９の左側から交差点に進入し、左折する車両がある場合、サーバ１００は、当該車両向けに、「左折先、横断歩道外の歩行者に注意」とのメッセージを作成し、車載端末に送信することができる。そして、前記メッセージを受信した車載端末は、サーバから受信したメッセージを、音声や文字で出力する。このようにすることで、車載端末側の負荷を軽減し、かつ、注意喚起メッセージの速報性を高めることが可能となる。

なお、上記した説明では、サーバ１００が、歩行者や自転車の横断位置を判定するものとして説明したが、車両側に、歩行者や自転車の横断位置の判定を行わせてもよい（図１０参照）。この場合、図２０に示すような構成を採ることができる。サーバ１００ｃは、道路を撮影可能なカメラから取得した画像に基づいて、道路を横断している又は横断する可能性のある人又は動物を検出する検出手段（図２０の検出部１０１に相当）と、車両側に前記検出結果を送信する送信手段（図２０の送信部１０３ｃに相当）とを備える。車両の車載端末４００は安全運転支援装置を担い、サーバ１００から受信した前記人又は動物の検出結果に基づいて、人又は動物の横断位置が横断歩道内であるか否かを判定する手段（図２０の判定部４０２に相当）と、判定の結果を出力する手段（図２０の出力部４０３に相当）と、を備える。サーバ１００ｃは、カメラから取得した画像に基づいて、歩行者や自転車の検出を行った後、車両に対し、検出した歩行者や自転車の情報を送信することになる（図１０のステップＳ２０２、Ｓ２０３）。そして、車両側で、検出された歩行者や自転車の横断位置を判定することになる（図１０のステップＳ２０３）。このようにすることで、サーバ側の負荷を軽減することが可能となる。

［第２の実施形態］
続いてサーバが、交差点の信号機の灯火状態（信号現示）の情報を提供するようにした第２の実施形態について図面を参照して詳細に説明する。図１１は、本発明の第２の実施形態の概略構成を表した図である。図４に示した第１の実施形態との構成上の相違点は、サーバ１００ａが信号制御装置３００に接続され、信号機の灯火状態の情報を取得可能となっている点である。その他の構成は第１の実施形態と同等であるので、説明を省略し、以下、その相違点を中心に説明する。

信号制御装置３００は、事前に設定された制御情報に基づいて、交差点に設置された信号機の灯火を制御する装置である。例えば、信号制御装置３００は、サイクル、スプリット、オフセットといった情報に基づいて、交差点の信号機の点灯状態をそれぞれ制御する。

図１２は、本発明の第２の実施形態のサーバ１００ａの構成を表した機能ブロック図である。図５に示した第１の実施形態のサーバ１００との相違点は、サーバ１００ａに信号制御情報取得部１０４が追加されている点と、送信部１０３ａが歩行者等の位置と横断位置に加え、交差点の信号機の点灯状態を送信する点である。

信号制御情報取得部１０４は、信号制御装置３００から、信号機の灯火状態の情報、または、そのベースとなる制御情報（以下、これらを総称して「信号制御情報」と記す。）を取得する。

続いて、本実施形態の動作について図面を参照して詳細に説明する。図１３は、本発明の第２の実施形態の動作を表したシーケンス図である。図１３を参照すると、まず、端末２１０は、基地局２００経由で、カメラ１４０から受信した画像をサーバ１００ａに送信する（ステップＳ３０１）。

その後、ステップＳ３０２及びＳ３０３は、第１の実施形態のステップＳ１０２及びＳ１０３と同様である。その後、サーバ１００ａは、信号制御情報、検出した歩行者等の位置、横断位置を車両側に送信する（ステップＳ３０４）。

前記情報を受信した車両の車載端末は、サーバ１００ａから受信した情報に基づいた動作を実施する。その際に、第１の実施形態と大きく異なるのは、車載端末が、自車の位置、移動方向や移動速度に加え、信号制御情報を参照して、サーバ１００ａから受信した情報を利用するか否かを判断する。例えば、自車の進行先にある道路の横断歩道外を渡ろうとしている歩行者がいたとしても、信号機の灯火状態がその交差点を通過する時点で赤になり、車両が停車することが予想される場合、当該情報を受信した車載端末はこれらの情報を破棄する。また例えば、自車が左折しようとしており、かつ、左折先の道路の横断歩道外を渡ろうとしている歩行者がいる場合がある。この場合、信号機の灯火状態により左折通行が可能となることが予想される場合、車載端末はドライバーに対し、注意喚起を行う。なお、自車が左折しようとしているか否かは、例えば、左折のウィンカーを出しているか否かにより判定できるこのように、車載端末は、信号機の灯火状態に基づき、横断歩道外を渡ろうとしている歩行者との交錯が予想される場合にのみ、ドライバーへの注意喚起動作を行う。

以上のように本実施形態によれば、車両の車載端末等に、信号機の灯火状態を考慮した、歩行者への注意喚起動作を行わせることが可能となる。また、上記した信号制御情報を用いたドライバーへの注意喚起を行うか否かの制御は、上記した例に限られない。例えば、車載端末に、信号制御情報を参照して、車両と横断歩道外を渡ろうとしている歩行者との交錯が発生する度合いを算出させることができる。そして車載端末は、この度合いに応じて、異なるドライバーへの注意喚起動作を実施してもよい。例えば、前記度合いが大きい場合は、よりドライバーに目立つ態様で通知することができる。また、前記度合いが大きい場合、車両を減速する等の車両自体の制御に前記度合い情報を利用しても良い。

なお、上記した実施形態では、車載端末が、サーバ１００ａから受信した情報に基づいて、ドライバーへの注意喚起動作を行うか否かを判断するものとしたが、サーバ１００ａ側で、注意喚起動作を行うか否かを判断してもよい。この場合、サーバ１００ａが、対象車の位置、移動方向、移動速度及び信号の点灯状態に基づいて、当該車両と、横断歩道外を渡ろうとしている歩行者との交錯が予想されるか否かを判定する。例えば、対象車の進行先にある道路の横断歩道外を渡ろうとしている歩行者がいたとしても、信号灯火によれば当該対象車が停車することが予想される場合、サーバ１００ａは、検出した歩行者等の位置、横断位置の送信を抑止する。これにより、人、自転車、動物等と交錯する可能性のある車両に対し、判定の結果を送信することが可能となる。また、サーバ１００ａ側で、注意喚起動作を行うか否かの判断を行う場合においても同様に、サーバ１００ａ側に、信号制御情報を参照して、車両と横断歩道外を渡ろうとしている歩行者との交錯が発生する度合いを算出させ、ドライバーへの注意喚起や車両の制御に利用させることができる。

［第３の実施形態］
続いてサーバが、歩行者や自転車の位置に加え、移動方向や移動速度を提供するようにした第３の実施形態について図面を参照して詳細に説明する。図１４は、本発明の第３の実施形態の概略構成を表した図である。基本的な構成は、図４に示した第１の実施形態との構成と同様であるので、以下、その相違点を中心に説明する。

図１５は、本発明の第３の実施形態のサーバ１００ｂの構成を表した機能ブロック図である。図５に示した第１の実施形態のサーバ１００との相違点は、サーバ１００ａに分析部１０５が追加されている点と、送信部１０３ｂが歩行者等の位置と横断位置に加え、歩行者等の移動方向と移動速度を送信する点である。

より具体的には、分析部１０５は、カメラ１４０で撮影された複数の画像に基づいて、歩行者や自転車の移動方向と移動速度を分析する。歩行者や自転車の移動方向や移動速度は、時間的に連続する２以上の画像に写った被写体の動きやその移動量を用いて推定することができる。

続いて、本実施形態の動作について図面を参照して詳細に説明する。図１６は、本発明の第３の実施形態の動作を表したシーケンス図である。図１６のステップＳ４０１～Ｓ４０５で示した動作は、第１の実施形態のＳ１０１～Ｓ１０５に相当する。

本実施形態で追加される動作は、ステップＳ４０６の歩行者等の移動方向と移動速度の分析処理である。なお、ステップＳ４０６の処理は、ステップＳ４０３の横断位置の判定の前であってもよい

歩行者等の移動方向と移動速度の分析の完了後、サーバ１００ｂは、検出した歩行者等の位置、横断位置、移動方向及び移動速度を車両側に送信する（ステップＳ４０４）。

前記情報を受信した車両の車載端末は、サーバ１００ｂから受信した情報に基づいた動作を実施する。例えば、図１７に示すように自車の進行先にある道路の横断歩道外を渡ろうとしている歩行者Ｐ３や自転車Ｐ４が検出されている場合、車載端末は、これらをＡＲ表示等でその位置を表示する。さらに、車載端末は、歩行者等の移動方向及び移動速度を矢線で表示する。なお、図１７の例では、矢線の長さで移動速度を表し、矢線の向きで移動方向を表しているが、移動方向と移動速度の表示形態はこれに限定されない。例えば、移動速度は、数値、矢線の太さ、色で表すこともできる。同様に、移動方向も、方位を示す記号で表すこともできる。

このような、歩行者や自転車の位置に加え、移動方向や移動速度を行う本実施形態によれば、自車にとって、交錯等の可能性が高く、より注意を払うべき対象を視覚的に表すことが可能となる。例えば、図１７の場合、横断歩道外の歩行者や自転車として、歩行者Ｐ３、自転車Ｐ４が存在するが、自転車Ｐ４の方が、速度が速く、自車に近づいていることがわかる。車両のドライバーはこのような情報に基づいて、減速をしたり、回避動作を行ったりすることが可能となる。

また、本実施形態によれば、図１８に示すように、中央分離帯やゼブラゾーンで待機している歩行者等の動きの識別も可能となる。例えば、図１８のケースでは、横断歩道外を渡っている歩行者Ｐ５がいるが、中央分離帯で待機しているので、直ちに交錯する危険は少ないことをドライバーに伝えることが可能となる。

また、本実施形態で得られた歩行者等の移動方向や移動速度を、表示だけでなく、車載端末やサーバ１００ｂ側での交錯の発生の有無や交錯の発生の度合いの判定に使用してもよい。また、車載端末やサーバ１００ｂが、これら移動方向や移動速度に応じて、車両の制御（自動減速、注意喚起通知等）を行ってもよい。

以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的な技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したシステムの構成、各要素の構成、データ等の表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。例えば、上記した第１～第３の実施形態では、カメラ１４０が交差点に設置されているものとして説明したが、カメラ１４０の配置はこれらに限定されない。例えば、カメラ１４０として、街頭に設置されたカメラや防犯用途で設置されたカメラを用いることもできる。

また、上記した各実施形態では、サーバ側で、歩行者等の横断位置が、横断歩道内であるか否かの判断を行うものとして説明したが、車両（車載端末）で、横断歩道内であるか否かの判断を行う構成も採用可能である。この場合、サーバからは歩行者等を検出し、車両（車載端末）側に、その位置を送ることになる。

また、上記した各実施形態に示した手順は、安全運転支援システムや車両側の安全運転支援装置を構成する装置として機能するコンピュータにて実現できる。具体的には、コンピュータ（図１９の９０００）に、これらの装置としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図１９のＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９０１０、通信インタフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図１９のＣＰＵ９０１０にて、物体認識プログラムや横断位置判定プログラムを実行させればよい。コンピュータは、当該プログラムにより安全運転支援方法を実行する。

即ち、上記したサーバ等の各部（処理手段、機能）は、これらの装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。当該プログラムは、コンピュータが読み取り可能なプログラム記録媒体に記録することができる。記録媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transitory）なものとすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
［付記１］
道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、
前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する判定手段と、
前記判定の結果を出力する出力手段と、
を備える安全運転支援システム。
［付記２］
前記カメラは、交差点の信号機付近に設置されたカメラである付記１の安全運転支援システム。
［付記３］
上記した出力手段は、前記交差点の付近に位置する車両に対し、前記判定の結果を出力する付記２記載の安全運転支援システム。
［付記４］
さらに、
前記交差点の信号機の灯火の状態を示す情報を取得する手段を備え、
前記出力手段は、前記判定の結果に加えて、前記交差点の信号機の灯火の状態を示す情報を提供する付記２又は３の安全運転支援システム。
［付記５］
さらに、
前記交差点の信号機の灯火の状態を示す情報を取得する手段を備え、
前記出力手段は、前記交差点の信号機の灯火の状態を示す情報に基づいて、前記人又は動物と交錯する可能性のある車両に対し、前記判定の結果を送信する付記２又は３の安全運転支援システム。
［付記６］
さらに、
前記人又は動物の移動方向及び移動速度の少なくとも１方を分析する手段を備え、
前記出力手段は、前記判定の結果に加えて、前記人又は動物の移動方向及び移動速度の少なくとも１方を提供する付記１から５いずれか一の安全運転支援システム。
［付記７］
前記検出手段は、前記カメラで撮影された画像に写った像から、前記交差点に接続する道路を横断する可能性のある人又は動物を検出する付記２から５のいずれか一の安全運転支援システム。
［付記８］
前記判定手段は、前記カメラで撮影された画像に写った像の前記画像中の位置に基づいて、前記人又は前記動物の横断位置が横断歩道内であるか否かを判定する付記１から７いずれか一の安全運転支援システム。
［付記９］
道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、前記人又は動物の検出結果を送信する送信手段と、を備えるサーバに接続される安全運転支援装置であり、
前記サーバから受信した前記人又は動物の検出結果に基づいて、前記人又は前記動物の横断位置が横断歩道内であるか否かを判定する手段と、
前記判定の結果を出力する手段と、
を備える安全運転支援装置。
［付記１０］
前記サーバから、交差点の信号機の灯火の状態を示す情報を受信し、
前記交差点の信号機の灯火の状態を示す情報に基づいて、自車が前記人又は前記動物と交錯する可能性のある場合に、前記判定の結果を出力する付記９の安全運転支援装置。
［付記１１］
カメラから取得した画像に基づいて、道路を横断している又は横断する可能性のある人又は動物を検出し、
前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定し、
前記判定の結果を出力する、
安全運転支援方法。
［付記１２］
道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、前記人又は動物の検出結果を送信する送信手段と、を備えるサーバから、前記人又は動物の検出結果を受信し、
前記サーバから受信した前記人又は動物の検出結果に基づいて、前記人又は前記動物の横断位置が横断歩道内であるか否かを判定し、
前記判定の結果を出力する、
安全運転支援方法。
［付記１３］
カメラから画像を取得可能なコンピュータに、
カメラから取得した画像に基づいて、道路を横断している又は横断する可能性のある人又は動物を検出する処理と、
前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する処理と、
上記検出の結果及び判定の結果を出力する処理と、
を実行させるプログラムを記録したプログラム記録媒体。
なお、上記付記９～付記１３の形態は、付記１の形態と同様に、付記２～付記８の形態に展開することが可能である。

なお、上記の特許文献の開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的な技術的思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１０安全運転支援システム
１１検出手段
１２判定手段
１３出力手段
１４、１４０カメラ
１００、１００ａ、１００ｂ、１００ｃサーバ
１０１検出部
１０２判定部
１０３、１０３ａ、１０３ｂ送信部
１０４信号制御情報取得部
１０５分析部
２００基地局
２１０端末
３００信号制御装置
４００車載端末
４０２判定部
４０３出力部
９０００コンピュータ
９０１０ＣＰＵ
９０２０通信インタフェース
９０３０メモリ
９０４０補助記憶装置
Ｐ１～Ｐ３、Ｐ５、Ｐ１１、Ｐ１３歩行者
Ｐ４、Ｐ１２自転車
Ｐ１４動物

Claims

車両よりも高い位置から道路を撮影可能な、交差点の信号機付近に設置されたカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、
前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する判定手段と、
前記交差点の信号機の灯火の状態を示す情報を取得する手段と、
前記横断位置が横断歩道内であるか否かを示す前記判定の結果と、前記交差点の信号機の灯火の状態を示す情報とを、前記検出した人又は動物の付近に位置する車両に対し出力する出力手段と、を備える安全運転支援システム。
車両よりも高い位置から道路を撮影可能な、交差点の信号機付近に設置されたカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、
前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する判定手段と、
前記交差点の信号機の灯火の状態を示す情報を取得する手段と、
前記横断位置が横断歩道内であるか否かを示す前記判定の結果を、前記検出した人又は動物の付近に位置する車両に対し出力する出力手段と、を備え、
前記出力手段は、前記交差点の信号機の灯火の状態を示す情報に基づいて、前記人又は動物と交錯する可能性のある車両に対し、前記判定の結果を出力する安全運転支援システム。
車両よりも高い位置から道路を撮影可能な、交差点の信号機付近に設置されたカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、
前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する判定手段と、
前記横断位置が横断歩道内であるか否かを示す前記判定の結果を、前記検出した人又は動物の付近に位置する車両に対し出力する出力手段と、を備え、
前記検出手段は、前記カメラで撮影された画像に写った像から、前記交差点に接続する道路を横断する可能性のある人又は動物を検出する安全運転支援システム。
前記出力手段は、前記交差点の付近に位置する車両に対し、前記判定の結果を出力する請求項１から３いずれか一の安全運転支援システム。
車両よりも高い位置から道路を撮影可能なカメラから取得した画像に基づいて、前記道路を横断している又は横断する可能性のある人又は動物を検出する検出手段と、
前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する判定手段と、
前記人又は動物の移動方向及び移動速度の少なくとも一方を分析する手段と、
前記横断位置が横断歩道内であるか否かを示す前記判定の結果を、前記検出した人又は動物の付近に位置する車両に対し出力する出力手段と、を備え、
前記出力手段は、前記判定の結果に加えて、前記人又は前記動物の移動方向及び移動速度の少なくとも一方を提供する安全運転支援システム。
前記判定手段は、前記カメラから取得した画像に写った像の前記画像中の位置に基づいて、前記人又は前記動物の横断位置が横断歩道内であるか否かを判定する
請求項１から５いずれか一の安全運転支援システム。
車両よりも高い位置から道路を撮影する、交差点の信号機付近に設置されたカメラから取得した画像に基づいて、道路を横断している又は横断する可能性のある人又は動物を検出し、
前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定し、
前記交差点の信号機の灯火の状態を示す情報を取得し、
前記横断位置が横断歩道内であるか否かを示す前記判定の結果と、前記交差点の信号機の灯火の状態を示す情報とを、前記検出した人又は動物の付近に位置する車両に対し出力する、
安全運転支援方法。
車両よりも高い位置から道路を撮影する、交差点の信号機付近に設置されたカメラから取得した画像に基づいて、道路を横断している又は横断する可能性のある人又は動物を検出し、
前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定し、
前記交差点の信号機の灯火の状態を示す情報を取得し、
前記横断位置が横断歩道内であるか否かを示す前記判定の結果を、前記検出した人又は動物の付近に位置する車両に対し出力し、
前記出力において、前記交差点の信号機の灯火の状態を示す情報に基づいて、前記人又は動物と交錯する可能性のある車両に対し、前記判定の結果を出力する
安全運転支援方法。
車両よりも高い位置から道路を撮影する、交差点の信号機付近に設置されたカメラから画像を取得可能なコンピュータに、
カメラから取得した画像に基づいて、道路を横断している又は横断する可能性のある人又は動物を検出する処理と、
前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する処理と、
前記交差点の信号機の灯火の状態を示す情報を取得する手段と、
上記検出の結果及び前記横断位置が横断歩道内であるか否かを示す前記判定の結果と、前記交差点の信号機の灯火の状態を示す情報とを、前記検出した人又は動物の付近に位置する車両に対し出力する処理と、
を実行させるプログラム。
車両よりも高い位置から道路を撮影する、交差点の信号機付近に設置されたカメラから画像を取得可能なコンピュータに、
カメラから取得した画像に基づいて、道路を横断している又は横断する可能性のある人又は動物を検出する処理と、
前記検出した人又は動物の横断位置が横断歩道内であるか否かを判定する処理と、
前記交差点の信号機の灯火の状態を示す情報を取得する処理と、
上記検出の結果及び前記横断位置が横断歩道内であるか否かを示す前記判定の結果を、前記検出した人又は動物の付近に位置する車両に対し出力する処理と、
を実行させ、
前記出力する処理において、前記交差点の信号機の灯火の状態を示す情報に基づいて、前記人又は動物と交錯する可能性のある車両に対し、前記判定の結果を出力するプログラム。