JP7548282B2 - 電子機器及びプログラム - Google Patents

Description

本発明は、車両の走行のための電子機器及びプログラムに関する。

速度制限等を示す道路標識を検出する技術が知られている。特許文献１には、パターンマッチング法等の画像解析技術を用いて、カメラにより撮影された車両周辺の画像から道路標識を検出し、この道路標識の指示内容を認識することが記載されている。

特開２０２１－２２０２６号公報

車両が走行する車線ごとに異なる最高速度等を示す標識が設置されていることがある。特許文献１に記載された方法では、車線ごとに異なる最高速度を示す標識が設置されている場合に、車両に対応する最高速度を正しく認識することができないという問題があった。

本発明はこの点に鑑みてなされたものであり、車線ごとに異なる最高速度等の規制内容を示す標識が設置されている場合に、車両に対応する規制内容を認識する精度を向上させることができる電子機器及びプログラムを提供することを目的とする。

本発明の第１の態様の電子機器は、車両の前方を撮像した撮像画像に基づいて、前記車両の走行に関する規制内容を示す複数の標識を認識する認識部と、前記認識部が認識した前記複数の標識のうち、前記車両が走行する車線に対応する標識を対応標識として特定する第１特定部と、前記対応標識が示す規制内容に対応する情報を出力する出力部と、を備える。

前記出力部は、前記対応標識が示す規制内容に対応する情報を表示装置に出力してもよい。前記複数の標識の各々は、それぞれ異なる車線において同じ種別の規制内容を示す標識であってもよい。

前記第１特定部は、前記撮像画像に基づいて、前記車両が走行する車線の位置を特定し、特定した当該車線の位置の直上の標識を前記対応標識として特定してもよい。前記第１特定部は、前記撮像画像に基づいて、前記車両が走行する車線の位置を特定し、特定した前記車線の位置に最も近い標識を前記対応標識として特定してもよい。

前記第１特定部は、前記撮像画像の中心に最も近い標識を前記対応標識として特定してもよい。前記電子機器は、複数の車線に関連付けて、前記複数の車線に含まれる複数の位置の位置情報を記憶する記憶部と、前記車両に搭載された位置センサが検出した信号に基づいて、前記車両の位置を特定する第２特定部と、をさらに備え、前記第１特定部は、前記第２特定部が特定した位置に関連付けて前記記憶部に記憶されている前記車線を特定し、当該車線に対応する標識を前記対応標識として特定してもよい。

本発明の第２の態様のプログラムは、コンピュータに、車両の前方を撮像した撮像画像に基づいて、前記車両の走行に関する規制内容を示す複数の標識を認識するステップと、認識した前記複数の標識のうち、前記車両が走行する車線に対応する標識を対応標識として特定するステップと、前記対応標識が示す規制内容に対応する情報を出力するステップと、を実行させる。

本発明によれば、車両に対応する規制内容を認識する精度を向上させるという効果を奏する。

実施形態の電子機器が搭載された車両の概要を示す図である。 車両の構成を示す図である。 複数の標識が設置された状態の一例を示している図である。 複数の標識が設置された状態の別の例を示す図である。 複数の標識が設置された状態の別の例を示図である。 出力部による対応標識の出力の一例を示す図である。 標識が示す規制内容に対応する情報を電子機器が出力する処理手順を示すフローチャートである。

［車両の概要］
図１は、本実施形態の電子機器１が搭載された車両１００の概要を示す。車両１００は、例えば、トラック等の商用車である。車両１００は、自動運転により走行する機能を有していてもよい。電子機器１は、例えば、ＥＣＵ（Electronic Control Unit）である。

電子機器１は、車両１００に搭載されたカメラにより車両１００の前方を撮像した撮像画像データを生成する。電子機器１は、生成した撮像画像データに基づいて、車両１００が走行する車線の位置を特定する。例えば、電子機器１は、撮像画像に写っている車両１００の左側及び右側の車線境界線をそれぞれ特定することにより、車両１００が走行する車線の位置を特定する。

電子機器１は、生成した撮像画像データに基づいて、車両の走行に関する規制内容（Regulation）を示す複数の標識を認識する。図１中の例では、車両が走行可能な最高速度を示す標識が車線ごとに設置されている。この場合に、電子機器１は、それぞれの標識が設置されている位置と車両１００が走行する車線の位置とが後述する所定の関係性を有することを利用して、車両１００が走行する車線に対応する標識（以下、対応標識ともいう）を特定する。電子機器１は、特定した対応標識が示す最高速度等の規制内容に対応する情報を車両１００に搭載された表示装置又は速度制御装置等のデバイスへ出力する。

このようにして、電子機器１は、車線ごとに異なる最高速度等の規制内容を示す標識が設置されている場合に、車両１００に対応する標識が示す規制内容を特定する精度を向上させることができる。

［車両１００の構成］
図２は、車両１００の構成を示す。車両１００は、電子機器１、位置センサ２、カメラ３、表示装置４、速度制御装置５及びステアリング制御装置６を備える。電子機器１は、記憶部１０及び制御部１１を備える。制御部１１は、位置特定部１１１（第２特定部に相当）、認識部１１２、標識特定部１１３（第１特定部に相当）及び出力部１１４を備える。

位置センサ２は、例えば、複数のＧＰＳ（Global Positioning System）衛星からの信号を受信するＧＰＳ受信機である。位置センサ２は、受信した信号に含まれている情報を位置特定部１１１へ入力する。

カメラ３は、車両１００の前方を撮像することにより撮像画像データを生成する。カメラ３は、生成した撮像画像データを認識部１１２及び標識特定部１１３へ入力する。表示装置４は、文字又は画像等を表示するためのディスプレイである。例えば、表示装置４は、車両１００のインストルメントパネルに設けられている。

速度制御装置５は、車両１００を加減速させることにより、車両１００が走行する速度を制御する。ステアリング制御装置６は、車両１００のステアリングをモータ等により回転させ、車両１００の進行方向を調整する。

記憶部１０は、例えば、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等により構成される。記憶部１０には、制御部１１が実行するためのプログラムが記憶されている。記憶部１０には、複数の標識が示す規制内容のそれぞれと、複数の標識の見本画像データとが関連付けた標識データが記憶されている。この標識データにおいて複数の最高速度のそれぞれには、複数の見本画像データが関連付けられている。標識データは、認識部１１２が撮像画像データに基づいて標識を認識するために利用される。

記憶部１０には、複数の車線と、複数の車線に含まれる複数の位置の位置情報とを関連付けた車線データがさらに記憶されていてもよい。位置情報は、例えば、複数の車線に含まれる複数の位置の緯度及び経度をそれぞれ示す。車線データは、車両１００が走行する車線を標識特定部１１３が特定するために利用される。

制御部１１は、例えば、ＥＣＵに搭載されたプロセッサである。制御部１１は、記憶部１０に記憶されたプログラムを実行することにより、位置特定部１１１、認識部１１２、標識特定部１１３及び出力部１１４として機能する。

位置特定部１１１（第２特定部に相当）は、車両１００に搭載された位置センサ２が検出した信号に基づいて、車両１００の位置を特定する。例えば、位置特定部１１１は、車両１００の位置の緯度及び経度を特定する。位置特定部１１１は、特定した車両１００の位置を示す情報を標識特定部１１３へ出力する。

認識部１１２は、車両１００の前方に設置された標識を認識する。まず、認識部１１２は、車両１００の前方を撮像することにより生成された撮像画像データをカメラ３から取得する。認識部１１２は、取得した撮像画像データに基づいて、車両１００の前方に存在する、走行に関する規制内容を示す標識を認識する。規制内容を示す複数の標識は、例えば、最高速度、最低速度、又は進行可能な方向を示す標識である。

より詳しくは、認識部１１２は、複数の標識が示す規制内容のそれぞれと、複数の標識の見本画像データとを関連付けた標識データを記憶部１０から読み出す。認識部１１２は、読み出した標識データを参照して、撮像画像データに基づいていずれかの見本画像データと類似する領域を認識する。認識部１１２は、認識した領域に類似する見本画像データに標識データにおいて関連付けられている規制内容を特定する。認識部１１２は、撮像画像データに複数の標識が含まれる場合には、複数の標識が示す規制内容をそれぞれ特定する。認識部１１２は、撮像画像データから認識された複数の標識の各々の位置を示す情報および当該複数の標識の各々が示す規制内容を示す情報を標識特定部１１３へ出力する。

［対応標識の特定］
車両１００が走行可能な最高速度が車線ごとに設定されている場合には、異なる最高速度を示す標識が車線ごとに設置されることがある。標識特定部１１３は、認識部１１２が認識した複数の標識の各々がそれぞれ異なる車線において最高速度等の同じ種別の規制内容を示す場合に、認識した複数の標識のうち、車両１００が走行する車線に対応する標識を対応標識として特定する。

図３は、複数の標識を含む撮像画像を示す模式図である。標識特定部１１３は、カメラ３が生成した撮像画像に基づいて、車両１００が走行する車線の位置を特定する。例えば、標識特定部１１３は、撮像画像に写っている車両１００の左側及び右側の車線境界線をそれぞれ特定することにより、車両１００が走行する車線の位置を特定する。図３において、中央の車線（ハッチング領域）を車両１００の走行する車線として特定したとする。

標識特定部１１３は、あらかじめ定められた車線と標識との位置関係に基づいて車両１００が走行する車線に対応する対応標識を特定する。同じ種別の規制内容を示す標識が車線ごとに設置されている場合に、それぞれの標識が設置される位置と、それぞれの車線の位置とが所定の関係を有するように標識が設置される。標識特定部１１３は、この関係性を利用して、対応標識を特定する。例えば、原則として車線の真上に、当該車線の制限速度を示す標識が設置されている場合、標識特定部１１３は、特定した車両１００の走行する車線の位置の直上の標識を対応標識として特定する。

図３において、左側の標識は、最高速度が時速９０キロメートルであることを示している。中央の標識は、最高速度が時速７５キロメートルであることを示している。右側の標識は、最高速度が時速６０キロメートルであることを示している。

標識特定部１１３は、最高速度のように同じ種別の規制内容を示す複数の標識を認識部１１２が認識した場合に、特定した車両１００が走行する車線の左側のエリアＸ内の標識と、特定した車線の直上のエリアＹ内の標識と、特定した車線の右側のエリアＺ内の標識とのいずれかに、認識部１１２が認識した複数の標識をそれぞれ分類する。

図３の例では、標識特定部１１３は、左側の最高速度が時速９０キロメートルであることを示す標識を、エリアＸ内の標識として分類する。標識特定部１１３は、中央の最高速度が時速７５キロメートルであることを示す標識を、エリアＹ内の標識として分類する。標識特定部１１３は、右側の最高速度が時速６０キロメートルであることを示す標識を、エリアＺ内の標識として分類する。

標識特定部１１３は、特定した車線の位置の直上のエリアＹ内の標識として分類した標識を、車両１００の対応標識として特定する。図３の例では、標識特定部１１３は、エリアＹ内の標識として分類した最高速度が時速７５キロメートルであることを示す標識を対応標識として特定する。

図４は、複数の標識が設置された状態の別の例を示す。図４に示す例では、車両１００が走行する車線の直上のエリアＹ内に標識が設置されておらず、車両１００が走行する車線の右側のエリアＺ内に複数の標識が設置されている。

標識特定部１１３は、特定した車線の直上のエリアＹ内に標識が設置されていない場合、標識特定部１１３は、特定した車線の位置に最も近い標識を対応標識として特定してもよい。図４の例では、標識特定部１１３は、エリアＺ内に設置されている複数の標識のうち、特定した車両１００が走行する車線の位置に最も近い最高速度が時速９０キロメートルであることを示す標識を対応標識として特定する。このようにして、標識特定部１１３は、車線の直上に１つの標識が設置されておらず、車線の直上と異なるエリア内に複数の標識が設置されている場合であっても、車両１００に対応する標識を特定することができる。

なお、標識特定部１１３は、特定した車線の直上のエリアＹ内において標識が特定できない場合には、特定した車線の右側のエリアＺ内にある標識を対応標識として特定する。標識特定部１１３は、特定した車線の直上のエリアＹ及びこの車線の右側のエリアＺ内において標識がいずれも特定できない場合には、特定した車線の左側のエリアＸ内にある標識を対応標識として特定する。車両１００が右ハンドル車であり、左側通行の国を走行している場合には、車両１００に対応する標識が、車両１００が走行する車線の右側に表示されることもある。標識特定部１１３は、このような傾向を利用して、標識が車線の直上に設置されていない場合であっても車両１００に対応する標識を特定することができる。

車両１００が左ハンドル車であり、右側通行の国を走行している場合、標識特定部１１３は、特定した車線の直上のエリアＹ内において標識が特定できないときに、特定した車線の左側のエリアＸ（図３参照）内にある標識を対応標識として特定してもよい。標識特定部１１３は、例えば右ハンドル車であるか左ハンドル車であるかを識別するためのデータを記憶部１０から読み出すことにより、車両１００が右ハンドル車であるか左ハンドル車であるかを識別することができる。

また、標識特定部１１３は、特定した車線と標識との位置関係を利用して対応標識を特定する例に限定されない。例えば、標識特定部１１３は、カメラ３が生成した撮像画像の中心に最も近い標識を対応標識として特定してもよい。このように標識特定部１１３が構成されていることで、標識特定部１１３は、夜間である等の理由により、車両１００が走行中の車線の車線境界線が特定できない場合であっても、対応標識を特定することができる。

標識特定部１１３は、位置センサ２が検出した信号に基づいて、対応標識を特定してもよい。まず、標識特定部１１３は、複数の車線と、複数の車線に含まれる複数の位置の位置情報とを関連付けた車線データを記憶部１０から読み出す。標識特定部１１３は、読み出した車線データを参照して、位置特定部１１１が特定した位置に関連付けて記憶部１０に記憶されている車線を特定する。標識特定部１１３は、特定した車線に対応する標識を対応標識として特定する。

図５は、複数の標識が設置された状態の別の例を示す。図５中の左側には、車線データにおいて左から１番目の車線に関連付けて記憶されている複数の位置が分布する領域Ｐを示す。図５中の中央には、左から２番目の車線に関連付けて記憶されている複数の位置が分布する領域Ｑが示されている。図５中の右側には、左から３番目の車線に関連付けて記憶されている複数の位置が分布する領域Ｒが示されている。標識特定部１１３は、位置特定部１１１が特定した車両１００の位置が左から２番目の車線に対応する領域Ｑに含まれていることを特定する。

標識特定部１１３は、複数の車線が横方向に配置される順序と、それぞれの車線に対応する規制内容を示す標識が横方向に配置される順序とが一致することを利用して、特定した車線の位置に対応する標識を対応標識として特定する。図５の例では、標識特定部１１３は、特定した車線が左から２番目であるため、左から２番目に設置されている時速７５キロメートルの最高速度を示す標識を対応標識として特定する。

［対応標識が示す規制内容に対応する情報の出力］
出力部１１４は、標識特定部１１３が特定した対応標識が示す規制内容に対応する情報を出力する。出力部１１４は、例えば、標識特定部１１３が特定した対応標識が示す規制内容に対応する情報を表示装置４に出力する。

図６は、出力部１１４による対応標識の出力の一例を示す。図６の例では、出力部１１４は、車両１００が走行する現在の速度「５７ｋｍ／ｈ」を示す情報と、燃料の残量を示すアイコン画像情報とを表示装置４に出力する。出力部１１４は、標識特定部１１３が特定した時速６０キロメートルの最高速度を示す対応標識のアイコン画像情報に出力する。このとき、標識特定部１１３は、認識部１１２が認識した複数の標識の規制内容のうち、標識特定部１１３が対応標識として特定した標識の規制内容に対応するアイコン画像情報を出力する。これにより、表示領域４１に現在の速度と燃料の残量が表示され、表示領域４２に車両１００の位置に対応する最高速度が表示される。

出力部１１４は、標識特定部１１３が特定した対応標識が示す規制内容に対応する処理を速度制御装置５又はステアリング制御装置６へ指示してもよい。例えば、出力部１１４は、対応標識が示す規制内容が最高速度又は最低速度を指定するものである場合に、この最高速度又は最低速度に対応する速度で走行することを速度制御装置５に指示する。出力部１１４は、対応標識が示す規制内容が右折を禁止するものである場合に、右折を禁止することをステアリング制御装置６へ指示する。

［標識が示す規制内容に対応する情報の出力の処理手順］
図７は、標識が示す規制内容に対応する情報を電子機器１が出力する処理手順を示すフローチャートである。この処理手順は、車両の電源オン（イグニッションオン）に応じて開始される。また、後述するようにこの処理手順は、車両１００の走行中に継続して実行される。

まず、認識部１１２及び標識特定部１１３は、車両１００の前方を撮像した撮像画像データをカメラ３から取得する（Ｓ１０１）。標識特定部１１３は、取得した撮像画像データに基づいて、車両１００が走行する車線の位置を特定する（Ｓ１０２）。認識部１１２は、取得した撮像画像データに基づいて、車両１００の走行に関する規制内容を示す複数の標識を認識する（Ｓ１０３）。標識特定部１１３は、同じ種別の規制内容を示す複数の標識を認識部１１２が認識したか否かを判定する（Ｓ１０４）。

標識特定部１１３は、同じ種別の規制内容を示す複数の標識を認識部１１２が認識したと判定した場合に（Ｓ１０４のＹＥＳ）、認識部１１２が認識した複数の標識のうち、車両１００が走行する車線に対応する標識を対応標識として特定する（Ｓ１０５）。出力部１１４は、標識特定部１１３が特定した対応標識が示す規制内容に対応する情報を出力する（Ｓ１０６）。標識特定部１１３は、車両１００の走行を終了する指示（イグニッションオフ）が入力されたか否かを判定する（Ｓ１０７）。標識特定部１１３は、走行終了の指示が入力されたと判定した場合に（Ｓ１０７のＹＥＳ）、本処理手順を終了する。

出力部１１４は、Ｓ１０４の判定において同じ種別の規制内容を示す複数の標識を認識部１１２が認識していないと判定した場合に（Ｓ１０４のＮＯ）、認識部１１２が認識した標識が示す規制内容に対応する情報を出力し（Ｓ１０８）、Ｓ１０７の判定に移る。標識特定部１１３は、Ｓ１０７の判定において、走行終了の指示が入力されていないと判定した場合に（Ｓ１０７のＮＯ）、Ｓ１０１の処理に戻る。

［本開示の電子機器１による効果］
標識特定部１１３は、車線ごとに異なる最高速度等の規制内容を示す標識が設置されている場合に、車両１００に対応する対応標識が示す規制内容を特定する精度を向上させることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ 電子機器
２ 位置センサ
３ カメラ
４ 表示装置
５ 速度制御装置
６ ステアリング制御装置
１０ 記憶部
１１ 制御部
４１ 表示領域
４２ 表示領域
６０ 時速
７５ 時速
９０ 時速
１００ 車両
１１１ 位置特定部
１１２ 認識部
１１３ 標識特定部
１１４ 出力部

Claims (5)

1. 片方向に複数の車線がある道路であって、当該道路の上方に標識が設置されている道路を走行中の車両において前記車両の前方を撮像した撮像画像に基づいて、前記車両の走行に関する規制内容を示す複数の標識を認識する認識部と、
   前記認識部が認識した前記複数の標識のうち、前記車両が走行する前記車線に対応する標識を対応標識として特定する第１特定部と、
   前記対応標識が示す規制内容に対応する情報を出力する出力部と、
   を備え、
   前記第１特定部は、前記撮像画像に基づいて、前記車両が走行する車線の位置を特定し、特定した当該車線の直上の第１エリア内の標識を前記対応標識として特定し、前記第１エリア内に標識がない場合、前記第１エリアの右側の第２エリア内の標識を前記対応標識として特定し、前記第１エリア内及び前記第２エリア内のいずれにも標識がない場合、前記第１エリアの左側の第３エリア内の標識を前記対応標識として特定する、電子機器。
2. 前記出力部は、前記対応標識が示す規制内容に対応する情報を表示装置に出力する、
   請求項１に記載の電子機器。
3. 前記複数の標識の各々は、それぞれ異なる車線において同じ種別の規制内容を示す標識である、
   請求項１に記載の電子機器。
4. 複数の車線に関連付けて、前記複数の車線に含まれる複数の位置の位置情報を記憶する記憶部と、
   前記車両に搭載された位置センサが検出した信号に基づいて、前記車両の位置を特定する第２特定部と、をさらに備え、
   前記第１特定部は、前記第２特定部が特定した位置に関連付けて前記記憶部に記憶されている前記車線を特定し、当該車線に対応する標識を前記対応標識として特定する、
   請求項１乃至３のいずれか１項に記載の電子機器。
5. コンピュータに、
   片方向に複数の車線がある道路であって、当該道路の上方に標識が設置されている道路を走行中の車両において前記車両の前方を撮像した撮像画像に基づいて、前記車両の走行に関する規制内容を示す複数の標識を認識するステップと、
   認識した前記複数の標識のうち、前記車両が走行する前記車線に対応する標識を対応標識として特定するステップと、
   前記対応標識が示す規制内容に対応する情報を出力するステップと、
   を実行させる、プログラムであって、
   前記車両が走行する車線に対応する前記対応標識を特定するステップは、前記撮像画像に基づいて、前記車両が走行する車線の位置を特定する手順と、特定した当該車線の直上の第１エリア内の標識を前記対応標識として特定し、前記第１エリア内に標識がない場合、前記第１エリアの右側の第２エリア内の標識を前記対応標識として特定し、前記第１エリア内及び前記第２エリア内のいずれにも標識がない場合、前記第１エリアの左側の第３エリア内の標識を前記対応標識として特定する手順と、
   を有するプログラム。

Images