JP6540482B2 - 情報処理システム、情報処理装置及び出力制御方法 - Google Patents

Description

本発明は、車両にて用いられる情報処理システムに関する。

車両に搭載されたカメラにて撮影された撮像画像に基づいて、道路標識などから情報を認識する技術が知られている。また、特許文献１では、規制や案内の内容を示す道路標識である本標識が適用される条件を示す標識である補助標識についても認識する技術が提案されている。

特表２０１４−５２２０４９号公報

道路標識などから認識された情報が車両の運転者に報知されれば、運転者はその情報をより確実に知ることができる。一方、補助標識が示す条件を満たしていないにもかかわらず本標識の示す規制が報知されると、運転者が誤解してしまうおそれがある。また、車両が運転者の操作を必要としない自動走行制御を実行している場合にも、補助標識が示す条件を満たしているか否かにより制御内容が変化する可能性がある。

そのため、補助標識が示す条件を満たしているか否かを正しく判断することが望まれる。
補助標識が示す条件のうち車両周囲の環境に関する条件を満たすか否かは、車両に搭載される様々なセンサの出力に基づいて判断することが考えられるが、多くのセンサを用いるシステムでは、システム全体の構成が煩雑になりやすいという問題があった。

本発明は、システムの煩雑化を抑制しつつ、周囲の環境に応じた適切な出力を行う技術を提供することを目的としている。

本発明の情報処理システム（１）は、撮像部（１０）と、規制認識部（５５）と、条件認識部（５６）と、環境認識部（５７）と、出力実行部（２０、３０、６０、７０）と、出力制御部（５８）と、を備えるシステムである。

撮像部は、車両の外部を撮像する。また規制認識部は、車両の外部に配置された第１の表示体（１０１、１１１、１２１、１３１、１４２）に表示される情報であって上記車両の走行の規制を示す情報である規制情報を、上記撮像部により撮像された撮像画像から認識する。

条件認識部は、車両の外部に配置された第２の表示体（１０２、１１２、１２２、１３２、１４２）に表示される情報であって、上記規制認識部により認識された規制情報に示される規制が適用される条件であり、かつ、車両の周囲の環境に関する条件である環境条件を示す情報である条件情報を、上記撮像部により撮像された撮像画像から認識する。

環境認識部は、上記撮像部により撮像された撮像画像から、車両の周囲の環境を認識する。また出力実行部は所定の出力を行う。
出力制御部は、出力実行部による出力を制御する。そしてこの出力制御部は、上記環境認識部により認識された車両の周囲の環境が上記条件認識部により認識された条件情報に示される環境条件を満たすときには、規制認識部により認識された規制情報に基づいて出力実行部の制御を行うように構成されている。

このような構成によれば、撮像画像に基づいて第２の表示体から条件情報を認識すると共に、撮像画像に基づいて車両の周囲の環境を認識する。つまり、撮像部からの出力に基づいて周囲の環境が環境条件を満たしているか否かを判断することが可能になる。よって、周囲の環境を認識するためのセンサを撮像部にて代用することにより、システム構成の煩雑化を抑制しつつ、周囲の環境に応じた適切な出力を行うことができる。

また本発明の別の態様である情報処理装置（５０）は、規制認識部（５５）と、条件認識部（５６）と、環境認識部（５７）と、出力制御部（５８）と、を備える装置である。
規制認識部は、車両の外部を撮像する撮像部（１０）により撮像された撮像画像から、上記車両の外部に配置された第１の表示体（１０１、１１１、１２１、１３１、１４２）に表示される情報であって上記車両の走行の規制を示す情報である規制情報を認識する。

条件認識部は、車両の外部に配置された第２の表示体（１０２、１１２、１２２、１３２、１４２）に表示される情報であって、上記規制認識部により認識された規制情報に示される規制が適用される条件であり、かつ、車両の周囲の環境に関する条件である環境条件を示す情報である条件情報を、上記撮像部により撮像された撮像画像から認識する。

環境認識部は、上記撮像部により撮像された撮像画像から、車両の周囲の環境を認識する。出力制御部は、所定の出力を行う出力実行部（２０、３０、６０、７０）による出力を制御する。

また上記出力制御部は、上記環境認識部により認識された車両の周囲の環境が上記条件認識部により認識された条件情報に示される環境条件を満たすときには、規制認識部により認識された規制情報に基づいて上記出力実行部の制御を行うように構成されている。

このような構成によれば、撮像画像を出力する撮像部及び所定の出力を行う出力実行部と協働して、上述した情報処理システムと同様の作用及び効果を奏することができる。
また本発明の別の態様は、所定の出力を行う出力実行部（２０、３０、６０、７０）の制御を行う出力制御方法である。この出力制御方法では、車両の外部を撮像する撮像部（１０）により撮像された撮像画像から、次の（ｉ）〜（ｉｉｉ）を認識する。即ち、（ｉ）上記車両の外部に配置された第１の表示体（１０１、１１１、１２１、１３１、１４２）に表示される情報であって上記車両の走行の規制を示す情報である規制情報、（ｉｉ）上記車両の外部に配置された第２の表示体（１０２、１１２、１２２、１３２、１４２）に表示される情報であって、上記規制情報に示される規制が適用される条件であり、かつ、上記車両の周囲の環境に関する条件である環境条件を示す情報である条件情報、（ｉｉｉ）上記車両の周囲の環境、の３つを認識する。

そして、上記車両の周囲の環境が上記条件情報に示される上記環境条件を満たすときには、上記規制情報に基づいて出力実行部の制御を行う。
このような出力制御方法であれば、撮像画像を出力する撮像部及び所定の出力を行う出力実行部を用いて、上述した情報処理システムと同様の作用及び効果を奏することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

実施形態の情報処理システムの構成を示すブロック図である。 規制情報及び条件情報の一例を示す図である。 規制情報及び条件情報の一例を示す図である。 規制情報及び条件情報の一例を示す図である。 規制情報及び条件情報の一例を示す図である。 規制情報及び条件情報の一例を示す図である。 報知処理のフローチャートである。 規制情報設定処理のフローチャートである。

以下、図面を参照しながら、発明を実施するための形態を説明する。
［１．実施形態］
［１−１．構成］
図１に示す情報処理システム１は、車両に搭載されて用いられるシステムであって、撮像部１０と、表示装置２０と、音声出力装置３０と、車速センサ４０と、情報処理装置５０と、加減速部６０と、操舵装置７０と、を備える。以下では、情報処理システム１が搭載された車両を自車両という。

撮像部１０は自車両の外部を撮像するいわゆるカメラ装置であって、例えば自車両のルームミラーの裏側に、自車両の前方を撮像可能となるように設置される。自車両の前方とは、自車両の進行方向を意味する。撮像部１０は、予め定められた周期で自車両の前方を撮像し、撮像した撮像画像を示すデータである画像データを情報処理装置５０に出力する。

表示装置２０は、車両の内部に配置される装置であって、画像が表示される液晶ディスプレイなどの表示画面を有しており、情報処理装置５０からの制御信号に従って画像を表示する。表示装置２０の具体的な構成は特に限定されない。例えば、ヘッドアップディスプレイ、ナビゲーション装置、インストルメントパネルなどを用いることもできる。

音声出力装置３０は、車両の内部に配置されるスピーカーを有しており、情報処理装置５０からの制御信号に従って音声を出力する。
表示装置２０及び音声出力装置３０は、撮像部１０により撮影された撮像画像から、情報処理装置５０により道路標識に表示される後述する規制情報が認識されたときに、その規制情報に関する情報を自車両の運転者に報知を行う報知動作を実行する。表示装置２０及び音声出力装置３０が、報知実行部に相当する。

車速センサ４０は、自車両の車速を検出し、検出した車速を示す信号である車速信号を情報処理装置５０に出力する。
加減速部６０は、自車両に備えられるエンジン、トランスミッション、ブレーキなど含む。後述する自動走行制御が実行される場合には、エンジンの出力、シフトチェンジ、ブレーキ操作などが情報処理装置５０により制御され、自車両の走行速度、加速、減速が調整される。

操舵装置７０は、自車両のタイヤの切れ角を変化させる転舵アクチュエータである。本実施形態において、自車両は、運転者による図示しないステアリングホイールの操作を電気信号で操舵装置７０に伝え、操舵装置７０がタイヤ切れ角を変化させる、所謂バイワイヤ技術を採用している。そして後述する自動走行制御が実行される場合には、ステアリングホイールの操作とは無関係に、情報処理装置５０が操舵装置７０の動作を制御する。加減速部６０及び操舵装置７０が、車両の走行を制御するための出力を行う走行制御部に相当する。

情報処理装置５０は、ＣＰＵ５１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ５２）と、を有する周知のマイクロコンピュータを中心に構成される。情報処理装置５０の各種機能は、ＣＰＵ５１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ５２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、情報処理装置５０を構成するマイクロコンピュータの数は１つでも複数でもよい。

情報処理装置５０は、ＣＰＵ５１がプログラムを実行することで実現される機能の構成として、図１に示すように、規制認識部５５と、条件認識部５６と、環境認識部５７と、出力制御部５８と、を備える。情報処理装置５０を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。

規制認識部５５は、自車両の外部に配置された道路標識に表示される規制情報を、撮像部１０により撮像された撮像画像から認識する。
規制情報とは、道路標識に表示される情報のうち、自車両の走行の規制を示す情報である。例えば、最高速度や最低速度などの速度制限、重量や長さの制限、通行止め，進入禁止，一方通行，指定方向外進行禁止などの走行可能な道路の制限、通行区分の制限などが規制情報に該当する。また、規制情報が表示される道路標識の例として、規制標識に分類される道路標識が挙げられる。

規制認識部５５は、撮像部１０から出力された撮像画像からパターンマッチングなどの公知の画像認識の手法により規制情報が表示された道路標識を認識する。道路標識の表示内容及び形状はその道路標識が表示する規制の内容を一義的に示すものであるから、道路標識が認識されることで、その道路標識に表示される規制情報に示される規制の内容も認識される。

なお、図示しないナビゲーション装置やスマートフォンなどの地図情報をもつ端末から道路標識の情報を取得し、道路標識の規制情報に示される規制内容を認識してもよい。地図情報から取得した規制情報は、撮像画像から認識した規制情報を補完するように用いることができる。

条件認識部５６は、自車両の外部に配置された道路標識に表示される条件情報を、撮像部１０により撮像された撮像画像から認識する。
条件情報とは、道路標識に表示される情報のうち、規制認識部５５により認識された規制が適用される条件であり、かつ、自車両の周囲の環境に関する条件である環境条件が示される情報である。環境条件とは、例えば、濡れや凍結などの道路の状況、天候、周囲の明るさ、自車両の周囲の車両や障害物などの存在、道路の形状など、車両を取り巻く様々な状況に関する条件である。

条件情報は、規制情報が表示される道路標識に並べて配置される道路標識に表示される場合と、規制情報が表示されている道路標識に同時に表示されている場合と、が例として挙げられる。前者の場合、すなわち、規制情報と条件情報とが隣り合わせた異なる道路標識に表示されている場合には、規制情報が表示される道路標識はいわゆる本標識に分類される道路標識であり、環境条件が表示される道路標識はいわゆる補助標識に分類される道路標識である。

条件認識部５６は、撮像部１０から出力された撮像画像からパターンマッチングなどの公知の画像認識の手法により条件情報が表示された道路標識を認識する。条件情報も規制情報と同様に、道路標識の表示内容及び形状から一義的にその内容が定まるため、道路標識が認識されることで、その道路標識に表示される条件情報に示される環境条件の内容も認識される。また、図示しないナビゲーション装置やスマートフォンなどの地図情報をもつ端末から道路標識の情報を取得し、規制認識部５５により認識された規制が適用される条件情報に示される環境条件の内容を認識してもよい。地図情報から取得した環境条件は、撮像画像から認識した環境条件を補完するように用いることができる。

なお、規制情報が表示される道路標識が第１の表示体に相当し、条件情報が表示される道路標識が第２の表示体に相当する。ここでいう表示体とは、自車両の外部、例えば道路に沿った場所に実際に設置される物体であって、撮像部１０によって撮像された撮像画像に基づき規制情報や条件情報が認識できる程度に、外観形状、図柄、文字、模様などの特徴が表された物体である。

道路標識以外の表示体としては、例えば、設置位置が変更可能である看板などが挙げられる。また表示体の別の例としては、車道の近傍に配置される画像表示装置が挙げられる。画像表示装置に規制情報及び条件情報が画像として表示されていれば、撮像部１０による撮像画像からそれらの情報を認識することができる。

環境認識部５７は、撮像部１０から出力された撮像画像から自車両の周囲の環境を認識する。環境を認識する具体的な手法の例については後述する。
出力制御部５８は、規制情報に基づく制御として、第１の制御及び第２の制御を実行する。

第１の制御は、規制認識部５５により認識された規制情報に関する情報を自車両の運転者に報知する動作である報知動作を、表示装置２０及び音声出力装置３０に実行させる制御である。

この出力制御部５８は、環境認識部５７により認識された自車両の周囲の環境が条件認識部５６により認識された条件情報に示される環境条件を満たすか否かに応じて、環境フラグのオンとオフとを切り替える。そして出力制御部５８は、環境フラグがオンであるかオフであるかに応じて異なる態様で表示装置２０及び音声出力装置３０による報知動作を実行する。

周囲の環境が環境条件を満たす場合には環境フラグがオンとなり、環境条件を満たさない場合には環境フラグがオフとなる。環境フラグには、後述する路面濡れフラグ、降雨フラグ、凍結フラグ、一般車両フラグ、夜間フラグが含まれる。以下の説明において、単に環境フラグと記載する場合には、上述したフラグのいずれか１つ以上を指すものとする。

また、第２の制御は、自動走行制御である。ここでいう自動走行とは、車両の操舵及び速度の制御を出力制御部５８が行い、運転者の操作を必要とせずに航行する走行制御が実行される状態を意味する。

出力制御部５８は、撮像部１０や各種レーダー装置から取得した区画線や他車両、信号などの情報、図示しないナビゲーションシステムを用いて搭乗者が入力した目的地情報、自車両の外部又は地図情報から取得した、少なくとも規制情報を含む道路標識に示される情報、などに応じて、自車両が走行すべき車線、走行ルート、走行速度などを決定する。

例えば、自車両の前方にて走行速度の非常に遅い車両が検出された場合に、車線変更の実行を決定し、また、車線変更を実現するための具体的な車両の挙動を決定する。出力制御部５８は、決定された挙動を実行するための制御信号を加減速部６０及び操舵装置７０に出力する。加減速部６０及び操舵装置７０は、出力された制御信号に従って車両を駆動させる。

なお、規制認識部５５により認識された規制情報のうち、その規制情報が適用される環境条件を車両の周囲の環境が満たしたものは、メモリ５２に記憶され、自動走行制御の実行中に参照される。つまり、規制情報に基づいて、自動走行制御が実行される。また、走行中の道路が変更された場合や、上述した環境条件を満たさなくなった場合には、規制情報はメモリ５２から削除されるか、参照しないものとして設定される。

［１−２．規制情報及び条件情報の例］
図２〜図６に、上下に並べて配置される道路標識に表示される規制情報及び条件情報の例を示す。

図２において、道路標識１０１には、規制情報として、６０ｋｍ／ｈの制限速度が表示されている。また道路標識１０２には、道路標識１０１の適用される環境条件が「路面が濡れている状態」であることを示す条件情報が表示されている。

環境認識部５７は、撮像部１０から出力された撮像画像から路面の濡れ状態を認識する。例えば、環境認識部５７は撮像画像から対向車線を走行する車両のヘッドライトの路面反射を探索し、路面反射が検出されたときには路面が濡れていると判断する。もちろん、上記以外の公知の判断方法で撮像画像から路面の濡れ状態を認識しても良い。

出力制御部５８は、環境認識部５７により路面が濡れていると判断されたときは路面濡れフラグをオンとし、路面が濡れていると判断されていないときは路面濡れフラグをオフとする。そして出力制御部５８は、路面濡れフラグがオンのときに自車両の走行速度が６０ｋｍ／ｈを超えると、表示装置２０に「速度超過」と表示させ、音声出力装置３０に「制限速度は６０キロです」と音声出力をさせる。

また、出力制御部５８は、路面濡れフラグがオンのときには、自動走行制御に上述した規制情報を参照する。例えば、自車両の走行速度が６０ｋｍ／ｈを超えると、自車両の速度が６０ｋｍ／ｈ以下になるよう加減速部６０を減速制御させてもよい。さらに、表示装置２０および音声出力装置３０により報知動作を行わせたうえで、加減速部６０により減速制御を行わせてもよい。

路面濡れフラグがオフのときは、出力制御部５８は、上述した報知動作を禁止して実行させない。また、自動走行制御を行うための情報として上述した規制情報は参照されない。なお、路面濡れフラグがオフのときは報知を行うべき走行速度の閾値が変化するように構成されていてもよい。例えば、路面濡れフラグがオフのときは報知動作を行う基準となる速度を８０ｋｍ／ｈとすることが考えられる。

図３において、道路標識１１１には、規制情報として、６０ｋｍ／ｈの制限速度が表示されている。また道路標識１１２には、道路標識１１１の適用される環境条件が「雨が降っている状態」であることを示す条件情報が表示されている。道路標識１１１が第１の表示体に相当し、道路標識１１２が第２の表示体に相当する。

環境認識部５７は、撮像部１０から出力された撮像画像から雨が降っていることを認識する。例えば、環境認識部５７は撮像画像からウインドスクリーンに付着した雨滴を探索し、雨滴が検出されたときには雨が降っていると判断する。もちろん、上記以外の公知の判断方法で撮像画像から降雨の有無を認識しても良い。

出力制御部５８は、環境認識部５７により雨が降っていると判断されたときは降雨フラグをオンとし、雨が降っていると判断されていないときは降雨フラグをオフとする。そして出力制御部５８は、降雨フラグがオンのときに自車両の走行速度が６０ｋｍ／ｈを超えると、表示装置２０に「速度超過」と表示させ、音声出力装置３０に「制限速度は６０キロです」と音声出力をさせる。

また、出力制御部５８は、降雨フラグがオンのときには、自動走行制御に上述した規制情報を参照する。例えば、自車両の走行速度が６０ｋｍ／ｈを超えると、自車両の速度が６０ｋｍ／ｈ以下になるよう加減速部６０を減速制御させてもよい。さらに、表示装置２０および音声出力装置３０により報知動作を行わせたうえで、加減速部６０により減速制御を行わせてもよい。

降雨フラグがオフのときは、出力制御部５８は、上述した報知動作を禁止して実行させない。また、自動走行制御を行うための情報として上述した規制情報を参照しない。なお、降雨フラグがオフのときは報知を行うべき走行速度の閾値が変化するように構成されていてもよい。

図４において、道路標識１２１には、規制情報として、６０ｋｍ／ｈの制限速度が表示されている。また道路標識１２２には、道路標識１２１の適用される環境条件が「路面が凍結しているおそれがある状態」であることを示す条件情報が表示されている。道路標識１２１が第１の表示体に相当し、道路標識１２２が第２の表示体に相当する。

環境認識部５７は、撮像部１０から出力された撮像画像から路面が凍結しているおそれがあることを認識する。例えば、環境認識部５７は撮像画像から路面の白線部分以外の白画素の割合を算出し、所定の閾値以上の割合で白画素が存在していれば凍結のおそれがあると判断する。もちろん、上記以外の公知の判断方法で撮像画像から凍結のおそれの有無を認識しても良い。

出力制御部５８は、環境認識部５７により路面が凍結しているおそれがあると判断されたときは凍結フラグをオンとし、路面が凍結しているおそれがあると判断されていないときは凍結フラグをオフとする。そして出力制御部５８は、凍結フラグがオンのときに自車両の走行速度が６０ｋｍ／ｈを超えると、表示装置２０に「速度超過」と表示させ、音声出力装置３０に「制限速度は６０キロです」と音声出力をさせる。

また、出力制御部５８は、凍結フラグがオンのときには、自動走行制御に上述した規制情報を参照する。例えば、自車両の走行速度が６０ｋｍ／ｈを超えると、自車両の速度が６０ｋｍ／ｈ以下になるよう加減速部６０を減速制御させてもよい。また、エンジン出力の急激な変化を禁止し、スリップが起きにくい運転モードに切り替えてもよい。さらに、表示装置２０および音声出力装置３０により報知動作を行わせたうえで、加減速部６０により減速制御を行わせてもよい。

凍結フラグがオフのときは、出力制御部５８は、上述した報知動作を禁止して実行させない。また、自動走行制御を行うための情報として上述した規制情報を参照しない。なお、凍結フラグがオフのときは報知を行うべき走行速度の閾値が変化するように構成されていてもよい。

図５において、道路標識１３１には、規制情報として、追い越し禁止であることが表示されている。また道路標識１３２には、トラクタは追い越してもよいことが表示されている。つまり道路標識１３２には、追い越しの対象となる車両がトラクタ以外であること、すなわち、道路標識１３１の適用される環境条件が「自車両の前方に位置する車両がトラクタ以外」であることを示す条件情報が表示されている。道路標識１３１が第１の表示体に相当し、道路標識１３２が第２の表示体に相当する。

環境認識部５７は、撮像部１０から出力された撮像画像から、自車両の前方を走行する車両がトラクタであることを認識する。トラクタの認識方法は、例えば、公知のパターンマッチングにより実行することができる。もちろん、上記以外の公知の判断方法で撮像画像から自車両前方のトラクタの存在を認識しても良い。

出力制御部５８は、環境認識部５７により自車両の前方を走行する車両がトラクタ以外であると判断されたときは、一般車両フラグをオンとし、表示装置２０に「追い越し禁止」と表示させる。

また、出力制御部５８は、一般車両フラグがオンのときには、自動走行制御に上述した規制情報を参照する。即ち、自動走行制御において前方を走行する車両の追い越しを禁止する。よって、例えば前方を走行する車両の走行速度が遅ければ、その速度に合わせるように加減速部６０を減速制御させてもよい。さらに、表示装置２０および音声出力装置３０により報知動作を行わせたうえで、加減速部６０により減速制御を行わせてもよい。

なお、この表示は、自車両が先行車両に対して所定の距離以下に接近していることや、自車両が先行車両に対して急速に接近していることを更なる条件とし、この条件をも満たしたときに表示するように構成してもよい。その場合には、音声出力装置３０に「追い越し禁止です」と音声出力をさせてもよい。なお、自車両と先行車両との距離や接近の認識は、撮像部１０の撮像画像から検出することができるが、赤外線レーザーやミリ波レーダーなどを用いてもよい。

また出力制御部５８は、環境認識部５７により自車両の前方を走行する車両がトラクタであると判断されているときは、一般車両フラグをオフとし、表示装置２０に「追い越し可能」と相対的に小さく表示させる。また、一般車両フラグがオフの場合には報知動作を禁止して実行しない構成であってもよい。

また、出力制御部５８は、一般車両フラグがオフのとき、即ち前方車両がトラクタであると判断されたときは、追い越し禁止ではないので、トラクタを追い越すための自動走行制御を行ってもよい。例えば、まず操舵装置７０に対して隣接車線に車線変更を行うようにタイヤの切れ角を設定させる制御信号を出力し、加減速部６０に対して加速を実行させる制御信号を出力し、隣接車線においてトラクタの追い越しを確認した後に、操舵装置７０に対して元の車線へ車線変更するようにタイヤの切れ角を設定させる制御信号を出力する自動走行制御を行ってもよい。さらに、表示装置２０および音声出力装置３０により報知動作を行わせたうえで、加減速部６０および操舵装置７０の動作を制御してトラクタを追い越すための走行制御を行ってもよい。

図６において、道路標識１４１は６０ｋｍ／ｈの制限速度を示す道路標識である。また道路標識１４２は、夜間において、４０ｋｍ／ｈの制限速度を示す道路標識である。つまり道路標識１４２においては、「４０」が表示される下部１４４が、規制情報として制限速度を表示しており、「ＮＩＧＨＴ」が表示される上部１４３が、環境条件が「夜間」であることを示す条件情報を表示している。

道路標識１４２が、第１の表示体及び第２の表示体に相当する。つまりこの例では、第１の表示体と第２の表示体とが同一の表示体である。
環境認識部５７は、撮像部１０から出力された撮像画像から、夜間であることを認識する。例えば、環境認識部５７は撮像画像における天空領域の明るさに基づいて昼夜のいずれであるかを判断する。もちろん、上記以外の公知の判断方法で撮像画像から夜間であることを認識しても良い。

出力制御部５８は、環境認識部５７により夜間であると判断されたときは夜間フラグをオンとし、夜間であると判断されていないときは夜間フラグをオフとする。そして出力制御部５８は、夜間フラグがオンのときに自車両の走行速度が４０ｋｍ／ｈを超えると、表示装置２０に「速度超過」と表示させ、音声出力装置３０に「制限速度は４０キロです」と音声出力をさせる。

また、出力制御部５８は、夜間フラグがオンのときには、制限速度を４０ｋｍ／ｈとして自動走行制御を行う。表示装置２０および音声出力装置３０により報知動作を行わせたうえで、自動走行制御を実行させてもよい。

一方、出力制御部５８は、夜間フラグがオフのときには自車両の走行速度が６０ｋｍ／ｈを超えると、表示装置２０に「速度超過」と表示させ、音声出力装置３０に「制限速度は６０キロです」と音声出力をさせる。また、制限速度を６０ｋｍ／ｈとして自動走行制御を行う。

［１−３．処理］
次に、情報処理装置５０のＣＰＵ５１が実行する処理について説明する。
まず、出力制御部５８による第１の制御である報知動作を実行する報知処理について、図７のフローチャートを用いて説明する。本処理は、アクセサリー電源がオンである間、繰り返し実行される。

まずＳ１では、ＣＰＵ５１は、撮像部１０の撮像画像から、規制情報を認識する。ここでは、上述したように、撮像画像に対してパターンマッチングを行うことにより規制情報が表示される道路標識を検出し、当該道路標識に表示される規制情報を認識する。この処理が、上述した規制認識部５５による処理である。

Ｓ２では、ＣＰＵ５１は、撮像部１０の撮像画像から、条件情報を認識する。ここでは、上述したように、撮像画像に対してパターンマッチングを行うことにより条件情報が表示される道路標識を検出し、当該道路標識に表示される条件情報を認識する。このＳ２の処理が、上述した条件認識部５６による処理である。

なお、認識された規制情報と条件情報との関連付けは、それらが同一の道路標識に表示されている場合を除き、規制情報が表示される道路標識と、条件情報が表示される道路標識と、の位置関係により判断することができる。

具体的には、実際の位置において、規制情報を表示する道路標識の周辺、特に下方に位置する道路標識が条件情報を表示しているときには、当該条件情報は、その上側にある道路標識に表示される規制情報に示される規制を適用するための環境条件が示される条件情報であると判断される。

規制情報と条件情報との関連付けを行う方法は、上述した方法に限定されない。例えば、横方向や上下方向に並ぶ道路標識それぞれに表示される規制情報と条件情報とを関連付けるように構成されていてもよい。

なお、Ｓ１及びＳ２によって認識する規制情報及び条件情報は、図示しないナビゲーション装置やスマートフォンなどの地図情報をもつ端末から取得した情報によって補完してもよい。

Ｓ３では、ＣＰＵ５１は、撮像部１０の撮像画像から、周囲環境の認識を行う。この処理が、上述した環境認識部５７による処理である。
Ｓ４では、ＣＰＵ５１は、Ｓ２にて認識した条件情報に示される環境条件を、Ｓ３にて認識された自車両の周囲環境が満たすか否かを判定する。このＳ４にて、上述した環境条件を自車両の周囲環境が満たすと判定されれば、処理がＳ５に移行する。一方、上述した環境条件を自車両の周囲環境が満たすと判定されなければ、処理がＳ６に移行する。

Ｓ５では、ＣＰＵ５１は、Ｓ４にて満たすと判定された環境条件に関する環境フラグをオンとする。その後、処理がＳ７に移行する。またＳ６では、ＣＰＵ５１は、Ｓ４にて満たさないと判定された環境条件に関する環境フラグをオフとする。その後、処理がＳ７に移行する。

Ｓ７では、ＣＰＵ５１は、自車両の走行状態を検出する。ここでいう走行状態とは、道路標識により表示される規制情報に示される規制に違反すること、及びその規制に違反する可能性が高まっていることのいずれかを判断する材料となる車両の状態である。

例えば、車両が制限速度を違反しているか否かの判断を行うための走行状態として、車両の走行速度を検出することが考えられる。また、車両が追い越し禁止の区間で追い越しを行う可能性を判断するための走行状態として、先行車両との間隔や、先行車両に対する接近速度を検出することが考えられる。

上述した走行状態は図２〜図６に示した道路標識に対応する走行状態の例であるが、もちろんこれら以外の走行状態を検出してもよい。例えば規制の内容が指定方向外進行禁止や駐停車禁止である場合には、走行速度のほか、車両の操舵角、ウインカーの点滅状態、ブレーキ操作量、車両の積算回転量などを検出することが考えられる。

Ｓ８では、ＣＰＵ５１は、報知動作を表示装置２０及び音声出力装置３０に実行させる。このときの具体的な報知動作の態様は、Ｓ５又はＳ６において設定された環境フラグのオン及びオフの状態と、Ｓ７にて検出した走行状態と、に基づいて変化する。

例えば、Ｓ１及びＳ２にて図２に示す道路標識１０１及び道路標識１０２が認識された場合は、自車両の走行速度が６０ｋｍ／ｈを超えており、かつ路面濡れフラグがオンであるときに、ＣＰＵ５１は、表示装置２０及び音声出力装置３０に報知動作を実行させる。一方、自車両の走行速度が６０ｋｍ／ｈ以下である場合、及び路面濡れフラグがオフである場合には、ＣＰＵ５１は報知動作を禁止して実行させない。

また例えば、Ｓ１及びＳ２にて図５に示す道路標識１３１及び道路標識１３２が認識された場合は、自車両が追い越しを行う可能性が高く、かつ一般車両フラグがオンであるときに、ＣＰＵ５１は、表示装置２０及び音声出力装置３０に報知動作を実行させる。自車両が追い越しを行う可能性が高い走行状態とは、例えば、自車両が先行車両に対して所定の距離以下に接近しており、かつ、自車両が先行車両へ所定の速度以上で接近している状態が例示される。

一方、自車両が追い越しを行う可能性が低い場合、又は一般車両フラグがオフである場合には、ＣＰＵ５１は報知動作を禁止して実行させない。
また例えば、Ｓ１及びＳ２にて図６に示す道路標識１４１及び道路標識１４２が認識された場合は、夜間フラグのオン、オフによって報知動作の態様が変化する。

夜間フラグがオンである場合には、ＣＰＵ５１は、自車両の走行速度が４０ｋｍ／ｈを超えている場合に表示装置２０及び音声出力装置３０による報知動作を実行させ、上記速度を超えていない場合には報知動作を禁止して実行させない。

また夜間フラグがオフである場合には、ＣＰＵ５１は、自車両の走行速度が６０ｋｍ／ｈを超えている場合に表示装置２０及び音声出力装置３０による報知動作を実行させ、上記速度を超えていない場合には報知動作を禁止して実行させない。

このＳ８の後、本処理は終了する。上述したＳ４〜Ｓ８の処理が、上述した出力制御部５８による処理である。
次に、出力制御部５８による第２の制御である自動走行制御を実行するときに参照される規制情報を設定する規制情報設定処理について、図８のフローチャートを用いて説明する。本処理は、自動走行制御の開始とともに開始され、自動走行制御を実行中、繰り返し実行される。

本処理におけるＳ１〜Ｓ６の処理は、図７のＳ１〜Ｓ６の処理と同じ処理であるため、説明を省略する。
Ｓ５の後、処理がＳ１１に移行する。Ｓ１１では、ＣＰＵ５１は、メモリ５２に記憶される、自動走行制御にて参照する規制情報に、Ｓ１にて認識した規制情報を追加する。その後、本処理を終了する。

またＳ６の後、処理がＳ１２に移行する。Ｓ１２では、ＣＰＵ５１は、メモリ５２に記憶される、自動走行制御にて参照する規制情報の中から、Ｓ１１にて認識した規制情報を削除する。その後、本処理を終了する。

［１−４．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（１ａ）本実施形態の情報処理システム１は、撮像画像に基づいて環境条件を示す条件情報を認識すると共に、撮像画像に基づいて車両の周囲の環境を認識する。つまり、撮像部１０からの出力のみに基づいて周囲の環境が環境条件を満たしているか否かを判断することが可能になる。よって、撮像部１０以外のセンサを必要とせずに周囲環境を認識し、適切な報知を実行することができる。

仮に、車両に周囲の環境を認識することができるセンサが搭載されていたとしても、情報処理システム１で使用しなければ、システム全体の煩雑化の抑制を図ることができる。
もちろん、撮像部１０以外のセンサを情報処理システム１に利用してもよい。撮像画像から得られた周囲の環境と、他のセンサによって得られた情報と、を組み合わせることで環境認識の精度の向上を図ることができる。このように環境認識の精度を高めたい場合であっても、撮像部１０を環境を認識するためのセンサの１つとして用いることで、システム全体の構成の煩雑化を抑制することができる。

また撮像画像からは判断できない情報をセンサで検出することで、周囲の環境についてより多くの情報を取得することが可能となる。
（１ｂ）本実施形態の情報処理システム１は、環境条件を満たすか否か、のみでなく、走行状態が規制に違反しているか否か、にも基づいて報知の必要性を判断しており、報知が必要な場合には報知を実行し、報知の必要でない場合には報知を実行しない。よって、運転者は報知が必要な場合には規制情報を認識することができる一方、報知が必要でない場合に規制情報を誤認識してしまう危険を低減できる。

（１ｃ）本実施形態の情報処理システム１は、自動走行制御を実行する際に、撮像画像に基づいて周囲環境を認識して、適切な規制情報を参照する。よって、撮像部１０以外のセンサを必要とせずに、適切な自動走行制御を実行することができる。

［２．他の実施形態］
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（２ａ）上記実施形態では、図７のＳ１にて認識される規制情報に示される規制の内容として、制限速度及び追い越し禁止を例示したが、これら以外の規制を示す規制情報が認識され、Ｓ２以降の処理が実行される構成であってもよい。

（２ｂ）上記実施形態では、図７のＳ２にて認識される条件情報に示される環境条件の内容として、濡れや凍結などの道路の状況、天候、周囲の明るさ、先行車両の種類を例示したが、これら以外の環境条件を示す条件情報が認識され、Ｓ３以降の処理が実行される構成であってもよい。

（２ｃ）上記実施形態では、図２〜図４に示す道路標識を認識した際には、自車両の周囲の環境が環境条件を満たし、かつ、自車両の走行状態が規制情報の内容に違反するときに報知動作が行われる構成を例示した。しかしながら、自車両の走行状態にかかわらず、環境条件を満たしたことを条件として報知動作が行われる構成であってもよい。

具体例を説明する。図２の道路標識を認識した場合において、出力制御部５８は、路面濡れフラグがオンのときは表示装置２０に「制限速度６０ｋｍ／ｈ」と大きい文字で表示させ、音声出力装置３０に「制限速度は６０キロです」と音声出力をさせる。また出力制御部５８は、路面濡れフラグがオフのときは、表示装置２０に「路面が濡れている場合には制限速度６０ｋｍ／ｈです」と小さい文字で表示させる。

このように構成された情報処理システム１でも、システムの煩雑化及び誤解の発生を抑制しつつ、運転者に適切な情報を提供することができる。
（２ｄ）上記実施形態では、環境条件を満たすか否かなどに応じて異なる態様の報知動作を実行する構成を説明した。具体的には、表示装置２０及び音声出力装置３０による報知動作を実行する態様と実行しない態様とを例示した。しかしながら、報知動作の態様を異ならせる具体的な手法は上記の例に限定されない。

例えば、環境条件を満たすか否かなどに応じて、報知の明確性を変化させてもよい。具体的には、報知の必要性が高い場合には、表示装置２０により、明るく、大きく、見やすい位置に画像が表示され、音声出力装置３０により大きな音で音声出力される構成が考えられる。

（２ｅ）上記実施形態では、１つの撮像部１０にて撮影された撮像画像に基づいて規制情報、条件情報、及び車両の周囲の環境を認識する構成を例示したが、複数の撮像部の撮影した撮像画像に基づいて上述した処理を実行する構成であってもよい。

複数の撮像部を用いる場合、それぞれの撮像部が全く異なる方向を撮像する構成であってもよいし、それぞれの撮像部が隣接した、或いは同一の領域を撮像する構成であってもよい。

また撮像部として、複数のイメージセンサを有するステレオカメラのように同一の対象物を異なる複数の位置から撮影するカメラを用いてもよい。
なお、１つのイメージセンサを備える１つの撮像部の撮像画像に基づいて規制情報、環境条件、及び周囲環境などの情報を検出する構成とした場合には、情報処理システム１の構成をより単純なものとすることができる。

（２ｆ）上記実施形態では、規制情報に関する情報を報知する報知動作として、車両の走行状態が規制情報に示される規制に違反している旨を表示装置２０に表示させ、規制情報の内容を音声出力により音声出力装置３０に出力させる構成を例示した。しかしながら報知動作において報知される内容は、規制情報に関する情報を報知する構成であれば特に限定されず、様々な装置を用いて様々な情報を報知することができる。

例えば、規制情報に関する情報として、認識した規制情報そのものを示す画像を表示装置２０に表示させる構成であってもよい。ここで示される画像とは、認識した道路標識として予めメモリ５２に記憶されている道路標識の画像や、撮像部１０により撮像された撮像画像における道路標識が示される領域を切り取った画像などが該当する。また、規制情報に関する情報として、規制情報の内容を示す文章を表示装置２０にて表示してもよい。

また、車両の走行状態が規制情報の内容に違反している旨を、音声出力装置３０にて出力する構成であってもよい。
また、表示装置２０及び音声出力装置３０のうち、いずれか一方のみを用いて報知動作を行うように構成されていてもよい。

（２ｇ）上記実施形態では、規制情報が表示される第１の表示体及び条件情報が表示される第２の表示体の例として道路標識を例示したが、道路標識以外の表示体から規制情報及び条件情報を認識する構成であってもよい。

（２ｈ）上記実施形態では、自動走行制御として、車両の操舵及び速度の制御を出力制御部５８が行い、運転者の操作を必要とせずに航行する制御を例示し、その自動走行制御において、認識した規制情報を参照する構成を例示した。しかしながら、この自動走行制御は、運転者により運転操作の一部が実行されるものであってもよい。例えば出力制御部５８は加減速部６０の制御のみを実行し、操舵は運転者が実行する構成において、出力制御部５８による制御を、認識した規制情報に基づいて実行する構成とすることが考えられる。

（２ｉ）上記実施形態においては、所定の出力を行う出力実行部として、表示装置２０、音声出力装置３０、加減速部６０、操舵装置７０を例示したが、出力制御部５８により出力が制御される装置はこれらに限定されない。所定の出力として、認識された規制情報に応じた出力を実行することができる、さまざまな装置を出力実行部として採用することができる。

（２ｊ）上述した情報処理装置５０は、車両から持ち出すことができ、情報処理装置５０を車両内に持ち込んだ状態で、他の構成要素と有線又は無線で接続して情報処理システム１として機能するように構成されていてもよい。

また上述した情報処理装置５０は、その機能が複数のハードウェアに分散して配置されていてもよい。
（２ｋ）上記実施形態におけるＭ個の構成要素が有する機能をＮ個の構成要素として分散させたり、Ｎ個の構成要素が有する機能をＭ個の構成要素に統合させたりしてもよい。なお上記Ｍは１以上の整数であり、ＮはＭより大きい整数である。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（２ｌ）上述した情報処理システム１の他、当該情報処理システム１の構成要素である情報処理装置５０、当該情報処理装置５０としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、出力制御方法など、種々の形態で本発明を実現することもできる。

１…情報処理システム、１０…撮像部、２０…表示装置、３０…音声出力装置、５０…情報処理装置、５５…規制認識部、５６…条件認識部、５７…環境認識部、５８…出力制御部、６０…加減速部、７０…操舵装置、１０１，１０２，１１１，１１２，１２１，１２２，１３１，１３２，１４２…道路標識

Claims (9)

1. 車両の外部を撮像する撮像部（１０）と、
   前記車両の外部に配置された第１の表示体（１０１、１１１、１２１、１３１、１４２）に表示される情報であって前記車両の走行の規制を示す情報である規制情報を、前記撮像部により撮像された撮像画像から認識する規制認識部（５５）と、
   前記車両の外部に配置された第２の表示体（１０２、１１２、１２２、１３２、１４２）に表示される情報であって、前記規制認識部により認識された前記規制情報に示される規制が適用される条件であり、かつ、前記車両の周囲の環境に関する条件である環境条件を示す情報である条件情報を、前記撮像部により撮像された撮像画像から認識する条件認識部（５６）と、
   前記撮像部により撮像された撮像画像から、前記車両の周囲の環境であって、前記環境条件に係る環境を認識する環境認識部（５７）と、
   所定の出力を行う出力実行部（２０、３０、６０、７０）と、
   前記出力実行部による前記出力を制御する出力制御部（５８）と、を備え、
   前記環境条件とは、道路の状況、天候、周囲の明るさ、及び、先行車両の種類、のうちの少なくとも１つに関する条件を含み、
   前記出力制御部は、前記環境認識部により認識された前記車両の周囲の環境が前記条件認識部により認識された前記条件情報に示される前記環境条件を満たすときには、前記規制認識部により認識された前記規制情報に基づいて前記出力実行部の制御を行う、情報処理システム（１）。
2. 請求項１に記載の情報処理システムであって、
   前記出力制御部は、前記車両の走行状態が前記規制情報に示される規制に違反するか否かに応じて前記出力が異なるように出力実行部を制御する、情報処理システム。
3. 請求項１又は請求項２に記載の情報処理システムであって、
   前記出力実行部は、前記規制認識部により認識された前記規制情報に関する情報を前記車両の運転者に報知するための出力を行う報知実行部（２０、３０）を含み、
   前記出力制御部は、前記環境認識部により認識された前記車両の周囲の環境が前記条件認識部により認識された前記条件情報に示される前記環境条件を満たすか否かに応じて異なる態様の前記出力を前記報知実行部に実行させる、情報処理システム。
4. 請求項３に記載の情報処理システムであって、
   前記出力制御部は、前記環境認識部により認識された前記車両の周囲の環境が前記条件認識部により認識された前記条件情報に示される前記環境条件を満たさないときには、前記報知実行部に前記出力を禁止させる、情報処理システム。
5. 請求項１から請求項４のいずれか１項に記載の情報処理システムであって、
   前記出力実行部は、前記車両の走行を制御するための出力を行う走行制御部（６０、７０）を含む、情報処理システム。
6. 請求項１から請求項５のいずれか１項に記載の情報処理システムであって、
   前記条件認識部は、実際の位置において前記第１の表示体の周辺に位置する前記第２の表示体に表示される前記条件情報に示される前記環境条件を、前記第１の表示体に表示される前記規制情報に示される規制が適用される前記環境条件として認識する、情報処理システム。
7. 請求項１から請求項５のいずれか１項に記載の情報処理システムであって、
   前記第１の表示体及び前記第２の表示体は同一の表示体である場合を含み、
   前記規制認識部は、前記同一の表示体から前記規制情報を認識し、
   前記条件認識部は、前記同一の表示体から前記条件情報を認識する、情報処理システム。
8. 車両の外部を撮像する撮像部（１０）により撮像された撮像画像から、前記車両の外部に配置された第１の表示体（１０１、１１１、１２１、１３１、１４２）に表示される情報であって前記車両の走行の規制を示す情報である規制情報を認識する規制認識部（５５）と、
   前記車両の外部に配置された第２の表示体（１０２、１１２、１２２、１３２、１４２）に表示される情報であって、前記規制認識部により認識された前記規制情報に示される規制が適用される条件であり、かつ、前記車両の周囲の環境に関する条件である環境条件を示す情報である条件情報を、前記撮像部により撮像された撮像画像から認識する条件認識部（５６）と、
   前記撮像部により撮像された撮像画像から、前記車両の周囲の環境であって、前記環境条件に係る環境を認識する環境認識部（５７）と、
   所定の出力を行う出力実行部（２０、３０、６０、７０）による前記出力を制御する出力制御部（５８）と、を備え、
   前記環境条件とは、道路の状況、天候、周囲の明るさ、及び、先行車両の種類、のうちの少なくとも１つに関する条件を含み、
   前記出力制御部は、前記環境認識部により認識された前記車両の周囲の環境が前記条件認識部により認識された前記条件情報に示される前記環境条件を満たすときには、前記規制認識部により認識された前記規制情報に基づいて前記出力実行部の制御を行う、情報処理装置（５０）。
9. 所定の出力を行う出力実行部（２０、３０、６０、７０）の制御を行う出力制御方法であって、
   車両の外部を撮像する撮像部（１０）により撮像された撮像画像から、（ｉ）前記車両の外部に配置された第１の表示体（１０１、１１１、１２１、１３１、１４２）に表示される情報であって前記車両の走行の規制を示す情報である規制情報と、（ｉｉ）前記車両の外部に配置された第２の表示体（１０２、１１２、１２２、１３２、１４２）に表示される情報であって、前記規制情報に示される規制が適用される条件であり、かつ、前記車両の周囲の環境に関する条件であり、道路の状況、天候、周囲の明るさ、及び、先行車両の種類、のうちの少なくとも１つに関する条件を含む環境条件を示す情報である条件情報と、（ｉｉｉ）前記車両の周囲の環境と、を認識し、
   前記車両の周囲の環境が前記条件情報に示される前記環境条件を満たすときには、前記規制情報に基づいて前記出力実行部の制御を行う、出力制御方法。