JP6888694B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP6888694B2 JP6888694B2 JP2019562690A JP2019562690A JP6888694B2 JP 6888694 B2 JP6888694 B2 JP 6888694B2 JP 2019562690 A JP2019562690 A JP 2019562690A JP 2019562690 A JP2019562690 A JP 2019562690A JP 6888694 B2 JP6888694 B2 JP 6888694B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- occupants
- information processing
- sensing
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01G—WEIGHING
- G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
- G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
- G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
- G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
- G01G19/4142—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only for controlling activation of safety devices, e.g. airbag systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Transportation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
道路を通行している車両をセンシングして得たセンシング結果を解析することにより、当該車両の乗員数および当該乗員数の確信度を算出する算出手段と、
解析の結果として所定の基準を満たさない前記乗員数の確信度が算出された前記センシング結果を選択する選択手段と、
前記選択手段により選択された前記センシング結果を、他の前記センシング結果と区別可能な状態にする処理手段と、
を備え、
前記算出手段は、
前記車両の座席毎に人物が存在すると判断したときの信頼度を算出し、
前記座席毎の信頼度を用いて前記車両の乗員数として可能性のある数毎に確信度を算出する、
情報処理装置が提供される。
少なくとも1台のコンピュータが、
道路を通行している車両をセンシングして得たセンシング結果を解析することにより、
前記車両の乗員数を算出し、
前記車両の座席毎に人物が存在すると判断したときの信頼度を算出し、
前記座席毎の信頼度を用いて前記車両の乗員数として可能性のある数毎に確信度を算出し、
解析の結果として所定の基準を満たさない前記乗員数の確信度が算出された前記センシング結果を選択し、
前記選択された前記センシング結果を、他の前記センシング結果と区別可能な状態にする、
ことを含む情報処理方法が提供される。
コンピュータに、上記情報処理方法を実行させるプログラムが提供される。
〔概要〕
図1は、本発明に係る情報処理装置10の動作を概念的に示す図である。なお、図1は、情報処理装置10の動作の理解を容易にすることを目的とする単なる例示である。よって、情報処理装置10の動作は図1によって何ら限定されない。
乗員数算出フェーズにおいて、情報処理装置10は、まず、車両Vのセンシング結果を取得する。ここで、車両Vのセンシング結果は、カメラ、マイク、ミリ波レーダーなどのセンシング装置20により生成される。なお、図1に例示されているセンシング装置20はカメラである。この場合のセンシング結果は車両Vの画像である。図1の例では、センシング装置20は、車両Vを側面から撮影した画像P1〜Pnを生成している。そして、情報処理装置10は、取得した車両Vのセンシング結果を解析することによって、当該車両Vの乗員数及び当該乗員数の確信度を算出する。そして、情報処理装置10は、算出した車両Vの乗員数及び当該乗員数の確信度(解析結果)を、解析で使用したセンシング結果と対応付けて所定の解析結果データベース30に記憶する。なお、解析結果データベース30は、情報処理装置10または情報処理装置10と通信可能な外部装置(図示せず)に構築される。
解析結果確認フェーズにおいて、情報処理装置10は、データベース30を参照し、所定の基準を満たさない確信度が対応付けられているセンシング結果を選択する。そして、情報処理装置10は、選択したセンシング結果を、他のセンシング結果(基準を満たす確信度が対応付けられているセンシング結果)と区別可能な状態にする。例えば、情報処理装置10は、図1に例示されるようなリストLを表示することができる。図1に例示されるリストでは、情報処理装置10により選択されたセンシング結果に特別なマークが付されている。また、図1に例示されるリストでは、情報処理装置10により選択されたセンシング結果に対応する行の背景色が、その他のセンシング結果に対応する行の背景色と異なっている。
図2は、情報処理装置10の機能構成を概念的に示すブロック図である。図2に示されるように、情報処理装置10は、算出部110、選択部120、および処理部130を有する。
情報処理装置10の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置10の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
以下、情報処理装置10により実行される処理の流れについて説明する。図4は、情報処理装置10によって実行される処理の流れを例示するフローチャートである。算出部110は、センシング装置20により生成された車両のセンシング結果を用いて、当該車両の乗員数および当該乗員数の確信度を算出する(S102)。算出部110は、車両の乗員数および当該乗員数の確信度を、それらを算出した際に用いたセンシング結果と対応付けて解析結果データベース30に記憶する。なお、解析結果データベース30は、例えばストレージデバイス1040上に用意されている。そして、選択部120は、所定の基準を満たしていない確信度が対応付けられているセンシング結果を選択する(S104)。一例として、所定の基準は、確信度について予め設定された閾値であり、例えばストレージデバイス1040に予め記憶されている。この場合、選択部120は、ストレージデバイス1040から閾値を読み出し、当該閾値と各センシング結果に対応付けられている確信度とを比較する。そして、選択部120は、比較の結果として、閾値よりも低い確信度が対応付けられているセンシング結果を特定する。そして、処理部130は、選択部120により選択されたセンシング結果を、他のセンシング結果と区別可能にする(S106)。処理部130は、例えば、図1のリストLで示されるように、対応付けられた確信度が基準を満たしていないセンシング結果に所定のマークを付したり、当該センシング結果に対応する行の背景色を変えたりする。これにより、対応付けられた確信度が基準を満たしていないセンシング結果が、他のセンシング結果と区別可能になる。なお、処理部130は、算出部110により算出された確信度と所定の基準との乖離度合いに応じて、マークや背景色などを異ならせるように構成されていてもよい。
算出部110は、センシング装置20により生成された車両のセンシング結果を用いて、当該車両の座席毎に人物が存在すると判断したときの信頼度を算出する。例えば、センシング装置20が撮像装置の場合、算出部110は、1台の撮像装置で撮影された複数のフレーム画像、或いは、2台以上の撮像装置で多角的に撮影された複数の画像を、解析対象のセンシング結果として取得することができる。ここで、複数の画像を用いる場合、乗員数を算出するためには、各画像での処理結果を統合する必要がある。例えば、ある画像を処理することでカウントされた人物が他の画像に存在するか否か、また、処理対象の画像の中に未だカウントされていない人物が存在するか否かを判別する必要がある。算出部110は、各画像での処理結果を統合する関数(以下、「統合関数」と表記)を用いて、複数の画像での処理結果を基に、最終的な乗員数を算出することができる。特に限定されないが、統合関数の具体例としては、車両の移動距離に基づいて同一人物を判定する関数、画像中の人物と判定された領域間の距離により同一人物を判定する関数、画像中で人物の顔と判定された領域の座標が車両内か車両外かによって車両の乗員か否かを判定する関数、人物の顔の高さの平均値との差分を基に車両の乗員か否かを判定する関数、顔検出処理で顔と判定された領域に対してヘッドレストか否かを判定する処理を適用する関数、顔検出スコア(顔としての確からしさ)と顔の検出回数を算出する関数などである。
ついで、上述のように算出された座席毎の信頼度を用いて、車両の乗員数として可能性のある数別に確信度を算出するスキームについて例示的に説明する。
算出部110は、例えば、モデルパラメータαi、βi、およびγi,jを、下記の式(3)で示されるエラー関数E(θ)を最小化するようなθを求めることにより決定することができる。下記の式(3)において、xpおよびn’は学習データを示す。また、tpは、事前に決められた式(2)の出力の目標値である。
1.
道路を通行している車両をセンシングして得たセンシング結果を解析することにより、当該車両の乗員数および当該乗員数の確信度を算出する算出手段と、
解析の結果として所定の基準を満たさない前記乗員数の確信度が算出された前記センシング結果を選択する選択手段と、
前記選択手段により選択された前記センシング結果を、他の前記センシング結果と区別可能な状態にする処理手段と、
を備え、
前記算出手段は、
前記車両の座席毎に人物が存在すると判断したときの信頼度を算出し、
前記座席毎の信頼度を用いて前記車両の乗員数として可能性のある数毎に確信度を算出する、
情報処理装置。
2.
前記算出手段は、少なくとも1台の撮像装置を用いて撮像された複数の画像を用いて、前記席毎の信頼度を算出する、
1.に記載の情報処理装置。
3.
前記算出手段は、BBN(Bayesian Belief Network)を用いて、前記席毎の信頼度を算出する、
1.または2.に記載の情報処理装置。
4.
前記算出手段は、下記の式(1)から得られる尤度分布を、ベイズの定理を用いて確信度に変換する、
1.から3.のいずれか1つに記載の情報処理装置。
5.
少なくとも1台のコンピュータが、
道路を通行している車両をセンシングして得たセンシング結果を解析することにより、
前記車両の乗員数を算出し、
前記車両の座席毎に人物が存在すると判断したときの信頼度を算出し、
前記座席毎の信頼度を用いて前記車両の乗員数として可能性のある数毎に確信度を算出し、
解析の結果として所定の基準を満たさない前記乗員数の確信度が算出された前記センシング結果を選択し、
前記選択された前記センシング結果を、他の前記センシング結果と区別可能な状態にする、
ことを含む情報処理方法。
6.
前記コンピュータが、少なくとも1台の撮像装置を用いて撮像された複数の画像を用いて、前記座席毎の信頼度を算出する、
ことを更に含む5.に記載の情報処理方法。
7.
前記コンピュータが、BBN(Bayesian Belief Network)を用いて、前記座席毎の信頼度を算出する、
ことを更に含む5.または6.に記載の情報処理方法。
8.
前記コンピュータが、下記の式(1)から得られる尤度分布を、ベイズの定理を用いて確信度に変換する、
ことを更に含む5.から7.のいずれか1つに記載の情報処理方法。
9.
少なくとも1台のコンピュータに、5.から8.のいずれか1つに記載の情報処理方法を実行させるプログラム。
Claims (6)
- 道路を通行している車両をセンシングして得たセンシング結果を解析することにより、当該車両の乗員数および当該乗員数の確信度を算出する算出手段と、
解析の結果として所定の基準を満たさない前記乗員数の確信度が算出された前記センシング結果を選択する選択手段と、
前記選択手段により選択された前記センシング結果を、他の前記センシング結果と区別可能な状態にする処理手段と、
を備え、
前記算出手段は、
前記車両の座席毎に人物が存在すると判断したときの信頼度を算出し、
前記座席毎の信頼度を用いて前記車両の乗員数として可能性のある数毎に確信度を算出する、
情報処理装置。 - 前記算出手段は、少なくとも1台の撮像装置を用いて撮像された複数の画像を用いて、前記座席毎の信頼度を算出する、
請求項1に記載の情報処理装置。 - 前記算出手段は、BBN(Bayesian Belief Network)を用いて、前記座席毎の信頼度を算出する、
請求項1または2に記載の情報処理装置。 - 少なくとも1台のコンピュータが、
道路を通行している車両をセンシングして得たセンシング結果を解析することにより、
前記車両の乗員数を算出し、
前記車両の座席毎に人物が存在すると判断したときの信頼度を算出し、
前記座席毎の信頼度を用いて前記車両の乗員数として可能性のある数毎に確信度を算出し、
解析の結果として所定の基準を満たさない前記乗員数の確信度が算出された前記センシング結果を選択し、
選択された前記センシング結果を、他の前記センシング結果と区別可能な状態にする、
ことを含む情報処理方法。 - 少なくとも1台のコンピュータに、請求項5に記載の情報処理方法を実行させるプログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/047301 WO2019130562A1 (ja) | 2017-12-28 | 2017-12-28 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019130562A1 JPWO2019130562A1 (ja) | 2020-12-24 |
| JP6888694B2 true JP6888694B2 (ja) | 2021-06-16 |
Family
ID=67066884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019562690A Active JP6888694B2 (ja) | 2017-12-28 | 2017-12-28 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11338753B2 (ja) |
| EP (1) | EP3734571B1 (ja) |
| JP (1) | JP6888694B2 (ja) |
| AU (1) | AU2017444732B2 (ja) |
| CA (1) | CA3087142A1 (ja) |
| WO (1) | WO2019130562A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230245461A1 (en) * | 2020-03-16 | 2023-08-03 | Nec Corporation | Situation notification device, situation notification system, situation notificationmethod, and program storage medium |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6801662B1 (en) * | 2000-10-10 | 2004-10-05 | Hrl Laboratories, Llc | Sensor fusion architecture for vision-based occupant detection |
| AU2003219926A1 (en) * | 2002-02-26 | 2003-09-09 | Canesta, Inc. | Method and apparatus for recognizing objects |
| US7636479B2 (en) * | 2004-02-24 | 2009-12-22 | Trw Automotive U.S. Llc | Method and apparatus for controlling classification and classification switching in a vision system |
| US7558772B2 (en) * | 2005-12-08 | 2009-07-07 | Northrop Grumman Corporation | Information fusion predictor |
| JP2007216920A (ja) | 2006-02-20 | 2007-08-30 | Fujitsu Ten Ltd | 自動車の座席制御装置、座席制御用プログラムおよび車載ナビゲーション装置 |
| US20090309974A1 (en) * | 2008-05-22 | 2009-12-17 | Shreekant Agrawal | Electronic Surveillance Network System |
| US8520074B2 (en) | 2010-12-14 | 2013-08-27 | Xerox Corporation | Determining a total number of people in an IR image obtained via an IR imaging system |
| WO2014061195A1 (ja) * | 2012-10-19 | 2014-04-24 | 日本電気株式会社 | 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム |
| US9760784B2 (en) | 2012-10-26 | 2017-09-12 | Nec Corporation | Device, method and program for measuring number of passengers |
| JP6458734B2 (ja) | 2013-10-09 | 2019-01-30 | 日本電気株式会社 | 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム |
| US10416671B2 (en) * | 2017-07-11 | 2019-09-17 | Waymo Llc | Methods and systems for vehicle occupancy confirmation |
| JP6820074B2 (ja) * | 2017-07-19 | 2021-01-27 | 日本電気株式会社 | 乗員数検知システム、乗員数検知方法、およびプログラム |
| JP6820075B2 (ja) * | 2017-07-25 | 2021-01-27 | 日本電気株式会社 | 乗員数検知システム、乗員数検知方法、およびプログラム |
-
2017
- 2017-12-28 AU AU2017444732A patent/AU2017444732B2/en active Active
- 2017-12-28 WO PCT/JP2017/047301 patent/WO2019130562A1/ja not_active Ceased
- 2017-12-28 EP EP17936197.7A patent/EP3734571B1/en active Active
- 2017-12-28 US US16/958,451 patent/US11338753B2/en active Active
- 2017-12-28 JP JP2019562690A patent/JP6888694B2/ja active Active
- 2017-12-28 CA CA3087142A patent/CA3087142A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| EP3734571B1 (en) | 2024-02-07 |
| CA3087142A1 (en) | 2019-07-04 |
| EP3734571A4 (en) | 2021-01-06 |
| US20210053523A1 (en) | 2021-02-25 |
| EP3734571A1 (en) | 2020-11-04 |
| JPWO2019130562A1 (ja) | 2020-12-24 |
| AU2017444732A1 (en) | 2020-07-16 |
| WO2019130562A1 (ja) | 2019-07-04 |
| US11338753B2 (en) | 2022-05-24 |
| AU2017444732B2 (en) | 2022-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111105011B (zh) | 用于对有用学习数据进行取舍筛选的基于cnn的方法及装置 | |
| JP7196412B2 (ja) | 物体認識装置、及び、物体認識方法 | |
| US6801244B2 (en) | Obstacle detection apparatus and method | |
| US7062071B2 (en) | Apparatus, program and method for detecting both stationary objects and moving objects in an image using optical flow | |
| CN111507156B (zh) | 利用乘客的关键点检测车辆占有的方法及装置 | |
| US6459974B1 (en) | Rules-based occupant classification system for airbag deployment | |
| JP4426436B2 (ja) | 車両検知装置 | |
| CN109190488B (zh) | 基于深度学习YOLOv3算法的前车车门打开检测方法及装置 | |
| JP4743312B2 (ja) | 画像識別装置 | |
| KR102836141B1 (ko) | 센서 데이터 스트림을 분석하기 위한 방법과 장치 및 차량을 안내하기 위한 방법 | |
| CN110751012A (zh) | 目标检测评估方法、装置、电子设备及存储介质 | |
| KR20170085752A (ko) | 자율 주행 차량의 차선 인지 방법 및 장치 | |
| JP2021033510A (ja) | 運転支援装置 | |
| KR101869266B1 (ko) | 극한 심층학습 기반 차선 검출 시스템 및 그 방법 | |
| US8552862B2 (en) | System and method for detecting multi-level intrusion events and computer program product thereof | |
| CN113627562A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| JP6888694B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP4364275B2 (ja) | 画像処理方法、画像処理装置及びコンピュータプログラム | |
| CN116612348B (zh) | 一种静电线检测模型训练方法、装置、设备及存储介质 | |
| CN112561967A (zh) | 一种车辆门锁的控制方法及装置 | |
| CN113619600B (zh) | 障碍物数据诊断方法、装置、可移动载体及存储介质 | |
| US12307687B2 (en) | Foreground extraction apparatus, foreground extraction method, and recording medium | |
| CN119007274A (zh) | 环境中的区域匹配方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| CN114037854B (zh) | 一种众包高精度地图中地面要素聚类融合方法及装置 | |
| CN112017446B (zh) | 雷达测量数据与车辆轨迹关联方法、装置、介质和电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200626 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200626 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210420 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210503 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6888694 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |