JP7053341B2 - Processing equipment and programs - Google Patents
Processing equipment and programs Download PDFInfo
- Publication number
- JP7053341B2 JP7053341B2 JP2018066466A JP2018066466A JP7053341B2 JP 7053341 B2 JP7053341 B2 JP 7053341B2 JP 2018066466 A JP2018066466 A JP 2018066466A JP 2018066466 A JP2018066466 A JP 2018066466A JP 7053341 B2 JP7053341 B2 JP 7053341B2
- Authority
- JP
- Japan
- Prior art keywords
- head
- coordinates
- occupant
- region
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、処理装置、及びプログラムに関し、特に、撮像画像に基づいて検出処理を行なう処理装置、及びプログラムに関する。 The present invention relates to a processing device and a program, and more particularly to a processing device and a program that perform detection processing based on a captured image.
従来、車両の乗員が映り込んだ画像を撮像し、その撮像した画像を画像処理することで、検出の対象を特定する技術がある。この種の技術において、運転者の体調や覚醒度を推定することを目的として、運転者の頭部を、検出の対象とすることが求められている。運転者の頭部を検出するために、予め学習された識別器を撮像した画像に照合する技術が提案されている(例えば、特許文献1参照)。 Conventionally, there is a technique of capturing an image reflected by a vehicle occupant and processing the captured image to identify a detection target. In this type of technology, it is required to detect the driver's head for the purpose of estimating the driver's physical condition and arousal level. In order to detect the driver's head, a technique has been proposed in which a pre-learned classifier is collated with an image taken (see, for example, Patent Document 1).
特許文献1の処理装置は、運転者及び同乗者から操作可能に設けられた車載装置の操作部を操作する操作者の検出対象を撮像する撮像部と、前記撮像部から出力された画像データに基づいて微分処理を行って水平方向微分画像及び垂直方向微分画像を作成する微分処理部と、前記操作部を座標原点とする第1の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第1の角度方向微分及び第1の動径方向微分を算出する算出部と、算出された前記第1の角度方向微分、前記第1の動径方向微分、及び第1の条件に基づいて第1の2値画像を作成する2値画像作成部と、前記第1の2値画像に基づいて第1の間隔を有して略平行な直線となる第1及び第2の直線を抽出する抽出部と、抽出された前記第1及び第2の直線に基づいて前記操作者を判別する判別部と、を備えて操作者判別装置を構成している。
The processing device of
しかし、特許文献1の技術では、頭部の表面に関する情報は得られるものの、頭部の位置、例えば、頭部中心位置に関する情報は得られないという課題がある。
However, the technique of
したがって、本発明の目的は、乗員の頭部を検出する技術において、乗員の頭部中心位置に関する情報を取得する技術を提供することにある。 Therefore, an object of the present invention is to provide a technique for acquiring information on the position of the center of the occupant's head in the technique for detecting the occupant's head.
[1]上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部と、前記距離画像を構成する画素群であって、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御部と、を有する処理装置を提供する。
[2]前記制御部は、前記乗員の頭部として検出した各画素との距離のばらつきが最も小さくなる特定の座標を探索する探索処理を実行し、その探索処理の結果、特定された特定の座標を前記頭部中心位置とする、上記[1]に記載の処理装置であってもよい。
[3]また、前記制御部は、前記乗員の頭部として検出した各画素と、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記特定の座標として探索することを、前記探索処理として実行する、上記[1]又は[2]に記載の処理装置であってもよい。
[4]また、前記制御部は、前記頭部中心に対応する座標を、規定された距離変更して、前記評価値が最小となる座標を特定の座標として探索することを、前記探索処理として実行する、上記[3]に記載の処理装置であってもよい。
[5]また、前記制御部は、前記特定の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、上記[4]に記載の処理装置であってもよい。
[6]また、前記制御部は、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、上記[3]から[5]までのいずれか1に記載の処理装置であってもよい。
[7]上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得ステップと、前記距離画像を構成する画素群であって、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御ステップと、をコンピュータに実行させるためのプログラムを提供する。
[8]前記制御ステップは、前記乗員の頭部として検出した各画素との距離のばらつきが最も小さくなる特定の座標を探索する探索処理を実行し、その探索処理の結果、特定された特定の座標を前記頭部中心位置とする、上記[7]に記載のプログラムであってもよい。
[9]また、前記制御ステップは、前記乗員の頭部として検出した各画素と、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記特定の座標として探索することを、前記探索処理として実行する、上記[7]又は[8]に記載のプログラムであってもよい。
[10]また、前記制御ステップは、前記頭部中心に対応する座標を、規定された距離変更して、前記評価値が最小となる座標を特定の座標として探索することを、前記探索処理として実行する、上記[9]に記載のプログラムであってもよい。
[11]また、前記制御ステップは、前記特定の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、上記[10]に記載のプログラムであってもよい。
[12]また、前記制御ステップは、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、上記[9]から[11]までのいずれか1に記載のプログラムであってもよい。
[1] In order to achieve the above object, an acquisition unit for acquiring a distance image in which an imaging region including a vehicle occupant is an imaging target and in which distance information to the imaging target is assigned to each pixel is used. A pixel group constituting the distance image, which is extracted according to the correspondence between the coordinate system in the vehicle interior space of the vehicle and the coordinate system in the distance image, and has a high possibility that the head of the occupant exists. Provided is a processing device including a control unit that identifies the head of the occupant and executes a position detection process for finding the center position of the head in the identified occupant's head with respect to the high likelihood region. do.
[2] The control unit executes a search process for searching for a specific coordinate having the smallest variation in distance from each pixel detected as the head of the occupant, and the specific specific specified as a result of the search process. The processing device according to the above [1] may be used, in which the coordinates are the center position of the head.
[3] Further, the control unit determines the variation in the distance between each pixel detected as the head of the occupant, the coordinates corresponding to the center of the head, and a plurality of coordinates set around the center of the head. The processing apparatus according to the above [1] or [2] may be used to search for the coordinates having the minimum evaluation value as the specific coordinates as the search process.
[4] Further, the control unit changes the coordinates corresponding to the center of the head by a specified distance, and searches for the coordinates having the minimum evaluation value as specific coordinates, as the search process. The processing apparatus according to the above [3] may be executed.
[5] Further, the control unit is the processing device according to the above [4], wherein the specified distance is set to a distance shorter than a predetermined distance when the specific coordinates are not changed. May be good.
[6] Further, the control unit continues the position detection process depending on whether or not the difference between the evaluation value for the head center position after the update and the evaluation value for the head center position before the update is equal to or greater than a predetermined threshold value. The processing apparatus according to any one of the above [3] to [5], which determines whether or not to do so, may be used.
[7] In order to achieve the above object, an acquisition step of acquiring a distance image in which an imaging region including a vehicle occupant is an imaging target and a distance information to the imaging target is assigned to each pixel, and an acquisition step. A pixel group constituting the distance image, which is extracted according to the correspondence between the coordinate system in the vehicle interior space of the vehicle and the coordinate system in the distance image, and has a high possibility that the head of the occupant exists. In order to cause the computer to execute a control step of identifying the head of the occupant and performing a position detection process for determining the center position of the head in the identified occupant's head in the high likelihood region. Provide the program of.
[8] The control step executes a search process for searching for a specific coordinate having the smallest variation in distance from each pixel detected as the head of the occupant, and the specific specific specified as a result of the search process. The program according to the above [7] may be used, in which the coordinates are the center position of the head.
[9] Further, in the control step, the variation in the distance between each pixel detected as the head of the occupant and the coordinates corresponding to the center of the head and a plurality of coordinates set around the center of the head is obtained. The program according to the above [7] or [8] may be used to search for the coordinates having the minimum evaluation value as the specific coordinates as the search process.
[10] Further, in the control step, the search process is to change the coordinates corresponding to the center of the head by a specified distance and search for the coordinates having the minimum evaluation value as specific coordinates. The program to be executed may be the program described in the above [9].
[11] Further, even in the program according to the above [10], the control step sets the specified distance to a distance shorter than a predetermined distance when the specific coordinates are not changed. good.
[12] Further, the control step continues the position detection process depending on whether or not the difference between the evaluation value for the head center position after the update and the evaluation value for the head center position before the update is equal to or greater than a predetermined threshold value. The program according to any one of [9] to [11] above may be used to determine whether or not to perform the program.
本発明の処理装置、及びプログラムによれば、乗員の頭部を検出する技術において、乗員の頭部中心位置に関する情報を取得することができる。 According to the processing apparatus and the program of the present invention, it is possible to acquire information on the position of the center of the head of the occupant in the technique of detecting the head of the occupant.
(本発明の実施の形態)
本発明の実施の形態に係る処理装置1は、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部としてのTOFカメラ10と、距離画像を構成する画素群であって、車両8の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員5の頭部が存在する可能性の高い画素群である高尤度領域に対して、乗員5の頭部50を特定し、その特定された乗員の頭部における頭部中心位置Cを求める位置検出処理を実行する制御部と、を有して構成されている。
(Embodiment of the present invention)
The
なお、画素群とは、TOFカメラ10により撮像された画素に対応する点の集合であって、車両8の車室内空間における座標系、TOFカメラ10における座標系等により位置が表示される3次元空間の点の集合である。また、高尤度領域とは、検出対象が存在する可能性の高い領域である。具体的には、例えば、領域内の画素群数が多く、あるいは、画素群密度が高い領域である。
The pixel group is a set of points corresponding to the pixels imaged by the
(TOFカメラ10)
取得部としては撮像対象の3次元認識が可能なものであれば使用可能であるが、本実施の形態では、取得部としてTOF(Time Of Flight)カメラ10を使用する。TOFカメラ10は、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出し、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。TOFカメラ10は、赤外光等を発光後、その光が物体に反射して戻ってきた反射光を受光し、発光から受光までの時間を測定して、画素ごとに撮像対象物までの距離を検出する。
(TOF camera 10)
The acquisition unit can be used as long as it can recognize the image pickup target in three dimensions, but in the present embodiment, the TOF (Time Of Flight)
TOFカメラ10は、例えば、図1に示すように、ルームミラー付近に取り付け、車両8の乗員5を含む撮像領域を撮像対象とする。TOFカメラ10による撮像画像は、座標(u,v)と、この座標(u,v)における奥行情報としての画素値d(u,v)を含む。取得された画素値d(u,v)(u=0、1、…U-1,v=0、1、…V-1)は、撮像対象としての物体(ここで言う物体は、運転者や車載機器など)までの距離を意味する。なお、実施形態における符号Uは、撮像画像における横幅[pixel]を意味し、符号Vは、撮像画像における縦幅[pixel]を意味する。つまり、TOFカメラ10で撮像された画像における各画素に、3次元空間における距離情報を割り当てることで距離画像が生成される。
As shown in FIG. 1, for example, the
(距離画像から得られるカメラ座標系)
距離画像における座標値u,vと、座標(u,v)における画素値d(u,v)は、以下の式を用いて3次元空間上の点(x,y,z)に変換することで、図1に示すカメラ座標系(x,y,z)における3次元画素群を作成することができる。
The coordinate values u, v in the range image and the pixel value d (u, v) in the coordinates (u, v) are converted into points (x, y, z) in the three-dimensional space using the following equation. Then, a three-dimensional pixel group in the camera coordinate system (x, y, z) shown in FIG. 1 can be created.
(車両座標系)
カメラ座標系(x,y,z)は、検出対象であるドライバ(例えば腰骨の位置)を原点とする車両座標系(w,l,h)に変換することができる。変換方法は、一般的な座標回転変換、平行移動変換、スケール変換の組み合わせである。変換後の座標軸は、ドライバ右方向をw軸、前方をl軸(エル軸)、上方をh軸とし、原点はドライバの腰骨位置とする。
(Vehicle coordinate system)
The camera coordinate system (x, y, z) can be converted into a vehicle coordinate system (w, l, h) whose origin is the driver (for example, the position of the hip bone) to be detected. The conversion method is a combination of general coordinate rotation conversion, translation conversion, and scale conversion. The coordinate axes after conversion are w-axis in the right direction of the driver, l-axis (el-axis) in the anterior direction, h-axis in the upper direction, and the origin is the position of the hipbone of the driver.
(制御部20)
制御部20は、座標変換、頭頂部特定処理、頭部特定処理等を行なうための、例えばマイクロコンピュータを備えている。制御部20は、図1に示すように、TOFカメラ10と接続されている。制御部20は、記憶されたプログラムに従って、取得したデータに演算、加工などを行うCPU(Central Processing Unit)21、半導体メモリであるRAM(Random Access Memory)22及びROM(Read Only Memory)23を備えている。
(Control unit 20)
The
(処理装置1の動作)
図2、図10で示す本発明の実施の形態に係る処理装置1の動作を示すフローチャートに基づいて、説明する。制御部20は、各フローチャートに従って以下の演算、処理を実行する。
(Operation of processing device 1)
2 and 10 will be described with reference to a flowchart showing the operation of the
(Step1)
取得部としてのTOFカメラ10は、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する。この距離画像は、所定の時間間隔で撮像されたフレームの1フレームとして取得することができる。取得された距離画像は、以下の処理における入力(3次元画素群)として機能する。距離画像は、上記説明したカメラ座標系、車両座標系へ変換される。これにより、図3(a)に示すように、検出エリアに含まれる3次元画素群201を抽出できる。以下の処理においては、車両座標系(w,l,h)の3次元画素群で演算、処理等が実行される。
(Step 1)
The
(Step2)
制御部20は、頭頂部の抽出として、まず、図3(b)に示すように、検出エリア内の画素群202を抽出する。検出エリアを定義し、その空間に含まれる画素群を抽出することで、領域を絞り込む。検出エリアは、着座時に頭部50が存在すると考えられる、車室内上方の空間とする。例えば、ドライバ腰骨位置203を原点とし、-510<w<360、-280<l<700、430<h<750の範囲である。単位はmmである(以下、同じ)。
(Step2)
The
頭部50が含まれる領域を抽出するために、Step1で抽出した画素群をw軸方向から見た時、図4(a)に示すように、最も画素群密度が高くなる領域は高尤度領域として頭部50と胴体部分70が含まれていると考えられる(頭部50の下方には胴体部分70が存在すると考える)。ここでは、頭部モデル定義(図5)の横幅Dをもとにl軸の方向に分割し(図4(b))、lh平面上で最も画素群が多い領域204を抽出する(図4(c))。
When the pixel group extracted by
(Step3)
頭頂部が含まれる領域を抽出するために、Step2で抽出した画素群の領域204(図6(a))をl軸方向から見た時、最も画素群密度が高くなる領域は高尤度領域として頭頂部が含まれていると考えられる。ここでは、頭部モデル定義の横幅Dをもとにw軸の方向に分割し(図6(b))、wh平面上で最も画素群が多い領域205を抽出する(図6(c))。
(Step 3)
When the area 204 (FIG. 6A) of the pixel group extracted by
(Step4)
制御部20は、頭頂部位置を算出する、頭頂部特定処理を実行する。Step3で抽出した画素群のうち、図7に示すように、h軸において最も高い部分が頭頂部60であると考えられる。なお、h方向において抽出した画素群205(図6(c))の大きい値の何点かの平均により、頭頂部60を抽出してもよい。抽出された頭頂部60の座標を、(wt,lt,ht)とする。
(Step 4)
The
(Step5)
制御部20は、頭部領域を抽出する。頭頂部の抽出処理で抽出した頭頂部60および頭部モデル定義(図5)から頭部50を抽出する。頭頂部60の座標(wt,lt,ht)を基準とし、図8(a)~(d)のように画素群を抽出することで、頭部領域206を得る。頭部領域206は、wt-w1<w<wt+w1、lt-l1<l<lt+l1、ht-h1<h<htの範囲である。頭部モデル定義例(図5)を適合させると、w1=176/2、l1=176/2、h1=146である。なお、h1は、TOFカメラの特性による頭髪部分の情報欠落を想定し、頭部モデル定義の高さHから60だけマイナスして、h1=206-60=146としている。
(Step 5)
The
(Step6)
制御部20は、頭部位置を算出する、頭部特定処理を実行する。Step5で抽出した領域206において、図9で示すように、上記のw、l、hの範囲で規定される領域に含まれる頭部領域206の画素群の重心を求めることにより、頭部位置として重心位置G(wg,lg,hg)を出力することができる。
(Step 6)
The
(Step7)
制御部20は、初期化を行なう。制御部20は、頭部中心位置Cの初期値を、Step6で出力した重心位置Gとする。すなわち、頭部中心位置Cの空間上の座標を(wg,lg,hg)とする。また、sを座標の更新ステップ幅とする。sの初期値は例えば1[mm]とする。
(Step 7)
The
(Step8)
制御部20は、(wc,lc,hc)及び、この点(wc,lc,hc)に3次元方向に隣接する周囲の26点((wc±s,lc,hc)、(wc,lc±s,hc)、(wc,lc,hc±s)、(wc±s,lc±s,hc)、(wc±s,lc,hc±s)、(wc,lc±s,hc±s)、(wc±s,lc±s,hc±s))について、以下の評価関数の値(分散)を算出する。
ここで、nは、頭部領域に含まれる点の数、pkは頭部領域に含まれる点(p=0,1,…,n-1)、d(a,b)は、点a,b間のユークリッド距離とする。
(Step 8)
The
Here, n is the number of points included in the head region, pk is the points included in the head region (p = 0,1, ..., n-1), and d (a, b) is the point a, Let it be the Euclidean distance between b.
(Step9)
制御部20は、Step8で算出した27点のうち、最も評価値の小さい座標を頭部中心位置Cとして更新する。この評価値は、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す値である。
(Step 9)
The
(Step10)
制御部20は、頭部中心位置Cが変化したか(更新されたか)どうかを判断する。頭部中心位置Cが変化した場合は、Step11へ進み(Step10:Yes)、頭部中心位置Cが変化しない場合は、Step12へ進む(Step10:No)。
(Step 10)
The
(Step11)
制御部20は、頭部中心位置Cの初期位置と更新後の位置の距離差が閾値未満かどうかを判断する。閾値未満の場合は、Step13へ進み(Step11:Yes)、閾値未満でない場合は、Step14へ進む(Step11:No)。
(Step 11)
The
(Step12)
制御部20は、座標のステップ幅sをより小さい値(例えば1/10)に更新して、Step8へ戻って探索処理を繰り返して実行する。
(Step 12)
The
(Step13)
制御部20は、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値を比較し、その差分が閾値未満かどうかを判断する。閾値未満の場合は、Step15へ進み(Step13:Yes)、閾値未満でない場合は、Step8へ戻って探索処理を繰り返して実行する。
(Step 13)
The
(Step14)
制御部20は、頭部中心位置Cを更新前に戻す。すなわち、特定の座標が変更されない場合、規定された距離を、予め定められた距離よりも短い距離とする。
(Step 14)
The
(Step15)
制御部20は、頭部位置として頭部中心位置Cを出力して処理を終了する。上記示した一連の動作により、図11(a)に示す頭部領域における画素群の初期位置(重心位置G)が、図11(b)に示す頭部中心位置Cに補正される。なお、領域207は、図9における領域206の中の重心位置Gの周囲領域を示したものである。
(Step15)
The
上記の処理実行は、上記示した一連の動作として繰り返して実行することができる。 The above processing execution can be repeatedly executed as a series of operations shown above.
(プログラムとしての実施形態)
コンピュータに、処理装置1で示した、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得ステップと、距離画像を構成する画素群であって、車両8の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員5の頭部50が存在する可能性の高い画素群である高尤度領域に対して、乗員5の頭部50を特定し、その特定された乗員の頭部50における頭部中心位置Cを求める位置検出処理を実行する制御ステップと、を、コンピュータに実行させるためのプログラムも、本発明の実施の形態の一つである。
(Embodiment as a program)
An acquisition step of acquiring a distance image, which is a distance image of the image pickup area including the
処理装置1の動作で説明したStep1が距離画像を取得する取得ステップの一例であり、Step7からStep15が位置検出処理を実行する制御ステップの一例であり、図2、図10で示したフローチャートを実行する処理制御を、コンピュータに実行させるためのプログラムの実施形態とすることができる。
また、上記のようなプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の実施の形態の一つである。 A computer-readable recording medium on which the above program is recorded is also one of the embodiments of the present invention.
(実施の形態の効果)
本発明の実施の形態によれば、以下のような効果を有する。
(1)本発明の実施の形態に係る処理装置は、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部としてのTOFカメラ10と、距離画像を構成する画素群であって、車両8の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員5の頭部が存在する可能性の高い画素群である高尤度領域に対して、乗員5の頭部50を特定し、その特定された乗員の頭部における頭部中心位置Cを求める位置検出処理を実行する制御部と、を有して構成されている。TOFカメラから得られる距離画像の各画素を3次元空間上に変換した画素群(3次元画素群)をもとに検出される頭部位置は顔表面に偏るが、頭部を球体で近似することで検出位置を頭部中心に補正することが可能となる。
(2)物体表面の情報から、物体中心位置を検出することが可能となる。すなわち、顔を撮影する方向によらず、常に頭部中心付近の位置を頭部位置として検出可能となる。
(3)以上により、車両の乗員の頭部を検出する技術において、乗員の頭部中心位置に関する情報を取得する処理装置、及びプログラムを提供することが可能になる。
(Effect of embodiment)
According to the embodiment of the present invention, it has the following effects.
(1) The processing apparatus according to the embodiment of the present invention is a distance image in which an imaging region including an
(2) It is possible to detect the position of the center of the object from the information on the surface of the object. That is, regardless of the direction in which the face is photographed, the position near the center of the head can always be detected as the head position.
(3) From the above, in the technique of detecting the head of the occupant of the vehicle, it becomes possible to provide a processing device and a program for acquiring information on the position of the center of the occupant's head.
以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described above, these embodiments are merely examples and do not limit the invention according to the claims. In addition, these novel embodiments can be implemented in various other embodiments, and various omissions, replacements, changes, etc. can be made without departing from the gist of the present invention. Moreover, not all combinations of features described in these embodiments are essential as means for solving the problems of the invention. Further, these embodiments are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
1…処理装置、5…乗員、8…車両、10…TOFカメラ、20…制御部、50…頭部、60…頭頂部、70…胴体部分、201、202、204、205、206、207…領域、203…ドライバ腰骨位置、C…頭部中心位置、G…重心位置
1 ... Processing device, 5 ... Crew, 8 ... Vehicle, 10 ... TOF camera, 20 ... Control unit, 50 ... Head, 60 ... Head top, 70 ... Body part, 201, 202, 204, 205, 206, 207 ... Area, 203 ... Driver hipbone position, C ... Head center position, G ... Center of gravity position
Claims (10)
前記取得部で取得した前記距離画像の前記2次元座標系の前記画素の座標とこの座標の前記距離情報とを3次元空間上の点に変換して3次元画素群を作成し、前記3次元画素群の第1の座標系を、前記乗員を原点とする第2の座標系に変換し、変換された前記第2の座標系における前記3次元画素群から抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された前記乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御部と、
を有し、
前記制御部は、前記乗員の頭部の重心の座標を特定し、特定された前記重心の座標を前記頭部中心位置の初期値とし、
前記重心の座標及び前記重心の座標の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記頭部中心位置の座標として更新する探索処理を実行する、
処理装置。 An acquisition unit that acquires a distance image in which an imaging region including a vehicle occupant is an imaging target and distance information to the imaging target is assigned to each pixel corresponding to the coordinates of a given two-dimensional coordinate system .
The coordinates of the pixels in the two-dimensional coordinate system of the distance image acquired by the acquisition unit and the distance information of the coordinates are converted into points on the three-dimensional space to create a three-dimensional pixel group, and the three-dimensional The first coordinate system of the pixel group is converted into the second coordinate system with the occupant as the origin, and the head of the occupant is extracted from the three-dimensional pixel group in the converted second coordinate system. A control for executing a position detection process for identifying the head of the occupant in a high-probability region, which is a group of pixels having a high possibility of existence, and determining the center position of the head in the identified head of the occupant. Department and
Have,
The control unit specifies the coordinates of the center of gravity of the occupant's head, and sets the specified coordinates of the center of gravity as the initial value of the head center position.
A search process is executed in which the coordinates that minimize the evaluation value indicating the variation in the distance between the coordinates of the center of gravity and the plurality of coordinates set around the coordinates of the center of gravity are updated as the coordinates of the head center position. ,
Processing equipment.
予め規定された頭部モデルに応じて予め規定された横幅に基づいて、抽出した前記高尤度領域を前記第2の軸の方向に分割して最も画素群が多い第1の領域を抽出し、
前記横幅に基づいて前記第1の領域を前記第1の軸の方向に分割して最も画素群が多い第2の領域を抽出し、
さらに抽出した前記第2の領域において前記第3の軸の正方向に沿って最も高い部分を前記乗員の頭頂部とし、
前記頭部モデルを前記乗員の頭頂部に対し適合させることで前記乗員の頭部領域を特定し、
前記頭部領域の重心の座標を前記乗員の頭部の前記重心の座標として特定する、
請求項1に記載の処理装置。 In the second coordinate system, the control unit has a first axis in which the right direction of the vehicle is positive and negative in the left direction from the origin, a second axis in which the front direction of the vehicle is positive, and the control unit. When the third axis is positive in the upward direction of the vehicle,
Based on the predetermined width according to the predetermined head model, the extracted high-likelihood region is divided in the direction of the second axis, and the first region having the largest number of pixel groups is extracted. ,
The first region is divided in the direction of the first axis based on the width, and the second region having the largest number of pixel groups is extracted.
Further, in the extracted second region, the highest portion along the positive direction of the third axis is defined as the crown of the occupant.
By adapting the head model to the crown of the occupant, the occupant's head area is identified.
The coordinates of the center of gravity of the head region are specified as the coordinates of the center of gravity of the occupant's head.
The processing apparatus according to claim 1.
前記取得ステップで取得した前記距離画像の前記2次元座標系の前記画素の座標とこの座標の前記距離情報とを3次元空間上の点に変換して3次元画素群を作成し、前記3次元画素群の第1の座標系を、前記乗員を原点とする第2の座標系に変換し、変換された前記第2の座標系における前記3次元画素群から抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された前記乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御ステップと、
を有し、
前記制御ステップは、前記乗員の頭部の重心の座標を特定し、特定された前記重心の座標を前記頭部中心位置の初期値とし、
前記重心の座標及び前記重心の座標の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記頭部中心位置の座標として更新する探索処理を実行する、ことをコンピュータに実行させるためのプログラム。 An acquisition step of acquiring an image pickup area including a vehicle occupant and assigning distance information to the image pickup target for each pixel corresponding to the coordinates of a given two-dimensional coordinate system, and an acquisition step.
The coordinates of the pixels in the two-dimensional coordinate system of the distance image acquired in the acquisition step and the distance information of the coordinates are converted into points on the three-dimensional space to create a three-dimensional pixel group, and the three-dimensional The first coordinate system of the pixel group is converted into the second coordinate system with the occupant as the origin, and the head of the occupant is extracted from the three-dimensional pixel group in the converted second coordinate system. A control for executing a position detection process for identifying the head of the occupant in a high-probability region, which is a group of pixels having a high possibility of existence, and determining the center position of the head in the identified head of the occupant. Steps and
Have,
In the control step, the coordinates of the center of gravity of the occupant's head are specified, and the coordinates of the specified center of gravity are set as the initial value of the head center position.
A search process is executed in which the coordinates that minimize the evaluation value indicating the variation in the distance between the coordinates of the center of gravity and the plurality of coordinates set around the coordinates of the center of gravity are updated as the coordinates of the head center position. , A program that lets your computer do that.
予め規定された頭部モデルに応じて予め規定された横幅に基づいて、抽出した前記高尤度領域を前記第2の軸の方向に分割して最も画素群が多い第1の領域を抽出し、
前記横幅に基づいて前記第1の領域を前記第1の軸の方向に分割して最も画素群が多い第2の領域を抽出し、
さらに抽出した前記第2の領域において前記第3の軸の正方向に沿って最も高い部分を前記乗員の頭頂部とし、
前記頭部モデルを前記乗員の頭頂部に対し適合させることで前記乗員の頭部領域を特定し、
前記頭部領域の重心の座標を前記乗員の頭部の前記重心の座標として特定する、請求項6に記載のプログラム。 The control step is a first axis in which the right direction of the vehicle is positive and negative in the left direction from the origin in the second coordinate system, a second axis in which the front direction of the vehicle is positive, and the control step. When the third axis is positive in the upward direction of the vehicle,
Based on the predetermined width according to the predetermined head model, the extracted high-likelihood region is divided in the direction of the second axis, and the first region having the largest number of pixel groups is extracted. ,
The first region is divided in the direction of the first axis based on the width, and the second region having the largest number of pixel groups is extracted.
Further, in the extracted second region, the highest portion along the positive direction of the third axis is defined as the crown of the occupant.
By adapting the head model to the crown of the occupant, the occupant's head area is identified.
The program according to claim 6 , wherein the coordinates of the center of gravity of the head region are specified as the coordinates of the center of gravity of the occupant's head .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018066466A JP7053341B2 (en) | 2018-03-30 | 2018-03-30 | Processing equipment and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018066466A JP7053341B2 (en) | 2018-03-30 | 2018-03-30 | Processing equipment and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019179287A JP2019179287A (en) | 2019-10-17 |
| JP7053341B2 true JP7053341B2 (en) | 2022-04-12 |
Family
ID=68278646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018066466A Active JP7053341B2 (en) | 2018-03-30 | 2018-03-30 | Processing equipment and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7053341B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220390568A1 (en) * | 2019-10-23 | 2022-12-08 | Koito Manufacturing Co., Ltd. | Sensor system and sensor unit |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012127811A (en) | 2010-12-15 | 2012-07-05 | Honda Motor Co Ltd | Occupant detection device |
-
2018
- 2018-03-30 JP JP2018066466A patent/JP7053341B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012127811A (en) | 2010-12-15 | 2012-07-05 | Honda Motor Co Ltd | Occupant detection device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019179287A (en) | 2019-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6184877B2 (en) | Vehicle external recognition device | |
| JP6125188B2 (en) | Video processing method and apparatus | |
| CN113243016A (en) | Object recognition system, arithmetic processing device, automobile, vehicle lamp, and method for learning classifier | |
| JP6782433B2 (en) | Image recognition device | |
| KR20190095592A (en) | Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera | |
| JP6021689B2 (en) | Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program | |
| JP2014009975A (en) | Stereo camera | |
| EP3955207A1 (en) | Object detection device | |
| US20240312223A1 (en) | Image processing apparatus | |
| KR101696086B1 (en) | Method and apparatus for extracting object region from sonar image | |
| KR101995466B1 (en) | Stereo image matching based on feature points | |
| JP7053341B2 (en) | Processing equipment and programs | |
| JP6077785B2 (en) | Object detection apparatus and program | |
| JP7053342B2 (en) | Processing equipment and programs | |
| JP7053340B2 (en) | Processing equipment and programs | |
| JP2018092608A (en) | Information processing device, imaging device, apparatus control system, movable body, information processing method, and program | |
| JP7117878B2 (en) | processor and program | |
| JP7240193B2 (en) | Face orientation determination device, computer program, and storage medium | |
| JP6354963B2 (en) | Object recognition apparatus, object recognition method, and object recognition program | |
| CN112400094B (en) | Object detecting device | |
| JP5141275B2 (en) | VEHICLE IMAGE PROCESSING DEVICE AND VEHICLE IMAGE PROCESSING METHOD | |
| JP4765363B2 (en) | Occupant detection device and occupant detection method | |
| JPH09282460A (en) | Automatic target recognition device | |
| JP2015215235A (en) | Object detection device and object detection method | |
| KR101706674B1 (en) | Method and computing device for gender recognition based on long distance visible light image and thermal image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20180427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180501 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220331 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7053341 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |