Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7053341B2 - Processing equipment and programs - Google Patents
[go: Go Back, main page]

JP7053341B2 - Processing equipment and programs - Google Patents

Processing equipment and programs Download PDF

Info

Publication number
JP7053341B2
JP7053341B2 JP2018066466A JP2018066466A JP7053341B2 JP 7053341 B2 JP7053341 B2 JP 7053341B2 JP 2018066466 A JP2018066466 A JP 2018066466A JP 2018066466 A JP2018066466 A JP 2018066466A JP 7053341 B2 JP7053341 B2 JP 7053341B2
Authority
JP
Japan
Prior art keywords
head
coordinates
occupant
region
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018066466A
Other languages
Japanese (ja)
Other versions
JP2019179287A (en
Inventor
佑記 名和
道昌 井東
圭吾 多田
忠 関原
純一 気屋村
将城 榊原
安利 深谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Tokai Rika Co Ltd
Original Assignee
NEC Solution Innovators Ltd
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd, Tokai Rika Co Ltd filed Critical NEC Solution Innovators Ltd
Priority to JP2018066466A priority Critical patent/JP7053341B2/en
Publication of JP2019179287A publication Critical patent/JP2019179287A/en
Application granted granted Critical
Publication of JP7053341B2 publication Critical patent/JP7053341B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、処理装置、及びプログラムに関し、特に、撮像画像に基づいて検出処理を行なう処理装置、及びプログラムに関する。 The present invention relates to a processing device and a program, and more particularly to a processing device and a program that perform detection processing based on a captured image.

従来、車両の乗員が映り込んだ画像を撮像し、その撮像した画像を画像処理することで、検出の対象を特定する技術がある。この種の技術において、運転者の体調や覚醒度を推定することを目的として、運転者の頭部を、検出の対象とすることが求められている。運転者の頭部を検出するために、予め学習された識別器を撮像した画像に照合する技術が提案されている(例えば、特許文献1参照)。 Conventionally, there is a technique of capturing an image reflected by a vehicle occupant and processing the captured image to identify a detection target. In this type of technology, it is required to detect the driver's head for the purpose of estimating the driver's physical condition and arousal level. In order to detect the driver's head, a technique has been proposed in which a pre-learned classifier is collated with an image taken (see, for example, Patent Document 1).

特許文献1の処理装置は、運転者及び同乗者から操作可能に設けられた車載装置の操作部を操作する操作者の検出対象を撮像する撮像部と、前記撮像部から出力された画像データに基づいて微分処理を行って水平方向微分画像及び垂直方向微分画像を作成する微分処理部と、前記操作部を座標原点とする第1の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第1の角度方向微分及び第1の動径方向微分を算出する算出部と、算出された前記第1の角度方向微分、前記第1の動径方向微分、及び第1の条件に基づいて第1の2値画像を作成する2値画像作成部と、前記第1の2値画像に基づいて第1の間隔を有して略平行な直線となる第1及び第2の直線を抽出する抽出部と、抽出された前記第1及び第2の直線に基づいて前記操作者を判別する判別部と、を備えて操作者判別装置を構成している。 The processing device of Patent Document 1 includes an image pickup unit that captures an image to be detected by an operator who operates an operation unit of an in-vehicle device that can be operated by a driver and a passenger, and image data output from the image pickup unit. A differential processing unit that performs differential processing based on this to create a horizontal differential image and a vertical differential image, and a first polar coordinate system having the operation unit as a coordinate origin are set, and the horizontal differential image and the vertical direction are set. A calculation unit that calculates the first angular and radial differentials based on the differential image, the calculated first angular differential, the first radial differential, and the first. The binary image creating unit that creates the first binary image based on the conditions, and the first and second straight lines that have a first interval and are substantially parallel based on the first binary image. An operator discrimination device is configured to include an extraction unit for extracting a straight line and a discrimination unit for discriminating the operator based on the extracted first and second straight lines.

特開2009-294843号公報Japanese Unexamined Patent Publication No. 2009-294843

しかし、特許文献1の技術では、頭部の表面に関する情報は得られるものの、頭部の位置、例えば、頭部中心位置に関する情報は得られないという課題がある。 However, the technique of Patent Document 1 has a problem that although information on the surface of the head can be obtained, information on the position of the head, for example, the position of the center of the head cannot be obtained.

したがって、本発明の目的は、乗員の頭部を検出する技術において、乗員の頭部中心位置に関する情報を取得する技術を提供することにある。 Therefore, an object of the present invention is to provide a technique for acquiring information on the position of the center of the occupant's head in the technique for detecting the occupant's head.

[1]上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部と、前記距離画像を構成する画素群であって、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御部と、を有する処理装置を提供する。
[2]前記制御部は、前記乗員の頭部として検出した各画素との距離のばらつきが最も小さくなる特定の座標を探索する探索処理を実行し、その探索処理の結果、特定された特定の座標を前記頭部中心位置とする、上記[1]に記載の処理装置であってもよい。
[3]また、前記制御部は、前記乗員の頭部として検出した各画素と、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記特定の座標として探索することを、前記探索処理として実行する、上記[1]又は[2]に記載の処理装置であってもよい。
[4]また、前記制御部は、前記頭部中心に対応する座標を、規定された距離変更して、前記評価値が最小となる座標を特定の座標として探索することを、前記探索処理として実行する、上記[3]に記載の処理装置であってもよい。
[5]また、前記制御部は、前記特定の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、上記[4]に記載の処理装置であってもよい。
[6]また、前記制御部は、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、上記[3]から[5]までのいずれか1に記載の処理装置であってもよい。
[7]上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得ステップと、前記距離画像を構成する画素群であって、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御ステップと、をコンピュータに実行させるためのプログラムを提供する。
[8]前記制御ステップは、前記乗員の頭部として検出した各画素との距離のばらつきが最も小さくなる特定の座標を探索する探索処理を実行し、その探索処理の結果、特定された特定の座標を前記頭部中心位置とする、上記[7]に記載のプログラムであってもよい。
[9]また、前記制御ステップは、前記乗員の頭部として検出した各画素と、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記特定の座標として探索することを、前記探索処理として実行する、上記[7]又は[8]に記載のプログラムであってもよい。
[10]また、前記制御ステップは、前記頭部中心に対応する座標を、規定された距離変更して、前記評価値が最小となる座標を特定の座標として探索することを、前記探索処理として実行する、上記[9]に記載のプログラムであってもよい。
[11]また、前記制御ステップは、前記特定の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、上記[10]に記載のプログラムであってもよい。
[12]また、前記制御ステップは、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、上記[9]から[11]までのいずれか1に記載のプログラムであってもよい。
[1] In order to achieve the above object, an acquisition unit for acquiring a distance image in which an imaging region including a vehicle occupant is an imaging target and in which distance information to the imaging target is assigned to each pixel is used. A pixel group constituting the distance image, which is extracted according to the correspondence between the coordinate system in the vehicle interior space of the vehicle and the coordinate system in the distance image, and has a high possibility that the head of the occupant exists. Provided is a processing device including a control unit that identifies the head of the occupant and executes a position detection process for finding the center position of the head in the identified occupant's head with respect to the high likelihood region. do.
[2] The control unit executes a search process for searching for a specific coordinate having the smallest variation in distance from each pixel detected as the head of the occupant, and the specific specific specified as a result of the search process. The processing device according to the above [1] may be used, in which the coordinates are the center position of the head.
[3] Further, the control unit determines the variation in the distance between each pixel detected as the head of the occupant, the coordinates corresponding to the center of the head, and a plurality of coordinates set around the center of the head. The processing apparatus according to the above [1] or [2] may be used to search for the coordinates having the minimum evaluation value as the specific coordinates as the search process.
[4] Further, the control unit changes the coordinates corresponding to the center of the head by a specified distance, and searches for the coordinates having the minimum evaluation value as specific coordinates, as the search process. The processing apparatus according to the above [3] may be executed.
[5] Further, the control unit is the processing device according to the above [4], wherein the specified distance is set to a distance shorter than a predetermined distance when the specific coordinates are not changed. May be good.
[6] Further, the control unit continues the position detection process depending on whether or not the difference between the evaluation value for the head center position after the update and the evaluation value for the head center position before the update is equal to or greater than a predetermined threshold value. The processing apparatus according to any one of the above [3] to [5], which determines whether or not to do so, may be used.
[7] In order to achieve the above object, an acquisition step of acquiring a distance image in which an imaging region including a vehicle occupant is an imaging target and a distance information to the imaging target is assigned to each pixel, and an acquisition step. A pixel group constituting the distance image, which is extracted according to the correspondence between the coordinate system in the vehicle interior space of the vehicle and the coordinate system in the distance image, and has a high possibility that the head of the occupant exists. In order to cause the computer to execute a control step of identifying the head of the occupant and performing a position detection process for determining the center position of the head in the identified occupant's head in the high likelihood region. Provide the program of.
[8] The control step executes a search process for searching for a specific coordinate having the smallest variation in distance from each pixel detected as the head of the occupant, and the specific specific specified as a result of the search process. The program according to the above [7] may be used, in which the coordinates are the center position of the head.
[9] Further, in the control step, the variation in the distance between each pixel detected as the head of the occupant and the coordinates corresponding to the center of the head and a plurality of coordinates set around the center of the head is obtained. The program according to the above [7] or [8] may be used to search for the coordinates having the minimum evaluation value as the specific coordinates as the search process.
[10] Further, in the control step, the search process is to change the coordinates corresponding to the center of the head by a specified distance and search for the coordinates having the minimum evaluation value as specific coordinates. The program to be executed may be the program described in the above [9].
[11] Further, even in the program according to the above [10], the control step sets the specified distance to a distance shorter than a predetermined distance when the specific coordinates are not changed. good.
[12] Further, the control step continues the position detection process depending on whether or not the difference between the evaluation value for the head center position after the update and the evaluation value for the head center position before the update is equal to or greater than a predetermined threshold value. The program according to any one of [9] to [11] above may be used to determine whether or not to perform the program.

本発明の処理装置、及びプログラムによれば、乗員の頭部を検出する技術において、乗員の頭部中心位置に関する情報を取得することができる。 According to the processing apparatus and the program of the present invention, it is possible to acquire information on the position of the center of the head of the occupant in the technique of detecting the head of the occupant.

図1は、本発明の実施の形態に係る処理装置が車両に搭載された状態の座標系の関係を3次元的に示す座標図である。FIG. 1 is a coordinate diagram showing three-dimensionally the relationship of the coordinate system in a state where the processing device according to the embodiment of the present invention is mounted on a vehicle. 図2は、本発明の実施の形態に係る処理装置における頭部重心位置取得の動作を示すフローチャートである。FIG. 2 is a flowchart showing an operation of acquiring the position of the center of gravity of the head in the processing apparatus according to the embodiment of the present invention. 図3(a)は、検出エリア内の車両座標系(w,l,h)での3次元画素群を示す画素群図であり、図3(b)は、検出エリア内の画素群から領域を絞り込んだ抽出画素群図である。FIG. 3A is a pixel group diagram showing a three-dimensional pixel group in the vehicle coordinate system (w, l, h) in the detection area, and FIG. 3B is a region from the pixel group in the detection area. It is the extraction pixel group diagram which narrowed down. 図4(a)は、Step2で抽出した画素群図であり、図4(b)は、画素群をl軸の方向に分割した場合の画素群図であり、図4(c)は、高尤度領域として抽出された画素群図である。FIG. 4A is a pixel group diagram extracted by Step 2, FIG. 4B is a pixel group diagram when the pixel group is divided in the direction of the l-axis, and FIG. 4C is a high pixel group diagram. It is a pixel group diagram extracted as a likelihood region. 図5は、頭部横幅、頭部高さの頭部モデル定義例を示す図表である。FIG. 5 is a chart showing a head model definition example of the head width and the head height. 図6(a)は、Step3で抽出した画素群図であり、図6(b)は、画素群をw軸の方向に分割した場合の画素群図であり、図6(c)は、高尤度領域として抽出された画素群図である。FIG. 6A is a pixel group diagram extracted by Step 3, FIG. 6B is a pixel group diagram when the pixel group is divided in the direction of the w-axis, and FIG. 6C is a high pixel group diagram. It is a pixel group diagram extracted as a likelihood region. 図7は、h方向の最大値として抽出した頭頂部を示す図である。FIG. 7 is a diagram showing the crown extracted as the maximum value in the h direction. 図8(a)は、抽出した頭頂部を示す車両座標系(w,l,h)での画素群図であり、図8(b)は、頭部モデル定義例により頭部を抽出したwh面における画素群図であり、図8(c)は、頭部モデル定義例により頭部を抽出したlh面における画素群図であり、図8(d)は、抽出した頭部領域を示す画素群図である。FIG. 8A is a pixel group diagram in the vehicle coordinate system (w, l, h) showing the extracted head top, and FIG. 8B is wh from which the head is extracted according to the head model definition example. It is a pixel group diagram in a plane, FIG. 8C is a pixel group diagram in a lh plane from which a head is extracted according to a head model definition example, and FIG. 8D is a pixel showing an extracted head region. It is a group map. 図9は、抽出した頭部位置(頭部領域の重心位置)を示す画素群図である。FIG. 9 is a pixel group diagram showing the extracted head position (center of gravity position of the head region). 図10は、本発明の実施の形態に係る処理装置における頭部中心位置取得の動作を示すフローチャートである。FIG. 10 is a flowchart showing an operation of acquiring the head center position in the processing apparatus according to the embodiment of the present invention. 図11(a)は、頭部領域における画素群の重心位置を示す図であり、図11(b)は、頭部位置を探索する探索処理を実行した結果の補正された頭部中心位置を示す図である。FIG. 11A is a diagram showing the position of the center of gravity of the pixel group in the head region, and FIG. 11B is a diagram showing the corrected head center position as a result of executing the search process for searching the head position. It is a figure which shows.

(本発明の実施の形態)
本発明の実施の形態に係る処理装置1は、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部としてのTOFカメラ10と、距離画像を構成する画素群であって、車両8の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員5の頭部が存在する可能性の高い画素群である高尤度領域に対して、乗員5の頭部50を特定し、その特定された乗員の頭部における頭部中心位置Cを求める位置検出処理を実行する制御部と、を有して構成されている。
(Embodiment of the present invention)
The processing device 1 according to the embodiment of the present invention acquires a distance image in which the image pickup region including the occupant 5 of the vehicle 8 is the image pickup target, and the distance information to the image pickup target is assigned to each pixel. The TOF camera 10 as an acquisition unit and the pixel group constituting the distance image are extracted according to the correspondence between the coordinate system in the vehicle interior space of the vehicle 8 and the coordinate system in the distance image, and the head of the occupant 5 exists. Control to execute a position detection process for specifying the head 50 of the occupant 5 and obtaining the head center position C in the specified occupant's head for a high likelihood region which is a pixel group having a high possibility of It is composed of a part and a part.

なお、画素群とは、TOFカメラ10により撮像された画素に対応する点の集合であって、車両8の車室内空間における座標系、TOFカメラ10における座標系等により位置が表示される3次元空間の点の集合である。また、高尤度領域とは、検出対象が存在する可能性の高い領域である。具体的には、例えば、領域内の画素群数が多く、あるいは、画素群密度が高い領域である。 The pixel group is a set of points corresponding to the pixels imaged by the TOF camera 10, and the position is displayed by the coordinate system in the vehicle interior space of the vehicle 8, the coordinate system in the TOF camera 10, and the like. It is a set of points in space. The high-likelihood region is a region in which a detection target is likely to exist. Specifically, for example, it is a region in which the number of pixel groups in the region is large or the pixel group density is high.

(TOFカメラ10)
取得部としては撮像対象の3次元認識が可能なものであれば使用可能であるが、本実施の形態では、取得部としてTOF(Time Of Flight)カメラ10を使用する。TOFカメラ10は、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出し、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。TOFカメラ10は、赤外光等を発光後、その光が物体に反射して戻ってきた反射光を受光し、発光から受光までの時間を測定して、画素ごとに撮像対象物までの距離を検出する。
(TOF camera 10)
The acquisition unit can be used as long as it can recognize the image pickup target in three dimensions, but in the present embodiment, the TOF (Time Of Flight) camera 10 is used as the acquisition unit. The TOF camera 10 can detect the time until the light of the light source hits the object to be measured and returns for each pixel, and can take a three-dimensional image including the position information corresponding to the distance in the depth direction. After emitting infrared light or the like, the TOF camera 10 receives the reflected light that is reflected by the object and returns, measures the time from the light emission to the light reception, and measures the time from the light emission to the light reception, and the distance to the object to be imaged for each pixel. Is detected.

TOFカメラ10は、例えば、図1に示すように、ルームミラー付近に取り付け、車両8の乗員5を含む撮像領域を撮像対象とする。TOFカメラ10による撮像画像は、座標(u,v)と、この座標(u,v)における奥行情報としての画素値d(u,v)を含む。取得された画素値d(u,v)(u=0、1、…U-1,v=0、1、…V-1)は、撮像対象としての物体(ここで言う物体は、運転者や車載機器など)までの距離を意味する。なお、実施形態における符号Uは、撮像画像における横幅[pixel]を意味し、符号Vは、撮像画像における縦幅[pixel]を意味する。つまり、TOFカメラ10で撮像された画像における各画素に、3次元空間における距離情報を割り当てることで距離画像が生成される。 As shown in FIG. 1, for example, the TOF camera 10 is attached near the rear-view mirror, and the imaging region including the occupant 5 of the vehicle 8 is targeted for imaging. The image captured by the TOF camera 10 includes coordinates (u, v) and pixel values d (u, v) as depth information at these coordinates (u, v). The acquired pixel value d (u, v) (u = 0, 1, ... U-1, v = 0, 1, ... V-1) is an object to be imaged (the object referred to here is the driver). And in-vehicle devices). The reference numeral U in the embodiment means the horizontal width [pixel] in the captured image, and the reference numeral V means the vertical width [pixel] in the captured image. That is, a distance image is generated by assigning the distance information in the three-dimensional space to each pixel in the image captured by the TOF camera 10.

(距離画像から得られるカメラ座標系)
距離画像における座標値u,vと、座標(u,v)における画素値d(u,v)は、以下の式を用いて3次元空間上の点(x,y,z)に変換することで、図1に示すカメラ座標系(x,y,z)における3次元画素群を作成することができる。

Figure 0007053341000001
なお、(c、c)は、画像中心座標、fは、レンズ焦点距離である。 (Camera coordinate system obtained from distance image)
The coordinate values u, v in the range image and the pixel value d (u, v) in the coordinates (u, v) are converted into points (x, y, z) in the three-dimensional space using the following equation. Then, a three-dimensional pixel group in the camera coordinate system (x, y, z) shown in FIG. 1 can be created.
Figure 0007053341000001
Note that (c x , cy ) is the image center coordinates, and f is the lens focal length.

(車両座標系)
カメラ座標系(x,y,z)は、検出対象であるドライバ(例えば腰骨の位置)を原点とする車両座標系(w,l,h)に変換することができる。変換方法は、一般的な座標回転変換、平行移動変換、スケール変換の組み合わせである。変換後の座標軸は、ドライバ右方向をw軸、前方をl軸(エル軸)、上方をh軸とし、原点はドライバの腰骨位置とする。
(Vehicle coordinate system)
The camera coordinate system (x, y, z) can be converted into a vehicle coordinate system (w, l, h) whose origin is the driver (for example, the position of the hip bone) to be detected. The conversion method is a combination of general coordinate rotation conversion, translation conversion, and scale conversion. The coordinate axes after conversion are w-axis in the right direction of the driver, l-axis (el-axis) in the anterior direction, h-axis in the upper direction, and the origin is the position of the hipbone of the driver.

(制御部20)
制御部20は、座標変換、頭頂部特定処理、頭部特定処理等を行なうための、例えばマイクロコンピュータを備えている。制御部20は、図1に示すように、TOFカメラ10と接続されている。制御部20は、記憶されたプログラムに従って、取得したデータに演算、加工などを行うCPU(Central Processing Unit)21、半導体メモリであるRAM(Random Access Memory)22及びROM(Read Only Memory)23を備えている。
(Control unit 20)
The control unit 20 includes, for example, a microcomputer for performing coordinate conversion, head identification processing, head identification processing, and the like. As shown in FIG. 1, the control unit 20 is connected to the TOF camera 10. The control unit 20 includes a CPU (Central Processing Unit) 21 that performs calculations and processing on the acquired data according to a stored program, a RAM (Random Access Memory) 22 that is a semiconductor memory, and a ROM (Read Only Memory) 23. ing.

(処理装置1の動作)
図2、図10で示す本発明の実施の形態に係る処理装置1の動作を示すフローチャートに基づいて、説明する。制御部20は、各フローチャートに従って以下の演算、処理を実行する。
(Operation of processing device 1)
2 and 10 will be described with reference to a flowchart showing the operation of the processing apparatus 1 according to the embodiment of the present invention. The control unit 20 executes the following calculations and processes according to each flowchart.

(Step1)
取得部としてのTOFカメラ10は、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する。この距離画像は、所定の時間間隔で撮像されたフレームの1フレームとして取得することができる。取得された距離画像は、以下の処理における入力(3次元画素群)として機能する。距離画像は、上記説明したカメラ座標系、車両座標系へ変換される。これにより、図3(a)に示すように、検出エリアに含まれる3次元画素群201を抽出できる。以下の処理においては、車両座標系(w,l,h)の3次元画素群で演算、処理等が実行される。
(Step 1)
The TOF camera 10 as an acquisition unit acquires a distance image in which the image pickup region including the occupant 5 of the vehicle 8 is the image pickup target, and the distance information to the image pickup target is assigned to each pixel. This distance image can be acquired as one frame of the frames captured at predetermined time intervals. The acquired distance image functions as an input (three-dimensional pixel group) in the following processing. The distance image is converted into the camera coordinate system and the vehicle coordinate system described above. As a result, as shown in FIG. 3A, the three-dimensional pixel group 201 included in the detection area can be extracted. In the following processing, operations, processing, and the like are executed in the three-dimensional pixel group of the vehicle coordinate system (w, l, h).

(Step2)
制御部20は、頭頂部の抽出として、まず、図3(b)に示すように、検出エリア内の画素群202を抽出する。検出エリアを定義し、その空間に含まれる画素群を抽出することで、領域を絞り込む。検出エリアは、着座時に頭部50が存在すると考えられる、車室内上方の空間とする。例えば、ドライバ腰骨位置203を原点とし、-510<w<360、-280<l<700、430<h<750の範囲である。単位はmmである(以下、同じ)。
(Step2)
The control unit 20 first extracts the pixel group 202 in the detection area as shown in FIG. 3B as the extraction of the crown portion. The area is narrowed down by defining the detection area and extracting the pixel group included in the space. The detection area is a space above the vehicle interior where the head 50 is considered to be present when seated. For example, the origin is the driver hipbone position 203, and the range is −510 <w <360, 280 <l <700, 430 <h <750. The unit is mm (hereinafter the same).

頭部50が含まれる領域を抽出するために、Step1で抽出した画素群をw軸方向から見た時、図4(a)に示すように、最も画素群密度が高くなる領域は高尤度領域として頭部50と胴体部分70が含まれていると考えられる(頭部50の下方には胴体部分70が存在すると考える)。ここでは、頭部モデル定義(図5)の横幅Dをもとにl軸の方向に分割し(図4(b))、lh平面上で最も画素群が多い領域204を抽出する(図4(c))。 When the pixel group extracted by Step 1 is viewed from the w-axis direction in order to extract the region including the head 50, as shown in FIG. 4A, the region having the highest pixel group density has high likelihood. It is considered that the head 50 and the body portion 70 are included as the region (the body portion 70 is considered to exist below the head 50). Here, based on the width D of the head model definition (FIG. 5), the region is divided in the direction of the l-axis (FIG. 4 (b)), and the region 204 having the largest number of pixel groups on the lh plane is extracted (FIG. 4). (C)).

(Step3)
頭頂部が含まれる領域を抽出するために、Step2で抽出した画素群の領域204(図6(a))をl軸方向から見た時、最も画素群密度が高くなる領域は高尤度領域として頭頂部が含まれていると考えられる。ここでは、頭部モデル定義の横幅Dをもとにw軸の方向に分割し(図6(b))、wh平面上で最も画素群が多い領域205を抽出する(図6(c))。
(Step 3)
When the area 204 (FIG. 6A) of the pixel group extracted by Step 2 is viewed from the l-axis direction in order to extract the area including the crown, the area with the highest pixel group density is the high likelihood area. It is considered that the crown is included as. Here, it is divided in the direction of the w-axis based on the width D defined by the head model (FIG. 6 (b)), and the region 205 having the largest number of pixel groups on the wh plane is extracted (FIG. 6 (c)). ..

(Step4)
制御部20は、頭頂部位置を算出する、頭頂部特定処理を実行する。Step3で抽出した画素群のうち、図7に示すように、h軸において最も高い部分が頭頂部60であると考えられる。なお、h方向において抽出した画素群205(図6(c))の大きい値の何点かの平均により、頭頂部60を抽出してもよい。抽出された頭頂部60の座標を、(wt,lt,ht)とする。
(Step 4)
The control unit 20 executes a parietal region specifying process for calculating the parietal region position. As shown in FIG. 7, among the pixel groups extracted by Step 3, the highest portion on the h-axis is considered to be the crown 60. The crown 60 may be extracted by averaging some of the large values of the pixel group 205 (FIG. 6 (c)) extracted in the h direction. Let the coordinates of the extracted crown 60 be (wt, lt, ht).

(Step5)
制御部20は、頭部領域を抽出する。頭頂部の抽出処理で抽出した頭頂部60および頭部モデル定義(図5)から頭部50を抽出する。頭頂部60の座標(wt,lt,ht)を基準とし、図8(a)~(d)のように画素群を抽出することで、頭部領域206を得る。頭部領域206は、wt-w<w<wt+w、lt-l<l<lt+l、ht-h<h<htの範囲である。頭部モデル定義例(図5)を適合させると、w=176/2、l=176/2、h=146である。なお、hは、TOFカメラの特性による頭髪部分の情報欠落を想定し、頭部モデル定義の高さHから60だけマイナスして、h=206-60=146としている。
(Step 5)
The control unit 20 extracts the head region. The head 50 is extracted from the head 60 and the head model definition (FIG. 5) extracted by the extraction process of the head. The head region 206 is obtained by extracting a pixel group as shown in FIGS. 8A to 8D with reference to the coordinates (wt, lt, ht) of the crown 60. The head region 206 is in the range of wt-w 1 <w <wt + w 1 , lt-l 1 <l <lt + l 1 , ht-h 1 <h <ht. When the head model definition example (FIG. 5) is adapted, w 1 = 176/2, l 1 = 176/2, and h 1 = 146. It should be noted that h 1 is set to h 1 = 206-60 = 146 by subtracting 60 from the height H defined in the head model, assuming the lack of information on the hair portion due to the characteristics of the TOF camera.

(Step6)
制御部20は、頭部位置を算出する、頭部特定処理を実行する。Step5で抽出した領域206において、図9で示すように、上記のw、l、hの範囲で規定される領域に含まれる頭部領域206の画素群の重心を求めることにより、頭部位置として重心位置G(wg,lg,hg)を出力することができる。
(Step 6)
The control unit 20 executes a head identification process for calculating the head position. In the region 206 extracted in Step 5, as shown in FIG. 9, the center of gravity of the pixel group of the head region 206 included in the region defined by the above w, l, and h ranges is obtained as the head position. The center of gravity position G (wg, lg, hg) can be output.

(Step7)
制御部20は、初期化を行なう。制御部20は、頭部中心位置Cの初期値を、Step6で出力した重心位置Gとする。すなわち、頭部中心位置Cの空間上の座標を(wg,lg,hg)とする。また、sを座標の更新ステップ幅とする。sの初期値は例えば1[mm]とする。
(Step 7)
The control unit 20 performs initialization. The control unit 20 sets the initial value of the head center position C as the center of gravity position G output in Step 6. That is, the coordinates of the head center position C in space are (wg, lg, hg). Also, let s be the coordinate update step width. The initial value of s is, for example, 1 [mm].

(Step8)
制御部20は、(wc,lc,hc)及び、この点(wc,lc,hc)に3次元方向に隣接する周囲の26点((wc±s,lc,hc)、(wc,lc±s,hc)、(wc,lc,hc±s)、(wc±s,lc±s,hc)、(wc±s,lc,hc±s)、(wc,lc±s,hc±s)、(wc±s,lc±s,hc±s))について、以下の評価関数の値(分散)を算出する。

Figure 0007053341000002
ここで、nは、頭部領域に含まれる点の数、pkは頭部領域に含まれる点(p=0,1,…,n-1)、d(a,b)は、点a,b間のユークリッド距離とする。 (Step 8)
The control unit 20 has (wc, lc, hc) and 26 surrounding points ((wc ± s, lc, hc), (wc, lc ±) adjacent to this point (wc, lc, hc) in the three-dimensional direction. s, hc), (wc, lc, hc ± s), (wc ± s, lc ± s, hc), (wc ± s, lc, hc ± s), (wc, lc ± s, hc ± s) , (Wc ± s, lc ± s, hc ± s)), the value (variance) of the following evaluation function is calculated.
Figure 0007053341000002
Here, n is the number of points included in the head region, pk is the points included in the head region (p = 0,1, ..., n-1), and d (a, b) is the point a, Let it be the Euclidean distance between b.

(Step9)
制御部20は、Step8で算出した27点のうち、最も評価値の小さい座標を頭部中心位置Cとして更新する。この評価値は、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す値である。
(Step 9)
The control unit 20 updates the coordinates having the smallest evaluation value among the 27 points calculated in Step 8 as the head center position C. This evaluation value is a value indicating the variation in the distance between the coordinates corresponding to the center of the head and the plurality of coordinates set around the center of the head.

(Step10)
制御部20は、頭部中心位置Cが変化したか(更新されたか)どうかを判断する。頭部中心位置Cが変化した場合は、Step11へ進み(Step10:Yes)、頭部中心位置Cが変化しない場合は、Step12へ進む(Step10:No)。
(Step 10)
The control unit 20 determines whether or not the head center position C has changed (updated). If the head center position C changes, the process proceeds to Step 11 (Step 10: Yes), and if the head center position C does not change, the process proceeds to Step 12 (Step 10: No).

(Step11)
制御部20は、頭部中心位置Cの初期位置と更新後の位置の距離差が閾値未満かどうかを判断する。閾値未満の場合は、Step13へ進み(Step11:Yes)、閾値未満でない場合は、Step14へ進む(Step11:No)。
(Step 11)
The control unit 20 determines whether or not the distance difference between the initial position of the head center position C and the updated position is less than the threshold value. If it is less than the threshold value, the process proceeds to Step 13 (Step 11: Yes), and if it is not less than the threshold value, the process proceeds to Step 14 (Step 11: No).

(Step12)
制御部20は、座標のステップ幅sをより小さい値(例えば1/10)に更新して、Step8へ戻って探索処理を繰り返して実行する。
(Step 12)
The control unit 20 updates the step width s of the coordinates to a smaller value (for example, 1/10), returns to Step 8, and repeats the search process.

(Step13)
制御部20は、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値を比較し、その差分が閾値未満かどうかを判断する。閾値未満の場合は、Step15へ進み(Step13:Yes)、閾値未満でない場合は、Step8へ戻って探索処理を繰り返して実行する。
(Step 13)
The control unit 20 compares the evaluation value for the head center position after the update with the evaluation value for the head center position before the update, and determines whether the difference is less than the threshold value. If it is less than the threshold value, the process proceeds to Step 15 (Step 13: Yes), and if it is not less than the threshold value, the process returns to Step 8 and the search process is repeated.

(Step14)
制御部20は、頭部中心位置Cを更新前に戻す。すなわち、特定の座標が変更されない場合、規定された距離を、予め定められた距離よりも短い距離とする。
(Step 14)
The control unit 20 returns the head center position C before updating. That is, when the specific coordinates are not changed, the specified distance is set to be shorter than the predetermined distance.

(Step15)
制御部20は、頭部位置として頭部中心位置Cを出力して処理を終了する。上記示した一連の動作により、図11(a)に示す頭部領域における画素群の初期位置(重心位置G)が、図11(b)に示す頭部中心位置Cに補正される。なお、領域207は、図9における領域206の中の重心位置Gの周囲領域を示したものである。
(Step15)
The control unit 20 outputs the head center position C as the head position and ends the process. By the series of operations shown above, the initial position (center of gravity position G) of the pixel group in the head region shown in FIG. 11A is corrected to the head center position C shown in FIG. 11B. The region 207 shows the region around the center of gravity position G in the region 206 in FIG.

上記の処理実行は、上記示した一連の動作として繰り返して実行することができる。 The above processing execution can be repeatedly executed as a series of operations shown above.

(プログラムとしての実施形態)
コンピュータに、処理装置1で示した、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得ステップと、距離画像を構成する画素群であって、車両8の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員5の頭部50が存在する可能性の高い画素群である高尤度領域に対して、乗員5の頭部50を特定し、その特定された乗員の頭部50における頭部中心位置Cを求める位置検出処理を実行する制御ステップと、を、コンピュータに実行させるためのプログラムも、本発明の実施の形態の一つである。
(Embodiment as a program)
An acquisition step of acquiring a distance image, which is a distance image of the image pickup area including the occupant 5 of the vehicle 8 as an image pickup target, and the distance information to the image pickup target is assigned to each pixel, which is shown by the processing device 1 on the computer. A pixel group constituting a distance image, which is extracted according to the correspondence between the coordinate system in the vehicle interior space of the vehicle 8 and the coordinate system in the distance image, and has a high possibility that the head 50 of the occupant 5 exists. A computer performs a control step of specifying the head 50 of the occupant 5 with respect to the high likelihood region, and executing a position detection process for obtaining the head center position C in the specified occupant's head 50. A computer for executing a computer is also one of the embodiments of the present invention.

処理装置1の動作で説明したStep1が距離画像を取得する取得ステップの一例であり、Step7からStep15が位置検出処理を実行する制御ステップの一例であり、図2、図10で示したフローチャートを実行する処理制御を、コンピュータに実行させるためのプログラムの実施形態とすることができる。 Step 1 described in the operation of the processing device 1 is an example of an acquisition step for acquiring a distance image, Steps 7 to 15 are an example of a control step for executing a position detection process, and the flowcharts shown in FIGS. 2 and 10 are executed. The processing control to be performed can be an embodiment of a program for causing a computer to execute.

また、上記のようなプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の実施の形態の一つである。 A computer-readable recording medium on which the above program is recorded is also one of the embodiments of the present invention.

(実施の形態の効果)
本発明の実施の形態によれば、以下のような効果を有する。
(1)本発明の実施の形態に係る処理装置は、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部としてのTOFカメラ10と、距離画像を構成する画素群であって、車両8の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員5の頭部が存在する可能性の高い画素群である高尤度領域に対して、乗員5の頭部50を特定し、その特定された乗員の頭部における頭部中心位置Cを求める位置検出処理を実行する制御部と、を有して構成されている。TOFカメラから得られる距離画像の各画素を3次元空間上に変換した画素群(3次元画素群)をもとに検出される頭部位置は顔表面に偏るが、頭部を球体で近似することで検出位置を頭部中心に補正することが可能となる。
(2)物体表面の情報から、物体中心位置を検出することが可能となる。すなわち、顔を撮影する方向によらず、常に頭部中心付近の位置を頭部位置として検出可能となる。
(3)以上により、車両の乗員の頭部を検出する技術において、乗員の頭部中心位置に関する情報を取得する処理装置、及びプログラムを提供することが可能になる。
(Effect of embodiment)
According to the embodiment of the present invention, it has the following effects.
(1) The processing apparatus according to the embodiment of the present invention is a distance image in which an imaging region including an occupant 5 of a vehicle 8 is an imaging target, and a distance image in which distance information to an imaging target is assigned to each pixel. The TOF camera 10 as the acquisition unit to be acquired and the pixel group constituting the distance image are extracted according to the correspondence between the coordinate system in the vehicle interior space of the vehicle 8 and the coordinate system in the distance image, and the head of the occupant 5. A position detection process is executed in which the head 50 of the occupant 5 is specified for the high-probability region, which is a pixel group in which is likely to exist, and the head center position C in the specified occupant's head is obtained. It is configured to have a control unit and a control unit. The head position detected based on the pixel group (three-dimensional pixel group) obtained by converting each pixel of the distance image obtained from the TOF camera into the three-dimensional space is biased toward the face surface, but the head is approximated by a sphere. This makes it possible to correct the detection position to the center of the head.
(2) It is possible to detect the position of the center of the object from the information on the surface of the object. That is, regardless of the direction in which the face is photographed, the position near the center of the head can always be detected as the head position.
(3) From the above, in the technique of detecting the head of the occupant of the vehicle, it becomes possible to provide a processing device and a program for acquiring information on the position of the center of the occupant's head.

以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described above, these embodiments are merely examples and do not limit the invention according to the claims. In addition, these novel embodiments can be implemented in various other embodiments, and various omissions, replacements, changes, etc. can be made without departing from the gist of the present invention. Moreover, not all combinations of features described in these embodiments are essential as means for solving the problems of the invention. Further, these embodiments are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

1…処理装置、5…乗員、8…車両、10…TOFカメラ、20…制御部、50…頭部、60…頭頂部、70…胴体部分、201、202、204、205、206、207…領域、203…ドライバ腰骨位置、C…頭部中心位置、G…重心位置
1 ... Processing device, 5 ... Crew, 8 ... Vehicle, 10 ... TOF camera, 20 ... Control unit, 50 ... Head, 60 ... Head top, 70 ... Body part, 201, 202, 204, 205, 206, 207 ... Area, 203 ... Driver hipbone position, C ... Head center position, G ... Center of gravity position

Claims (10)

車両の乗員を含む撮像領域を撮像対象とし、与えられた2次元座標系の座標に対応する画素ごとに前記撮像対象までの距離情報を割り当てた距離画像を取得する取得部と、
前記取得部で取得した前記距離画像の前記2次元座標系の前記画素の座標とこの座標の前記距離情報とを3次元空間上の点に変換して3次元画素群を作成し、前記3次元画素群の第1の座標系を、前記乗員を原点とする第2の座標系に変換し、変換された前記第2の座標系における前記3次元画素群から抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された前記乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御部と、
を有し、
前記制御部は、前記乗員の頭部の重心の座標を特定し、特定された前記重心の座標を前記頭部中心位置の初期値とし、
前記重心の座標及び前記重心の座標の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記頭部中心位置の座標として更新する探索処理を実行する、
処理装置。
An acquisition unit that acquires a distance image in which an imaging region including a vehicle occupant is an imaging target and distance information to the imaging target is assigned to each pixel corresponding to the coordinates of a given two-dimensional coordinate system .
The coordinates of the pixels in the two-dimensional coordinate system of the distance image acquired by the acquisition unit and the distance information of the coordinates are converted into points on the three-dimensional space to create a three-dimensional pixel group, and the three-dimensional The first coordinate system of the pixel group is converted into the second coordinate system with the occupant as the origin, and the head of the occupant is extracted from the three-dimensional pixel group in the converted second coordinate system. A control for executing a position detection process for identifying the head of the occupant in a high-probability region, which is a group of pixels having a high possibility of existence, and determining the center position of the head in the identified head of the occupant. Department and
Have,
The control unit specifies the coordinates of the center of gravity of the occupant's head, and sets the specified coordinates of the center of gravity as the initial value of the head center position.
A search process is executed in which the coordinates that minimize the evaluation value indicating the variation in the distance between the coordinates of the center of gravity and the plurality of coordinates set around the coordinates of the center of gravity are updated as the coordinates of the head center position. ,
Processing equipment.
前記制御部は、前記第2の座標系において前記原点から前記車両の右方向を正、左方向を負とする第1の軸、前記車両の前方向を正とする第2の軸、及び前記車両の上方向を正とする第3の軸とした場合、
予め規定された頭部モデルに応じて予め規定された横幅に基づいて、抽出した前記高尤度領域を前記第2の軸の方向に分割して最も画素群が多い第1の領域を抽出し、
前記横幅に基づいて前記第1の領域を前記第1の軸の方向に分割して最も画素群が多い第2の領域を抽出し、
さらに抽出した前記第2の領域において前記第3の軸の正方向に沿って最も高い部分を前記乗員の頭頂部とし、
前記頭部モデルを前記乗員の頭頂部に対し適合させることで前記乗員の頭部領域を特定し、
前記頭部領域の重心の座標を前記乗員の頭部の前記重心の座標として特定する、
請求項1に記載の処理装置。
In the second coordinate system, the control unit has a first axis in which the right direction of the vehicle is positive and negative in the left direction from the origin, a second axis in which the front direction of the vehicle is positive, and the control unit. When the third axis is positive in the upward direction of the vehicle,
Based on the predetermined width according to the predetermined head model, the extracted high-likelihood region is divided in the direction of the second axis, and the first region having the largest number of pixel groups is extracted. ,
The first region is divided in the direction of the first axis based on the width, and the second region having the largest number of pixel groups is extracted.
Further, in the extracted second region, the highest portion along the positive direction of the third axis is defined as the crown of the occupant.
By adapting the head model to the crown of the occupant, the occupant's head area is identified.
The coordinates of the center of gravity of the head region are specified as the coordinates of the center of gravity of the occupant's head.
The processing apparatus according to claim 1.
前記制御部は、前記頭部中心位置の座標を、規定された距離変更して、前記評価値が最小となる座標を新たに前記頭部中心位置の座標として探索することを、前記探索処理として実行する、請求項1又は2に記載の処理装置。 As the search process, the control unit changes the coordinates of the head center position by a specified distance and newly searches for the coordinates that minimize the evaluation value as the coordinates of the head center position. The processing apparatus according to claim 1 or 2 , which is executed. 前記制御部は、前記頭部中心位置の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、請求項に記載の処理装置。 The processing device according to claim 3 , wherein the control unit sets the specified distance to a distance shorter than a predetermined distance when the coordinates of the head center position are not changed. 前記制御部は、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、請求項からまでのいずれか1項に記載の処理装置。 The control unit determines whether to continue the position detection process depending on whether or not the difference between the evaluation value for the head center position after the update and the evaluation value for the head center position before the update is equal to or greater than a predetermined threshold value. The processing apparatus according to any one of claims 1 to 4 . 車両の乗員を含む撮像領域を撮像対象とし、与えられた2次元座標系の座標に対応する画素ごとに前記撮像対象までの距離情報を割り当てた距離画像を取得する取得ステップと、
前記取得ステップで取得した前記距離画像の前記2次元座標系の前記画素の座標とこの座標の前記距離情報とを3次元空間上の点に変換して3次元画素群を作成し、前記3次元画素群の第1の座標系を、前記乗員を原点とする第2の座標系に変換し、変換された前記第2の座標系における前記3次元画素群から抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された前記乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御ステップと、
有し、
前記制御ステップは、前記乗員の頭部の重心の座標を特定し、特定された前記重心の座標を前記頭部中心位置の初期値とし、
前記重心の座標及び前記重心の座標の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記頭部中心位置の座標として更新する探索処理を実行する、ことをコンピュータに実行させるためのプログラム。
An acquisition step of acquiring an image pickup area including a vehicle occupant and assigning distance information to the image pickup target for each pixel corresponding to the coordinates of a given two-dimensional coordinate system, and an acquisition step.
The coordinates of the pixels in the two-dimensional coordinate system of the distance image acquired in the acquisition step and the distance information of the coordinates are converted into points on the three-dimensional space to create a three-dimensional pixel group, and the three-dimensional The first coordinate system of the pixel group is converted into the second coordinate system with the occupant as the origin, and the head of the occupant is extracted from the three-dimensional pixel group in the converted second coordinate system. A control for executing a position detection process for identifying the head of the occupant in a high-probability region, which is a group of pixels having a high possibility of existence, and determining the center position of the head in the identified head of the occupant. Steps and
Have,
In the control step, the coordinates of the center of gravity of the occupant's head are specified, and the coordinates of the specified center of gravity are set as the initial value of the head center position.
A search process is executed in which the coordinates that minimize the evaluation value indicating the variation in the distance between the coordinates of the center of gravity and the plurality of coordinates set around the coordinates of the center of gravity are updated as the coordinates of the head center position. , A program that lets your computer do that.
前記制御ステップは、前記第2の座標系において前記原点から前記車両の右方向を正、左方向を負とする第1の軸、前記車両の前方向を正とする第2の軸、及び前記車両の上方向を正とする第3の軸とした場合、
予め規定された頭部モデルに応じて予め規定された横幅に基づいて、抽出した前記高尤度領域を前記第2の軸の方向に分割して最も画素群が多い第1の領域を抽出し、
前記横幅に基づいて前記第1の領域を前記第1の軸の方向に分割して最も画素群が多い第2の領域を抽出し、
さらに抽出した前記第2の領域において前記第3の軸の正方向に沿って最も高い部分を前記乗員の頭頂部とし、
前記頭部モデルを前記乗員の頭頂部に対し適合させることで前記乗員の頭部領域を特定し、
前記頭部領域の重心の座標を前記乗員の頭部の前記重心の座標として特定する、請求項に記載のプログラム。
The control step is a first axis in which the right direction of the vehicle is positive and negative in the left direction from the origin in the second coordinate system, a second axis in which the front direction of the vehicle is positive, and the control step. When the third axis is positive in the upward direction of the vehicle,
Based on the predetermined width according to the predetermined head model, the extracted high-likelihood region is divided in the direction of the second axis, and the first region having the largest number of pixel groups is extracted. ,
The first region is divided in the direction of the first axis based on the width, and the second region having the largest number of pixel groups is extracted.
Further, in the extracted second region, the highest portion along the positive direction of the third axis is defined as the crown of the occupant.
By adapting the head model to the crown of the occupant, the occupant's head area is identified.
The program according to claim 6 , wherein the coordinates of the center of gravity of the head region are specified as the coordinates of the center of gravity of the occupant's head .
前記制御ステップは、前記頭部中心位置の座標を、規定された距離変更して、前記評価値が最小となる座標を新たに前記頭部中心位置の座標として探索することを、前記探索処理として実行する、請求項に記載のプログラム。 The control step changes the coordinates of the head center position by a specified distance, and newly searches for the coordinates that minimize the evaluation value as the coordinates of the head center position , as the search process. The program of claim 7 to be executed. 前記制御ステップは、前記頭部中心位置の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、請求項に記載のプログラム。 The program according to claim 8 , wherein the control step sets the defined distance to a distance shorter than a predetermined distance when the coordinates of the head center position are not changed. 前記制御ステップは、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、請求項からまでのいずれか1項に記載のプログラム。 The control step determines whether to continue the position detection process depending on whether or not the difference between the evaluation value for the head center position after the update and the evaluation value for the head center position before the update is equal to or greater than a predetermined threshold value. The program according to any one of claims 6 to 9 .
JP2018066466A 2018-03-30 2018-03-30 Processing equipment and programs Active JP7053341B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018066466A JP7053341B2 (en) 2018-03-30 2018-03-30 Processing equipment and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018066466A JP7053341B2 (en) 2018-03-30 2018-03-30 Processing equipment and programs

Publications (2)

Publication Number Publication Date
JP2019179287A JP2019179287A (en) 2019-10-17
JP7053341B2 true JP7053341B2 (en) 2022-04-12

Family

ID=68278646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018066466A Active JP7053341B2 (en) 2018-03-30 2018-03-30 Processing equipment and programs

Country Status (1)

Country Link
JP (1) JP7053341B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220390568A1 (en) * 2019-10-23 2022-12-08 Koito Manufacturing Co., Ltd. Sensor system and sensor unit

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012127811A (en) 2010-12-15 2012-07-05 Honda Motor Co Ltd Occupant detection device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012127811A (en) 2010-12-15 2012-07-05 Honda Motor Co Ltd Occupant detection device

Also Published As

Publication number Publication date
JP2019179287A (en) 2019-10-17

Similar Documents

Publication Publication Date Title
JP6184877B2 (en) Vehicle external recognition device
JP6125188B2 (en) Video processing method and apparatus
CN113243016A (en) Object recognition system, arithmetic processing device, automobile, vehicle lamp, and method for learning classifier
JP6782433B2 (en) Image recognition device
KR20190095592A (en) Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera
JP6021689B2 (en) Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program
JP2014009975A (en) Stereo camera
EP3955207A1 (en) Object detection device
US20240312223A1 (en) Image processing apparatus
KR101696086B1 (en) Method and apparatus for extracting object region from sonar image
KR101995466B1 (en) Stereo image matching based on feature points
JP7053341B2 (en) Processing equipment and programs
JP6077785B2 (en) Object detection apparatus and program
JP7053342B2 (en) Processing equipment and programs
JP7053340B2 (en) Processing equipment and programs
JP2018092608A (en) Information processing device, imaging device, apparatus control system, movable body, information processing method, and program
JP7117878B2 (en) processor and program
JP7240193B2 (en) Face orientation determination device, computer program, and storage medium
JP6354963B2 (en) Object recognition apparatus, object recognition method, and object recognition program
CN112400094B (en) Object detecting device
JP5141275B2 (en) VEHICLE IMAGE PROCESSING DEVICE AND VEHICLE IMAGE PROCESSING METHOD
JP4765363B2 (en) Occupant detection device and occupant detection method
JPH09282460A (en) Automatic target recognition device
JP2015215235A (en) Object detection device and object detection method
KR101706674B1 (en) Method and computing device for gender recognition based on long distance visible light image and thermal image

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20180427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180501

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220331

R150 Certificate of patent or registration of utility model

Ref document number: 7053341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250