JP6865366B2 - 人の状態認識を基盤として身体部位の長さ及び顔情報を使用して乗客の身長及び体重を予測する方法及び装置 - Google Patents

Description

本発明は、各乗客の身体部位の長さ及び顔認識を利用して車両の各乗客の身長と体重とを検出する方法及び装置に関し、より詳細には、カメラから取得された室内イメージから各乗客の身体部位の長さを検出し、前記室内イメージを利用して前記各乗客の顔情報から前記各乗客に対する各特徴情報を検出し、前記それぞれの乗客に対応する前記身体部位の長さ及び前記各特徴情報を参照して前記各乗客の身長と体重とを検出する方法及び装置に関する。

一般的に車両の車室には、乗客が着席することができる座席が備えられている。運転席や助手席に備えられた座席には、乗客が着席すると乗客の類型を識別し、乗客の存在有無を判断して、シートベルトを着用したか否かを知らせる機能などを行うことができる多様な乗客検出装置が関わっている。

そのうち、パターン認識システム、圧力認識システム、重量認識システムが最も広く使用されている。パターン認識システムは、車両の座席にセンサマットが備えられており、センサマット上にマトリックス状に圧力センサが配列されていて、座席に着席した乗客の体重及び骨盤パターンを認識することによって乗客を検出して識別する。

圧力認識システムは、薄いブレード及び圧力センサを座席クッション下側に配列して、座席に乗客が着席するとブレードから流出した液体を圧力センサがセンシングして乗客を検出し識別する。

重量認識システムは、座席の内部に備えられた座席フレームがマウンティングされる位置に、ストレインゲージセンサを配列する。その後、乗客の体重が感知されて乗客を検出し識別する。

しかし、前記のように多様な乗客検出装置が提供されても、様々な検出エラーが発生する。例えば、乗客が座席の片側に座ったり正しく座らなかった場合、乗客検出装置は乗客が座らなかったものと判断したり、低体重の成人が座った場合、乗客検出装置は乗客を子供の乗客として誤って識別し得る。

このようなエラーによって成人乗客が子どもの乗客として誤って識別された場合、車両事故が発生すると、エアバッグが展開される際にエアバッグが子どもの乗客の体型に対応するように展開されて成人である乗客を安全に保護することができないため、エアバッグによる２次傷害を負うなどの問題点が生じる。

また、座席に乗客が着席していないものと識別されると、エアバッグが展開されないために乗客が大きな傷害を負う恐れがあるなど、乗客の識別エラーによる多くの問題点が発生する。

これに加えて、車両の座席ごとにセンサを取り付けなければならないので費用が増加するだけでなく、処理しなければならない情報が増えるので処理速度が減少する短所がある。

また、車両の運行中に車両の方向を変えたり揺れたりする状況下では、乗客の体重が誤って測定されることもあり得る。

したがって、本発明では、従来に比べて低費用で各乗客の身長と体重とを検出する方策を提案する。

本発明は、上述した問題点を全て解決することをその目的とする。

本発明は、費用の増加なしに車両の少なくとも一人の乗客の少なくとも一つの身長と少なくとも一つの体重とを検出し得るようにすることを他の目的とする。

また、本発明は、走行環境に影響されずに各乗客の身長と体重とを検出し得るようにすることをまた他の目的とする。

また、本発明は、処理しなければならない情報を最小化して、各乗客の身長と体重とを検出し得るようにすることをまた他の目的とする。

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下のとおりである。

本発明の一態様によると、人の状態認識を基盤として車両の一人以上の乗客に関する身体情報を検出する方法において、（ａ）前記車両室内の少なくとも一つの室内イメージが取得されると、乗客身体情報検出装置が、（ｉ）前記室内イメージを顔認識ネットワークに入力することによって、前記顔認識ネットワークをもって、前記室内イメージから前記乗客それぞれの顔それぞれを検出させ、前記検出された顔それぞれに対応する多数の乗客特徴情報を出力させ、（ｉｉ）前記室内イメージを身体認識ネットワークに入力することによって、前記身体認識ネットワークをもって、前記室内イメージから前記乗客それぞれの身体それぞれを検出させ、前記検出された身体それぞれの各身体部位の長さ情報を出力させる段階、及び（ｂ）前記乗客身体情報検出装置が、身長マッピングテーブルから特定の乗客に対する特定の乗客特徴情報に対応する特定の身長マッピング情報を検索し、前記特定の乗客の特定身体部位の長さ情報を参照して前記特定の身長マッピング情報から前記特定の乗客の特定身長を取得し、体重マッピングテーブルから前記特定の乗客特徴情報に対応する特定の体重マッピング情報を検索し、前記特定の乗客の前記特定身長を参照して前記特定の体重マッピング情報から前記特定の乗客の体重を取得する段階を含み、前記身長マッピングテーブルは、人グループごとの身長それぞれに対する前記人グループそれぞれの一つ以上のセグメント身体部分の一つ以上の予め設定された割合を示す身長マッピング情報を格納し、前記体重マッピングテーブルは、前記人グループそれぞれの身長それぞれと体重それぞれとの間の予め設定された相関関係を表す多数の体重マッピング情報を格納することを特徴とする方法が提供される。

一実施例において、前記（ａ）段階で、前記乗客身体情報検出装置は、前記室内イメージを前記身体認識ネットワークに入力することによって、前記身体認識ネットワークをもって、（ｉ）特徴抽出ネットワークを通じて前記室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを出力させ、（ｉｉ）キーポイントヒートマップ及びパートアフィニティフィールド抽出器（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ ＆ ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ ｅｘｔｒａｃｔｏｒ）を通じて前記特徴テンソルそれぞれに対応する一つ以上のチャンネルを有する一つ以上のキーポイントヒートマップ及びパートアフィニティフィールドを生成させ、（ｉｉｉ）キーポイント検出器を通じて前記キーポイントヒートマップで各キーポイントを抽出することによって、前記パートアフィニティフィールドを参照して前記抽出された各キーポイントをグルーピングして前記乗客ごとの各身体部位を生成させ、その結果、前記身体認識ネットワークをもって前記乗客ごとの各身体部位を参照することによって、前記乗客それぞれに関する前記身体部位の長さ情報を出力させることを特徴とする方法が提供される。

一実施例において、前記特徴抽出ネットワークは少なくとも一つのコンボリューションレイヤを含み、少なくとも一つのコンボリューション演算を前記室内イメージに適用して前記特徴テンソルを出力することを特徴とする方法が提供される。

一実施例において、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器は、フルコンボリューションネットワーク及び１ｘ１コンボリューションレイヤのうち一つを含み、フルコンボリューション演算または１ｘ１コンボリューション演算を前記特徴テンソルに適用することによって、前記キーポイントヒートマップ及び前記パートアフィニティフィールドを生成することを特徴とする方法が提供される。

一実施例において、前記キーポイント検出器は、前記パートアフィニティフィールドを参照して前記抽出された各キーポイントのうち相互に連結される確率が最も高いそれぞれの対を連結することによって、前記抽出された各キーポイントをグルーピングすることを特徴とする方法が提供される。

一実施例において、前記特徴抽出ネットワークと前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器とは、学習装置により学習された状態であって、前記学習装置により、（ｉ）前記特徴抽出ネットワークに一つ以上の学習用物体を含む少なくとも一つの学習イメージを入力することで、前記特徴抽出ネットワークをもって前記学習イメージに少なくとも一回のコンボリューション演算を適用することによって一つ以上のチャンネルを有する一つ以上の学習用特徴テンソルを生成させ、（ｉｉ）前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器に前記学習用特徴テンソルを入力することによって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器をもって、前記学習用特徴テンソルそれぞれに対する一つ以上のチャンネルを有する一つ以上の学習用キーポイントヒートマップ及び一つ以上の学習用パートアフィニティフィールドを生成させ、（ｉｉｉ）前記学習用キーポイントヒートマップ及び前記学習用パートアフィニティフィールドを前記キーポイント抽出器に入力することによって、前記キーポイント検出器をもって前記学習用キーポイントヒートマップそれぞれから各学習用キーポイントを抽出させ、前記学習用パートアフィニティフィールドそれぞれを参照して前記抽出された各学習用キーポイントをグルーピングすることによって前記学習用物体それぞれごとにキーポイントを検出させ、（ｉｖ）ロスレイヤをもって、前記学習用物体ごとの前記各キーポイントとそれに対応する原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上のロスを計算することによって、前記ロスを利用したバックプロパーゲーションにより前記ロスが最小化されるように前記特徴抽出ネットワークと前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器とのうち一つ以上のパラメータを調整することを特徴とする方法が提供される。

一実施例において、前記（ａ）段階で、前記乗客身体情報検出装置は、前記顔認識ネットワークに前記室内イメージを入力することによって、前記顔認識ネットワークをもって、顔検出器を通じて前記室内イメージに位置する乗客それぞれの顔それぞれを検出させ、顔特徴分類器を通じて各顔イメージそれぞれに対する多数の乗客特徴情報を出力させることを特徴とする方法が提供される。

一実施例において、前記（ａ）段階で、前記乗客身体情報検出装置は、前記顔認識ネットワークに前記室内イメージを入力することによって、前記顔認識ネットワークをもって、（ｉ）少なくとも一つのコンボリューションレイヤを通じて前記室内イメージに少なくとも一つのコンボリューション演算を適用して前記室内イメージに対応する少なくとも一つの特徴マップを出力させ、（ｉｉ）領域プロポーザルネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）を通じて前記特徴マップ上で前記各乗客が位置するものと予測される一つ以上のプロポーザルボックスを出力させ、（ｉｉｉ）プーリングレイヤを通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域にプーリング演算を適用して少なくとも一つの特徴ベクトルを出力させ、（ｉｖ）ＦＣレイヤを通じて前記特徴ベクトルにＦＣ演算を適用して、前記プロポーザルボックスそれぞれに対応する前記各乗客の顔それぞれに対応する前記多数の乗客特徴情報を出力させることを特徴とする方法が提供される。

一実施例において、前記多数の乗客特徴情報は、前記乗客それぞれに対応する年齢、性別、及び人種それぞれを含むことを特徴とする方法が提供される。

本発明の他の態様によると、人の状態認識を基盤として車両の一人以上の乗客に関する身体情報を検出する装置において、少なくとも一つのインストラクションを格納する少なくとも一つのメモリと、前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）前記車両室内の少なくとも一つの室内イメージが取得されると、（ｉ）前記室内イメージを顔認識ネットワークに入力することによって、前記顔認識ネットワークをもって前記室内イメージから前記乗客それぞれの顔それぞれを検出させ、前記検出された顔それぞれに対応する多数の乗客特徴情報を出力させ、（ｉｉ）前記室内イメージを身体認識ネットワークに入力することによって、前記身体認識ネットワークをもって前記室内イメージから前記乗客それぞれの身体それぞれを検出させ、前記検出された身体それぞれの身体部位の長さ情報を出力させるプロセス；及び（ＩＩ）身長マッピングテーブルから特定の乗客に関する特定の乗客特徴情報に対応する特定の身長マッピング情報を検索し、前記特定の乗客の特定身体部位の長さ情報を参照して前記特定の身長マッピング情報から前記特定の乗客の特定身長を取得し、体重マッピングテーブルから前記特定の乗客特徴情報に対応する特定の体重マッピング情報を検索し、前記特定の乗客の前記特定身長を参照して前記特定の体重マッピング情報から前記特定の乗客の体重を取得するプロセスを遂行し、前記身長マッピングテーブルは、人グループごとの身長それぞれに対する前記人グループそれぞれの一つ以上のセグメント身体部分における一つ以上の予め設定された割合を示す身長マッピング情報を格納し、前記体重マッピングテーブルは、前記人グループそれぞれの身長それぞれと体重それぞれとの間の予め設定された相関関係を表す多数の体重マッピング情報を格納することを特徴とする装置が提供される。

一実施例において、前記（Ｉ）プロセスは、前記プロセッサが、前記室内イメージを前記身体認識ネットワークに入力することによって、前記身体認識ネットワークをもって、（ｉ）特徴抽出ネットワークを通じて前記室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを出力させ、（ｉｉ）キーポイントヒートマップ及びパートアフィニティフィールド抽出器（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ ＆ ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ ｅｘｔｒａｃｔｏｒ）を通じて前記特徴テンソルそれぞれに対応する一つ以上のチャンネルを有する一つ以上のキーポイントヒートマップ及びパートアフィニティフィールドを生成させ、（ｉｉｉ）キーポイント検出器を通じて前記キーポイントヒートマップで各キーポイントを抽出することによって、前記パートアフィニティフィールドを参照して前記抽出された各キーポイントをグルーピングして前記乗客ごとの各身体部位を生成させ、その結果、前記身体認識ネットワークをもって前記乗客ごとの各身体部位を参照することによって、前記乗客それぞれに関する前記身体部位の長さ情報を出力させることを特徴とする装置が提供される。

一実施例において、前記特徴抽出ネットワークは少なくとも一つのコンボリューションレイヤを含み、少なくとも一つのコンボリューション演算を前記室内イメージに適用して前記特徴テンソルを出力することを特徴とする装置が提供される。

一実施例において、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器は、フルコンボリューションネットワーク及び１ｘ１コンボリューションレイヤのうち一つを含み、フルコンボリューション演算または１ｘ１コンボリューション演算を前記特徴テンソルに適用することによって、前記キーポイントヒートマップ及び前記パートアフィニティフィールドを生成することを特徴とする装置が提供される。

一実施例において、前記キーポイント検出器は、前記パートアフィニティフィールドを参照して前記抽出された各キーポイントのうち相互に連結される確率が最も高いそれぞれの対を連結することによって、前記抽出された各キーポイントをグルーピングすることを特徴とする装置が提供される。

一実施例において、前記特徴抽出ネットワークと前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器とは学習装置により学習された状態であって、前記学習装置により、（ｉ）前記特徴抽出ネットワークに一つ以上の学習用物体を含む少なくとも一つの学習イメージを入力することで、前記特徴抽出ネットワークをもって前記学習イメージに少なくとも一回のコンボリューション演算を適用することによって、一つ以上のチャンネルを有する一つ以上の学習用特徴テンソルを生成させ、（ｉｉ）前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器に前記学習用特徴テンソルを入力することによって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器をもって、前記学習用特徴テンソルそれぞれに対する一つ以上のチャンネルを有する一つ以上の学習用キーポイントヒートマップ及び一つ以上の学習用パートアフィニティフィールドを生成させ、（ｉｉｉ）前記学習用キーポイントヒートマップ及び前記学習用パートアフィニティフィールドを前記キーポイント検出器に入力することによって、前記キーポイント検出器をもって前記学習用キーポイントヒートマップそれぞれから各学習用キーポイントを抽出させ、前記学習用パートアフィニティフィールドそれぞれを参照して前記抽出された各学習用キーポイントをグルーピングすることによって前記学習用物体それぞれごとにキーポイントを検出させ、（ｉｖ）ロスレイヤをもって、前記学習用物体ごとの前記各キーポイントとそれに対応する原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上のロスを計算することによって、前記ロスを利用したバックプロパーゲーションにより前記ロスが最小化されるように前記特徴抽出ネットワークと前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器とのうち一つ以上のパラメータを調整することを特徴とする装置が提供される。

一実施例において、前記（Ｉ）プロセスは、前記プロセッサが、前記顔認識ネットワークに前記室内イメージを入力することによって、前記顔認識ネットワークをもって、顔検出器を通じて前記室内イメージに位置する乗客それぞれの顔それぞれを検出させ、顔特徴分類器を通じて各顔イメージそれぞれに対する多数の乗客特徴情報を出力させることを特徴とする装置が提供される。

一実施例において、前記（Ｉ）プロセスは、前記プロセッサが、前記顔認識ネットワークに前記室内イメージを入力することによって、前記顔認識ネットワークをもって、（ｉ）少なくとも一つのコンボリューションレイヤを通じて前記室内イメージに少なくとも一つのコンボリューション演算を適用し、前記室内イメージに対応する少なくとも一つの特徴マップを出力させ、（ｉｉ）領域プロポーザルネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）を通じて前記特徴マップ上で前記各乗客が位置するものと予測される一つ以上のプロポーザルボックスを出力させ、（ｉｉｉ）プーリングレイヤを通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域にプーリング演算を適用して少なくとも一つの特徴ベクトルを出力させ、（ｉｖ）ＦＣレイヤを通じて前記特徴ベクトルにＦＣ演算を適用して、前記プロポーザルボックスそれぞれに対応する前記各乗客の顔それぞれに対応する前記多数の乗客特徴情報を出力させることを特徴とする装置が提供される。

一実施例において、前記多数の乗客特徴情報は、前記乗客それぞれに対応する年齢、性別、及び人種それぞれを含むことを特徴とする装置が提供される。

その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。

本発明は、カメラで撮影された車両の室内イメージを分析して各乗客の身長と体重とを検出するため、従来のセンサ方式に比べて費用を節減することができる。

また、本発明は、カメラで撮影された車両の室内イメージを分析して各乗客の身長と体重とを検出するため、車両の周辺環境に影響されずに各乗客の身長と体重とを検出することが可能となる。

また、本発明は、カメラで撮影された車両の室内イメージを分析して各乗客の身長と体重とを検出するため、従来のセンサ方式に比べて処理しなければならない情報が少ないので、処理速度を向上させることが可能になる。

本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
図１は、本発明の一実施例にしたがって、人の状態認識を基盤として車両の各乗客の身体部位の長さ及び顔認識を利用して、車両の一人以上の乗客に関する身体情報を検出するための乗客身体情報検出装置を簡略に示した図面である。 図２は、本発明の一実施例にしたがって、人の状態認識を基盤として車両の各乗客の身体部位の長さ及び顔認識を利用して、車両の一人以上の乗客に関する身体情報を検出するための方法を簡略に示した図面である。 図３は、本発明の一実施例にしたがって、人の状態認識を基盤として車両の各乗客の身体部位の長さ及び顔認識を利用して車両の一人以上の乗客に関する身体情報を検出するための方法において、各乗客の一つ以上のキーポイントを検出するプロセスを簡略に示した図面である。 図４は、本発明の一実施例にしたがって、人の状態認識を基盤として車両の各乗客の身体部位の長さ及び顔認識を利用して車両の一人以上の乗客に関する身体情報を検出するための方法において、各乗客の身体部位の長さを検出するプロセスを簡略に示した図面である。 図５は、本発明の一実施例にしたがって、人の状態認識を基盤として車両の各乗客の身体部位の長さ及び顔認識を利用して、車両の一人以上の乗客に関する身体情報を検出するための方法において使用される身長マッピングテーブルを簡略に示した図面である。 図６は、本発明の一実施例にしたがって、人の状態認識を基盤として車両の各乗客の身体部位の長さ及び顔認識を利用して車両の一人以上の乗客に関する身体情報を検出するための方法において、乗客のキーポイントを車両の一つ以上の座席をマッチングするプロセスを簡略に示した図面である。

後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する機能を指す。

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。

図１は、本発明の一実施例にしたがって、人の状態認識を基盤として車両の各乗客の身体部位の長さ及び顔認識を利用して車両の一人以上の乗客に関する身体情報を検出するための乗客身体情報検出装置を簡略に示した図面である。図１を参照すると、乗客身体情報検出装置１００は、各乗客の身体部位の長さ及び顔認識を利用して車両の各乗客に関する身体情報を検出するための各インストラクションを格納するメモリ１１０と、メモリ１１０に格納された各インストラクションに対応して人の状態認識を基盤として車両の各乗客の身体部位の長さ及び顔認識を利用して車両の各乗客に関する身体情報を検出するプロセスを遂行するプロセッサ１２０と、を含むことができる。

具体的に、乗客身体情報検出装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置、出力装置、その他既存のコンピューティング装置の各構成要素を含み得る装置；ルータまたはスイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。

また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。

しかし、このように前記コンピューティング装置が描写されたからといって、コンピューティング装置が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。

このように構成された本発明の一実施例による乗客身体情報検出装置１００を利用して、人の状態認識を基盤として車両の各乗客の身体部位の長さ及び顔認識を利用して各乗客に関する身体情報を検出する方法を図２を参照して説明すると次のとおりである。

まず、前記車両室内の少なくとも一つの室内イメージが取得されると、乗客身体情報検出装置１００が、前記室内イメージを顔認識ネットワーク１５０に入力することによって、前記顔認識ネットワーク１５０をもって前記室内イメージから前記乗客それぞれの顔それぞれを検出させ、前記検出された顔それぞれに対応する多数の乗客特徴情報を出力させる。ここで、多数の乗客特徴情報は、乗客それぞれに対応する年齢、性別、及び人種それぞれを含むことができる。

一方、顔認識ネットワーク１５０は、様々なアルゴリズムにより具現され得る。

一例として、顔認識ネットワーク１５０は、顔検出器と顔特徴分類器とで構成され得る。

ここで、乗客身体情報検出装置１００は、前記顔認識ネットワーク１５０に前記室内イメージを入力することによって、前記顔認識ネットワーク１５０をもって、顔検出器を通じて前記室内イメージに位置する乗客それぞれの顔それぞれを検出させ、顔特徴分類器を通じて各顔イメージそれぞれに関する多数の乗客特徴情報を出力させることができる。

その他の例として、顔認識ネットワーク１５０は、Ｒ−ＣＮＮ基盤で具現され得る。

ここで、乗客身体情報検出装置１００は、前記顔認識ネットワーク１５０に前記室内イメージを入力することによって、前記顔認識ネットワーク１５０をもって、（ｉ）少なくとも一つのコンボリューションレイヤを通じて前記室内イメージに少なくとも一つのコンボリューション演算を適用して前記室内イメージに対応する少なくとも一つの特徴マップを出力させ、（ｉｉ）領域プロポーザルネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）を通じて前記特徴マップ上で前記各乗客が位置するものと予測される一つ以上のプロポーザルボックスを出力させ、（ｉｉｉ）プーリングレイヤを通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域にプーリング演算を適用して少なくとも一つの特徴ベクトルを出力させ、（ｉｖ）ＦＣレイヤを通じて前記特徴ベクトルにＦＣ演算を適用することで、前記プロポーザルボックスそれぞれに対応する前記各乗客の顔それぞれに対応する前記多数の乗客特徴情報を出力させることができる。

これ以外にも、顔認識ネットワーク１５０は、様々なアルゴリズムを採用した多様なニューラルネットワークで具現され得、それぞれのニューラルネットワークは予め学習された状態であり得る。

また、乗客身体情報検出装置１００は、前記室内イメージを身体認識ネットワーク１６０に入力することによって、前記身体認識ネットワーク１６０をもって前記室内イメージから前記乗客それぞれの身体それぞれを検出させ、前記検出された身体それぞれの身体部位の長さ情報を出力させることができる。ここで、身体認識ネットワーク１６０は、オープンポーズ検出器（ｏｐｅｎ−ｐｏｓｅ ｄｅｔｅｃｔｏｒ）を含むことができる。

一例として、図３を参照すると、前記身体認識ネットワーク１６０は、特徴抽出ネットワーク１６１をもって、前記室内イメージ（すなわち、入力イメージ）に対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを出力させる。ここで、特徴抽出ネットワーク１６１は、少なくとも一つのコンボリューションレイヤを含み、少なくとも一つのコンボリューション演算を前記室内イメージに適用して前記特徴テンソルを生成することができる。

そして、身体認識ネットワーク１６０は、特徴テンソルをキーポイントヒートマップ及びパートアフィニティフィールド抽出器（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ ＆ ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ ｅｘｔｒａｃｔｏｒ） に入力することによって、キーポイントヒートマップ及びパートアフィニティフィールド抽出器１６２をもって、前記特徴テンソルそれぞれに対応する一つ以上のチャンネルを有する一つ以上のキーポイントヒートマップ及び一つ以上のチャンネルを有する一つ以上のパートアフィニティフィールドを生成させることができる。また、キーポイントヒートマップ及びパートアフィニティフィールド抽出器１６２は、二部分マッチング（ｂｉｐａｒｔｉｔｅ ｍａｔｃｈｉｎｇ）を利用して各キーポイント間の関係を検出することによってパートアフィニティフィールドを生成することができる。すなわち、各キーポイントがそれぞれどの乗客のものであるのか、各キーポイントの関係がどのようなものであるのかを二部分マッチングにより確認することができる。

ここで、キーポイントヒートマップは、熱を意味するヒート（ｈｅａｔ）と地図を意味するマップ（ｍａｐ）とを結合させたものであって、色相で表現することができる様々な情報を所定のイメージ上に熱分布状態のビジュアルなグラフィックで生成したものであり得る。そして、パートアフィニティフィールドは、各キーポイント間の関係を表現する一種のベクトルマップであり得る。すなわち、パートアフィニティフィールドは、特定のキーポイントと他の各キーポイントとの連結を表すマップであり得、それぞれのキーポイントヒートマップのぺアに含まれているそれぞれのキーポイントが相互に連結される確率を表すマップであり得る。

そして、キーポイントヒートマップ及びパートアフィニティフィールド抽出器１６２は、フルコンボリューションネットワーク及び１ｘ１コンボリューションレイヤを含むことができ、特徴テンソルにフルコンボリューション演算または１ｘ１コンボリューション演算を適用することによって、キーポイントヒートマップ及びパートアフィニティフィールドを生成することができる。

次に、身体認識ネットワーク１６０は、キーポイントヒートマップ及びパートアフィニティフィールドをキーポイント検出器１６３に入力することによって、キーポイント検出器１６３をもってキーポイントヒートマップのチャンネルそれぞれから各キーポイントを抽出し得るようにし、パートアフィニティフィールドを参照して抽出された各キーポイントをグルーピングさせることができる。すなわち、連結確率を参照して最も高い確率を有する二つのキーポイントがペアをなすことができる。ここで、キーポイント検出器は、それぞれのチャンネルに対応するそれぞれのキーポイントヒートマップにおいて最も高いポイントそれぞれ、すなわちキーポイントヒートマップそれぞれに対応する各キーポイントとして最も高いヒート値を有するポイントそれぞれを抽出することができ、抽出された各キーポイントのうちそれぞれに対して相互に連結される確率が最も高い各キーポイントをそれぞれペアリングすることによって、パートアフィニティフィールドを参照して抽出された各キーポイントをグルーピングすることができ、その際、グルーピングされた各キーポイントは、乗客それぞれの身体部分であり得る。一例として、抽出されたキーポイントのうち第２キーポイントが第１キーポイントに連結される可能性が最も高いものと決定された場合、抽出されたキーポイントのうち第１キーポイント及び抽出されたキーポイントのうち第２キーポイントをペアとして連結する過程が遂行され得る。ここで、このようなプロセスは、抽出された全てのキーポイントに対して遂行され得る。結果として、抽出されたキーポイントは、一つ以上のグループに分類され得る。ここで、グループの数は、室内イメージにおいて乗客の数に応じて決定され得る。

そして、図４を参照すると、身体認識ネットワーク１６０は、前記乗客それぞれの身体それぞれを検出させ、前記検出された身体それぞれの身体部位の長さ情報を出力するようになる。一例として、身体部位の長さ情報は、各乗客の肩幅、腕の長さなどが含まれ得る。

一方、身体認識ネットワーク１６０の特徴抽出ネットワーク１６１とキーポイントヒートマップ及びパートアフィニティフィールド抽出器１６２とは、学習装置により予め学習された状態であり得る。

一例として、一つ以上の学習用物体を含む少なくとも一つの学習イメージが取得されると、学習装置は、前記特徴抽出ネットワーク１６１をもって前記学習イメージに少なくとも一回のコンボリューション演算を適用することによって、一つ以上のチャンネルを有する一つ以上の学習用特徴テンソルを生成させる。また、学習装置は、（ｉ）前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器１６２に前記学習用特徴テンソルを入力することによって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器１６２をもって、前記学習用特徴テンソルに対する一つ以上のチャンネルを有する一つ以上の学習用キーポイントヒートマップ及び一つ以上のチャンネルを有する一つ以上の学習用パートアフィニティフィールドを生成させ、（ｉｉ）前記学習用キーポイントヒートマップ及び前記学習用パートアフィニティフィールドを前記キーポイント検出器１６３に入力することによって、前記キーポイント検出器１６３をもって前記学習用キーポイントヒートマップそれぞれから各学習用キーポイントを抽出させ、前記学習用パートアフィニティフィールドそれぞれを参照して前記抽出された各学習用キーポイントをグルーピングすることによって、前記学習用物体それぞれごとに各キーポイントを検出させる。以後、学習装置は、ロスレイヤをもって、前記学習用物体ごとの前記各キーポイントとこれに対応する原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上のロスを計算することによって、前記ロスを利用したバックプロパゲーションにより前記ロスが最小化されるように前記特徴抽出ネットワーク１６１と前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器１６２とのうち一つ以上のパラメータを調整することによって、特徴抽出ネットワーク１６１とキーポイントヒートマップ及びパートアフィニティフィールド抽出器１６２とを学習させる。

次に、再び図２を参照すると、乗客身体情報検出装置１００は、身長マッピングテーブル１８０を参照して検出された乗客それぞれに対する年齢／性別／人種情報に対応する検出された乗客に関する身長マッピング情報を取得することができる。

ここで、図５を参照すると、身長マッピングテーブル１８０は、（ｉ）人グループそれぞれの一つ以上のセグメント身体ポーションの（ｉｉ）人グループそれぞれごとの身長それぞれに対する一つ以上の予め決定された割合のグラフィック表現を含む身長マッピング情報を含むことができる。ここで、人グループは、年齢／性別／人種によりグルーピングされたものであり得る。そして、身長マッピングテーブルは、論文‘Ｔｈｅ ｃｏｍｐａｒｉｓｏｎｓ ｏｆ ａｎｔｈｒｏｐｏｍｅｔｒｉｃ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ａｍｏｎｇ ｆｏｕｒ ｐｅｏｐｌｅｓ ｉｎ Ｅａｓｔ Ａｓｉａ， ａｐｐｌｉｅｄ ｅｒｇｏｎｏｍｉｃｓ ２００４’のように統計的に年齢別／性別／人種別の身長と身体部位の長さとの間の相関関係を分析したデータを利用することができる。

そして、乗客身体情報検出装置１００は、乗客それぞれに対応する身長マッピング情報及び身体部位の長さ情報を参照して身長予測を遂行することによって、乗客それぞれの身長それぞれを検出する。

すなわち、乗客身体情報検出装置１００は、身長マッピングテーブル１８０から特定の乗客に関する特定の乗客特徴情報に対応する特定の身長マッピング情報を取得することができ、特定の乗客に関する特定身体部位の長さ情報を参照して特定の身長マッピング情報から特定の乗客の特定身長を取得することができる。

次に、乗客身体情報検出装置１００は、体重マッピングテーブル１９０を参照して検出された乗客それぞれに関する年齢／性別／人種情報に対応する各乗客に対する体重マッピング情報を取得することができる。この場合、体重マッピングテーブル１９０は、統計的に人種別／性別／年齢別の身長と体重との間の相関関係を分析したデータを利用することができる。

以後、乗客身体情報検出装置１００は、乗客それぞれに対応する多数の体重マッピング情報及び身長に関する情報を参照して体重予測を遂行することによって、乗客それぞれの体重それぞれを検出する。

すなわち、乗客身体情報検出装置１００は、体重マッピングテーブル１９０から特定の乗客特徴情報に対応する特定の体重マッピング情報を取得することができ、特定の乗客の特定身長を参照して、特定の体重マッピング情報から特定の乗客の特定体重を取得することができる。

したがって、乗客身体情報検出装置１００により検出された乗客の身長及び体重を参照して、一つ以上のエアバッグの展開可否、そしてエアバッグを展開する場合に展開方向と強度とを乗客それぞれに合わせて決定することが可能になる。また、エアバッグの展開以外にも、検出された各乗客の身長及び体重を参照して、車両の様々な安全装置及び便宜装置を作動させることができるようになる。

また、乗客身体情報検出装置１００は、キーポイントそれぞれと座席とをマッチングすることによって、車両のそれぞれの座席に対する占有率を検出する。

一例として、図６を参照すると、乗客身体情報検出装置１００は、各乗客ごとのキーポイント、すなわち、キーポイント上の座標情報を座席占有マッチング器２００に入力するか、他の装置をもって乗客ごとのキーポイント上の座標情報を座席占有マッチング器２００に入力するように支援することができる。

そうすると、座席占有マッチング器２００は、各キーポイントのそれぞれの平均及びそれぞれの分散を計算することができる。一例として、乗客それぞれに対応する頭及び身体の各キーポイントの平均及び分散を演算する。

そして、座席占有マッチング器２００は、座席それぞれに対する予め設定されたＲＯＩそれぞれに対して、（ｉ）乗客それぞれに対応するそれぞれの平均、及び（ｉｉ）乗客それぞれに対応するそれぞれの分散を参照して、それぞれの座席とそれぞれの乗客とをマッチングさせることができる。

すなわち、乗客それぞれのキーポイントが乗客それぞれのキーポイントグループそれぞれに属するとした場合、特定の座席に対応する予め設定された特定ＲＯＩに対して、特定の乗客に対応する特定のキーポイントグループの特定の平均ポイントが特定ＲＯＩ内に位置しているかを確認する。ここで、特定の平均ポイントが特定ＲＯＩ内に位置していない場合には、特定の乗客が特定の座席にマッチングしないものと判断することができる。

また、特定のキーポイントグループの特定の分散が、予め設定された第１閾値以下であるかを確認する。ここで、予め設定された第１閾値は誤検出された各キーポイントを取り除くために使用され得、特定の分散が設定された第１閾値超過である場合には、特定の乗客が特定の座席にマッチングしないものと判断することができる。

そして、特定ＲＯＩ内に位置する特定のキーポイントグループの特定のキーポイントの数が、予め設定された第２閾値以上であるかを確認する。ここで、予め設定された第２閾値は、誤検出された各キーポイントを取り除くために使用され得、特定ＲＯＩ内に位置する特定のキーポイントグループの特定のキーポイントの数が、予め設定された第２閾値未満である場合には特定の乗客が特定の座席にマッチングしないものと判断することができる。

したがって、特定の平均ポイントが特定ＲＯＩ内に位置し、特定の分散が予め設定された第１閾値以下であり、特定ＲＯＩにおいて特定のキーポイントグループの特定のキーポイントの数が予め設定された第２閾値以上である場合、座席占有マッチング器２００は、特定の乗客が特定の座席にマッチングするものと判断することができる。

結果的に、車両のエアバッグ展開の際に、前記で検出された各乗客の身長、体重及び座席を参照して正確なエアバッグの展開を可能にすることができる。

前記で説明したように、本発明は、人の状態認識を基盤としてカメラから取得された車両の室内イメージを利用して各乗客の顔情報から乗客それぞれの年齢／性別／人種を予測し、人認識を使用して各乗客の身体部位の長さを測定し、これらの情報を参照して各乗客の身長及び体重を検出する。また、本発明は、従来のセンサ方式に比べて費用を節減し、車両の周辺環境に影響されずに情報処理速度を向上させることができる。

また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。

したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (18)

1. 人の状態認識を基盤として車両の一人以上の乗客に関する身体情報を検出する方法において、
   （ａ）前記車両室内の少なくとも一つの室内イメージが取得されると、乗客身体情報検出装置が、（ｉ）前記室内イメージを顔認識ネットワークに入力することによって、前記顔認識ネットワークをもって、前記室内イメージから前記乗客それぞれの顔それぞれを検出させ、前記検出された顔それぞれに対応する多数の乗客特徴情報を出力させ、（ｉｉ）前記室内イメージを身体認識ネットワークに入力することによって、前記身体認識ネットワークをもって、前記室内イメージから前記乗客それぞれの身体それぞれを検出させ、前記検出された身体それぞれの各身体部位の長さ情報を出力させる段階、及び
   （ｂ）前記乗客身体情報検出装置が、身長マッピングテーブルから特定の乗客に対する特定の乗客特徴情報に対応する特定の身長マッピング情報を検索し、前記特定の乗客の特定身体部位の長さ情報を参照して前記特定の身長マッピング情報から前記特定の乗客の特定身長を取得し、体重マッピングテーブルから前記特定の乗客特徴情報に対応する特定の体重マッピング情報を検索し、前記特定の乗客の前記特定身長を参照して前記特定の体重マッピング情報から前記特定の乗客の体重を取得する段階を含み、前記身長マッピングテーブルは、人グループごとの身長それぞれに対する前記人グループそれぞれの一つ以上のセグメント身体部分の一つ以上の予め設定された割合を示す身長マッピング情報を格納し、前記体重マッピングテーブルは、前記人グループそれぞれの身長それぞれと体重それぞれとの間の予め設定された相関関係を表す多数の体重マッピング情報を格納することを特徴とする方法。
2. 前記（ａ）段階で、
   前記乗客身体情報検出装置は、前記室内イメージを前記身体認識ネットワークに入力することによって、前記身体認識ネットワークをもって、（ｉ）特徴抽出ネットワークを通じて前記室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを出力させ、（ｉｉ）キーポイントヒートマップ及びパートアフィニティフィールド抽出器を通じて前記特徴テンソルそれぞれに対応する一つ以上のチャンネルを有する一つ以上のキーポイントヒートマップ及びパートアフィニティフィールドを生成させ、（ｉｉｉ）キーポイント検出器を通じて前記キーポイントヒートマップで各キーポイントを抽出することによって、前記パートアフィニティフィールドを参照して前記抽出された各キーポイントをグルーピングして前記乗客ごとの各身体部位を生成させ、その結果、前記身体認識ネットワークをもって前記乗客ごとの各身体部位を参照することによって、前記乗客それぞれに関する前記身体部位の長さ情報を出力させることを特徴とする請求項１に記載の方法。
3. 前記特徴抽出ネットワークは少なくとも一つのコンボリューションレイヤを含み、少なくとも一つのコンボリューション演算を前記室内イメージに適用して前記特徴テンソルを出力することを特徴とする請求項２に記載の方法。
4. 前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器は、フルコンボリューションネットワーク及び１ｘ１コンボリューションレイヤのうち一つを含み、フルコンボリューション演算または１ｘ１コンボリューション演算を前記特徴テンソルに適用することによって、前記キーポイントヒートマップ及び前記パートアフィニティフィールドを生成することを特徴とする請求項２に記載の方法。
5. 前記キーポイント検出器は、前記パートアフィニティフィールドを参照して前記抽出された各キーポイントのうち相互に連結される確率が最も高いそれぞれのペアを連結することによって、前記抽出された各キーポイントをグルーピングすることを特徴とする請求項２に記載の方法。
6. 前記特徴抽出ネットワークと前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器とは、学習装置により学習された状態であって、
   前記学習装置により、（ｉ）前記特徴抽出ネットワークに一つ以上の学習用物体を含む少なくとも一つの学習イメージを入力することで、前記特徴抽出ネットワークをもって前記学習イメージに少なくとも一回のコンボリューション演算を適用することによって一つ以上のチャンネルを有する一つ以上の学習用特徴テンソルを生成させ、（ｉｉ）前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器に前記学習用特徴テンソルを入力することによって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器をもって、前記学習用特徴テンソルそれぞれに対する一つ以上のチャンネルを有する一つ以上の学習用キーポイントヒートマップ及び一つ以上の学習用パートアフィニティフィールドを生成させ、（ｉｉｉ）前記学習用キーポイントヒートマップ及び前記学習用パートアフィニティフィールドを前記キーポイント抽出器に入力することによって、前記キーポイント検出器をもって前記学習用キーポイントヒートマップそれぞれから各学習用キーポイントを抽出させ、前記学習用パートアフィニティフィールドそれぞれを参照して前記抽出された各学習用キーポイントをグルーピングすることによって前記学習用物体それぞれごとにキーポイントを検出させ、（ｉｖ）ロスレイヤをもって、前記学習用物体ごとの前記各キーポイントとそれに対応する原本正解とを参照して一つ以上のロスを計算することによって、前記ロスを利用したバックプロパーゲーションにより前記ロスが最小化されるように前記特徴抽出ネットワークと前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器とのうち一つ以上のパラメータを調整することを特徴とする請求項２に記載の方法。
7. 前記（ａ）段階で、
   前記乗客身体情報検出装置は、前記顔認識ネットワークに前記室内イメージを入力することによって、前記顔認識ネットワークをもって、顔検出器を通じて前記室内イメージに位置する乗客それぞれの顔それぞれを検出させ、顔特徴分類器を通じて各顔イメージそれぞれに対する多数の乗客特徴情報を出力させることを特徴とする請求項１に記載の方法。
8. 前記（ａ）段階で、
   前記乗客身体情報検出装置は、前記顔認識ネットワークに前記室内イメージを入力することによって、前記顔認識ネットワークをもって、（ｉ）少なくとも一つのコンボリューションレイヤを通じて前記室内イメージに少なくとも一つのコンボリューション演算を適用して前記室内イメージに対応する少なくとも一つの特徴マップを出力させ、（ｉｉ）領域プロポーザルネットワークを通じて前記特徴マップ上で前記各乗客が位置するものと予測される一つ以上のプロポーザルボックスを出力させ、（ｉｉｉ）プーリングレイヤを通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域にプーリング演算を適用して少なくとも一つの特徴ベクトルを出力させ、（ｉｖ）ＦＣレイヤを通じて前記特徴ベクトルにＦＣ演算を適用して、前記プロポーザルボックスそれぞれに対応する前記各乗客の顔それぞれに対応する前記多数の乗客特徴情報を出力させることを特徴とする請求項１に記載の方法。
9. 前記多数の乗客特徴情報は、前記乗客それぞれに対応する年齢、性別、及び人種それぞれを含むことを特徴とする請求項１に記載の方法。
10. 人の状態認識を基盤として車両の一人以上の乗客に関する身体情報を検出する装置において、
    少なくとも一つのインストラクションを格納する少なくとも一つのメモリと、
    前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）前記車両室内の少なくとも一つの室内イメージが取得されると、（ｉ）前記室内イメージを顔認識ネットワークに入力することによって、前記顔認識ネットワークをもって前記室内イメージから前記乗客それぞれの顔それぞれを検出させ、前記検出された顔それぞれに対応する多数の乗客特徴情報を出力させ、（ｉｉ）前記室内イメージを身体認識ネットワークに入力することによって、前記身体認識ネットワークをもって前記室内イメージから前記乗客それぞれの身体それぞれを検出させ、前記検出された身体それぞれの身体部位の長さ情報を出力させるプロセス；及び（ＩＩ）身長マッピングテーブルから特定の乗客に関する特定の乗客特徴情報に対応する特定の身長マッピング情報を検索し、前記特定の乗客の特定身体部位の長さ情報を参照して前記特定の身長マッピング情報から前記特定の乗客の特定身長を取得し、体重マッピングテーブルから前記特定の乗客特徴情報に対応する特定の体重マッピング情報を検索し、前記特定の乗客の前記特定身長を参照して前記特定の体重マッピング情報から前記特定の乗客の体重を取得するプロセスを遂行し、前記身長マッピングテーブルは、人グループごとの身長それぞれに対する前記人グループそれぞれの一つ以上のセグメント身体部分における一つ以上の予め設定された割合を示す身長マッピング情報を格納し、前記体重マッピングテーブルは、前記人グループそれぞれの身長それぞれと体重それぞれとの間の予め設定された相関関係を表す多数の体重マッピング情報を格納することを特徴とする装置。
11. 前記（Ｉ）プロセスは、
    前記プロセッサが、前記室内イメージを前記身体認識ネットワークに入力することによって、前記身体認識ネットワークをもって、（ｉ）特徴抽出ネットワークを通じて前記室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを出力させ、（ｉｉ）キーポイントヒートマップ及びパートアフィニティフィールド抽出器を通じて前記特徴テンソルそれぞれに対応する一つ以上のチャンネルを有する一つ以上のキーポイントヒートマップ及びパートアフィニティフィールドを生成させ、（ｉｉｉ）キーポイント検出器を通じて前記キーポイントヒートマップで各キーポイントを抽出することによって、前記パートアフィニティフィールドを参照して前記抽出された各キーポイントをグルーピングして前記乗客ごとの各身体部位を生成させ、その結果、前記身体認識ネットワークをもって前記乗客ごとの各身体部位を参照することによって、前記乗客それぞれに関する前記身体部位の長さ情報を出力させることを特徴とする請求項１０に記載の装置。
12. 前記特徴抽出ネットワークは少なくとも一つのコンボリューションレイヤを含み、少なくとも一つのコンボリューション演算を前記室内イメージに適用して前記特徴テンソルを出力することを特徴とする請求項１１に記載の装置。
13. 前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器は、フルコンボリューションネットワーク及び１ｘ１コンボリューションレイヤのうち一つを含み、フルコンボリューション演算または１ｘ１コンボリューション演算を前記特徴テンソルに適用することによって、前記キーポイントヒートマップ及び前記パートアフィニティフィールドを生成することを特徴とする請求項１１に記載の装置。
14. 前記キーポイント検出器は、前記パートアフィニティフィールドを参照して前記抽出された各キーポイントのうち相互に連結される確率が最も高いそれぞれの対を連結することによって、前記抽出された各キーポイントをグルーピングすることを特徴とする請求項１１に記載の装置。
15. 前記特徴抽出ネットワークと前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器とは学習装置により学習された状態であって、前記学習装置により、（ｉ）前記特徴抽出ネットワークに一つ以上の学習用物体を含む少なくとも一つの学習イメージを入力することで、前記特徴抽出ネットワークをもって前記学習イメージに少なくとも一回のコンボリューション演算を適用することによって、一つ以上のチャンネルを有する一つ以上の学習用特徴テンソルを生成させ、（ｉｉ）前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器に前記学習用特徴テンソルを入力することによって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器をもって、前記学習用特徴テンソルそれぞれに対する一つ以上のチャンネルを有する一つ以上の学習用キーポイントヒートマップ及び一つ以上の学習用パートアフィニティフィールドを生成させ、（ｉｉｉ）前記学習用キーポイントヒートマップ及び前記学習用パートアフィニティフィールドを前記キーポイント検出器に入力することによって、前記キーポイント検出器をもって前記学習用キーポイントヒートマップそれぞれから各学習用キーポイントを抽出させ、前記学習用パートアフィニティフィールドそれぞれを参照して前記抽出された各学習用キーポイントをグルーピングすることによって前記学習用物体それぞれごとにキーポイントを検出させ、（ｉｖ）ロスレイヤをもって、前記学習用物体ごとの前記各キーポイントとそれに対応する原本正解とを参照して一つ以上のロスを計算することによって、前記ロスを利用したバックプロパーゲーションにより前記ロスが最小化されるように前記特徴抽出ネットワークと前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器とのうち一つ以上のパラメータを調整することを特徴とする請求項１１に記載の装置。
16. 前記（Ｉ）プロセスは、
    前記プロセッサが、前記顔認識ネットワークに前記室内イメージを入力することによって、前記顔認識ネットワークをもって、顔検出器を通じて前記室内イメージに位置する乗客それぞれの顔それぞれを検出させ、顔特徴分類器を通じて各顔イメージそれぞれに対する多数の乗客特徴情報を出力させることを特徴とする請求項１０に記載の装置。
17. 前記（Ｉ）プロセスは、
    前記プロセッサが、前記顔認識ネットワークに前記室内イメージを入力することによって、前記顔認識ネットワークをもって、（ｉ）少なくとも一つのコンボリューションレイヤを通じて前記室内イメージに少なくとも一つのコンボリューション演算を適用し、前記室内イメージに対応する少なくとも一つの特徴マップを出力させ、（ｉｉ）領域プロポーザルネットワークを通じて前記特徴マップ上で前記各乗客が位置するものと予測される一つ以上のプロポーザルボックスを出力させ、（ｉｉｉ）プーリングレイヤを通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域にプーリング演算を適用して少なくとも一つの特徴ベクトルを出力させ、（ｉｖ）ＦＣレイヤを通じて前記特徴ベクトルにＦＣ演算を適用して、前記プロポーザルボックスそれぞれに対応する前記各乗客の顔それぞれに対応する前記多数の乗客特徴情報を出力させることを特徴とする請求項１０に記載の装置。
18. 前記多数の乗客特徴情報は、前記乗客それぞれに対応する年齢、性別、及び人種それぞれを含むことを特徴とする請求項１０に記載の装置。

Images