JP4632250B2 - Attribute determination entertainment device by face - Google Patents
Attribute determination entertainment device by face Download PDFInfo
- Publication number
- JP4632250B2 JP4632250B2 JP2005268482A JP2005268482A JP4632250B2 JP 4632250 B2 JP4632250 B2 JP 4632250B2 JP 2005268482 A JP2005268482 A JP 2005268482A JP 2005268482 A JP2005268482 A JP 2005268482A JP 4632250 B2 JP4632250 B2 JP 4632250B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- entertainment device
- attribute determination
- control unit
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は顔による属性判定娯楽装置に関し、特に、カメラの前の人物を撮影し、その画像内から顔部分を検出して、検出された顔画像が年齢・性別・職業・国籍・出身地・表情などの属性に関し、いずれのカテゴリの顔特徴に類似しているかを判定する娯楽装置に関する。 The present invention relates to a face attribute determination entertainment device, and in particular, photographs a person in front of a camera, detects a face portion from the image, and the detected face image is age, sex, occupation, nationality, hometown, The present invention relates to an entertainment device that determines which category of facial features is similar with respect to attributes such as facial expressions.
近年コンピュータの性能が飛躍的に向上し、数年前と比較すると、コンピュータ上で画像処理を高速に行えるようになった。また、安価かつ高解像度のカメラ装置が市場に普及したことにより、顔画像を取り扱う装置が多数出現している。 In recent years, the performance of computers has dramatically improved, and image processing on computers has become possible at high speed compared to several years ago. In addition, due to the widespread use of inexpensive and high-resolution camera devices on the market, many devices that handle facial images have appeared.
例えば、本出願人による下記に示す特許文献1は、カメラで撮影された画像内から顔画像を検出する装置を開示している。また、同じく本出願人による特許文献2は、特許文献1などに示される何らかの装置で検出された顔画像が年齢・性別・職業・国籍・出身地・表情などの属性に関し、いずれのカテゴリの顔特徴と類似しているかを解析し、判定する装置を開示している。
しかしながら、従来は、カメラの前の人物を撮影し、その画像内から顔部分を検出して、検出された顔画像が年齢・性別・職業・国籍・出身地・表情などの属性に関し、いずれのカテゴリの顔特徴に類似しているかを判定することはできるものの、その属性判定の結果を娯楽に応用することに関して格別の配慮が無かった。 However, in the past, the person in front of the camera was photographed, the face portion was detected from within the image, and the detected face image was related to attributes such as age, gender, occupation, nationality, hometown, facial expression, etc. Although it is possible to determine whether the category is similar to the facial feature of the category, there was no particular consideration regarding the application of the attribute determination result to entertainment.
本発明の目的は、前記課題に鑑みてなされたものであり、顔の属性判定を娯楽に応用し、発展させ、顔の撮影から属性判定の結果表示までの一連の処理に娯楽性を持たせた顔による属性判定娯楽装置を提供することにある。 The object of the present invention has been made in view of the above problems, and applies and develops face attribute determination to entertainment, so that a series of processing from face photography to attribute determination result display has entertainment. Another object of the present invention is to provide an attribute determination entertainment device using a face.
前記した目的を達成するために、本発明は、人物を撮影する撮影手段と、該撮影手段で撮影された画像内から顔部分を検出する顔検出手段と、該顔検出手段で検出された顔画像が職業の属性に関し、該属性の下位の階層であるいずれのカテゴリの顔特徴に類似しているかを判定する属性判定手段を含む顔認識部と、 前記人物を含む来場者によってなされた入力操作に対する処理、来場者の履歴情報ファイルの管理、前記カテゴリの顔特徴との類似についてのランキング集計、前記顔認識部への撮影命令の送信、およびメール送信を含むシステム全体の統括制御を行う統括制御手段と、前記来場者への操作に関する指示の表示およびランキング表示を含む演出制御を行う演出表示制御手段とからなる演出統括部を具備し、前記人物の顔が前記いずれのカテゴリの顔特徴に類似しているかを判定する点に第1の特徴がある。 In order to achieve the above-described object, the present invention provides a photographing means for photographing a person, a face detecting means for detecting a face portion from an image photographed by the photographing means, and a face detected by the face detecting means. image relates occupation attributes, and face recognition section including attribute determination means for determining whether the similar face feature of any category is a hierarchy lower the attribute, an input operation made by visitors including the person Control that performs overall control of the entire system, including processing on the site, management of visitor history information files, ranking aggregation of similarity to the facial features of the category, transmission of shooting commands to the face recognition unit, and email transmission means and, provided the effect Division comprising a effect display control means for effect control including the display and ranking display instructions on the operation of the visitors, the face of the person the physician There is first characterized in that to determine whether the similar face feature Les category.
また、さらに、前記演出統括部の統括制御手段は、該娯楽装置で診断を行った複数の人物の前記ランキング集計を予め撮影されている各カテゴリのサンプル顔画像との類似度で行い、前記演出表示制御手段は個々人のランキング順位を提示する、または個々人の顔のランキングされたカテゴリと、該カテゴリごとの上位数名のランキング入賞者の顔を提示する点に第2の特徴がある。 Furthermore, the overall control means of the production control unit performs the ranking aggregation of a plurality of persons diagnosed by the entertainment device based on the similarity with the sample face images of each category that has been previously photographed, and the production The display control means presents a second feature in that it presents the ranking of each individual person, or presents the categories of the individual person's face and the top number of ranked winners for each category .
本発明によると、カメラの前の人物を撮影し、その画像内から顔部分を検出して、検出された顔画像が職業の属性に関し、その属性の下位の階層であるいずれのカテゴリの顔特徴に類似しているかを判定する娯楽装置を提供することができ、顔を使った占い、職業診断ゲームなどのエンターテイメントに応用できる。 According to the present invention, a person in front of the camera is photographed, a face part is detected from within the image, and the detected face image relates to the occupation attribute, and the facial features of any category that is a lower hierarchy of the attribute whether the similar can be provided for determining entertainment device, it can be applied fortune-telling using the face, to entertainment, such as occupation diagnosis games.
また、判定時に算出される各属性に対する類似度の結果を利用し、特定の属性のカテゴリに関するランキング集計を行うことにより、自分がこれまでシステムを利用した来場者の中で何位であるかを確認することで、どの程度その属性のカテゴリに類似しているかを相対的に判断することができる。さらに、ランキング表示により上位ランクインを目指すリピータを増やす効果が生じる。 In addition, by using the result of similarity for each attribute calculated at the time of determination, and calculating the ranking for the category of a specific attribute, it is possible to determine how many of the visitors you have used the system so far. By checking, it can be relatively determined how similar to the category of the attribute. Furthermore, the effect of increasing the number of repeaters aiming for higher rank in the ranking display is produced.
以下に、図面を参照して、本発明を詳細に説明する。ここでは、説明を簡便化するため、判定の対象となる属性として、東京の「原宿」の最先端で流行している職業を取り上げ、いずれの職業の顔特徴と類似しているかを判定する娯楽装置を例にとって、本発明の一実施形態を説明するが、本発明はこれに限定されるものではない。 Hereinafter, the present invention will be described in detail with reference to the drawings. Here, for the sake of simplicity, we will take the occupation that is popular at the cutting edge of “Harajuku” in Tokyo as an attribute to be judged, and determine which occupation is similar to the facial features. An embodiment of the present invention will be described using an apparatus as an example, but the present invention is not limited to this.
本実施形態では、前記属性の下位の階層であるカテゴリとして、男女各12種類ずつ職業を設定した。詳しくは、男性職業として、ヘアーアーティスト、カリスマ店員、ミュージシャン、ファッションデザイナー、DJ、タレント、カメラマン、バーテンダー、スカウトマン、アーティスト、ウェブクリエイター、ソムリエ、女性職業として、ネイルアーティスト、カリスマ店員、コスメショップ店員、ファッションデザイナー、エステティシャン、モデル、スタイリスト、ウェイトレス、キャンペーンガール、アーティスト、ウェブクリエイター、トリマーを設定した。 In the present embodiment, 12 types of male and female occupations are set as a category that is a lower hierarchy of the attribute. Specifically, as a male occupation, hair artist, charisma clerk, musician, fashion designer, DJ, talent, photographer, bartender, scout man, artist, web creator, sommelier, female profession, nail artist, charisma clerk, cosmetic shop clerk, A fashion designer, esthetician, model, stylist, waitress, campaign girl, artist, web creator and trimmer were set up.
次に、本発明の娯楽装置の構成の概要を図1に示す。図1に示されているように、本実施形態の娯楽装置は、顔認識部2と、演出統括部3と、来場者情報蓄積部4から構成され、これらはネットワーク1で接続されている。
Next, FIG. 1 shows an outline of the configuration of the entertainment device of the present invention. As shown in FIG. 1, the entertainment device of this embodiment includes a
図16は、該娯楽装置の一例の概略のイメージ図である。ある一室の床上に操作卓(タッチパネル3a)が置かれており、ユーザ(来場者)が該タッチパネル3aにタッチして本娯楽装置をスタートさせると、ユーザはDVカメラ2aで撮影され、ユーザの顔画像はグラススクリーン2bに表示される。顔画像が撮影されると、前記顔認識部2の機能(詳細は後述)により顔の属性判定が行われ、次いで演出統括部3の機能(詳細は後述)により来場者の履歴情報ファイルの管理、ランキング集計、顔認識部への撮影命令の送信などの処理が行われ、その結果は結果表示用モニタ3bに表示される。前記顔認識部2、演出統括部3、およびDBファイルサーバ4aは、互いにネットワーク1aにより接続されている。
FIG. 16 is a schematic image diagram of an example of the entertainment device. When a console (
次に、図1を参照して、本実施形態の一連の処理の流れの概要((1)〜(13))を説明する。
(1)来場者が本娯楽装置をスタートさせると、演出統括部3にて、来場者日時を取得する(例、14桁20050925184011)
(2)演出統括部3から来場者情報蓄積部4へ、来場日時・性別・撮影回数を記述した履歴情報ファイル(20050925184011.txt)を書込む。
(3)演出統括部3から顔認識部2へ、撮影命令を送信する。(例、20050925184011)
(4)来場者情報蓄積部4から顔認識部2へ、履歴情報ファイルを読込み、性別・撮影回数を取得する。
(5)顔認識部2にて、撮影・顔検出・属性解析・顔ガイド表示を行う
(6)顔認識部2から来場者情報蓄積部4へ、属性別の解析結果を追記して履歴情報ファイルに書込む。
(7)顔認識部2から来場者情報蓄積部4へ、撮影された顔画像を撮影顔画像ファイル(例、20050925184011.jpg)として書込む。
(8)顔認識部2から演出統括部3へ、撮影結果を送信する(失敗ならS=0、成功ならS=1)。
(9)来場者情報蓄積部4から演出統括部3へ、履歴情報ファイルを読み込み、属性解析結果を取得する。
(10)来場者情報蓄積部4から演出統括部3へ、撮影顔画像ファイルを読み込み、撮影された顔画像を取得する。
(11)演出統括部3にて、属性判定結果を画面に表示する。
(12)演出統括部3にて、ランキングを集計、ランキング結果を画面に表示する。
(13)演出統括部3にて、トップ10にランクインした人物を画面に表示する。
Next, with reference to FIG. 1, an outline ((1) to (13)) of a series of processing flows of the present embodiment will be described.
(1) When a visitor starts this entertainment device, the attendance date and time is acquired by the production control unit 3 (for example, 14 digits 20050925184011)
(2) A history information file (20050925184011.txt) describing the date / time of visit, gender, and number of times of shooting is written from the
(3) A shooting command is transmitted from the
(4) The history information file is read from the visitor
(5) The
(6) The analysis result for each attribute is added from the
(7) The photographed face image is written from the
(8) The photographing result is transmitted from the
(9) The history information file is read from the visitor
(10) The photographed face image file is read from the visitor
(11) In the
(12) In the
(13) In the
以下に、前記顔認識部2と演出統括部3と来場者情報蓄積部4のそれぞれの構成の一具体例を、図2、図3及び図4のブロック図により説明する。
Hereinafter, specific examples of the configurations of the
顔認識部2は、図2に示されているように、装置の中央演算を司るCPU21と、処理中のデータを一時的に保持するRAM22と、顔画像の検出と解析を行うために必要なデータを蓄積する記憶領域23と、演出統括部3との制御命令の授受および来場者情報蓄積部とのファイルの授受を行う通信制御部24と、撮影開始の合図を音声で提示する音声出力部25と、来場者の顔画像を撮影するする画像入力部28と、撮影した画像を一時的に保持するVRAM26と、一時的に保持された画像を画面に表示する画像表示部27とから構成される。
As shown in FIG. 2, the
この顔認識部2のCPU21は、演出統括部3からの撮影命令に従って画像を撮影し、画像内から顔を自動的に検出して、どの属性の顔特徴に類似しているかを解析する処理および制御を行う。
The
演出統括部3は、装置の中央演算を司るCPU31と、処理中のデータを一時的に保持するRAM32と、属性判定結果を表示するために必要なデータとランキング集計リストを蓄積する記憶領域33と、顔認識部との制御命令の授受および来場者情報蓄積部とのファイルの授受を行う通信制御部34と、待機画面および属性判定結果画面およびランキング表示画面を一時的に保持する第1のVRAM36と、一時的に保持された画面を表示する画像表示部37と、待機画面および来場者への操作に関する指示画面を一時的に保持する第2のVRAM35と、一時的に保持された画面を表示する手段と来場者からの操作を入力する手段を同時に合わせ持つ命令入力画像表示部38から構成される。
The
この演出統括部3は、来場者からの操作に関する入力の処理、来場者の履歴情報ファイルの管理、ランキング集計、顔認識部への撮影命令の送信などのシステム全体の統括制御と、来場者への操作に関する指示の表示、属性判定結果の表示、ランキング表示などの演出制御を行う。
This
来場者情報蓄積部4は、装置の中央演算を司るCPU41と、処理中のデータを一時的に保持するRAM42と、来場者情報ファイルを蓄積する記憶領域43と、顔認識部および演出統括部とのファイルの授受を行う通信制御部44から構成される。
The visitor
この来場者情報蓄積部4は、顔認識部2で行った解析の結果を履歴情報ファイルとして、さらに検出された顔画像を撮影顔画像として、来場者別に蓄積する。
The visitor
次に、本実施形態の顔による属性判定を利用した娯楽装置の動作を、図1〜図15を参照して詳細に説明する。ここに、図5は本実施形態の動作を示すフローチャート、図6〜15は、本実施形態の動作中に前記画像表示部27,37に表示される表示例、前記記憶領域23,33,43に読み書きされるデータなどを示す。
Next, the operation of the entertainment device using the face attribute determination according to this embodiment will be described in detail with reference to FIGS. 5 is a flowchart showing the operation of the present embodiment, FIGS. 6 to 15 are display examples displayed on the
(a)待機状態から図1の(1)までの動作(図5のステップS1〜S4)
演出統括部3は、来場者が訪れるまで、図3の第1のVRAM36から画像表示部37に画像データを提供して、該画像表示部37に簡単なアニメーションを繰り返して表示し、待機状態を続けている。同時に、第2のVRAM35と命令入力画像表示部38(例えばタッチパネル)で「画面に触れてください」という指示を表示し、まず、来場者はタッチパネルに触れると、触れた瞬間の時刻が14桁の来場日時として付与される。例えば、2005年9月25日18時40分11秒の来場日時は20050925184011となる。来場日時は、本発明の装置において来場者の識別情報として共通で使用する。次に、タッチパネルには男女選択を指示する画面を表示し、来場者はタッチパネルに触れて男女性別の選択を行う。さらに、タッチパネルには撮影開始を指示する画面を表示し、撮影開始ボタンを押下する。
(a) Operation from standby state to (1) in FIG. 1 (steps S1 to S4 in FIG. 5)
The
演出統括部3の制御は全てCPU31が行う。来場日時、男女性別、撮影回数などはRAM32に一時的に保持する。ここで、撮影回数の初期値は、まだ一度も撮影を行っていない状態であるため、0と設定する。
The
(b)図1の(2)から(3)までの動作(図5のステップS5〜S6)
前記撮影開始ボタンが押されると、来場日時および男女性別および撮影回数が記述された履歴情報ファイルがファイル名を20050925184011.txtとして、来場者情報蓄積部4の記憶領域43(図4参照)に書き込まれる。
(b) Operations from (2) to (3) in FIG. 1 (Steps S5 to S6 in FIG. 5)
When the shooting start button is pressed, a history information file in which the date and time of visit, male and female, and the number of times of shooting are described is written in the storage area 43 (see FIG. 4) of the visitor
前記履歴情報ファイルの内容の一例を図6に示す。1行目に来場日時として20050925184011が、2行目には性別として男性を意味するMが、3行目には撮影回数として0が記述された例を示している。性別は女性の場合Fを記入する。ファイルの書込みは演出統括部3の通信制御部34と来場者情報蓄積部4の通信制御部44とを介して行う。
An example of the contents of the history information file is shown in FIG. In the example, 20050925184011 is entered as the date and time of visit in the first line, M meaning male as the gender in the second line, and 0 as the number of times of photography in the third line. Enter F for female. File writing is performed via the
同時に、演出統括部3から顔認識部2へ14桁の来場日時20050925184011が送信される。来場日時の送受信は、演出統括部3の通信制御部34と顔認識部2の通信制御部24とを介して行う。
At the same time, a 14-
(c)図1の(4)から(8)までの動作(図5のステップS7〜S12)
顔認識部2は演出統括部3ら送信された14桁の来場日時20050925184011を受信する。顔認識部2は14桁の来場日時20050925184011を参照して、指定された履歴情報ファイル20050925184011.txtを来場者情報蓄積部4の記憶領域43から読込む。読み込まれた履歴情報ファイルから、来場者の性別とこれまでの撮影回数を取得し、一時的にRAM22に保持する。ファイルの読出しは顔認識部2の通信制御部24と来場者情報蓄積部4の通信制御部44とを介して行う。
(c) Operations from (4) to (8) in FIG. 1 (Steps S7 to S12 in FIG. 5)
The
VRAM26と画像表示部27(例えばプロジェクタと背面投射のグラススクリーン)には、画像入力部28(例えばデジタルビデオカメラ)により現在撮影されている画像が時々刻々と常に画面に表示されているものとする(プレビュー表示)。この画面表示に上書きする形で「3・2・1・撮影中」などの合図を表示し、同時に音声出力部25(例えばスピーカ)により音声でも「3・2・1・撮影中」などの合図を出力して、来場者に今撮影中であることを明示する。撮影が終了すれば、画面上の合図は消去し、音声合図も消音して、画面をプレビュー表示に戻す。撮影された顔画像は、一時的にRAM22に保持する。
In the
次に、撮影された画像内から顔を検出する。例えば、先に挙げた特許文献1の顔検出装置が利用できる。これは、記憶領域23に保存されている顔検出用テンプレートを用い、撮影された画像内から顔の写っている領域を検出する装置である。すなわち、撮影された画像内でテンプレートマッチングを行い、テンプレートとの類似度が最も高い場所を顔領域と判定し、大きさと位置を正規化して抜き出す。
Next, a face is detected from the captured image. For example, the face detection device of
さらに、検出された顔画像が、原宿の最先端で流行している職業の中で、いずれの職業の顔特徴と類似しているか解析する。例えば、先に挙げた特許文献2の顔属性の解析装置が利用できる。これは、検出された顔画像が年齢・性別・職業・国籍・出身地・表情などの属性に関し、いずれのカテゴリの顔特徴と類似しているかを解析し、判定する装置である。
Further, it is analyzed whether the detected face image is similar to the facial features of any occupation among the professions prevalent in Harajuku. For example, the face attribute analysis device of
すなわち、記憶領域23に保存されている解析用属性データと検出された顔画像とを比較して、原宿の職業の顔特徴との類似度を0〜100%の間の実数で数値化し、各職業別に出力する。値が100に近いほど、その職業の顔特徴との類似度合いが高いことを意味する。このとき、履歴情報ファイル20050925184011.txt内で指定された性別の解析用属性データを使用する。
That is, the attribute data for analysis stored in the
例えば、来場日時20050925184011が、ヘアー・アーティストに対する類似度が96.357664%、カリスマ店員に対する類似度が71.645082%、ミュージシャンに対する類似度が45.691588%、ファッションデザイナーに対する類似度が42.135217%、DJに対する類似度が46.906956%、タレントに対する類似度が42.956985%、カメラマンに対する類似度が45.505788%、バーテンダーに対する類似度が53.034630%、スカウトマンに対する類似度が43.738767%、アーティストに対する類似度が42.180756%、ウェブクリエーターに対する類似度が45.228242%、ソムリエに対する類似度が41.666865%と解析されたとして以後の説明を進める。
For example, the date of
ここで、本実施形態の説明では、原宿の最先端で流行している職業の顔特徴を属性判定の対象としているが、そのための解析用属性データはあらかじめ作成し、記憶領域23に保存しておく必要がある。例えば前記特許文献2では、職業別で採取した複数のサンプル顔画像を用意し、それらから顔領域を検出して、正規化された画像を作成する。例えば、原宿の町のカリスマ店員の顔写真を30枚撮影し、それらのサンプル顔画像が全て含まれるような部分空間を作成して、部分空間を張る正規直交固有ベクトルをカリスマ店員という一つの職業の解析用属性データとする。
Here, in the description of the present embodiment, the facial features of occupations that are prevalent in Harajuku are the target of attribute determination, but analysis attribute data for that purpose is created in advance and stored in the
またこの際、サンプル顔画像から各職業別の平均顔を作成し、記憶領域33に属性平均顔としてあらかじめ書込む。平均顔はサンプル顔画像の画素値について職業別で平均値を取って作成する。
At this time, an average face for each occupation is created from the sample face image and is written in advance in the
顔画像の検出処理と解析処理が失敗した場合は、フラグS=0とする。成功した場合は、フラグS=1とする。なお、図5には表現されていないが、いずれの場合も撮影回数を1回増すのが好適である。特に顔の検出に失敗した場合は、VRAM26と画像表示部27によりプレビュー表示の画面に重ねて人型のガイド枠を表示する(図7参照)。再度撮影を行う場合はその人型のガイド枠に顔を合わせることによって、顔の検出率を向上させる。人型のガイド枠は次回撮影開始時に消去する。成功した場合は、図8に示すように履歴情報ファイル20050925184011.txtに、撮影回数を記述し、解析結果を属性通番号およびその属性との類似度および属性名称の順で各職業別に記述し、来場者情報蓄積部の記憶領域43に書込む。
If the face image detection process and the analysis process have failed, the flag S = 0. If successful, the flag S = 1. Although not shown in FIG. 5, in any case, it is preferable to increase the number of shootings by one. In particular, when face detection fails, a human-type guide frame is displayed on the preview display screen by the
1行目に来場日時として20050925184011が、2行目には性別として男性を意味するMが、3行目には撮影回数として1が、4行目以降は各職業の解析結果であり、4行目は属性番号001のヘアー・アーティストに対する類似度が96.357664%、5行目は属性番号002のカリスマ店員に対する類似度が71.645082%、6行目は属性番号003のミュージシャンに対する類似度が45.691588%、7行目は属性番号004のファッションデザイナーに対する類似度が42.135217%、8行目は属性番号005のDJに対する類似度が46.906956%、9行目は属性番号006のタレントに対する類似度が42.956985、10行目は属性番号007のカメラマンに対する類似度が45.505788%、11行目は属性番号008のバーテンダーに対する類似度が53.034630%、12行目は属性番号009のスカウトマンに対する類似度が43.738767%、13行目は属性番号010のアーティストに対する類似度が42.180756%、14行目は属性番号011のウェブクリエーターに対する類似度が45.228242%、15行目は属性番号012のソムリエに対する類似度が41.666865%、と記述された例を示している。同時に、検出された顔画像を撮影顔画像20050925184011.jpgとして、来場者情報蓄積部4の記憶領域43に書込む。
20050925184011 as the visit date and time in the first line, M meaning male as the gender in the second line, 1 as the number of shootings in the third line, the analysis results of each occupation after the fourth line, 4 lines The eye is 96.357664% similarity to the hair artist with attribute number 001, the fifth line is 71.645082% similarity to the charismatic clerk with attribute number 002, the sixth line is 45.691588% similarity to the musician with
ファイルの読書きは顔認識部2の通信制御部24と来場者情報蓄積部4の通信制御部44とを介して行う。最後に、顔認識部2から演出統括部3にフラグSが送信される。フラグSの送受信は、顔認識部2の通信制御部24と演出統括部3の通信制御部34とを介して行う。
Reading and writing of the file is performed via the
顔認識部2の処理および制御は全てCPU21が行う。顔画像の検出および解析に使用する顔検出用テンプレートおよび解析用属性データは一時的にRAM22に保持する。
The
(d)図1の(9)から(13)までの動作(図5のステップS13〜S21)
演出統括部3は顔認識部2から送信されたフラグSを受信する。フラグS=1ならば、「顔画像の撮影・検出・解析に成功した」と判断して、次の処理に進む。一方、フラグS=0ならば、「失敗した」と判断して、撮影開始処理まで戻り、再度撮影を行う。すなわち、タッチパネルには撮影開始を支持する画面を表示し、撮影開始ボタンを押下待ちとなる。成功した場合は、来場者履歴蓄積部から履歴情報ファイル20050925184011.txtおよび撮影顔画像ファイル20050925184011.jpgを読み込む。
(d) Operations from (9) to (13) in FIG. 1 (Steps S13 to S21 in FIG. 5)
The
これら来場者の履歴情報および撮影顔画像と、記憶領域33に格納された属性平均顔画像および属性特徴解説文を使って、図9に示すような属性判定の結果画面を作成し、第1のVRAM36と画像表示部37で表示する。例えば、左上に来場者自身の撮影顔画像を表示する。例えば、各職業との類似度を降順に並べ、上位3職業を抽出し、その職業名と類似度を表示する。例では第1位がヘアー・アーティスト96%、第2位がカリスマ店員72%、第3位がバーテンダー53%であることを示している。また、例えば、画面右上に、記憶領域33に格納された属性平均顔画像を読込み、第1位と判定された職業の平均顔を提示する。例では、ヘアー・アーティストの平均顔を表示している。同時に、記憶領域33に格納された属性特徴解説文を読込み、第1位と判定された職業の顔の特徴について文章を提示する。例では、ヘアー・アーティストの特徴解説文を表示している。また、例えば、画面左下に第1位となった職業がある地域の中でどの地区に多く分布するかを示した地図を図示する。例では、ヘアー・アーティストの分布地区を示している。また、例えば、画面右下に今日の原宿顔占いとして、ラブ運・金運・仕事運をランダムに5段階で出力した占い結果を提示し、ラッキーカラーやラッキーアイテムを図示する。
Using these visitor history information and photographed face images, and attribute average face images and attribute feature explanations stored in the
ここで、携帯電話等への属性判定の結果のメール送信を希望する来場者には、第2のVRAM35と命令入力画像表示部38によりメールアドレスを登録させる。すなわち、タッチパネル上に図10に示したようなソフトウェアキーボードを表示する。来場者はこのソフトウェアキーボードを使って、メールアドレスを入力し、属性判定の結果を送信することができる。例では、harajuku@avc.kddilabs.jpというメールアドレスを入力した状態を示している。演出統括部3は通信制御部34を介して、属性判定の結果を登録されたメールアドレスにメールを送信する。メールで送信する属性診断の結果画面の一例を図11に示す。図9の属性判定の結果から、画像を全て取り除き、文章情報のみを残した内容となっている。
Here, a visitor who desires to send an email as a result of attribute determination to a mobile phone or the like registers a mail address by the
また、演出統括部3は、来客者情報蓄積部4に蓄積されている過去に来場した来客者の来客者履歴ファイルを使って、職業別のランキング集計を行い、ランキング結果を表示する。これは、過去の来場者の該当職業に対する類似度を降順にならべ、今回の来場者がそのテーマ職業で何位にランキングするか表示するものである。「今回来場した来客者の順位/これまでに来場した来客者の総数」でランキング結果を表示する。
In addition, the
ここで、ランキング集計リストの作成方法、すなわちランキング集計方法の詳細について説明する。本実施形態では男性12職業、女性12職業のランキング集計リストが記憶領域33に格納されている。各職業のランキング集計リストは図12に示すように記述されている。過去の全来場者に関して、来場日時および該当職業に対する類似度が2行に渡ってかつ類似度が降順になるように並べられている。今回の来場者の来場日時および該当職業に対する類似度を、類似度が降順の関係を保つ適切な位置に挿入する。
Here, a method for creating a ranking aggregation list, that is, details of the ranking aggregation method will be described. In this embodiment, a ranking summary list of 12 male occupations and 12 female occupations is stored in the
例えば、今回の来場者は来場日時20050925184011で、ヘアー・アーティストという職業に関して類似度96.357664%であると解析されたとする。図12の例では、過去の総来場者数が360人で、ヘアー・アーティストという職業に関して、今回の来場者は来場日時20050925184011類似度96.357664%で第5位にランクインされたことを示している。ランキング表示用に使う来場者の総数と順位は、ランキング集計リストの上位からカウントして求めることができる。この場合は過去の総来場者数が360人で第5位である。
For example, it is assumed that the visitor of this time is dated 20050925184011 and analyzed that the similarity is 96.357664% for the occupation of hair artist. The example in FIG. 12 shows that the total number of visitors in the past was 360, and this time the visitor this time was ranked 5th with a similarity of 96.357664% on the date of
また、演出統括部3は 第1のVRAM36と画像表示部37で決められたテーマ職業に関するランキング結果を画面表示する。テーマ職業は、例えば毎月異なる職業を設定するなどして定められた職業である。ランキング表示画面の一例を図13に示す。記憶領域33に格納された属性平均顔画像および属性特徴解説文およびテーマ職業のランキング集計リストを使って、例えば、画面左側にテーマ職業の平均顔とその顔の特徴を表示する。例えば、画面中央に来場者自身の撮影顔画像を表示する。例えば、画面右側に今回の来場者がそのテーマ職業で何位にランキングするかを「今回の来場者の順位/これまでの来場者の総数」で表示する。
Further, the
最後に、演出統括部は 第1のVRAM36と画像表示部37でトップ10にランクインした来場者を表示する。記憶領域33に格納された属性平均顔画像および属性特徴解説文および該当するランキング集計リストを使って、図14に示す通り、画面最左端に職業の平均顔とその職業の解説文を表示する。その右側にトップ点にランクインした10人の来場者の顔画像、来場日時、類似度をそれぞれ表示する。この際、来場者情報蓄積部の記憶領域43から該当する来場者の撮影顔画像を読込んで表示する。
Finally, the production control section displays the visitors who are ranked in the top 10 by the
以上で一連の処理を終了し、演出統括部3は待機画面に戻る。一方、メールアドレスを登録した来場者には毎月末に最終的に何位にランキングされたかを示す月間ランキング結果をメール送信する。月間ランキングは図15に示すような内容の文章情報である。例では、2005年9月を対象としたもので、最終的に来場者総数は460人で第5位にランキングされたこを示している。
The series of processes is completed as described above, and the
なお、図4の来場者情報蓄積部4は、来場者別に作成された履歴情報ファイル(例えば、20050925184011.txt)および撮影顔画像ファイル(例えば、20050925184011.jpg)を記憶領域43に蓄積する。そして、前記した演出統括部3および顔認識部2との間で、通信制御部44を介して、該蓄積データを授受する。また、来場者情報蓄積部4の制御は全てCPU41が行う。履歴情報ファイルおよび撮影顔画像ファイルは一時的にRAM42に保持する。
4 stores the history information file (for example, 20050925184011.txt) and the photographed face image file (for example, 20050925184011.jpg) created for each visitor in the
1・・・ネットワーク、2・・・顔認識部、3・・・演出統括部、4・・・来場者情報蓄積部。
DESCRIPTION OF
Claims (9)
該撮影手段で撮影された画像内から顔部分を検出する顔検出手段と、
該顔検出手段で検出された顔画像が職業の属性に関し、該属性の下位の階層であるいずれのカテゴリの顔特徴に類似しているかを判定する属性判定手段を含む顔認識部と、
前記人物を含む来場者によってなされた入力操作に対する処理、来場者の履歴情報ファイルの管理、前記カテゴリの顔特徴との類似についてのランキング集計、前記顔認識部への撮影命令の送信、およびメール送信を含むシステム全体の統括制御を行う統括制御手段と、前記来場者への操作に関する指示の表示およびランキング表示を含む演出制御を行う演出表示制御手段とからなる演出統括部を具備し、
前記人物の顔が前記いずれのカテゴリの顔特徴に類似しているかを判定することを特徴とする顔による属性判定娯楽装置。 Photographing means for photographing a person;
Face detecting means for detecting a face portion from within the image photographed by the photographing means;
A face recognition unit including an attribute determination unit that determines whether a face image detected by the face detection unit is similar to a facial feature of any category that is a lower hierarchy of the attribute with respect to occupation attributes ;
Processing for an input operation performed by a visitor including the person, management of a visitor's history information file, ranking totalization for similarity to the facial features of the category, transmission of a shooting command to the face recognition unit, and mail transmission An overall control unit that performs overall control including the system, and an effect display control unit that includes effect display control means for performing effect control including display and ranking display of instructions regarding operations to the attendees ,
A face attribute determination entertainment device for determining whether the face of the person is similar to the face feature of which category.
前記カテゴリとして男女別の複数の職業が設定され、各カテゴリのサンプル顔画像が予め撮影されて蓄積されていることを特徴とする顔による属性判定娯楽装置。 In the attribute determination entertainment device according to claim 1,
A face attribute determination entertainment device, wherein a plurality of occupations for each gender are set as the category, and sample face images of each category are captured and stored in advance .
前記属性判定手段は、前記撮影手段で撮影された人物の顔画像を、前記予め撮影されて蓄積されている各カテゴリのサンプル顔画像と比較し、診断対象となる各カテゴリとの適合度合いを0〜100の類似度で判定することを特徴とする顔による属性判定娯楽装置。 In the attribute determination entertainment device by the face according to claim 2,
The attribute determination unit compares the face image of the person photographed by the photographing unit with the sample face image of each category that has been previously captured and accumulated , and the degree of conformity with each category to be diagnosed is 0. A face attribute determination entertainment device characterized by determining with a similarity of ˜100.
前記撮影手段は、撮影失敗または気に入らない写りで顔写真が撮影された場合は、再度撮影が可能であることを特徴とする顔による属性判定娯楽装置。 In the attribute determination entertainment device according to claim 1,
The face attribute determination entertainment device, wherein the photographing means is capable of photographing again when a face photograph is photographed due to a photographing failure or an unfavorable image.
前記演出統括部の統括制御手段は、該娯楽装置で診断を行った複数の人物の前記ランキング集計を予め撮影されている各カテゴリのサンプル顔画像との類似度で行い、前記演出表示制御手段は個々人の各カテゴリについてのランキング順位を提示することを特徴とする顔による属性判定娯楽装置。 In the attribute determination entertainment device according to claim 1 ,
The overall control unit of the production control unit performs the ranking aggregation of a plurality of persons diagnosed by the entertainment device based on the similarity to the sample face images of each category that has been previously photographed , and the production display control unit includes: A face attribute determination entertainment device characterized by presenting a ranking for each category of an individual.
前記演出統括部の統括制御手段は、該娯楽装置で診断を行った複数の人物のランキング集計を予め撮影されている各カテゴリのサンプル顔画像との類似度で行い、前記演出表示制御手段は個々人の顔のランキングされたカテゴリと、該カテゴリごとの上位数名のランキング入賞者の顔を提示することを特徴とする顔による属性判定娯楽装置。 In the attribute determination entertainment device according to claim 1 ,
The overall control unit of the production control unit performs ranking aggregation of a plurality of persons diagnosed by the entertainment device based on the similarity to the sample face images of each category that has been previously photographed , and the production display control unit A face attribute-categorized entertainment device, which presents the ranked categories of each face and the faces of the top ranked winners of each category.
前記演出統括部の統括制御手段は、前記属性判定の結果および個々人のランキング結果をメールで送信することを特徴とする顔による属性判定娯楽装置。 In the attribute determination entertainment device according to claim 1 ,
The face attribute determination entertainment device, wherein the control unit of the effect control section transmits the attribute determination result and the ranking result of each individual person by mail.
前記演出統括部の統括制御手段は、前記来場者の履歴情報ファイルの管理を、来場者の識別を年月日と時間からなる14桁のIDを付与して行うことを特徴とする顔による属性判定娯楽装置。 In the attribute determination entertainment device according to claim 1,
The control unit of the production control unit performs management of the visitor history information file by performing identification of the visitor by giving a 14-digit ID consisting of date and time. Judgment entertainment device.
前記演出統括部の演出表示制御手段は、前記属性判定結果の表示として、属性判断の結果表示画面に第1位と判定された属性の平均顔を提示することにより、自顔画像との比較を可能として娯楽性を高めたことを特徴とする顔による属性判定娯楽装置。 In the attribute determination entertainment device according to claim 1 ,
The effect display control means of the effect control unit compares the image with the subject's face image by presenting the average face of the attribute determined as the first place on the attribute determination result display screen as the display of the attribute determination result. A face attribute determination entertainment device characterized by having enhanced entertainment as possible.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005268482A JP4632250B2 (en) | 2005-09-15 | 2005-09-15 | Attribute determination entertainment device by face |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005268482A JP4632250B2 (en) | 2005-09-15 | 2005-09-15 | Attribute determination entertainment device by face |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007080057A JP2007080057A (en) | 2007-03-29 |
| JP4632250B2 true JP4632250B2 (en) | 2011-02-16 |
Family
ID=37940284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005268482A Expired - Fee Related JP4632250B2 (en) | 2005-09-15 | 2005-09-15 | Attribute determination entertainment device by face |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4632250B2 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4896838B2 (en) | 2007-08-31 | 2012-03-14 | カシオ計算機株式会社 | Imaging apparatus, image detection apparatus, and program |
| JP5347549B2 (en) | 2009-02-13 | 2013-11-20 | ソニー株式会社 | Information processing apparatus and information processing method |
| US8818034B2 (en) | 2009-11-30 | 2014-08-26 | Hewlett-Packard Development Company, L.P. | Face recognition apparatus and methods |
| JP5827007B2 (en) * | 2010-10-15 | 2015-12-02 | 任天堂株式会社 | Game program, image processing apparatus, image processing system, and image processing method |
| JP5096610B2 (en) * | 2011-12-01 | 2012-12-12 | オリンパスイメージング株式会社 | Guide device and guide method |
| KR101374164B1 (en) * | 2013-02-18 | 2014-03-13 | 명지대학교 산학협력단 | System for selecting career using classification of hierarchical facial feature and method therefor |
| KR101482531B1 (en) * | 2013-02-18 | 2015-01-21 | 명지대학교 산학협력단 | System for selecting career through indexation of talent clue |
| JP6541225B2 (en) * | 2015-09-08 | 2019-07-10 | Kddi株式会社 | Information terminal device and program |
| CN106531194A (en) * | 2016-11-07 | 2017-03-22 | 丁西龙 | Music wine mixing method and system |
| JP6889191B2 (en) * | 2017-12-26 | 2021-06-18 | 株式会社カプコン | Game programs and game equipment |
| JP6889192B2 (en) * | 2017-12-26 | 2021-06-18 | 株式会社カプコン | Game programs and game equipment |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4218348B2 (en) * | 2003-01-17 | 2009-02-04 | オムロン株式会社 | Imaging device |
-
2005
- 2005-09-15 JP JP2005268482A patent/JP4632250B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007080057A (en) | 2007-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10252172B2 (en) | Game system with shared replays | |
| CN107257338B (en) | media data processing method, device and storage medium | |
| JP5344547B2 (en) | POS terminal device, POS system, attribute information acquisition method, and attribute information acquisition program for acquiring human attribute information | |
| US10398975B2 (en) | Information sharing system, information-processing device, storage medium, and information sharing method | |
| CN111460192A (en) | Image candidate determination device, image candidate determination method, and recording medium storing program for controlling image candidate determination device | |
| KR20190084278A (en) | Automatic suggestions for sharing images | |
| JP4632250B2 (en) | Attribute determination entertainment device by face | |
| KR20170002485A (en) | Connecting current user activities with related stored media collections | |
| JP7645414B2 (en) | Image candidate determination device, image candidate determination method, program for controlling the image candidate determination device, and recording medium storing the program | |
| WO2021103610A1 (en) | Display object control method and apparatus, electronic device and storage medium | |
| CN111563105A (en) | Sleep management method and device, electronic equipment and storage medium | |
| JP2009064374A (en) | Information terminal and computer program | |
| CN103425724B (en) | Message processing device and method and image display | |
| JP2007287014A (en) | Image processing apparatus and image processing method | |
| JP2015164020A (en) | Information processing device, processing method, and program | |
| US12200352B2 (en) | Information processing apparatus, information processing method, and non-transitory storage medium | |
| JP6875861B2 (en) | Information processing methods, devices, and programs | |
| WO2015029115A1 (en) | Electronic book system, electronic book provision method, recording medium, and program | |
| CN119895851A (en) | Image processing device, method for operating image processing device, and program for operating image processing device | |
| US20190180042A1 (en) | Image display device, image display control device, and image display control method | |
| JPWO2018216213A1 (en) | Computer system, pavilion content changing method and program | |
| US20210072869A1 (en) | Method for retrieving at least two captured photographs | |
| CN106599067A (en) | Photograph display method and system | |
| JP2019135636A (en) | Personal history generation support system | |
| JP2021096695A (en) | Information processing system, method for controlling information processing system, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080304 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100728 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101110 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101110 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |