Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4632250B2 - Attribute determination entertainment device by face - Google Patents
[go: Go Back, main page]

JP4632250B2 - Attribute determination entertainment device by face - Google Patents

Attribute determination entertainment device by face Download PDF

Info

Publication number
JP4632250B2
JP4632250B2 JP2005268482A JP2005268482A JP4632250B2 JP 4632250 B2 JP4632250 B2 JP 4632250B2 JP 2005268482 A JP2005268482 A JP 2005268482A JP 2005268482 A JP2005268482 A JP 2005268482A JP 4632250 B2 JP4632250 B2 JP 4632250B2
Authority
JP
Japan
Prior art keywords
face
entertainment device
attribute determination
control unit
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005268482A
Other languages
Japanese (ja)
Other versions
JP2007080057A (en
Inventor
賢治 松尾
真幸 橋本
淳 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2005268482A priority Critical patent/JP4632250B2/en
Publication of JP2007080057A publication Critical patent/JP2007080057A/en
Application granted granted Critical
Publication of JP4632250B2 publication Critical patent/JP4632250B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は顔による属性判定娯楽装置に関し、特に、カメラの前の人物を撮影し、その画像内から顔部分を検出して、検出された顔画像が年齢・性別・職業・国籍・出身地・表情などの属性に関し、いずれのカテゴリの顔特徴に類似しているかを判定する娯楽装置に関する。   The present invention relates to a face attribute determination entertainment device, and in particular, photographs a person in front of a camera, detects a face portion from the image, and the detected face image is age, sex, occupation, nationality, hometown, The present invention relates to an entertainment device that determines which category of facial features is similar with respect to attributes such as facial expressions.

近年コンピュータの性能が飛躍的に向上し、数年前と比較すると、コンピュータ上で画像処理を高速に行えるようになった。また、安価かつ高解像度のカメラ装置が市場に普及したことにより、顔画像を取り扱う装置が多数出現している。   In recent years, the performance of computers has dramatically improved, and image processing on computers has become possible at high speed compared to several years ago. In addition, due to the widespread use of inexpensive and high-resolution camera devices on the market, many devices that handle facial images have appeared.

例えば、本出願人による下記に示す特許文献1は、カメラで撮影された画像内から顔画像を検出する装置を開示している。また、同じく本出願人による特許文献2は、特許文献1などに示される何らかの装置で検出された顔画像が年齢・性別・職業・国籍・出身地・表情などの属性に関し、いずれのカテゴリの顔特徴と類似しているかを解析し、判定する装置を開示している。
特願2005-235936号(先願) 特願2005-037576号(先願)
For example, Patent Document 1 shown below by the present applicant discloses an apparatus for detecting a face image from an image taken by a camera. Similarly, Patent Document 2 by the present applicant states that the face image detected by any device shown in Patent Document 1 or the like relates to attributes such as age, gender, occupation, nationality, birthplace, facial expression, etc. An apparatus for analyzing and determining whether or not a feature is similar is disclosed.
Japanese Patent Application No. 2005-235936 (prior application) Japanese Patent Application No. 2005-037576 (prior application)

しかしながら、従来は、カメラの前の人物を撮影し、その画像内から顔部分を検出して、検出された顔画像が年齢・性別・職業・国籍・出身地・表情などの属性に関し、いずれのカテゴリの顔特徴に類似しているかを判定することはできるものの、その属性判定の結果を娯楽に応用することに関して格別の配慮が無かった。   However, in the past, the person in front of the camera was photographed, the face portion was detected from within the image, and the detected face image was related to attributes such as age, gender, occupation, nationality, hometown, facial expression, etc. Although it is possible to determine whether the category is similar to the facial feature of the category, there was no particular consideration regarding the application of the attribute determination result to entertainment.

本発明の目的は、前記課題に鑑みてなされたものであり、顔の属性判定を娯楽に応用し、発展させ、顔の撮影から属性判定の結果表示までの一連の処理に娯楽性を持たせた顔による属性判定娯楽装置を提供することにある。   The object of the present invention has been made in view of the above problems, and applies and develops face attribute determination to entertainment, so that a series of processing from face photography to attribute determination result display has entertainment. Another object of the present invention is to provide an attribute determination entertainment device using a face.

前記した目的を達成するために、本発明は、人物を撮影する撮影手段と、該撮影手段で撮影された画像内から顔部分を検出する顔検出手段と、該顔検出手段で検出された顔画像が職業の属性に関し、該属性の下位の階層であるいずれのカテゴリの顔特徴に類似しているかを判定する属性判定手段を含む顔認識部と、 前記人物を含む来場者によってなされた入力操作に対する処理、来場者の履歴情報ファイルの管理、前記カテゴリの顔特徴との類似についてのランキング集計、前記顔認識部への撮影命令の送信、およびメール送信を含むシステム全体の統括制御を行う統括制御手段と、前記来場者への操作に関する指示の表示およびランキング表示を含む演出制御を行う演出表示制御手段とからなる演出統括部を具備し、前記人物の顔が前記いずれのカテゴリの顔特徴に類似しているかを判定する点に第1の特徴がある。 In order to achieve the above-described object, the present invention provides a photographing means for photographing a person, a face detecting means for detecting a face portion from an image photographed by the photographing means, and a face detected by the face detecting means. image relates occupation attributes, and face recognition section including attribute determination means for determining whether the similar face feature of any category is a hierarchy lower the attribute, an input operation made by visitors including the person Control that performs overall control of the entire system, including processing on the site, management of visitor history information files, ranking aggregation of similarity to the facial features of the category, transmission of shooting commands to the face recognition unit, and email transmission means and, provided the effect Division comprising a effect display control means for effect control including the display and ranking display instructions on the operation of the visitors, the face of the person the physician There is first characterized in that to determine whether the similar face feature Les category.

また、さらに、前記演出統括部の統括制御手段は、該娯楽装置で診断を行った複数の人物の前記ランキング集計を予め撮影されている各カテゴリのサンプル顔画像との類似度で行い、前記演出表示制御手段は個々人のランキング順位を提示する、または個々人の顔のランキングされたカテゴリと、該カテゴリごとの上位数名のランキング入賞者の顔を提示する点に第2の特徴がある。 Furthermore, the overall control means of the production control unit performs the ranking aggregation of a plurality of persons diagnosed by the entertainment device based on the similarity with the sample face images of each category that has been previously photographed, and the production The display control means presents a second feature in that it presents the ranking of each individual person, or presents the categories of the individual person's face and the top number of ranked winners for each category .

本発明によると、カメラの前の人物を撮影し、その画像内から顔部分を検出して、検出された顔画像が職業の属性に関し、その属性の下位の階層であるいずれのカテゴリの顔特徴に類似しているかを判定する娯楽装置を提供することができ、顔を使った占い、職業診断ゲームなどエンターテイメントに応用できる。 According to the present invention, a person in front of the camera is photographed, a face part is detected from within the image, and the detected face image relates to the occupation attribute, and the facial features of any category that is a lower hierarchy of the attribute whether the similar can be provided for determining entertainment device, it can be applied fortune-telling using the face, to entertainment, such as occupation diagnosis games.

また、判定時に算出される各属性に対する類似度の結果を利用し、特定の属性のカテゴリに関するランキング集計を行うことにより、自分がこれまでシステムを利用した来場者の中で何位であるかを確認することで、どの程度その属性のカテゴリに類似しているかを相対的に判断することができる。さらに、ランキング表示により上位ランクインを目指すリピータを増やす効果が生じる。   In addition, by using the result of similarity for each attribute calculated at the time of determination, and calculating the ranking for the category of a specific attribute, it is possible to determine how many of the visitors you have used the system so far. By checking, it can be relatively determined how similar to the category of the attribute. Furthermore, the effect of increasing the number of repeaters aiming for higher rank in the ranking display is produced.

以下に、図面を参照して、本発明を詳細に説明する。ここでは、説明を簡便化するため、判定の対象となる属性として、東京の「原宿」の最先端で流行している職業を取り上げ、いずれの職業の顔特徴と類似しているかを判定する娯楽装置を例にとって、本発明の一実施形態を説明するが、本発明はこれに限定されるものではない。   Hereinafter, the present invention will be described in detail with reference to the drawings. Here, for the sake of simplicity, we will take the occupation that is popular at the cutting edge of “Harajuku” in Tokyo as an attribute to be judged, and determine which occupation is similar to the facial features. An embodiment of the present invention will be described using an apparatus as an example, but the present invention is not limited to this.

本実施形態では、前記属性の下位の階層であるカテゴリとして、男女各12種類ずつ職業を設定した。詳しくは、男性職業として、ヘアーアーティスト、カリスマ店員、ミュージシャン、ファッションデザイナー、DJ、タレント、カメラマン、バーテンダー、スカウトマン、アーティスト、ウェブクリエイター、ソムリエ、女性職業として、ネイルアーティスト、カリスマ店員、コスメショップ店員、ファッションデザイナー、エステティシャン、モデル、スタイリスト、ウェイトレス、キャンペーンガール、アーティスト、ウェブクリエイター、トリマーを設定した。   In the present embodiment, 12 types of male and female occupations are set as a category that is a lower hierarchy of the attribute. Specifically, as a male occupation, hair artist, charisma clerk, musician, fashion designer, DJ, talent, photographer, bartender, scout man, artist, web creator, sommelier, female profession, nail artist, charisma clerk, cosmetic shop clerk, A fashion designer, esthetician, model, stylist, waitress, campaign girl, artist, web creator and trimmer were set up.

次に、本発明の娯楽装置の構成の概要を図1に示す。図1に示されているように、本実施形態の娯楽装置は、顔認識部2と、演出統括部3と、来場者情報蓄積部4から構成され、これらはネットワーク1で接続されている。   Next, FIG. 1 shows an outline of the configuration of the entertainment device of the present invention. As shown in FIG. 1, the entertainment device of this embodiment includes a face recognition unit 2, a production control unit 3, and a visitor information storage unit 4, which are connected by a network 1.

図16は、該娯楽装置の一例の概略のイメージ図である。ある一室の床上に操作卓(タッチパネル3a)が置かれており、ユーザ(来場者)が該タッチパネル3aにタッチして本娯楽装置をスタートさせると、ユーザはDVカメラ2aで撮影され、ユーザの顔画像はグラススクリーン2bに表示される。顔画像が撮影されると、前記顔認識部2の機能(詳細は後述)により顔の属性判定が行われ、次いで演出統括部3の機能(詳細は後述)により来場者の履歴情報ファイルの管理、ランキング集計、顔認識部への撮影命令の送信などの処理が行われ、その結果は結果表示用モニタ3bに表示される。前記顔認識部2、演出統括部3、およびDBファイルサーバ4aは、互いにネットワーク1aにより接続されている。   FIG. 16 is a schematic image diagram of an example of the entertainment device. When a console (touch panel 3a) is placed on the floor of a room and the user (visitor) touches the touch panel 3a to start the entertainment device, the user is photographed by the DV camera 2a, and the user's The face image is displayed on the glass screen 2b. When a face image is photographed, face attribute determination is performed by the function of the face recognition unit 2 (details will be described later), and then the history information file of the visitor is managed by the function of the production control unit 3 (details will be described later). Processes such as ranking tabulation and transmission of shooting commands to the face recognition unit are performed, and the result is displayed on the result display monitor 3b. The face recognition unit 2, the production control unit 3, and the DB file server 4a are connected to each other via a network 1a.

次に、図1を参照して、本実施形態の一連の処理の流れの概要((1)〜(13))を説明する。
(1)来場者が本娯楽装置をスタートさせると、演出統括部3にて、来場者日時を取得する(例、14桁20050925184011)
(2)演出統括部3から来場者情報蓄積部4へ、来場日時・性別・撮影回数を記述した履歴情報ファイル(20050925184011.txt)を書込む。
(3)演出統括部3から顔認識部2へ、撮影命令を送信する。(例、20050925184011)
(4)来場者情報蓄積部4から顔認識部2へ、履歴情報ファイルを読込み、性別・撮影回数を取得する。
(5)顔認識部2にて、撮影・顔検出・属性解析・顔ガイド表示を行う
(6)顔認識部2から来場者情報蓄積部4へ、属性別の解析結果を追記して履歴情報ファイルに書込む。
(7)顔認識部2から来場者情報蓄積部4へ、撮影された顔画像を撮影顔画像ファイル(例、20050925184011.jpg)として書込む。
(8)顔認識部2から演出統括部3へ、撮影結果を送信する(失敗ならS=0、成功ならS=1)。
(9)来場者情報蓄積部4から演出統括部3へ、履歴情報ファイルを読み込み、属性解析結果を取得する。
(10)来場者情報蓄積部4から演出統括部3へ、撮影顔画像ファイルを読み込み、撮影された顔画像を取得する。
(11)演出統括部3にて、属性判定結果を画面に表示する。
(12)演出統括部3にて、ランキングを集計、ランキング結果を画面に表示する。
(13)演出統括部3にて、トップ10にランクインした人物を画面に表示する。
Next, with reference to FIG. 1, an outline ((1) to (13)) of a series of processing flows of the present embodiment will be described.
(1) When a visitor starts this entertainment device, the attendance date and time is acquired by the production control unit 3 (for example, 14 digits 20050925184011)
(2) A history information file (20050925184011.txt) describing the date / time of visit, gender, and number of times of shooting is written from the production control unit 3 to the visitor information storage unit 4.
(3) A shooting command is transmitted from the production control unit 3 to the face recognition unit 2. (Example: 20050925184011)
(4) The history information file is read from the visitor information storage unit 4 to the face recognition unit 2, and the sex and the number of photographing are acquired.
(5) The face recognition unit 2 performs shooting, face detection, attribute analysis, and face guide display.
(6) The analysis result for each attribute is added from the face recognition unit 2 to the visitor information storage unit 4 and written in the history information file.
(7) The photographed face image is written from the face recognition unit 2 to the visitor information storage unit 4 as a photographed face image file (for example, 20050925184011.jpg).
(8) The photographing result is transmitted from the face recognition unit 2 to the production control unit 3 (S = 0 if unsuccessful, S = 1 if successful).
(9) The history information file is read from the visitor information storage unit 4 to the production control unit 3 and the attribute analysis result is acquired.
(10) The photographed face image file is read from the visitor information storage unit 4 to the production control unit 3 and the photographed face image is acquired.
(11) In the production control unit 3, the attribute determination result is displayed on the screen.
(12) In the production supervision part 3, the ranking is totaled and the ranking result is displayed on the screen.
(13) In the production supervision section 3, the top 10 ranked people are displayed on the screen.

以下に、前記顔認識部2と演出統括部3と来場者情報蓄積部4のそれぞれの構成の一具体例を、図2、図3及び図4のブロック図により説明する。   Hereinafter, specific examples of the configurations of the face recognition unit 2, the production control unit 3, and the visitor information storage unit 4 will be described with reference to the block diagrams of FIGS.

顔認識部2は、図2に示されているように、装置の中央演算を司るCPU21と、処理中のデータを一時的に保持するRAM22と、顔画像の検出と解析を行うために必要なデータを蓄積する記憶領域23と、演出統括部3との制御命令の授受および来場者情報蓄積部とのファイルの授受を行う通信制御部24と、撮影開始の合図を音声で提示する音声出力部25と、来場者の顔画像を撮影するする画像入力部28と、撮影した画像を一時的に保持するVRAM26と、一時的に保持された画像を画面に表示する画像表示部27とから構成される。   As shown in FIG. 2, the face recognition unit 2 is necessary for performing CPU 21 that performs central processing of the apparatus, RAM 22 that temporarily stores data being processed, and detection and analysis of face images. A storage area 23 for storing data, a communication control unit 24 for transmitting / receiving control commands to / from the production control unit 3 and a file to / from the visitor information storage unit, and an audio output unit for presenting a start signal by voice 25, an image input unit 28 that captures a face image of the visitor, a VRAM 26 that temporarily stores the captured image, and an image display unit 27 that displays the temporarily stored image on the screen. The

この顔認識部2のCPU21は、演出統括部3からの撮影命令に従って画像を撮影し、画像内から顔を自動的に検出して、どの属性の顔特徴に類似しているかを解析する処理および制御を行う。   The CPU 21 of the face recognition unit 2 captures an image in accordance with a shooting command from the production control unit 3, automatically detects a face from the image, and analyzes which attribute is similar to the facial feature. Take control.

演出統括部3は、装置の中央演算を司るCPU31と、処理中のデータを一時的に保持するRAM32と、属性判定結果を表示するために必要なデータとランキング集計リストを蓄積する記憶領域33と、顔認識部との制御命令の授受および来場者情報蓄積部とのファイルの授受を行う通信制御部34と、待機画面および属性判定結果画面およびランキング表示画面を一時的に保持する第1のVRAM36と、一時的に保持された画面を表示する画像表示部37と、待機画面および来場者への操作に関する指示画面を一時的に保持する第2のVRAM35と、一時的に保持された画面を表示する手段と来場者からの操作を入力する手段を同時に合わせ持つ命令入力画像表示部38から構成される。   The production control unit 3 includes a CPU 31 that performs central processing of the apparatus, a RAM 32 that temporarily stores data being processed, a storage area 33 that stores data necessary for displaying attribute determination results and a ranking summary list. A communication control unit 34 for exchanging control commands with the face recognition unit and for exchanging files with the visitor information storage unit, and a first VRAM 36 for temporarily holding a standby screen, an attribute determination result screen, and a ranking display screen An image display unit 37 for displaying a temporarily held screen, a second VRAM 35 for temporarily holding a standby screen and an instruction screen for operations to visitors, and a temporarily held screen. And a command input image display unit 38 having both a means for inputting and a means for inputting an operation from a visitor at the same time.

この演出統括部3は、来場者からの操作に関する入力の処理、来場者の履歴情報ファイルの管理、ランキング集計、顔認識部への撮影命令の送信などのシステム全体の統括制御と、来場者への操作に関する指示の表示、属性判定結果の表示、ランキング表示などの演出制御を行う。   This production control unit 3 controls the entire system, such as processing of input related to operations from visitors, management of visitor history information files, ranking aggregation, and transmission of shooting commands to the face recognition unit, and to visitors Effect control such as display of instructions relating to the operation of, display of attribute determination results, and ranking display.

来場者情報蓄積部4は、装置の中央演算を司るCPU41と、処理中のデータを一時的に保持するRAM42と、来場者情報ファイルを蓄積する記憶領域43と、顔認識部および演出統括部とのファイルの授受を行う通信制御部44から構成される。   The visitor information storage unit 4 includes a CPU 41 that controls the central processing of the apparatus, a RAM 42 that temporarily stores data being processed, a storage area 43 that stores visitor information files, a face recognition unit, and a production control unit. It is comprised from the communication control part 44 which transmits / receives these files.

この来場者情報蓄積部4は、顔認識部2で行った解析の結果を履歴情報ファイルとして、さらに検出された顔画像を撮影顔画像として、来場者別に蓄積する。   The visitor information accumulating unit 4 accumulates the results of the analysis performed by the face recognition unit 2 as a history information file and the detected face image as a photographed face image for each visitor.

次に、本実施形態の顔による属性判定を利用した娯楽装置の動作を、図1〜図15を参照して詳細に説明する。ここに、図5は本実施形態の動作を示すフローチャート、図6〜15は、本実施形態の動作中に前記画像表示部27,37に表示される表示例、前記記憶領域23,33,43に読み書きされるデータなどを示す。   Next, the operation of the entertainment device using the face attribute determination according to this embodiment will be described in detail with reference to FIGS. 5 is a flowchart showing the operation of the present embodiment, FIGS. 6 to 15 are display examples displayed on the image display units 27 and 37 during the operation of the present embodiment, and the storage areas 23, 33 and 43. Indicates the data to be read and written.

(a)待機状態から図1の(1)までの動作(図5のステップS1〜S4)
演出統括部3は、来場者が訪れるまで、図3の第1のVRAM36から画像表示部37に画像データを提供して、該画像表示部37に簡単なアニメーションを繰り返して表示し、待機状態を続けている。同時に、第2のVRAM35と命令入力画像表示部38(例えばタッチパネル)で「画面に触れてください」という指示を表示し、まず、来場者はタッチパネルに触れると、触れた瞬間の時刻が14桁の来場日時として付与される。例えば、2005年9月25日18時40分11秒の来場日時は20050925184011となる。来場日時は、本発明の装置において来場者の識別情報として共通で使用する。次に、タッチパネルには男女選択を指示する画面を表示し、来場者はタッチパネルに触れて男女性別の選択を行う。さらに、タッチパネルには撮影開始を指示する画面を表示し、撮影開始ボタンを押下する。
(a) Operation from standby state to (1) in FIG. 1 (steps S1 to S4 in FIG. 5)
The production control unit 3 provides image data from the first VRAM 36 of FIG. 3 to the image display unit 37 until a visitor visits, and repeatedly displays a simple animation on the image display unit 37 to display a standby state. continuing. At the same time, the instruction “Please touch the screen” is displayed on the second VRAM 35 and the command input image display unit 38 (for example, touch panel). First, when the visitor touches the touch panel, the time of the touch is 14 digits. It is given as a visit date and time. For example, the visit date and time of 18:40:11 on September 25, 2005 will be 20050925184011. The visit date and time is commonly used as the visitor identification information in the apparatus of the present invention. Next, a screen for instructing gender selection is displayed on the touch panel, and a visitor touches the touch panel to make a male-female selection. Further, a screen for instructing to start shooting is displayed on the touch panel, and a shooting start button is pressed.

演出統括部3の制御は全てCPU31が行う。来場日時、男女性別、撮影回数などはRAM32に一時的に保持する。ここで、撮影回数の初期値は、まだ一度も撮影を行っていない状態であるため、0と設定する。   The CPU 31 controls all of the production control unit 3. The date and time of visit, by male and female, and the number of shootings are temporarily stored in the RAM 32. Here, the initial value of the number of shootings is set to 0 because the shooting has not been performed yet.

(b)図1の(2)から(3)までの動作(図5のステップS5〜S6)
前記撮影開始ボタンが押されると、来場日時および男女性別および撮影回数が記述された履歴情報ファイルがファイル名を20050925184011.txtとして、来場者情報蓄積部4の記憶領域43(図4参照)に書き込まれる。
(b) Operations from (2) to (3) in FIG. 1 (Steps S5 to S6 in FIG. 5)
When the shooting start button is pressed, a history information file in which the date and time of visit, male and female, and the number of times of shooting are described is written in the storage area 43 (see FIG. 4) of the visitor information storage unit 4 with the file name 20050925184011.txt. It is.

前記履歴情報ファイルの内容の一例を図6に示す。1行目に来場日時として20050925184011が、2行目には性別として男性を意味するMが、3行目には撮影回数として0が記述された例を示している。性別は女性の場合Fを記入する。ファイルの書込みは演出統括部3の通信制御部34と来場者情報蓄積部4の通信制御部44とを介して行う。   An example of the contents of the history information file is shown in FIG. In the example, 20050925184011 is entered as the date and time of visit in the first line, M meaning male as the gender in the second line, and 0 as the number of times of photography in the third line. Enter F for female. File writing is performed via the communication control unit 34 of the production control unit 3 and the communication control unit 44 of the visitor information storage unit 4.

同時に、演出統括部3から顔認識部2へ14桁の来場日時20050925184011が送信される。来場日時の送受信は、演出統括部3の通信制御部34と顔認識部2の通信制御部24とを介して行う。   At the same time, a 14-digit visit date 20050925184011 is transmitted from the production control unit 3 to the face recognition unit 2. The visit date and time is transmitted / received via the communication control unit 34 of the production control unit 3 and the communication control unit 24 of the face recognition unit 2.

(c)図1の(4)から(8)までの動作(図5のステップS7〜S12)
顔認識部2は演出統括部3ら送信された14桁の来場日時20050925184011を受信する。顔認識部2は14桁の来場日時20050925184011を参照して、指定された履歴情報ファイル20050925184011.txtを来場者情報蓄積部4の記憶領域43から読込む。読み込まれた履歴情報ファイルから、来場者の性別とこれまでの撮影回数を取得し、一時的にRAM22に保持する。ファイルの読出しは顔認識部2の通信制御部24と来場者情報蓄積部4の通信制御部44とを介して行う。
(c) Operations from (4) to (8) in FIG. 1 (Steps S7 to S12 in FIG. 5)
The face recognition unit 2 receives the 14-digit visit date 20050925184011 transmitted from the production control unit 3. The face recognition unit 2 reads the specified history information file 20050925184011.txt from the storage area 43 of the visitor information storage unit 4 with reference to the 14-digit visit date 20050925184011. The gender of the visitor and the number of shootings so far are acquired from the read history information file, and temporarily stored in the RAM 22. Reading of the file is performed via the communication control unit 24 of the face recognition unit 2 and the communication control unit 44 of the visitor information storage unit 4.

VRAM26と画像表示部27(例えばプロジェクタと背面投射のグラススクリーン)には、画像入力部28(例えばデジタルビデオカメラ)により現在撮影されている画像が時々刻々と常に画面に表示されているものとする(プレビュー表示)。この画面表示に上書きする形で「3・2・1・撮影中」などの合図を表示し、同時に音声出力部25(例えばスピーカ)により音声でも「3・2・1・撮影中」などの合図を出力して、来場者に今撮影中であることを明示する。撮影が終了すれば、画面上の合図は消去し、音声合図も消音して、画面をプレビュー表示に戻す。撮影された顔画像は、一時的にRAM22に保持する。   In the VRAM 26 and the image display unit 27 (for example, a projector and a rear projection glass screen), an image currently captured by the image input unit 28 (for example, a digital video camera) is always displayed on the screen every moment. (Preview display). A signal such as “3. 2. 1. Shooting” is displayed by overwriting this screen display, and at the same time, a signal such as “3. 2. 1. Shooting” is also sent by voice output unit 25 (for example, a speaker). To indicate to the visitors that they are currently shooting. When shooting is finished, the cue on the screen is deleted, the audio cue is also muted, and the screen is returned to the preview display. The captured face image is temporarily stored in the RAM 22.

次に、撮影された画像内から顔を検出する。例えば、先に挙げた特許文献1の顔検出装置が利用できる。これは、記憶領域23に保存されている顔検出用テンプレートを用い、撮影された画像内から顔の写っている領域を検出する装置である。すなわち、撮影された画像内でテンプレートマッチングを行い、テンプレートとの類似度が最も高い場所を顔領域と判定し、大きさと位置を正規化して抜き出す。   Next, a face is detected from the captured image. For example, the face detection device of Patent Document 1 mentioned above can be used. This is a device that uses a face detection template stored in the storage area 23 to detect an area in which a face appears in a captured image. That is, template matching is performed in the photographed image, a place having the highest similarity to the template is determined as a face area, and the size and position are normalized and extracted.

さらに、検出された顔画像が、原宿の最先端で流行している職業の中で、いずれの職業の顔特徴と類似しているか解析する。例えば、先に挙げた特許文献2の顔属性の解析装置が利用できる。これは、検出された顔画像が年齢・性別・職業・国籍・出身地・表情などの属性に関し、いずれのカテゴリの顔特徴と類似しているかを解析し、判定する装置である。   Further, it is analyzed whether the detected face image is similar to the facial features of any occupation among the professions prevalent in Harajuku. For example, the face attribute analysis device of Patent Document 2 mentioned above can be used. This is a device that analyzes and determines whether a detected face image is similar to a face feature in which category regarding attributes such as age, sex, occupation, nationality, birthplace, and facial expression.

すなわち、記憶領域23に保存されている解析用属性データと検出された顔画像とを比較して、原宿の職業の顔特徴との類似度を0〜100%の間の実数で数値化し、各職業別に出力する。値が100に近いほど、その職業の顔特徴との類似度合いが高いことを意味する。このとき、履歴情報ファイル20050925184011.txt内で指定された性別の解析用属性データを使用する。   That is, the attribute data for analysis stored in the storage area 23 is compared with the detected face image, and the degree of similarity with the facial features of the occupation in Harajuku is quantified as a real number between 0 and 100%. Output by occupation. The closer the value is to 100, the higher the degree of similarity with the facial features of the occupation. At this time, the attribute data for sex analysis specified in the history information file 20050925184011.txt is used.

例えば、来場日時20050925184011が、ヘアー・アーティストに対する類似度が96.357664%、カリスマ店員に対する類似度が71.645082%、ミュージシャンに対する類似度が45.691588%、ファッションデザイナーに対する類似度が42.135217%、DJに対する類似度が46.906956%、タレントに対する類似度が42.956985%、カメラマンに対する類似度が45.505788%、バーテンダーに対する類似度が53.034630%、スカウトマンに対する類似度が43.738767%、アーティストに対する類似度が42.180756%、ウェブクリエーターに対する類似度が45.228242%、ソムリエに対する類似度が41.666865%と解析されたとして以後の説明を進める。   For example, the date of visit 20050925184011 is 96.357664% similarity to hair artists, 71.645082% similarity to charisma salesmen, 45.691588% similarity to musicians, 42.135217% similarity to fashion designers, 46.906956% similarity to DJs , 42.956985% for talent, 45.505788% for cameraman, 53.034630% for bartender, 43.738767% for scoutman, 42.180756% for artist, 45.228242% for web creator The following explanation will be made assuming that the similarity to the sommelier was analyzed as 41.666865%.

ここで、本実施形態の説明では、原宿の最先端で流行している職業の顔特徴を属性判定の対象としているが、そのための解析用属性データはあらかじめ作成し、記憶領域23に保存しておく必要がある。例えば前記特許文献2では、職業別で採取した複数のサンプル顔画像を用意し、それらから顔領域を検出して、正規化された画像を作成する。例えば、原宿の町のカリスマ店員の顔写真を30枚撮影し、それらのサンプル顔画像が全て含まれるような部分空間を作成して、部分空間を張る正規直交固有ベクトルをカリスマ店員という一つの職業の解析用属性データとする。   Here, in the description of the present embodiment, the facial features of occupations that are prevalent in Harajuku are the target of attribute determination, but analysis attribute data for that purpose is created in advance and stored in the storage area 23. It is necessary to keep. For example, in Patent Document 2, a plurality of sample face images collected by occupation are prepared, a face area is detected from them, and a normalized image is created. For example, 30 face photos of a charismatic clerk in the town of Harajuku are taken, a partial space is created that includes all of the sample face images, and the orthonormal eigenvectors that span the subspace are created for one profession as a charismatic clerk. Use attribute data for analysis.

またこの際、サンプル顔画像から各職業別の平均顔を作成し、記憶領域33に属性平均顔としてあらかじめ書込む。平均顔はサンプル顔画像の画素値について職業別で平均値を取って作成する。   At this time, an average face for each occupation is created from the sample face image and is written in advance in the storage area 33 as an attribute average face. The average face is created by taking an average value for each occupation for the pixel values of the sample face image.

顔画像の検出処理と解析処理が失敗した場合は、フラグS=0とする。成功した場合は、フラグS=1とする。なお、図5には表現されていないが、いずれの場合も撮影回数を1回増すのが好適である。特に顔の検出に失敗した場合は、VRAM26と画像表示部27によりプレビュー表示の画面に重ねて人型のガイド枠を表示する(図7参照)。再度撮影を行う場合はその人型のガイド枠に顔を合わせることによって、顔の検出率を向上させる。人型のガイド枠は次回撮影開始時に消去する。成功した場合は、図8に示すように履歴情報ファイル20050925184011.txtに、撮影回数を記述し、解析結果を属性通番号およびその属性との類似度および属性名称の順で各職業別に記述し、来場者情報蓄積部の記憶領域43に書込む。   If the face image detection process and the analysis process have failed, the flag S = 0. If successful, the flag S = 1. Although not shown in FIG. 5, in any case, it is preferable to increase the number of shootings by one. In particular, when face detection fails, a human-type guide frame is displayed on the preview display screen by the VRAM 26 and the image display unit 27 (see FIG. 7). When photographing again, the face detection rate is improved by aligning the face with the humanoid guide frame. The human-type guide frame will be deleted when the next shooting starts. If successful, as shown in FIG. 8, in the history information file 20050925184011.txt, describe the number of shots, describe the analysis results for each occupation in the order of the attribute serial number, the similarity to that attribute, and the attribute name, Write to the storage area 43 of the visitor information storage unit.

1行目に来場日時として20050925184011が、2行目には性別として男性を意味するMが、3行目には撮影回数として1が、4行目以降は各職業の解析結果であり、4行目は属性番号001のヘアー・アーティストに対する類似度が96.357664%、5行目は属性番号002のカリスマ店員に対する類似度が71.645082%、6行目は属性番号003のミュージシャンに対する類似度が45.691588%、7行目は属性番号004のファッションデザイナーに対する類似度が42.135217%、8行目は属性番号005のDJに対する類似度が46.906956%、9行目は属性番号006のタレントに対する類似度が42.956985、10行目は属性番号007のカメラマンに対する類似度が45.505788%、11行目は属性番号008のバーテンダーに対する類似度が53.034630%、12行目は属性番号009のスカウトマンに対する類似度が43.738767%、13行目は属性番号010のアーティストに対する類似度が42.180756%、14行目は属性番号011のウェブクリエーターに対する類似度が45.228242%、15行目は属性番号012のソムリエに対する類似度が41.666865%、と記述された例を示している。同時に、検出された顔画像を撮影顔画像20050925184011.jpgとして、来場者情報蓄積部4の記憶領域43に書込む。   20050925184011 as the visit date and time in the first line, M meaning male as the gender in the second line, 1 as the number of shootings in the third line, the analysis results of each occupation after the fourth line, 4 lines The eye is 96.357664% similarity to the hair artist with attribute number 001, the fifth line is 71.645082% similarity to the charismatic clerk with attribute number 002, the sixth line is 45.691588% similarity to the musician with attribute number 003, 7 Line 8 has 42.135217% similarity to fashion designer with attribute number 004, line 8 has 46.906956% similarity to DJ with attribute number 005, line 9 has 42.956985 similarity to talent with attribute number 006, line 10 Is 45.505788% similar to the photographer with attribute number 007, 113.0 is similar to the bartender with attribute number 008 is 53.034630%, 12th is similar to the scout man with attribute number 009 is 43.738767%, 13th is Artifact with attribute number 010 The 14th line shows 45.228242% similarity to the web creator with attribute number 011 and the 15th line shows 41.666865% similarity to the sommelier with attribute number 012. . At the same time, the detected face image is written into the storage area 43 of the visitor information storage unit 4 as a photographed face image 20050925184011.jpg.

ファイルの読書きは顔認識部2の通信制御部24と来場者情報蓄積部4の通信制御部44とを介して行う。最後に、顔認識部2から演出統括部3にフラグSが送信される。フラグSの送受信は、顔認識部2の通信制御部24と演出統括部3の通信制御部34とを介して行う。   Reading and writing of the file is performed via the communication control unit 24 of the face recognition unit 2 and the communication control unit 44 of the visitor information storage unit 4. Finally, a flag S is transmitted from the face recognition unit 2 to the production control unit 3. Transmission / reception of the flag S is performed via the communication control unit 24 of the face recognition unit 2 and the communication control unit 34 of the production control unit 3.

顔認識部2の処理および制御は全てCPU21が行う。顔画像の検出および解析に使用する顔検出用テンプレートおよび解析用属性データは一時的にRAM22に保持する。   The CPU 21 performs all processing and control of the face recognition unit 2. A face detection template and analysis attribute data used for detection and analysis of a face image are temporarily stored in the RAM 22.

(d)図1の(9)から(13)までの動作(図5のステップS13〜S21)
演出統括部3は顔認識部2から送信されたフラグSを受信する。フラグS=1ならば、「顔画像の撮影・検出・解析に成功した」と判断して、次の処理に進む。一方、フラグS=0ならば、「失敗した」と判断して、撮影開始処理まで戻り、再度撮影を行う。すなわち、タッチパネルには撮影開始を支持する画面を表示し、撮影開始ボタンを押下待ちとなる。成功した場合は、来場者履歴蓄積部から履歴情報ファイル20050925184011.txtおよび撮影顔画像ファイル20050925184011.jpgを読み込む。
(d) Operations from (9) to (13) in FIG. 1 (Steps S13 to S21 in FIG. 5)
The production control unit 3 receives the flag S transmitted from the face recognition unit 2. If the flag S = 1, it is determined that “the face image has been successfully captured, detected, and analyzed”, and the process proceeds to the next process. On the other hand, if the flag S = 0, it is determined as “failed”, the process returns to the shooting start process, and shooting is performed again. In other words, a screen supporting the start of shooting is displayed on the touch panel, and the shooting start button is awaited to be pressed. If successful, the history information file 20050925184011.txt and the photographed face image file 20050925184011.jpg are read from the visitor history storage unit.

これら来場者の履歴情報および撮影顔画像と、記憶領域33に格納された属性平均顔画像および属性特徴解説文を使って、図9に示すような属性判定の結果画面を作成し、第1のVRAM36と画像表示部37で表示する。例えば、左上に来場者自身の撮影顔画像を表示する。例えば、各職業との類似度を降順に並べ、上位3職業を抽出し、その職業名と類似度を表示する。例では第1位がヘアー・アーティスト96%、第2位がカリスマ店員72%、第3位がバーテンダー53%であることを示している。また、例えば、画面右上に、記憶領域33に格納された属性平均顔画像を読込み、第1位と判定された職業の平均顔を提示する。例では、ヘアー・アーティストの平均顔を表示している。同時に、記憶領域33に格納された属性特徴解説文を読込み、第1位と判定された職業の顔の特徴について文章を提示する。例では、ヘアー・アーティストの特徴解説文を表示している。また、例えば、画面左下に第1位となった職業がある地域の中でどの地区に多く分布するかを示した地図を図示する。例では、ヘアー・アーティストの分布地区を示している。また、例えば、画面右下に今日の原宿顔占いとして、ラブ運・金運・仕事運をランダムに5段階で出力した占い結果を提示し、ラッキーカラーやラッキーアイテムを図示する。   Using these visitor history information and photographed face images, and attribute average face images and attribute feature explanations stored in the storage area 33, an attribute determination result screen as shown in FIG. The image is displayed on the VRAM 36 and the image display unit 37. For example, the captured face image of the visitor himself / herself is displayed on the upper left. For example, the similarities with each occupation are arranged in descending order, the top three occupations are extracted, and the occupation names and similarities are displayed. The example shows that the first place is 96% hair artists, the second place is 72% charismatic clerk, and the third place is 53% bartender. Also, for example, the attribute average face image stored in the storage area 33 is read in the upper right of the screen, and the average face of the occupation determined as the first place is presented. In the example, the average face of the hair artist is displayed. At the same time, the attribute feature commentary stored in the storage area 33 is read and a sentence is presented regarding the facial features of the occupation determined to be first. In the example, the feature explanation of the hair artist is displayed. In addition, for example, a map showing in which area in the area where the occupation ranked first is distributed is shown in the lower left of the screen. The example shows the distribution area of hair artists. In addition, for example, fortune telling results in which love luck, money luck, and work luck are randomly output in five stages as today's Harajuku face fortune-telling at the lower right of the screen, and lucky colors and lucky items are illustrated.

ここで、携帯電話等への属性判定の結果のメール送信を希望する来場者には、第2のVRAM35と命令入力画像表示部38によりメールアドレスを登録させる。すなわち、タッチパネル上に図10に示したようなソフトウェアキーボードを表示する。来場者はこのソフトウェアキーボードを使って、メールアドレスを入力し、属性判定の結果を送信することができる。例では、harajuku@avc.kddilabs.jpというメールアドレスを入力した状態を示している。演出統括部3は通信制御部34を介して、属性判定の結果を登録されたメールアドレスにメールを送信する。メールで送信する属性診断の結果画面の一例を図11に示す。図9の属性判定の結果から、画像を全て取り除き、文章情報のみを残した内容となっている。   Here, a visitor who desires to send an email as a result of attribute determination to a mobile phone or the like registers a mail address by the second VRAM 35 and the command input image display unit 38. That is, a software keyboard as shown in FIG. 10 is displayed on the touch panel. Visitors can use this software keyboard to enter their email address and send the results of attribute determination. In the example, the email address harajuku@avc.kddilabs.jp is entered. The production supervision unit 3 sends an e-mail to the registered e-mail address through the attribute determination result via the communication control unit 34. An example of the attribute diagnosis result screen transmitted by mail is shown in FIG. From the result of attribute determination of FIG. 9, all the images are removed and only the text information is left.

また、演出統括部3は、来客者情報蓄積部4に蓄積されている過去に来場した来客者の来客者履歴ファイルを使って、職業別のランキング集計を行い、ランキング結果を表示する。これは、過去の来場者の該当職業に対する類似度を降順にならべ、今回の来場者がそのテーマ職業で何位にランキングするか表示するものである。「今回来場した来客者の順位/これまでに来場した来客者の総数」でランキング結果を表示する。   In addition, the production supervision unit 3 uses the visitor history file of the visitors who have visited in the past stored in the visitor information storage unit 4 to perform ranking tabulation by occupation and display the ranking results. This displays the degree of similarity of past visitors to the corresponding occupation in descending order, and displays the ranking of the current visitor for that theme occupation. The ranking result is displayed by “ranking of visitors who have visited this time / total number of visitors who have visited so far”.

ここで、ランキング集計リストの作成方法、すなわちランキング集計方法の詳細について説明する。本実施形態では男性12職業、女性12職業のランキング集計リストが記憶領域33に格納されている。各職業のランキング集計リストは図12に示すように記述されている。過去の全来場者に関して、来場日時および該当職業に対する類似度が2行に渡ってかつ類似度が降順になるように並べられている。今回の来場者の来場日時および該当職業に対する類似度を、類似度が降順の関係を保つ適切な位置に挿入する。   Here, a method for creating a ranking aggregation list, that is, details of the ranking aggregation method will be described. In this embodiment, a ranking summary list of 12 male occupations and 12 female occupations is stored in the storage area 33. The ranking totalization list of each occupation is described as shown in FIG. For all past visitors, the date and time of visit and the degree of similarity for the corresponding occupation are arranged over two lines and the degree of similarity is in descending order. The visitor's visit date and the degree of similarity to the corresponding occupation are inserted at an appropriate position where the degree of similarity maintains a descending order.

例えば、今回の来場者は来場日時20050925184011で、ヘアー・アーティストという職業に関して類似度96.357664%であると解析されたとする。図12の例では、過去の総来場者数が360人で、ヘアー・アーティストという職業に関して、今回の来場者は来場日時20050925184011類似度96.357664%で第5位にランクインされたことを示している。ランキング表示用に使う来場者の総数と順位は、ランキング集計リストの上位からカウントして求めることができる。この場合は過去の総来場者数が360人で第5位である。   For example, it is assumed that the visitor of this time is dated 20050925184011 and analyzed that the similarity is 96.357664% for the occupation of hair artist. The example in FIG. 12 shows that the total number of visitors in the past was 360, and this time the visitor this time was ranked 5th with a similarity of 96.357664% on the date of visit 20050925184011 regarding the occupation of hair artist . The total number and order of visitors used for ranking display can be obtained by counting from the top of the ranking summary list. In this case, the total number of visitors in the past is 360 and is the fifth place.

また、演出統括部3は 第1のVRAM36と画像表示部37で決められたテーマ職業に関するランキング結果を画面表示する。テーマ職業は、例えば毎月異なる職業を設定するなどして定められた職業である。ランキング表示画面の一例を図13に示す。記憶領域33に格納された属性平均顔画像および属性特徴解説文およびテーマ職業のランキング集計リストを使って、例えば、画面左側にテーマ職業の平均顔とその顔の特徴を表示する。例えば、画面中央に来場者自身の撮影顔画像を表示する。例えば、画面右側に今回の来場者がそのテーマ職業で何位にランキングするかを「今回の来場者の順位/これまでの来場者の総数」で表示する。   Further, the production supervision unit 3 displays the ranking result on the theme occupation determined by the first VRAM 36 and the image display unit 37 on the screen. The theme occupation is an occupation determined by setting a different occupation every month, for example. An example of the ranking display screen is shown in FIG. For example, the average face of the theme occupation and the feature of the face are displayed on the left side of the screen using the attribute average face image, the attribute feature description sentence, and the ranking summary list of the theme occupation stored in the storage area 33. For example, the captured face image of the visitor himself / herself is displayed in the center of the screen. For example, on the right side of the screen, the ranking of the current visitor in this theme occupation is displayed as “the current visitor ranking / the total number of visitors so far”.

最後に、演出統括部は 第1のVRAM36と画像表示部37でトップ10にランクインした来場者を表示する。記憶領域33に格納された属性平均顔画像および属性特徴解説文および該当するランキング集計リストを使って、図14に示す通り、画面最左端に職業の平均顔とその職業の解説文を表示する。その右側にトップ点にランクインした10人の来場者の顔画像、来場日時、類似度をそれぞれ表示する。この際、来場者情報蓄積部の記憶領域43から該当する来場者の撮影顔画像を読込んで表示する。   Finally, the production control section displays the visitors who are ranked in the top 10 by the first VRAM 36 and the image display section 37. Using the attribute average face image and attribute feature commentary and the corresponding ranking summary list stored in the storage area 33, as shown in FIG. 14, the average face of the occupation and the commentary of the occupation are displayed at the leftmost end of the screen. On the right side, the face images, visit dates and similarities of the 10 visitors who ranked in the top point are displayed. At this time, the photographed face image of the corresponding visitor is read from the storage area 43 of the visitor information storage unit and displayed.

以上で一連の処理を終了し、演出統括部3は待機画面に戻る。一方、メールアドレスを登録した来場者には毎月末に最終的に何位にランキングされたかを示す月間ランキング結果をメール送信する。月間ランキングは図15に示すような内容の文章情報である。例では、2005年9月を対象としたもので、最終的に来場者総数は460人で第5位にランキングされたこを示している。   The series of processes is completed as described above, and the production control unit 3 returns to the standby screen. On the other hand, a monthly ranking result indicating how many places are finally ranked at the end of every month is sent to the visitors who have registered their email addresses. The monthly ranking is text information having contents as shown in FIG. The example is for September 2005, and it shows that the total number of visitors was finally ranked 5th with 460 visitors.

なお、図4の来場者情報蓄積部4は、来場者別に作成された履歴情報ファイル(例えば、20050925184011.txt)および撮影顔画像ファイル(例えば、20050925184011.jpg)を記憶領域43に蓄積する。そして、前記した演出統括部3および顔認識部2との間で、通信制御部44を介して、該蓄積データを授受する。また、来場者情報蓄積部4の制御は全てCPU41が行う。履歴情報ファイルおよび撮影顔画像ファイルは一時的にRAM42に保持する。   4 stores the history information file (for example, 20050925184011.txt) and the photographed face image file (for example, 20050925184011.jpg) created for each visitor in the storage area 43. Then, the accumulated data is exchanged between the above-described production control unit 3 and the face recognition unit 2 via the communication control unit 44. Further, the CPU 41 controls all of the visitor information storage unit 4. The history information file and the photographed face image file are temporarily stored in the RAM 42.

本発明の顔による属性判定娯楽装置の一実施形態の概略の構成を示すシステム図である。It is a system diagram showing a schematic configuration of an embodiment of an attribute determination entertainment device according to the present invention. 図1の顔認識部の具体的構成例を示すブロック図である。It is a block diagram which shows the specific structural example of the face recognition part of FIG. 図1の演出統括部の具体的構成例を示すブロック図である。It is a block diagram which shows the specific structural example of the production control part of FIG. 図1の来場者情報蓄積部の具体的構成例を示すブロック図である。It is a block diagram which shows the specific structural example of the visitor information storage part of FIG. 本発明の実施形態の動作例を示すフローチャートである。It is a flowchart which shows the operation example of embodiment of this invention. 履歴情報ファイルの記述例を示す図である。It is a figure which shows the example of a description of a log | history information file. 顔認識部の画像表示部の表示例を示す図である。It is a figure which shows the example of a display of the image display part of a face recognition part. 履歴情報ファイルの記述例を示す図である。It is a figure which shows the example of description of a log | history information file. 演出統括部の画像表示部の表示例(属性判定結果表示画面)を示す図である。It is a figure which shows the example of a display (attribute determination result display screen) of the image display part of an effect supervision part. ソフトウェアキーボードの表示例を示す図である。It is a figure which shows the example of a display of a software keyboard. 演出統括部の画像表示部の表示例(属性判定結果メール)を示す図である。It is a figure which shows the example of a display (attribute determination result mail) of the image display part of a production control part. ランキング集計リストとその記述例を示す図である。It is a figure which shows a ranking totalization list and its description example. 演出統括部の画像表示部の表示例(ランキング集計結果表示画面)を示す図である。It is a figure which shows the example of a display (ranking total result display screen) of the image display part of a production control part. 演出統括部の画像表示部の表示例(トップ10表示画面)を示す図である。It is a figure which shows the example of a display (top 10 display screen) of the image display part of a production control part. ランキング集計結果メールの一例を示す図である。It is a figure which shows an example of a ranking totalization result mail. 本発明の娯楽装置の一例のイメージ図である。It is an image figure of an example of the entertainment apparatus of this invention.

符号の説明Explanation of symbols

1・・・ネットワーク、2・・・顔認識部、3・・・演出統括部、4・・・来場者情報蓄積部。   DESCRIPTION OF SYMBOLS 1 ... Network, 2 ... Face recognition part, 3 ... Production supervision part, 4 ... Visitor information storage part.

Claims (9)

人物を撮影する撮影手段と、
該撮影手段で撮影された画像内から顔部分を検出する顔検出手段と、
該顔検出手段で検出された顔画像が職業の属性に関し、該属性の下位の階層であるいずれのカテゴリの顔特徴に類似しているかを判定する属性判定手段を含む顔認識部と、
前記人物を含む来場者によってなされた入力操作に対する処理、来場者の履歴情報ファイルの管理、前記カテゴリの顔特徴との類似についてのランキング集計、前記顔認識部への撮影命令の送信、およびメール送信を含むシステム全体の統括制御を行う統括制御手段と、前記来場者への操作に関する指示の表示およびランキング表示を含む演出制御を行う演出表示制御手段とからなる演出統括部を具備し、
前記人物の顔が前記いずれのカテゴリの顔特徴に類似しているかを判定することを特徴とする顔による属性判定娯楽装置。
Photographing means for photographing a person;
Face detecting means for detecting a face portion from within the image photographed by the photographing means;
A face recognition unit including an attribute determination unit that determines whether a face image detected by the face detection unit is similar to a facial feature of any category that is a lower hierarchy of the attribute with respect to occupation attributes ;
Processing for an input operation performed by a visitor including the person, management of a visitor's history information file, ranking totalization for similarity to the facial features of the category, transmission of a shooting command to the face recognition unit, and mail transmission An overall control unit that performs overall control including the system, and an effect display control unit that includes effect display control means for performing effect control including display and ranking display of instructions regarding operations to the attendees ,
A face attribute determination entertainment device for determining whether the face of the person is similar to the face feature of which category.
請求項1に記載の顔による属性判定娯楽装置において、
前記カテゴリとして男女別の複数の職業が設定され、各カテゴリのサンプル顔画像が予め撮影されて蓄積されていることを特徴とする顔による属性判定娯楽装置。
In the attribute determination entertainment device according to claim 1,
A face attribute determination entertainment device, wherein a plurality of occupations for each gender are set as the category, and sample face images of each category are captured and stored in advance .
請求項2に記載の顔による属性判定娯楽装置において、
前記属性判定手段は、前記撮影手段で撮影された人物の顔画像を、前記予め撮影されて蓄積されている各カテゴリのサンプル顔画像と比較し、診断対象となる各カテゴリとの適合度合いを0〜100の類似度で判定することを特徴とする顔による属性判定娯楽装置。
In the attribute determination entertainment device by the face according to claim 2,
The attribute determination unit compares the face image of the person photographed by the photographing unit with the sample face image of each category that has been previously captured and accumulated , and the degree of conformity with each category to be diagnosed is 0. A face attribute determination entertainment device characterized by determining with a similarity of ˜100.
請求項1に記載の顔による属性判定娯楽装置において、
前記撮影手段は、撮影失敗または気に入らない写りで顔写真が撮影された場合は、再度撮影が可能であることを特徴とする顔による属性判定娯楽装置。
In the attribute determination entertainment device according to claim 1,
The face attribute determination entertainment device, wherein the photographing means is capable of photographing again when a face photograph is photographed due to a photographing failure or an unfavorable image.
請求項に記載の顔による属性判定娯楽装置において、
前記演出統括部の統括制御手段は、該娯楽装置で診断を行った複数の人物の前記ランキング集計を予め撮影されている各カテゴリのサンプル顔画像との類似度で行い、前記演出表示制御手段は個々人の各カテゴリについてのランキング順位を提示することを特徴とする顔による属性判定娯楽装置。
In the attribute determination entertainment device according to claim 1 ,
The overall control unit of the production control unit performs the ranking aggregation of a plurality of persons diagnosed by the entertainment device based on the similarity to the sample face images of each category that has been previously photographed , and the production display control unit includes: A face attribute determination entertainment device characterized by presenting a ranking for each category of an individual.
請求項に記載の顔による属性判定娯楽装置において、
前記演出統括部の統括制御手段は、該娯楽装置で診断を行った複数の人物のランキング集計を予め撮影されている各カテゴリのサンプル顔画像との類似度で行い、前記演出表示制御手段は個々人の顔のランキングされたカテゴリと、該カテゴリごとの上位数名のランキング入賞者の顔を提示することを特徴とする顔による属性判定娯楽装置。
In the attribute determination entertainment device according to claim 1 ,
The overall control unit of the production control unit performs ranking aggregation of a plurality of persons diagnosed by the entertainment device based on the similarity to the sample face images of each category that has been previously photographed , and the production display control unit A face attribute-categorized entertainment device, which presents the ranked categories of each face and the faces of the top ranked winners of each category.
請求項に記載の顔による属性判定娯楽装置において、
前記演出統括部の統括制御手段は、前記属性判定の結果および個々人のランキング結果をメールで送信することを特徴とする顔による属性判定娯楽装置。
In the attribute determination entertainment device according to claim 1 ,
The face attribute determination entertainment device, wherein the control unit of the effect control section transmits the attribute determination result and the ranking result of each individual person by mail.
請求項1に記載の顔による属性判定娯楽装置において、
前記演出統括部の統括制御手段は、前記来場者の履歴情報ファイルの管理を、来場者の識別を年月日と時間からなる14桁のIDを付与して行うことを特徴とする顔による属性判定娯楽装置。
In the attribute determination entertainment device according to claim 1,
The control unit of the production control unit performs management of the visitor history information file by performing identification of the visitor by giving a 14-digit ID consisting of date and time. Judgment entertainment device.
請求項に記載の顔による属性判定娯楽装置において、
前記演出統括部の演出表示制御手段は、前記属性判定結果の表示として、属性判断の結果表示画面に第1位と判定された属性の平均顔を提示することにより、自顔画像との比較を可能として娯楽性を高めたことを特徴とする顔による属性判定娯楽装置。
In the attribute determination entertainment device according to claim 1 ,
The effect display control means of the effect control unit compares the image with the subject's face image by presenting the average face of the attribute determined as the first place on the attribute determination result display screen as the display of the attribute determination result. A face attribute determination entertainment device characterized by having enhanced entertainment as possible.
JP2005268482A 2005-09-15 2005-09-15 Attribute determination entertainment device by face Expired - Fee Related JP4632250B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005268482A JP4632250B2 (en) 2005-09-15 2005-09-15 Attribute determination entertainment device by face

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005268482A JP4632250B2 (en) 2005-09-15 2005-09-15 Attribute determination entertainment device by face

Publications (2)

Publication Number Publication Date
JP2007080057A JP2007080057A (en) 2007-03-29
JP4632250B2 true JP4632250B2 (en) 2011-02-16

Family

ID=37940284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005268482A Expired - Fee Related JP4632250B2 (en) 2005-09-15 2005-09-15 Attribute determination entertainment device by face

Country Status (1)

Country Link
JP (1) JP4632250B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4896838B2 (en) 2007-08-31 2012-03-14 カシオ計算機株式会社 Imaging apparatus, image detection apparatus, and program
JP5347549B2 (en) 2009-02-13 2013-11-20 ソニー株式会社 Information processing apparatus and information processing method
US8818034B2 (en) 2009-11-30 2014-08-26 Hewlett-Packard Development Company, L.P. Face recognition apparatus and methods
JP5827007B2 (en) * 2010-10-15 2015-12-02 任天堂株式会社 Game program, image processing apparatus, image processing system, and image processing method
JP5096610B2 (en) * 2011-12-01 2012-12-12 オリンパスイメージング株式会社 Guide device and guide method
KR101374164B1 (en) * 2013-02-18 2014-03-13 명지대학교 산학협력단 System for selecting career using classification of hierarchical facial feature and method therefor
KR101482531B1 (en) * 2013-02-18 2015-01-21 명지대학교 산학협력단 System for selecting career through indexation of talent clue
JP6541225B2 (en) * 2015-09-08 2019-07-10 Kddi株式会社 Information terminal device and program
CN106531194A (en) * 2016-11-07 2017-03-22 丁西龙 Music wine mixing method and system
JP6889191B2 (en) * 2017-12-26 2021-06-18 株式会社カプコン Game programs and game equipment
JP6889192B2 (en) * 2017-12-26 2021-06-18 株式会社カプコン Game programs and game equipment

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4218348B2 (en) * 2003-01-17 2009-02-04 オムロン株式会社 Imaging device

Also Published As

Publication number Publication date
JP2007080057A (en) 2007-03-29

Similar Documents

Publication Publication Date Title
US10252172B2 (en) Game system with shared replays
CN107257338B (en) media data processing method, device and storage medium
JP5344547B2 (en) POS terminal device, POS system, attribute information acquisition method, and attribute information acquisition program for acquiring human attribute information
US10398975B2 (en) Information sharing system, information-processing device, storage medium, and information sharing method
CN111460192A (en) Image candidate determination device, image candidate determination method, and recording medium storing program for controlling image candidate determination device
KR20190084278A (en) Automatic suggestions for sharing images
JP4632250B2 (en) Attribute determination entertainment device by face
KR20170002485A (en) Connecting current user activities with related stored media collections
JP7645414B2 (en) Image candidate determination device, image candidate determination method, program for controlling the image candidate determination device, and recording medium storing the program
WO2021103610A1 (en) Display object control method and apparatus, electronic device and storage medium
CN111563105A (en) Sleep management method and device, electronic equipment and storage medium
JP2009064374A (en) Information terminal and computer program
CN103425724B (en) Message processing device and method and image display
JP2007287014A (en) Image processing apparatus and image processing method
JP2015164020A (en) Information processing device, processing method, and program
US12200352B2 (en) Information processing apparatus, information processing method, and non-transitory storage medium
JP6875861B2 (en) Information processing methods, devices, and programs
WO2015029115A1 (en) Electronic book system, electronic book provision method, recording medium, and program
CN119895851A (en) Image processing device, method for operating image processing device, and program for operating image processing device
US20190180042A1 (en) Image display device, image display control device, and image display control method
JPWO2018216213A1 (en) Computer system, pavilion content changing method and program
US20210072869A1 (en) Method for retrieving at least two captured photographs
CN106599067A (en) Photograph display method and system
JP2019135636A (en) Personal history generation support system
JP2021096695A (en) Information processing system, method for controlling information processing system, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101110

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees