JP7626951B2 - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and program Download PDFInfo
- Publication number
- JP7626951B2 JP7626951B2 JP2023135602A JP2023135602A JP7626951B2 JP 7626951 B2 JP7626951 B2 JP 7626951B2 JP 2023135602 A JP2023135602 A JP 2023135602A JP 2023135602 A JP2023135602 A JP 2023135602A JP 7626951 B2 JP7626951 B2 JP 7626951B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- editing
- user
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 178
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 28
- 210000001747 pupil Anatomy 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 14
- 210000000720 eyelash Anatomy 0.000 description 132
- 238000010586 diagram Methods 0.000 description 35
- 230000015572 biosynthetic process Effects 0.000 description 15
- 238000003786 synthesis reaction Methods 0.000 description 15
- 238000013461 design Methods 0.000 description 13
- 238000007639 printing Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 235000019219 chocolate Nutrition 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000008719 thickening Effects 0.000 description 3
- 241001469893 Oxyzygonectes dovii Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 2
- 229920002554 vinyl polymer Polymers 0.000 description 2
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Images
Landscapes
- Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Facsimile Image Signal Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本技術は、特に、より自然な形で目の印象を変えることができるようにした画像処理装置、画像処理方法、およびプログラムに関する。 In particular, this technology relates to an image processing device, an image processing method, and a program that can change the impression of the eyes in a more natural way.
従来、写真シール作成装置が知られている。写真シール作成装置は、利用者を撮影し、撮影画像に対して利用者に編集を行わせ、編集後の画像をシール紙に印刷して提供するものである。写真シール作成装置は遊戯施設などに設置される。 Photo sticker creation devices are known in the art. Photo sticker creation devices photograph a user, allow the user to edit the photographed image, and print the edited image on sticker paper for provision. Photo sticker creation devices are installed in amusement facilities, etc.
写真シール作成装置が提供する１ゲームの流れは、通常、撮影空間内にいる利用者を被写体として撮影を行った後、利用者を編集空間に移動させ、編集空間内で行われる操作に従って画像を編集して、編集済みの画像をシール紙に印刷するものとなる。撮影空間での撮影時、ストロボ光を照射することによって、利用者の目の黒目部分にキャッチライトを写り込ませた状態で撮影が行われる。 The flow of one game provided by the photo sticker creation device is usually to take a photo of the user in the shooting space as the subject, then move the user to the editing space, edit the image according to the operations performed in the editing space, and print the edited image on sticker paper. When taking a photo in the shooting space, a strobe light is irradiated so that a catch light is reflected in the pupil of the user's eye.
例えば特許文献１には、撮影画像に写る利用者の黒目部分を所定の色で塗りつぶし、色を変えた黒目部分に、キャッチライトを表現した画像を描画する技術が開示されている。
For example,
目の印象を変えるために黒目部分の色を画像処理によって変更した場合、変更後の黒目部分の見え方が不自然になってしまうことがある。 When changing the color of the pupil through image processing to change the impression of the eyes, the pupil may look unnatural after the change.
本技術はこのような状況に鑑みてなされたものであり、より自然な形で目の印象を変えることができるようにするものである。 This technology was developed in light of these circumstances, and makes it possible to change the impression of the eyes in a more natural way.
本技術の一側面の画像処理装置は、撮影画像に写る人物の黒目を検出する検出部と、利用者による異なる操作に応じて、黒目の色と、黒目の縁の濃さとをそれぞれ変更する画像処理部とを備える。 An image processing device according to one aspect of the present technology includes a detection unit that detects the iris of a person appearing in a captured image, and an image processing unit that changes the color of the iris and the darkness of the iris edge in response to different operations by a user.
本技術の一側面においては、撮影画像に写る人物の黒目が検出され、利用者による異なる操作に応じて、黒目の色と、黒目の縁の濃さとがそれぞれ変更される。 In one aspect of the present technology, the iris of a person appearing in a captured image is detected, and the color of the iris and the darkness of the iris rim are changed in response to different operations by a user.
本技術によれば、より自然な形で目の印象を変えることができる。 This technology makes it possible to change the impression of the eyes in a more natural way.
＜写真シール作成装置の外観＞
図１および図２は、写真シール作成装置１の外観の構成例を示す斜視図である。
<Appearance of the photo sticker creation device>
1 and 2 are perspective views showing an example of the external configuration of a photo
写真シール作成装置１は、撮影画像や編集画像を提供するゲーム機である。写真シール作成装置１は、画像をシール紙に印刷したり、画像を利用者の携帯端末上で閲覧可能にしたりすることで、利用者に画像を提供する。写真シール作成装置１は、ゲームセンターなどのアミューズメント施設や店舗に設置される。
The photo
写真シール作成装置１の利用者は、主に女子高生や若い女性が中心とされる。写真シール作成装置１において、１組あたり主に２人や３人などの複数人の利用者がゲームを楽しむことができる。もちろん、写真シール作成装置１において、１人の利用者がゲームを楽しむこともできる。
The users of the photo
写真シール作成装置１において、利用者は、自身が被写体となって撮影作業を行う。利用者は、編集作業により、撮影によって得られた撮影画像の中から選択した画像に、手書きの文字やスタンプ画像などの合成用画像を合成させる。これにより、撮影画像が彩り豊かな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。
In the photo
写真シール作成装置１は、写真作成ゲームを提供する写真作成ゲーム機ということができる。
The photo
図１に示すように、写真シール作成装置１は、基本的に、撮影ユニット１１と編集ユニット１２が接した状態で設置されることによって構成される。撮影ユニット１１と編集ユニット１２は電気的に接続される。
As shown in FIG. 1, the photo
撮影ユニット１１は、人が中に入ることができる程度の大きさを有する箱形状の筐体を有し、事前選択部２０、撮影部２１、および背景部２２から構成される。事前選択部２０は、撮影部２１の側面に設置される。事前選択部２０の前方の空間が、事前選択処理が行われる事前選択空間となる。また、撮影部２１と背景部２２は所定の距離だけ離して設置される。撮影部２１と背景部２２の間に形成される空間が、撮影処理が行われる撮影空間となる。
The photographing
事前選択部２０は、事前選択処理として、写真シール作成装置１によって提供されるゲームを紹介するガイダンスを行ったり、撮影空間で行われる撮影処理における各種の設定を行ったりする。事前選択部２０には、利用者が代金を投入する硬貨投入口や、各種の操作に用いられるタッチパネルモニタなどが設けられる。事前選択部２０は、撮影空間の空き状況に応じて、事前選択空間にいる利用者を撮影空間へと案内する。
As part of the pre-selection process, the
撮影部２１は、利用者を被写体として撮影するための装置である。撮影部２１は、撮影空間に入った利用者の正面に位置する。撮影空間に臨む撮影部２１の正面には、カメラや、各種の操作に用いられるタッチパネルモニタなどが設けられる。
The photographing
撮影空間において正面を向いている利用者からみて左側の面を左側面、右側の面を右側面とすると、撮影部２１の左側面が側面パネル４１Ａにより構成され、右側面が側面パネル４１Ｂにより構成される。さらに、撮影部２１の正面が正面パネル４２により構成される。側面パネル４１Ａには、上述した事前選択部２０が設置される。なお、事前選択部２０が、側面パネル４１Ｂに設置されるようにしてもよい。
When viewed from a user facing forward in the shooting space, the left side is the left side and the right side is the right side. The left side of the
背景部２２は、背面パネル５１、側面パネル５２Ａ、および側面パネルから構成される。背面パネル５１は、正面を向いている利用者の背面側に位置する板状の部材である。側面パネル５２Ａは、背面パネル５１の左端に取り付けられ、側面パネル４１Ａより横幅の狭い板状の部材である。側面パネル５２Ｂは、背面パネル５１の右端に取り付けられ、側面パネル４１Ｂより横幅の狭い板状の部材である。
The
側面パネル４１Ａと側面パネル５２Ａは、ほぼ同一平面に設けられる。側面パネル４１Ａと側面パネル５２Ａの上部は、板状の部材である連結部２３Ａによって連結される。側面パネル４１Ａと側面パネル５２Ａの下部は、床面に設けた例えば金属製の部材である連結部２３Ａ’によって連結される。側面パネル４１Ｂと側面パネル５２Ｂも同様に、ほぼ同一平面に設けられる。側面パネル４１Ｂと側面パネル５２Ｂの上部は、連結部２３Ｂによって連結される。側面パネル４１Ｂと側面パネル５２Ｂの下部は、連結部２３Ｂ’によって連結される。
側面パネル４１Ａと側面パネル５２Ａは、撮影空間の左側面を囲む部材となり、側面パネル４１Ｂと側面パネル５２Ｂは、撮影空間の右側面を囲む部材となる。
撮影空間の床には、板状の部材である床材２７が敷かれる。
The floor of the shooting space is covered with
側面パネル４１Ａ、連結部２３Ａ、および側面パネル５２Ａに囲まれることによって形成される開口が撮影空間の出入り口となる。また、側面パネル４１Ｂ、連結部２３Ｂ、および側面パネル５２Ｂに囲まれることによって形成される開口も撮影空間の出入り口となる。
The opening formed by being surrounded by
撮影空間の天井の一部には、ビニル素材の部材や板状の部材からなる天井シート２４が設けられる。
A
編集ユニット１２は、撮影画像に編集を施すための装置である。編集ユニット１２は、一方の側面が撮影部２１の正面パネル４２に接するようにして、撮影ユニット１１に連結して設けられる。
The
図２に示す編集ユニット１２の構成を正面側の構成とすると、編集ユニット１２の正面側と背面側のそれぞれに、編集作業で用いられる構成が設けられる。この構成により、２組の利用者が同時に編集作業を行うことができる。
If the configuration of the
編集ユニット１２の正面側は、垂直な面６１と、面６１の上方に形成された斜面６２から構成される。斜面６２には、編集作業に用いられる構成として、タブレット内蔵モニタやタッチペンが設けられる。斜面６２の右側には、照明装置６４の一端を支持する柱状の支持部６３Ａが設けられる。斜面６２の左側には、照明装置６４の他端を支持する柱状の支持部６３Ｂが設けられる。支持部６３Ａの上面にはカーテンレール２６を支持する支持部６５が設けられる。
The front side of the
編集ユニット１２の上方にはカーテンレール２６が取り付けられる。カーテンレール２６は、３本のレール２６Ａ乃至２６Ｃを組み合わせて構成される。
A
３本のレール２６Ａ乃至２６Ｃは、上から見たときの形状がコの字状となるように組み合わせられる。平行に設けられるレール２６Ａとレール２６Ｂの一端は、連結部２３Ａと連結部２３Ｂにそれぞれ固定され、レール２６Ａとレール２６Ｂの他端は、レール２６Ｃの両端にそれぞれ固定される。
The three
カーテンレール２６には、編集ユニット１２の正面前方の空間と背面前方の空間が外から見えないようにするためのカーテンが取り付けられる。カーテンレール２６に取り付けられたカーテンにより囲まれる編集ユニット１２の正面前方の空間と背面前方の空間が、利用者が編集作業を行う編集空間となる。
A curtain is attached to the
編集ユニット１２の側面には、印刷済みのシール紙が排出される排出口が設けられる。
編集ユニット１２の側面前方の空間が、利用者が印刷済みのシール紙が排出されるのを待つ印刷待ち空間となる。
The
The space on the front side of the
＜利用者の移動について＞
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について説明する。
<About user movement>
Here, the flow of the photo sticker creation game and the accompanying movement of the user will be described.
図３は、写真シール作成装置１を上から見た平面図である。
Figure 3 is a plan view of the photo
利用者は、事前選択部２０の前方の空間である事前選択空間Ａ０において硬貨投入口に代金を投入する。次に、利用者は、タッチパネルモニタに表示される画面に従って事前選択作業を行う。例えば、利用者は、撮影空間で行われる撮影に関するコースの選択などを事前選択作業として行う。
The user inserts coins into a coin slot in the pre-selection space A0, which is the space in front of the
事前選択作業を終えた利用者は、白抜き矢印＃１で示すように、側面パネル４１Ａと側面パネル５２Ａの間の出入り口Ｇ１から、撮影部２１と背景部２２の間に形成された撮影空間Ａ１に入る。利用者は、撮影部２１に設けられたカメラやタッチパネルモニタなど利用して撮影作業を行う。
After completing the pre-selection task, the user enters the shooting space A1 formed between the
撮影作業を終えた利用者は、白抜き矢印＃２で示すように出入り口Ｇ１から撮影空間Ａ１を出て編集空間Ａ２－２に移動するか、または、白抜き矢印＃３で示すように出入り口Ｇ２から撮影空間Ａ１を出て編集空間Ａ２－１に移動する。
When a user has finished taking photos, they can either leave the photo shoot space A1 through the entrance G1 and move to the editing space A2-2, as shown by the
編集空間Ａ２－１は、編集ユニット１２の正面側の編集空間である。一方、編集空間Ａ２－２は、編集ユニット１２の背面側の編集空間である。利用者が編集空間Ａ２－１と編集空間Ａ２－２のいずれの空間に移動するのかは、撮影部２１のタッチパネルモニタの画面表示などによって案内される。例えば２つの編集空間のうちの空いている方が移動先として案内される。
Editing space A2-1 is the editing space on the front side of the
編集空間Ａ２－１または編集空間Ａ２－２に移動した利用者は、編集作業を開始する。
編集空間Ａ２－１の利用者と、編集空間Ａ２－２の利用者は同時に編集作業を行うことができる。編集空間Ａ２－１と編集空間Ａ２－２を区別する必要がない場合、適宜、まとめて編集空間Ａ２という。
The user who moves to the editing space A2-1 or A2-2 starts editing work.
A user of the editing space A2-1 and a user of the editing space A2-2 can simultaneously carry out editing work. When there is no need to distinguish between the editing space A2-1 and the editing space A2-2, they will be collectively referred to as the editing space A2 as appropriate.
編集作業が終了した後、編集画像の印刷が開始される。編集空間Ａ２－１での編集作業を終えた利用者は、白抜き矢印＃５で示すように編集空間Ａ２－１から印刷待ち空間Ａ３に移動する。また、編集空間Ａ２－２での編集作業を終えた利用者は、白抜き矢印＃４で示すように編集空間Ａ２－２から印刷待ち空間Ａ３に移動する。
After the editing work is completed, printing of the edited image begins. When a user has finished editing work in editing space A2-1, they move from editing space A2-1 to print waiting space A3, as indicated by outlined
印刷待ち空間Ａ３に移動した利用者は、印刷が終わるのを待つ。印刷が終了すると、利用者は、編集ユニット１２の側面に設けられた排出口から排出されたシール紙を受け取り、一連の写真シール作成ゲームを終える。
The user moves to the print waiting area A3 and waits for printing to finish. When printing is finished, the user receives the sticker paper that is ejected from the ejection port on the side of the
次に、各装置の構成について説明する。 Next, we will explain the configuration of each device.
＜事前選択部の構成＞
図４は、事前選択部２０の構成例を示す図である。
<Configuration of pre-selection section>
FIG. 4 is a diagram showing an example of the configuration of the
事前選択部２０の上側にはタッチパネルモニタ７１が設けられる。タッチパネルモニタ７１は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ７１は、各種のGUI(Graphical User Interface)を表示し、利用者の選択操作を受け付ける機能を備えている。タッチパネルモニタ７１には、利用者の人数の選択に用いられる画面などが表示される。
A touch panel monitor 71 is provided above the
タッチパネルモニタ７１の下方にはスピーカ７２が設けられる。スピーカ７２は、事前選択処理の案内音声、BGM(Back Ground Music)、効果音などを出力する。スピーカ７２の隣に、利用者が硬貨を入れる硬貨投入返却口７３が設けられる。
A
＜撮影部の構成＞
図５および図６は、撮影部２１の構成例を示す斜視図である。
<Composition of the shooting department>
5 and 6 are perspective views showing examples of the configuration of the
撮影部２１は、側面パネル４１Ａ、側面パネル４１Ｂ、および正面パネル４２に囲まれるようにして構成される。
The
正面パネル４２の略中央には箱状のカメラユニット８１が設けられる。カメラユニット８１の正面には、カメラ９１とタッチパネルモニタ９２が設けられる。カメラ９１の右側には、スマートフォンホルダ９３が設けられる。
A box-shaped
カメラ９１は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット８１の内部に取り付けられる。カメラ９１は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有する。カメラ９１は、撮影空間Ａ１にいる利用者を被写体として撮影を行う撮影部として機能する。
The
また、カメラ９１は、上下方向の首振り機能（角度調整機能）を有する。
The
図７は、カメラ９１の角度調整の例を示す図である。
Figure 7 shows an example of adjusting the angle of the
図７に示すように、カメラ９１は、カメラユニット８１の内部において姿勢を変えることによって、光軸の向きを上下方向に調整することが可能とされる。図７において、破線矢印はレンズの光軸の向きを表す。
As shown in FIG. 7, the
図７Ａ乃至Ｃに示すように、例えば、写真シール作成装置１の接地面と略水平な方向を上限とし、下限となる所定の下向きの角度までの範囲で、カメラ９１の角度を調整することが可能とされる。
As shown in Figures 7A to 7C, for example, the angle of the
このようなカメラ９１の角度の調整は、後述するように、撮影を行っている利用者の操作に従って電動で行われる。利用者は、カメラ９１の角度を好みの角度に調整して、撮影を行うことができる。
As described below, such adjustment of the angle of the
カメラ９１により取り込まれた動画像に基づいて生成されたライブビュー画像は、タッチパネルモニタ９２に表示される。所定のタイミングでカメラ９１により取り込まれた静止画像は撮影画像として保存される。
A live view image generated based on the moving image captured by the
タッチパネルモニタ９２はカメラ９１の下方に設けられる。タッチパネルモニタ９２は、LCDなどのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ９２は、カメラ９１により取り込まれたライブビュー画像を表示するライブビューモニタとしての機能と、各種のGUIを表示して利用者の選択操作を受け付ける機能を備えている。
The touch panel monitor 92 is provided below the
カメラ９１の右側には、スマートフォンの置き場となるスマートフォンホルダ９３が設けられる。スマートフォンホルダ９３は、スマートフォンを横向きで置くのに十分な長さとなるように形成される。
A
利用者は、自分のスマートフォンをスマートフォンホルダ９３に置き、スマートフォンを利用して、ゲーム中の自身の様子を動画像や静止画像として撮影することができる。
Users can place their smartphones in the
カメラユニット８１の上方には、カメラユニット８１の位置（カメラ９１の位置）を基準として左に偏った状態で上ストロボユニット８２が設置される。上ストロボユニット８２は、カメラユニット８１の上方と左上方の略全体を覆うようにして設けられる。
The
上ストロボユニット８２の正面は、斜め下方を向くように前傾したパネルと、その下方に設けられ、略垂直面を構成するパネルとから構成される。上ストロボユニット８２の正面が、透光性を有する乳白色の板状の部材を用いた発光面として構成される。上ストロボユニット８２は、カメラ９１による撮影に合わせて発光し、利用者の正面左上方から、主に利用者の顔と上半身にストロボ光を照射する。
The front of the
カメラユニット８１の下方には、主に利用者の下半身および足元にストロボ光を照射する足元ストロボユニット８３が設けられる。
Below the
足元ストロボユニット８３は、正面視において横長長方形となる正面全体が発光面となるように、側面パネル４１Ａと側面パネル４１Ｂとの間に隙間なく形成される。足元ストロボユニット８３の上面は、写真シール作成装置１の設置面と略水平な面であり、撮影作業を行う利用者が手荷物などを置くための荷物置き場として用いられる。
The
上ストロボユニット８２と足元ストロボユニット８３の内部には、常時点灯する電球とストロボ発光管が設けられる。上ストロボユニット８２と足元ストロボユニット８３は、電球を発光させることによって撮影空間内を常時照らすとともに、撮影タイミングに合わせてストロボ発光管を発光させることによって、被写体となる利用者にストロボ光を照射する。
A constantly lit light bulb and a strobe light tube are provided inside the
なお、正面パネル４２の天井付近にはスピーカが設けられる。スピーカからは、撮影処理の案内音声、BGM、効果音などが出力される。スピーカが背景部２２に設けられるようにしても良い。
A speaker is provided near the ceiling of the
図８は、背景部２２の撮影空間Ａ１側の構成例を示す図である。
Figure 8 shows an example of the configuration of the
背面パネル５１の内側には、緑色などの所定の色のシートが貼り付けられる。撮影された画像に写る緑色の領域を検出することによってクロマキー処理が行われ、人物の領域が検出される。
A sheet of a specific color, such as green, is attached to the inside of the
背面パネル５１の左端に取り付けられる側面パネル５２Ｂの内側には操作部５３が設けられる。
An
操作部５３は、図９に示すように、カメラ９１の向きを上方向または下方向に調整するときに押下される角度調整ボタン５３Ａと、撮影を停止するときに押下される撮影停止ボタン５３Ｂとから構成される。
As shown in FIG. 9, the
カメラ９１による撮影は、１０秒間隔などの所定の間隔で連続して行われる。撮影停止ボタン５３Ｂは、その連続撮影を一時的に停止させるために押下される。利用者は、連続撮影を一時的に停止させている状態で、角度調整ボタン５３Ａを押下し、カメラ９１の角度を調整することができる。
Photographing by the
操作部５３が側面パネル５２Ｂに設けられていることにより、カメラ９１に顔を向けている利用者の立ち位置は、無意識のうちに、撮影空間Ａ１において右側に僅かに寄った位置となる。撮影空間Ａ１において操作部５３の対角となる正面左側の位置に設けられた上ストロボユニット８２から立ち位置までの距離を確保することにより、適切な光量の光によって、上ストロボユニット８２から利用者を照射することが可能となる。
Since the
側面パネル５２Ｂに設けられた操作部５３は、利用者の立ち位置を無意識のうちに誘導する機能をも有する。操作部５３が側面パネル５２Ａ側に設けられるようにしてもよい。
The
＜編集ユニットの構成＞
図１０は、編集ユニット１２の正面側（図３の編集空間Ａ２－１側）の構成例を示す図である。背面側（図３の編集空間Ａ２－２側）にも同様の構成が設けられる。
<Editing Unit Composition>
10 is a diagram showing an example of the configuration of the front side (the editing space A2-1 side in FIG. 3) of the
斜面６２のほぼ中央にはタブレット内蔵モニタ１３１が設けられる。タブレット内蔵モニタ１３１の左側にはタッチペン１３２Ａが設けられる。タブレット内蔵モニタ１３１の右側にはタッチペン１３２Ｂが設けられる。
A tablet-built-in
タブレット内蔵モニタ１３１には、例えば、編集作業に用いられる編集画面が表示される。２人の利用者が同時に編集作業を行う場合、タッチペン１３２Ａはタブレット内蔵モニタ１３１に向かって左側にいる利用者により用いられ、タッチペン１３２Ｂはタブレット内蔵モニタ１３１に向かって右側にいる利用者により用いられる。
For example, an editing screen used for editing work is displayed on the tablet built-in
なお、タッチペン１３２Ａを用いた操作とタッチペン１３２Ｂを用いた操作は識別される。適宜、タブレット内蔵モニタ１３１の左側の表示に対してはタッチペン１３２Ａを用いた操作のみが可能とされ、右側の表示に対してはタッチペン１３２Ｂを用いた操作のみが可能とされる。以下、適宜、タッチペン１３２Ａとタッチペン１３２Ｂを区別する必要がない場合、まとめてタッチペン１３２という。
Note that operations using
照明装置６４の下方であって、照明装置６４を支持する柱状の支持部６３Ａと支持部６３Ｂの間には、アクリルミラー板などにより構成される鏡面部６６が設けられる。鏡面部６６は略垂直な面を形成する。
Below the
図１０においては、鏡面となる鏡面部６６の範囲が色を付して示されている。鏡面部６６の横方向の幅は、タブレット内蔵モニタ１３１の横方向の幅より広い幅となる。鏡面部６６には、編集空間Ａ２－１にいる利用者の顔付近を含めて、編集空間Ａ２－１の内部の様子が写り込むことになる。
In FIG. 10, the area of the
図１１は、カーテンの取り付け例を示す図である。 Figure 11 shows an example of curtain installation.
図１１に示すように、編集ユニット１２の上方のカーテンレール２６には、編集空間Ａ２が外から見えないようにするためのカーテン取り付けられる。図１１の例においては、レール２６Ｃにカーテン１１１が取り付けられ、編集ユニット１２の正面側のレール２６Ｂにカーテン１１２が取り付けられている。編集ユニット１２の背面側のレール２６Ａにも、カーテン１１２と同様のカーテンが取り付けられる。
As shown in FIG. 11, a curtain is attached to the
ビニル素材のカーテン１１１、カーテン１１２の表面には、写真シール作成装置１が目立つように所定のデザインが施される。また、カーテン１１１とカーテン１１２のうち、少なくともカーテン１１２には、表面だけでなく裏面（編集空間Ａ２－１側の面）にも、所定のデザインが施される。
The
図１２は、カーテン１１２の裏面のデザイン例を示す図である。
Figure 12 shows an example design for the back side of the
図１２に示すように、カーテン１１２の裏面には、キャラクタや文字がプリントされることによってデザインが施される。
As shown in FIG. 12, the back of the
図１２の例においては、キャラクタである鳥のイラストと花のイラストからなるデザインが施されている。カーテン１１２の上方には、花に囲まれた「Happy!」の文字が、左右反転した状態でプリントされている。他のイラストがプリントされたり、風景や人物の写真がプリントされるといったように、カーテン１１２の裏面のデザインは任意である。
In the example of FIG. 12, the design is made up of an illustration of a bird character and an illustration of a flower. The upper part of the
編集空間Ａ２－１にいる利用者は、図１２に示すようなデザインが施されたカーテン１１２に自分の背中を向けて立つことになる。利用者の前方にある鏡面部６６には、利用者の背景として、カーテン１１２のデザインも写り込む。
A user in editing space A2-1 stands with his or her back to the
図１３は、鏡面部６６の利用例を示す図である。
Figure 13 shows an example of how the
図１３に示すように、編集空間Ａ２－１にいる利用者は、自分のスマートフォンのカメラを鏡面部６６に向けて、鏡面部６６に写っている自分の様子を撮影することができる。
図１３の例においては利用者が１人だけ示されているが、２人でゲームを行っている場合、２人で撮影を行うことができる。
As shown in FIG. 13, a user in the editing space A2-1 can point the camera of his/her smartphone at the
Although only one user is shown in the example of FIG. 13, if two people are playing the game, both people can take the photo.
すなわち、鏡面部６６は、編集空間Ａ２－１にいる利用者が、いわゆる自撮り（自分撮り）を鏡越しで行うために用意されるものである。
In other words, the
カーテン１１２の裏面には上述したようなデザインが施されているから、利用者は、カーテン１１２に施されたデザインを自分の背景にして自撮りを行うことができる。また、左右反転の状態でプリントされているカーテン１１２の文字は、図１３に示すように、正転した状態で鏡面部６６に写り込む。自撮りによって得られた画像には、カーテン１１２にプリントされた文字が、正転した状態で写ることになる。
Since the back side of the
利用者は、編集空間Ａ２－１での自撮りによって撮影した画像を、自分が利用しているSNS(Social Networking Service)のサイトにアップロードし、友達などに見せることができる。 Users can upload selfies taken in editing space A2-1 to their favorite social networking service (SNS) site and share them with friends and others.
このように、写真シール作成装置１は、撮影空間Ａ１において撮影を行うだけでなく、編集空間Ａ２においても撮影を行うことが可能な装置である。後述するように、編集の開始時、自撮りを行うことが利用者に対して案内される。撮影を終えて編集空間Ａ２に移動した利用者に対しては、編集の前に、自撮りを行う時間が確保される。
In this way, the photo
なお、編集空間Ａ２－１側に取り付けられるカーテン１１２の裏面のデザインと、編集空間Ａ２－２側に取り付けられるカーテン１１２の裏面のデザインが異なるデザインであってもよい。利用者は、いずれのデザインのカーテン１１２が設置された方の編集空間Ａ２に案内されるのかを楽しむことができる。
The design of the back side of the
カーテン１１２の裏面のデザインとして、商品やサービスの広告などがプリントされるようにしてもよい。
The design on the back of the
図１４は、編集ユニット１２の側面の構成例を示す図である。
Figure 14 shows an example of the configuration of the side of the
編集ユニット１２の側面の下側にはシール紙排出口１６１が設けられる。編集ユニット１２の内部にはプリンタが設けられている。プリンタにより、編集空間Ａ２－１において編集作業を行った利用者が写る画像、または、編集空間Ａ２－２において編集作業を行った利用者が写る画像が所定のレイアウトでシール紙に印刷され、シール紙排出口１６１から排出される。
A
＜編集画像のレイヤ構造＞
図１５は、編集画像のレイヤ構造の例を示す図である。
<Layer structure of edited images>
FIG. 15 is a diagram showing an example of a layer structure of an edited image.
左端の編集画像Ｐ１が編集によって生成される画像である。編集画像Ｐ１は、基本的に、背景画像Ｐ１１、人物画像Ｐ１２、前景画像Ｐ１３の各レイヤの画像から構成される。
各種の画像処理の対象となるレイヤも適宜設定される。
The edited image P1 on the left side is an image generated by editing. The edited image P1 is basically composed of images in layers: a background image P11, a person image P12, and a foreground image P13.
Layers that are the subject of various image processes are also set appropriately.
図１５の例において、背景画像Ｐ１１は、単色の画像である。前景画像Ｐ１３は、「Love my friend」の手書き文字の画像とハート型の画像を含む画像である。「Love my friend」の手書き文字の画像は、ペンツールを用いて利用者によって入力されたペン画像である。また、ハート型の画像は、スタンプツールを用いて利用者によって入力されたスタンプ画像である。 In the example of FIG. 15, background image P11 is a monochrome image. Foreground image P13 is an image that includes an image of the handwritten characters "Love my friend" and a heart-shaped image. The image of the handwritten characters "Love my friend" is a pen image input by the user using a pen tool. The heart-shaped image is a stamp image input by the user using a stamp tool.
このように、編集画像Ｐ１は、撮影画像からクロマキー処理によって抽出した人物の領域の画像である人物画像Ｐ１２を背景画像Ｐ１１に重ね、その上に前景画像Ｐ１３を重ねることによって生成される。ペン画像やスタンプ画像を背景画像Ｐ１１上に入力し、被写体の背景に表示させるようにすることも可能とされる。撮影画像に対しては、前景画像や背景画像が合成されることもあるし、編集処理を経たとしても利用者の操作によっては合成されないこともある。 In this way, edited image P1 is generated by overlaying person image P12, which is an image of a person's area extracted from the photographed image by chromakey processing, onto background image P11, and then overlaying foreground image P13 on top of that. It is also possible to input a pen image or stamp image onto background image P11 and have it displayed in the background of the subject. Foreground and background images may be composited into the photographed image, or they may not be composited depending on the user's operation even if the image has been edited.
図１５の例においては、人物画像Ｐ１２として、利用者の略胸付近から上の範囲が大きく写る画像が示されている。撮影処理においては、このように顔が大きく写る撮影画像であるアップ画像が撮影される。アップ画像の撮影は例えば複数回行われる。利用者の全身が写る全身画像の撮影が行われるようにしてもよい。 In the example of FIG. 15, an image showing a large area of the user from approximately the chest up is shown as the person image P12. In the photographing process, a close-up image is taken in which the face is shown large like this. For example, close-up images are taken multiple times. A full-body image showing the user's entire body may also be taken.
＜写真シール作成装置の内部構成＞
図１６は、写真シール作成装置１の構成例を示すブロック図である。図１６において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
<Internal configuration of the photo sticker creation device>
Fig. 16 is a block diagram showing an example of the configuration of the photo
図１６に示すように、写真シール作成装置１は、PC(Personal Computer)部３０１に対して、事前選択部３０２、撮影部３０４、編集部３０５Ａ，３０５Ｂ、および印刷部３０６が外部入出力インタフェース３０３を介して接続されることによって構成される。情報処理部であるPC部３０１は、例えば編集ユニット１２の筐体内部に搭載される。
As shown in FIG. 16, the photo
PC部３０１を構成するCPU(Central Processing Unit)３１１、ROM(Read Only Memory)３１２、RAM(Random Access Memory)３１３は、バス３１４により相互に接続される。
The CPU (Central Processing Unit) 311, ROM (Read Only Memory) 312, and RAM (Random Access Memory) 313 that make up the PC section 301 are interconnected by a
CPU３１１は、所定のプログラムを実行し、写真シール作成装置１の全体の動作を制御する。ROM３１２は、CPU３１１が実行するプログラムやデータを記憶する。RAM３１２は、CPU３１１が処理するデータやプログラムを一時的に記憶する。
The
バス３１４には、さらに、入出力インタフェース３１５が接続される。入出力インタフェース３１５には、記憶部３１６、通信部３１７、およびドライブ３１８が接続される。
An input/
記憶部３１６は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部３１６は、CPU３１１から供給された各種の設定情報などを記憶する。記憶部３１６に記憶されている情報はCPU３１１により適宜読み出される。
The
通信部３１７は、インターネットなどのネットワークのインタフェースである。通信部３１７は、CPU３１１による制御に従って外部の装置と通信を行う。通信部３１７は、利用者により選択された画像を、例えば写真シール作成装置１のメーカーが管理する画像管理サーバに送信する。通信部３１７から送信された画像は、所定の記憶領域が割り当てられて保存され、画像管理サーバにアクセスしてきた携帯端末上で表示されたり、携帯端末にダウンロードされたりする。
The
ドライブ３１８には、光ディスクや半導体メモリなどよりなるリムーバブルメディア３１９が適宜装着される。ドライブ３１８によりリムーバブルメディア３１９から読み出されたプログラムやデータは、CPU３１１に供給され、記憶部３１６に記憶されたり、インストールされたりする。
入出力インタフェース３１５には外部入出力インタフェース３０３が接続される。PC部３０１による各部の制御が、外部入出力インタフェース３０３を介して行われる。
The external input/
事前選択部３０２は、事前選択空間Ａ０にいる利用者を対象とした事前選択処理を行う。事前選択部３０２は、タッチパネルモニタ７１、スピーカ７２、および硬貨処理部３２１から構成される。
The
タッチパネルモニタ７１は、PC部３０１による制御に従って各種の選択画面を表示し、選択画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部３０１に供給され、各種の設定が行われる。 The touch panel monitor 71 displays various selection screens under the control of the PC unit 301 and accepts operations by the user on the selection screens. An input signal representing the content of the user's operation is supplied to the PC unit 301, and various settings are made.
硬貨処理部３２１は、硬貨投入返却口７３への硬貨の投入を検出する。硬貨処理部３２１は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号をPC部３０１に出力する。
The
撮影部３０４は、撮影空間Ａ１にいる利用者を対象とした撮影処理を行う。撮影部３０４は、操作部５３、カメラ９１、カメラ駆動部９１Ａ、タッチパネルモニタ９２、照明装置３３１、およびスピーカ３３２から構成される。
The
操作部５３は、角度調整ボタン５３Ａ、撮影停止ボタン５３Ｂに対する利用者の操作に応じて、利用者の操作を表す信号をPC部３０１に出力する。
The
カメラ９１は、PC部３０１によるシャッタ制御に従って撮影を行い、撮影によって得られた撮影画像（画像データ）をPC部３０１に出力する。
The
カメラ駆動部９１Ａは、PC部３０１による制御に従って、カメラ９１の上下方向の角度を調整する。
The
照明装置３３１は、撮影空間Ａ１内の各ストロボユニットであり、PC部３０１から供給される照明制御信号に従って発光する。照明装置３３１には、上ストロボユニット８２と足元ストロボユニット８３が含まれる。
The
スピーカ３３２は、撮影空間Ａ１の各位置に設けられたスピーカにより構成される。
The
編集部３０５Ａは、編集空間Ａ２－１にいる利用者を対象とした編集処理を行う。編集部３０５Ａは、タブレット内蔵モニタ１３１、タッチペン１３２Ａ，１３２Ｂ、およびスピーカ３４１から構成される。編集部３０５Ｂは、編集空間Ａ２－２にいる利用者を対象とした編集処理を行い、編集部３０５Ａと同一の構成を有する。以下、適宜、編集部３０５Ａ，３０５Ｂをまとめて編集部３０５という。
Editing
タブレット内蔵モニタ１３１は、PC部３０１による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部３０１に供給され、編集対象となる撮影画像が編集される。
The tablet built-in
印刷部３０６は、プリンタ３５１を含むように構成される。プリンタ３５１にはシール紙ユニット３５２が装着される。
The
プリンタ３５１は、内蔵するヘッド３６１を駆動し、PC部３０１から供給された印刷データに基づいて、シール紙ユニット３５２に収納されているロール状のシール紙３６３に画像を印刷する。また、プリンタ３５１は、画像を印刷したシール紙３６３をカッター３６２によって所定のカット位置でカットして、シール紙排出口１６１に排出する。
The printer 351 drives the built-in
＜写真シール作成装置の機能構成例＞
図１７は、写真シール作成装置１の機能構成例を示すブロック図である。図１７に示す機能部のうちの少なくとも一部は、CPU３１１により所定のプログラムが実行されることによって実現される。
<Example of functional configuration of photo sticker creation device>
Fig. 17 is a block diagram showing an example of a functional configuration of the photo
写真シール作成装置１においては、事前選択処理部４０１、撮影処理部４０２、編集処理部４０３、および印刷処理部４０４が実現される。
The photo
事前選択処理部４０１は、事前選択部３０２の各部を制御することで、事前選択処理を実行する。事前選択処理により、利用者の人数の選択などが行われる。利用者による選択内容を表す情報は撮影処理部４０２に供給される。
The pre-selection processing unit 401 executes pre-selection processing by controlling each unit of the
撮影処理部４０２は、撮影部３０４の各部を制御することで撮影処理を行う。撮影処理部４０２は、撮影処理を行うことによって得られた撮影画像のデータを編集処理部４０３に出力する。撮影処理部４０２から編集処理部４０３に対しては、撮影を複数回行うことによって得られた複数枚の撮影画像のデータが供給される。
The
編集処理部４０３は、編集部３０５の各部を制御することで編集処理を行う。編集処理には、撮影画像に写る利用者の目の大きさを調整するための画像処理、撮影画像に対して編集を施すための画像処理などが含まれる。
The
撮影画像の編集後、編集処理部４０３は、分割数の選択に用いられる画面、画像管理サーバに送信する画像の選択に用いられる画面などの各種の画面をタブレット内蔵モニタ１３１に表示する。編集処理部４０３は、利用者により選択された分割数に従って各編集画像を配置することによって印刷データを生成し、印刷処理部４０４に出力する。また、編集処理部４０３は、利用者により選択された編集画像を画像管理サーバに送信する。
After editing the captured image, the
印刷処理部４０４は、プリンタ３５１に印刷データを出力し、編集画像の印刷を行う。
The
＜撮影処理部の詳細構成＞
図１８は、撮影処理部４０２の構成例を示すブロック図である。
<Detailed configuration of the imaging processing section>
FIG. 18 is a block diagram showing an example of the configuration of the image
撮影処理部４０２は、撮影制御部４１１、画像処理部４１２、表示制御部４１３、および画像記憶部４１４から構成される。
The
撮影制御部４１１は、カメラ９１を制御することによって動画像の撮影を行い、撮影を行うことによって得られた画像を画像処理部４１２に出力する。撮影制御部４１１から出力された動画像はライブビュー画像の生成に用いられる。
The
また、撮影制御部４１１は、カウントダウンに合わせて静止画像の撮影を行い、撮影を行うことによって得られた静止画像を画像処理部４１２に出力する。撮影制御部４１１から出力された静止画像は撮影画像の生成に用いられる。
The
画像処理部４１２は、撮影制御部４１１から供給された動画像の各フレームから矩形領域をトリミングにより切り出し、切り出した画像からなる動画像を生成する。画像処理部４１２により生成された動画像は、ライブビュー画面に表示するライブビュー画像として用いられる。
The
また、画像処理部４１２は、撮影制御部４１１から供給された静止画像から矩形領域をトリミングにより切り出すことによって、所定の画角の撮影画像を生成する。画像処理部４１２により生成された撮影画像は、画像記憶部４１４に供給され、記憶される。
The
表示制御部４１３は、ライブビュー画面などの、タッチパネルモニタ９２の各種の画面の表示を制御する。
The
画像記憶部４１４は、画像処理部４１２により生成された撮影画像を記憶する。撮影処理が終了した場合、画像記憶部４１４に記憶された撮影画像は編集処理部４０３に供給される。
The
＜編集処理部の詳細構成＞
図１９は、図１７の編集処理部４０３の構成例を示すブロック図である。
<Detailed configuration of the editing processing section>
FIG. 19 is a block diagram showing an example of the configuration of the
編集処理部４０３は、選択受付部４３１、編集用画像生成部４３２、編集制御部４３３、表示制御部４３４、印刷データ生成部４３５、および通信制御部４３６から構成される。編集制御部４３３には黒目処理部４３３Ａと輪郭調整部４３３Ｂが含まれる。
The
選択受付部４３１は、タブレット内蔵モニタ１３１に表示された画面に対する利用者の操作を受け付ける。選択受付部４３１により受け付けられた利用者の操作の内容を表す情報は、編集制御部４３３と表示制御部４３４に供給される。
The
編集用画像生成部４３２は、撮影処理部４０２から供給された撮影画像に基づいて、編集用の撮影画像を生成する。例えば、画像処理部４１２（図１８）によるトリミング後のそれぞれの画像を原画として、レタッチ処理などの各種の処理を原画に対して施して得られた画像が、編集用の撮影画像となる。編集用画像生成部４３２により生成された編集用の撮影画像は、編集制御部４３３と表示制御部４３４に供給される。
The image-for-
編集制御部４３３は、選択受付部４３１から出力された情報に基づいて、編集用画像生成部４３２から供給された編集用の撮影画像の編集を行う。編集は、手書きの文字やスタンプ画像などの合成用画像を、編集対象となっている撮影画像に合成する画像処理である。
The
編集用画像生成部４３２により行われるレタッチ処理が、利用者による選択内容に応じた画像処理を複数の撮影画像のそれぞれに一括して施す処理であるのに対して、編集は、利用者による選択内容に応じた画像処理を、そのとき編集対象となっている１枚の撮影画像に施す処理である。レタッチ処理時、目の大きさなどを撮影画像毎に選択することができるようにしてもよい。
The retouching process performed by the image-for-
編集制御部４３３は、編集結果を表す情報を表示制御部４３４に出力し、編集画面の表示に反映させる。
The
編集制御部４３３は、編集が終了した場合、編集を施して得られた撮影画像である編集画像を印刷データ生成部４３５と通信制御部４３６に出力する。
When editing is completed, the
編集制御部４３３の黒目処理部４３３Ａは、編集画面に対する利用者の操作に応じて、撮影画像に写るそれぞれの利用者の黒目の色を変更する処理である黒目処理を行う。
The
編集制御部４３３の輪郭調整部４３３Ｂは、編集画面に対する利用者の操作に応じて画像処理を行い、編集用の撮影画像に写る利用者の特定の部位を強調させる。例えば、目全体、または、黒目部分などの目の一部を強調させるための画像処理が輪郭調整部４３３Ｂにより行われる。
The
表示制御部４３４は、利用者による操作に用いられる操作画面をタブレット内蔵モニタ１３１に表示し、利用者の操作に応じて操作画面の表示を制御する。表示制御部４３４には、編集用画像生成部４３２から出力された撮影画像、編集制御部４３３から出力された編集画像などが供給される。表示制御部４３４に供給された各種の画像は操作画面の表示に用いられる。
The
印刷データ生成部４３５は、編集制御部４３３から供給された編集画像を所定のレイアウトで配置することによって印刷データを生成する。印刷データ生成部４３５は、印刷データを印刷処理部４０４に出力し、シール紙３６３に印刷させる。
The print
通信制御部４３６は、通信部３１７を制御し、編集制御部４３３から供給された編集画像を画像管理サーバに送信する。
The
図２０は、編集用画像生成部４３２の構成例を示すブロック図である。
Figure 20 is a block diagram showing an example configuration of the editing
編集用画像生成部４３２は、領域検出部４５１、レタッチ処理部４５２、性別判定部４５３、まつげ処理部４５４、および縮小部４５５により構成される。
The editing
撮影処理部４０２から供給された撮影画像は、領域検出部４５１、レタッチ処理部４５２、および性別判定部４５３に入力される。編集用画像生成部４３２の各部による処理は、それぞれの撮影画像を対象として行われる。
The captured image supplied from the image
領域検出部４５１は、撮影画像に写る人物である利用者の領域を検出するとともに、利用者の各部位の領域を検出する。例えば、利用者の顔の領域、顔を構成する部位としての目、まぶた、鼻、唇、頬の領域、髪の毛の領域などが領域検出部４５１により検出される。
The
図２１は、領域の検出の例を示す図である。 Figure 21 shows an example of area detection.
２人の女性が写る撮影画像Ｐ１０１が供給された場合、それぞれの利用者を対象として、顔や、顔の各部位の領域の検出が行われる。例えば左側に写る利用者からは、左右のそれぞれの目の領域を含む各領域が検出される。 When a captured image P101 showing two women is provided, detection of the face and each part of the face is performed for each user. For example, each area including the left and right eye areas is detected for the user on the left side.
左側に写る利用者の右目の領域に注目した場合、図２１の左側に拡大して示すように、黒目領域Ａ１１と、黒目領域Ａ１１の左右の白目領域Ａ１２，Ａ１３がそれぞれ検出される。 When focusing on the area of the user's right eye shown on the left side, the iris area A11 and the white of the eye areas A12 and A13 on either side of the iris area A11 are detected, as shown enlarged on the left side of Figure 21.
白目領域Ａ１２は、鼻に近い方の白目の領域であり、白目領域Ａ１３は、耳に近い方の白目の領域である。位置ｐ１は目頭の位置を表し、位置ｐ２は目尻の位置を表す。黒目領域Ａ１１には、上ストロボユニット８２と足元ストロボユニット８３の発光により、それぞれの形状や大きさに応じたキャッチライトが写り込む。
The white of the eye area A12 is the area of the white of the eye that is closer to the nose, and the white of the eye area A13 is the area of the white of the eye that is closer to the ear. Position p1 represents the position of the inner corner of the eye, and position p2 represents the position of the outer corner of the eye. In the iris area A11, catchlights according to their shape and size are captured by the light emitted by the
黒目領域と白目領域の検出は、例えば、ニューラルネットワークなどにより構成される予測モデルに基づいて行われる。領域検出部４５１に対しては、機械学習によってあらかじめ生成された、目の各領域を検出するための予測モデルが用意されている。
The detection of the iris and white of the eye is performed based on a predictive model configured, for example, by a neural network. A predictive model for detecting each area of the eye, which has been generated in advance by machine learning, is prepared for the
領域検出部４５１に用意される予測モデルは、例えば、撮影画像を入力とし、目の各領域のマスク画像、目の周りの肌の領域のマスク画像を出力とするモデルである。予測モデルから出力されたマスク画像により、黒目領域と白目領域の各領域の位置、大きさ、形状などが表される。
The prediction model prepared in the
黒目領域と白目領域の検出が、予測モデルを用いるのではなく、画像を解析することによって抽出された各領域の特徴量に基づくマッチングにより行われるようにしてもよい。
この場合、黒目領域と白目領域の各領域の特徴量を表すデータが領域検出部４５１には用意される。
The detection of the iris and white of the eye may be performed by matching based on the feature amounts of each area extracted by analyzing the image, rather than using a predictive model.
In this case, data representing the feature amounts of the iris and white of the eye are prepared in the
目の各領域だけでなく、顔全体や、顔の他の各部の領域についても、機械学習によって生成された予測モデルを用いて検出されるようにしてもよい。また、特徴量に基づくマッチングにより検出されるようにしてもよい。 Not only the eye regions, but also the entire face and other facial regions may be detected using a predictive model generated by machine learning. Detection may also be performed by matching based on feature amounts.
図２０の領域検出部４５１は、以上のようにして検出した各領域の情報をレタッチ処理部４５２とまつげ処理部４５４に出力する。領域検出部４５１から出力される情報により、撮影画像に写るそれぞれの利用者の左右の目の黒目領域と白目領域の位置、大きさ、形状などが表される。領域検出部４５１による検出結果を表す情報は、後段の編集制御部４３３にも供給される。
The
レタッチ処理部４５２は、撮影画像に対してレタッチ処理を施す。レタッチ処理は、顔の輪郭の調整、目の大きさの調整などの、撮影画像に写る利用者の特定の部位に対する画像処理である。画像処理の対象となる各領域が、領域検出部４５１から供給される情報により特定される。レタッチ処理が施された撮影画像は、まつげ処理部４５４に供給される。
The
肌の明るさの調整などの他の処理がレタッチ処理として行われるようにしてもよい。特定の部位に対する処理ではなく、画像全体を対象としたフィルタ処理などの他の画像処理が行われるようにしてもよい。 Other processes such as adjusting the brightness of the skin may be performed as retouching processes. Other image processes such as filtering may be performed on the entire image rather than on a specific part of the body.
性別判定部４５３は、撮影画像に写るそれぞれの利用者の性別を判定し、判定結果を表す情報をまつげ処理部４５４に出力する。性別判定部４５３による判定についても、機械学習によって生成された予測モデルに基づいて行われるようにしてもよいし、画像を解析することによって抽出された各領域の特徴量に基づくマッチングにより行われるようにしてもよい。
The
まつげ処理部４５４は、レタッチ処理部４５２から供給された撮影画像に写るそれぞれの利用者のまつげ（睫毛）を強調する画像処理であるまつげ処理を行う。まつげ処理は、性別判定部４５３による判定結果に基づいて、例えば女性だけを対象として行われる。まつげ処理が施されることによってまつげが強調された撮影画像は、縮小部４５５に供給される。まつげ処理部４５４により行われるまつげ処理については後に詳述する。
The
縮小部４５５は、まつげ処理部４５４から供給された撮影画像を縮小することによって、編集用の撮影画像を生成する。撮影画像の縮小は、例えば画素を間引き、撮影画像を構成する画素数を減らすことによって行われる。縮小部４５５により生成された編集用の撮影画像は、編集制御部４３３などに供給される。
The
このように、編集用画像生成部４３２においては、レタッチ処理とまつげ処理は、縮小前の原画に対して施されることになる。データ量の多い撮影画像を対象として、精細な処理を施すことが可能となる。
In this way, in the editing
図２２は、図２０のまつげ処理部４５４の構成例を示すブロック図である。
Figure 22 is a block diagram showing an example configuration of the
まつげ処理部４５４は、逆さまつげ除去部４６１、変形部４６２、合成部４６３、およびまつげ強調処理部４６４により構成される。
The
レタッチ処理部４５２から供給されたレタッチ処理後の撮影画像は逆さまつげ除去部４６１に入力される。また、領域検出部４５１により検出された各領域の情報は、まつげ処理部４５４の各部に入力される。性別判定部４５３による性別の判定結果を表す情報は、変形部４６２と合成部４６３に入力される。
The captured image after retouching processing supplied from the
逆さまつげ除去部４６１は、撮影画像に写る利用者の目に逆さまつげがある場合、逆さまつげを画像処理によって除去する。逆さまつげは、上まつげのうち、下向きになって生えていて白目領域にかかっているまつげ、および、下まつげのうち、上向きになって生えていて白目領域にかかっているまつげである。白目領域の位置などについては、領域検出部４５１から供給された情報に基づいて特定される。
The inverted
図２３は、逆さまつげの除去の例を示す図である。 Figure 23 shows an example of removing inverted eyelashes.
図２３の左側に破線の円Ｃ１で囲んで示すように白目領域Ａ１３にまつげがかかって写っている場合、逆さまつげ除去部４６１は、まつげを構成する画素を、周りの白目領域Ａ１３の画素で置き換える（補間する）ことによって、図２３の右側に示すように逆さまつげを除去する。
When eyelashes are visible in the white eye area A13, as shown by the dashed circle C1 on the left side of Figure 23, the inverted
白目領域Ａ１３にまつげがかかって写っていることは、白目領域の標準の色として設定された白色以外の色の画素が白目領域Ａ１３内にある場合に、その画素を異常画素として検出することによって特定される。逆さまつげ除去部４６１には、白目領域の標準の色を表す情報があらかじめ設定されている。
The presence of eyelashes in the white of the eye region A13 is identified by detecting pixels in the white of the eye region A13 that are a color other than the white color set as the standard color for the white of the eye as abnormal pixels. Information representing the standard color for the white of the eye region is preset in the inverted
逆さまつげ除去部４６１においては、標準の色以外の色の画素である異常画素を、周りにある白色の画素で補間することによって、逆さまつげの除去が行われる。
The inverted
白色以外の色の画素を異常画素として検出し、白色の画素で補間する処理が逆さまつげ除去部４６１において行われるため、結果的に、充血して赤くなっている部分なども除去されることになる。
Pixels of a color other than white are detected as abnormal pixels, and the inverted
以上のようにして逆さまつげが除去された撮影画像が逆さまつげ除去部４６１から出力される。撮影画像に写る利用者の目に逆さまつげがない場合、逆さまつげ除去部４６１に入力された撮影画像はそのまま出力される。
The captured image with the inverted eyelashes removed in the manner described above is output from the inverted
変形部４６２は、逆さまつげ除去部４６１から供給された撮影画像に写る利用者が女性である場合、その利用者の目の上側の輪郭の形状に合わせて、まつげ画像を変形させる。
変形部４６２には、まつげを表現したテクスチャ画像であるまつげ画像があらかじめ記憶されている。変形部４６２による変形後のまつげ画像が、撮影画像に写る利用者の目の部分に対する合成に用いられる。
If the user appearing in the photographed image supplied from the inverted
An eyelash image, which is a texture image representing eyelashes, is stored in advance in the
図２４は、まつげ画像の変形の例を示す図である。 Figure 24 shows an example of deformation of an eyelash image.
変形部４６２は、図２４の左上に示すような、デフォルトの形状のまつげ画像Ｐ１１１を有している。撮影画像に写る利用者の例えば右目ＥRの上側の輪郭の形状が、図２４の左下に示す位置ｐ１から位置ｐ２までの曲線で表される場合、変形部４６２は、まつげ画像Ｐ１１１を位置ｐ１－位置ｐ２間の曲線の特定の区間の形状に合わせて変形させ、図２４の右側に示す、変形後のまつげ画像Ｐ１１１’を生成する。位置ｐ１－位置ｐ２間の曲線は、領域検出部４５１から供給された情報に基づいて特定される。
The
変形部４６２は、以上のようにして変形したまつげ画像を合成部４６３に出力する。デフォルトのまつげ画像が複数用意されており、変形に用いられるまつげ画像が選択されるようにしてもよい。まつげ画像の選択が、利用者により行われるようにしてもよいし、まつげ処理部４５４において自動的に行われるようにしてもよい。
The
図２２の合成部４６３は、逆さまつげ除去部４６１から供給された撮影画像に写る女性の利用者の目の上側の輪郭に沿って、変形部４６２により変形されたまつげ画像を合成する。
The
図２５は、まつげ画像の合成の例を示す図である。 Figure 25 shows an example of eyelash image synthesis.
図２５の左上に示すような変形後のまつげ画像Ｐ１１１’が供給された場合、合成部４６３は、図２５の右側に示すように、まつげ画像Ｐ１１１’を右目ＥRの上側の輪郭に沿って合成する。右目ＥRの上側の輪郭の位置は、領域検出部４５１から供給された情報に基づいて特定される。
When a post-deformation eyelash image P111' as shown in the upper left of Fig. 25 is supplied, the
以上のようなまつげ画像の合成が左目についても同様にして行われる。左目に対するまつげ画像の合成は、例えば、右目用として用意されたまつげ画像Ｐ１１１を用いて行われる。 The above-described synthesis of eyelash images is performed for the left eye in a similar manner. The synthesis of the eyelash image for the left eye is performed, for example, using eyelash image P111 prepared for the right eye.
この場合、変形部４６２は、まつげ画像Ｐ１１１の左右を反転させ、左右反転後のまつげ画像Ｐ１１１の形状を、左目の上側の形状に合わせて変形させる。合成部４６３は、変形部４６２による変形後のまつげ画像Ｐ１１１を左目の上側の輪郭に沿って合成する。
In this case, the
このように、左目に対するまつげ画像の合成には、右目用として用意されたまつげ画像の左右を反転させた画像が用いられる。左目に対する処理が右目用の画像を用いて行われるため、用意しておく必要があるまつげ画像の数を減らすことができる。反対に、左目用のまつげ画像が用意されており、右目に対する処理が、左目用の画像を用いて行われるようにしてもよい。当然、右目用と左目用のそれぞれのまつげ画像が用意されるようにしてもよい。 In this way, to synthesize the eyelash image for the left eye, an image that is the left-right inversion of the eyelash image prepared for the right eye is used. Because processing for the left eye is performed using the image for the right eye, the number of eyelash images that need to be prepared can be reduced. Conversely, an eyelash image for the left eye may be prepared, and processing for the right eye may be performed using the image for the left eye. Naturally, eyelash images for both the right and left eyes may also be prepared.
以上のようなまつげ画像の合成は、撮影画像に写るそれぞれの女性を対象として行われる。合成部４６３は、まつげ画像の合成後の撮影画像を図２２のまつげ強調処理部４６４に出力する。
The above-described eyelash image synthesis is performed for each woman appearing in the photographed image. The
まつげ強調処理部４６４は、合成部４６３から供給された撮影画像に写るまつげを画像処理によって強調させる。例えば、上まつげと下まつげの１本１本を太くする処理や、色を濃くする処理が行われる。まつげ強調処理部４６４は、まつげを強調した撮影画像を出力する。
The eyelash
＜写真シール作成装置の動作＞
ここで、図２６のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置１の動作について説明する。図２６の処理は、例えば、所定の金額分の硬貨が投入されたときに開始される。
<Operation of the photo sticker creation device>
Here, the operation of the photograph
ステップＳ１において、事前選択処理部４０１は、事前選択部３０２を制御することで事前選択処理を行う。事前選択処理により、例えば、利用者の人数の選択、撮影コースの選択などが行われる。いずれの選択も、タッチパネルモニタ７１に表示される選択画面を用いて行われる。
In step S1, the pre-selection processing unit 401 performs a pre-selection process by controlling the
ステップＳ２において、撮影処理部４０２は、撮影部３０４を制御することで撮影処理を行う。
In step S2, the image
例えば、撮影処理部４０２は、立ち位置の誘導を行った後、カメラ９１により取り込まれた動画像に基づいて、ライブビュー画面をタッチパネルモニタ９２に表示させる。また、撮影処理部４０２は、ライブビュー画面を表示させた後、撮影空間Ａ１にいる利用者を被写体として静止画像の連続撮影を行う。
For example, the image
ステップＳ３において、編集処理部４０３は、編集空間Ａ２－１と編集空間Ａ２－２のうち、撮影処理を終えた利用者の移動先とした方の編集空間に対応する編集部３０５を制御することで編集処理を行う。
In step S3, the
例えば、編集処理部４０３は、タブレット内蔵モニタ１３１に編集画面を表示させ、撮影画像に対して利用者に編集作業を行わせる。編集画面には、編集対象の撮影画像とともに、撮影画像に合成する合成用画像を選択するときに操作されるボタンなどが表示される。編集処理の詳細については図２７のフローチャートを参照して後述する。
For example, the
ステップＳ４において、印刷処理部４０４は、プリンタ３５１を制御することで、印刷処理を行う。印刷処理部４０４は、編集処理部４０３により生成された印刷データをプリンタ３５１に出力してシール紙３６３に印刷させる。
In step S4, the
印刷が終了した場合、ステップＳ５において、プリンタ３５１は、カッター３６２で切り離したシール紙３６３をシール紙排出口１６１に排出する。
When printing is completed, in step S5, the printer 351 discharges the
写真シール作成装置１の利用者の各グループに対しては、以上のような一連の処理からなる写真作成ゲームが提供される。あるグループの利用者に続けて他のグループの利用者が写真シール作成装置１の利用を開始した場合、写真シール作成装置１の利用を先に始めた利用者の写真シール作成ゲームと、後から始めた利用者の写真シール作成ゲームとが適宜並行して行われることになる。適宜、写真シール作成ゲームを単にゲームともいう。
A photo creation game consisting of a series of processes as described above is provided to each group of users of the photo
＜編集処理＞
次に、図２７のフローチャートを参照して、図２６のステップＳ３において行われる編集処理について説明する。
<Editing process>
Next, the editing process carried out in step S3 in FIG. 26 will be described with reference to the flowchart in FIG.
ステップＳ４１において、編集処理部４０３の表示制御部４３４（図１９）は、落書き前自撮りの案内画面をタブレット内蔵モニタ１３１に表示させる。ここでいう落書きは、撮影画像の編集のことを意味する。編集は、タッチペン１３２を用いて、撮影画像を落書きするようにして行われる。
In step S41, the display control unit 434 (FIG. 19) of the
図２８は、落書き前自撮りの案内画面の表示例を示す図である。 Figure 28 shows an example of the guide screen for taking a selfie before graffiti.
図２８に示すように、落書き前自撮りの案内画面の左側には、モデルの人物が鏡面部６６越しに自撮りを行っている様子を表す画像が表示される。案内画面の右側には、自撮りによって得られた画像のサンプル画像が表示される。それぞれの画像の下には、画像の内容を説明するメッセージが表示される。
As shown in FIG. 28, an image showing a model person taking a selfie through the
このような案内画面を表示させることにより、鏡面部６６を用いてどのような自撮りを行うことができるのかを利用者に分かりやすく伝えることができる。
By displaying such a guide screen, it is possible to clearly inform the user of the types of selfies that can be taken using the
編集空間Ａ２に移動してきた利用者は、案内画面に従って、自分のスマートフォンを用意し、鏡面部６６越しに自撮りを行う。
When a user moves to the editing space A2, they follow the instructions on the guide screen, prepare their smartphone, and take a selfie through the
図２７の説明に戻り、ステップＳ４２において、編集用画像生成部４３２は編集用画像生成処理を行う。編集用画像生成処理により、それぞれの撮影画像を元にして編集用の撮影画像が生成される。
Returning to the explanation of FIG. 27, in step S42, the image-for-
撮影処理においては、例えば最大８枚の撮影画像の撮影が行われる。撮影画像の枚数が多いため、それぞれの撮影画像に基づいて行われる編集用の撮影画像の生成には一定の時間が必要になる。編集用の撮影画像の生成は、編集前の自撮り用に確保された時間を利用して行われる。利用者は、編集用の撮影画像の生成が行われている間も、退屈せずに待つことができる。 In the shooting process, for example, up to eight captured images are taken. Because there are a large number of captured images, a certain amount of time is required to generate the captured images to be edited based on each captured image. The captured images to be edited are generated using the time reserved for taking the selfie before editing. The user can wait without getting bored while the captured images to be edited are being generated.
利用者が自撮りを行っている間に行われる編集用画像生成処理の詳細については図３０のフローチャートを参照して後述する。 Details of the editing image generation process that is carried out while the user is taking a selfie will be described later with reference to the flowchart in Figure 30.
ステップＳ４３において、表示制御部４３４は、キープ画像の選択画面をタブレット内蔵モニタ１３１に表示させる。図２８の案内画面に代えてキープ画像の選択画面がタブレット内蔵モニタ１３１に表示されることにより、利用者は自撮りを終え、タブレット内蔵モニタ１３１の表示に従ってキープ画像の選択を行う。
In step S43, the
キープ画像は、実際に編集する撮影画像である。キープ画像として選択可能な撮影画像の枚数は例えば４枚として設定されている。キープ画像の選択画面には、レタッチ処理が施された撮影画像が並べて表示される。選択画面を用いて行われる選択は、最大８枚の撮影画像の中から４枚の撮影画像を選択するようにして行われる。 The kept images are the captured images that are actually edited. The number of captured images that can be selected as kept images is set to, for example, four. The kept image selection screen displays a row of captured images that have been retouched. Selections made using the selection screen are made by selecting four captured images from a maximum of eight captured images.
４枚などの所定の枚数のキープ画像が選択された場合、ステップＳ４４において、表示制御部４３４は、編集画面をタブレット内蔵モニタ１３１に表示させる。編集画面には、編集対象となる撮影画像とともに、編集に用いられるスタンプ画像やペン画像などの各種の編集ツール（合成用画像）を選択するときに押下されるボタンなどが表示される。
When a predetermined number of images to be kept, such as four images, are selected, in step S44, the
図２９は、タブレット内蔵モニタ１３１に表示される編集画面の例を示す図である。
Figure 29 shows an example of an editing screen displayed on the tablet built-in
編集画面には、編集領域５０１Ｌ，５０１Ｒがそれぞれ左右に並べて設けられる。編集領域５０１Ｌ，５０１Ｒの間には、キープ画像として選択された撮影画像のサムネイルが表示されるサムネイル表示領域５０２が設けられる。
On the editing screen, editing
また、編集領域５０１Ｌ，５０１Ｒそれぞれの下方には、編集パレット５０３Ｌ，５０３Ｒが設けられる。編集パレット５０３Ｌ，５０３Ｒの間には、編集パレット５０３Ｌ，５０３Ｒに表示される編集ツールのカテゴリを選択するためのカテゴリ選択ボタン群５０４が設けられる。
In addition, below the
このような構成により、編集画面においては、編集対象として選択された撮影画像の編集入力が２人の利用者によって個別に受け付けられる。 With this configuration, the editing screen accepts editing inputs for the captured image selected for editing from two users individually.
以下において、編集領域５０１Ｌ，５０１Ｒ、編集パレット５０３Ｌ，５０３Ｒをそれぞれ区別しない場合には、単に、編集領域５０１、編集パレット５０３という。
In the following, when there is no need to distinguish between the
編集領域５０１は、編集入力を行う対象として選択されたキープ画像（編集対象画像）の表示領域である。利用者は、タッチペン１３２を用いて編集ツールを選択し、編集領域５０１に表示されたキープ画像の編集を行う。 The editing area 501 is a display area for a kept image (image to be edited) selected as the target for editing input. The user selects an editing tool using the touch pen 132 and edits the kept image displayed in the editing area 501.
サムネイル表示領域５０２は、キープ画像を表すサムネイルの表示領域である。利用者は、サムネイル表示領域５０２に表示されているサムネイルを選択することによって、編集入力を行うキープ画像を選択する。
The
編集パレット５０３は、ペンツール、くっつきツール、スタンプツール、メイクツールなどの各種の編集ツールの選択に用いられるアイコンなどが表示される領域である。なお、くっつきツールは、顔の認識結果に基づいた位置に所定の画像を合成するときに用いられる編集ツールである。また、メイクツールは、目、唇、頬などを対象として、メイクを模した画像処理を施すときに用いられる編集ツールである。 The editing palette 503 is an area that displays icons used to select various editing tools, such as a pen tool, a sticking tool, a stamp tool, and a makeup tool. The sticking tool is an editing tool used when synthesizing a specified image in a position based on the results of face recognition. The makeup tool is an editing tool used when applying image processing that mimics makeup to the eyes, lips, cheeks, etc.
カテゴリ選択ボタン群５０４は、編集パレット５０３に表示させる編集ツールのカテゴリを切り替えるときに押下されるボタンから構成される。
The category
図２９の例においては、タブレット内蔵モニタ１３１に向かって左側の利用者によりカテゴリ選択ボタン群５０４のペンボタンが選択されている。編集パレット５０３Ｌには、ペンツールを選択するためのアイコンなどが表示される。
In the example of FIG. 29, the pen button in the category
また、右側の利用者によりカテゴリ選択ボタン群５０４のメイクボタンが選択されている。編集パレット５０３Ｒには、メイクツールを選択するためのボタンなどが表示される。
Also, the user on the right has selected the makeup button in the category
サムネイル表示領域５０２の下には、スマートフォンの外観を模した２つの携帯おまけボタン５０５Ｌ，５０５Ｒが並べて表示される。携帯おまけボタン５０５Ｌ，５０５Ｒが操作された場合、携帯おまけの作成を行うときに用いられるボタンなどが表示される。なお、携帯おまけは、携帯端末の待ち受け画面に表示されたり、SNSにアップロードされたりする画像など、携帯端末上で用いられることを前提とした画像である。作成された携帯おまけは、携帯端末への送信専用の画像として画像管理サーバに送信される。
Two
サムネイル表示領域５０２の上にはBGM選択領域５０６が表示される。BGM選択領域５０６は、編集作業中のBGMの選曲や音量の調整を行うときに操作される。
A
図２７の説明に戻り、ステップＳ４５において、編集制御部４３３は、編集画面に対する利用者の操作に応じて、編集対象となる撮影画像に編集を施す。編集が施されることによって生成された編集画像は印刷データ生成部４３５に供給される。
Returning to the explanation of FIG. 27, in step S45, the
終了ボタンが操作されるなどして編集が終了した場合、ステップＳ４６において、表示制御部４３４は、分割数選択画面をタブレット内蔵モニタ１３１に表示させる。
When editing is completed by operating the end button, etc., in step S46, the
分割数選択画面は、シールレイアウトの選択に用いられる画面である。シールレイアウトは、１枚のシール紙３６３に配置される編集画像の枚数や位置、大きさを決定するレイアウト（配置パターン）である。シール紙３６３には、利用者により選択されたシールレイアウトに従って配置された編集画像が印刷される。
The division number selection screen is a screen used to select a sticker layout. The sticker layout is a layout (arrangement pattern) that determines the number, position, and size of edited images to be placed on one
ステップＳ４７において、表示制御部４３４は、送信画像選択画面をタブレット内蔵モニタ１３１に表示させる。
In step S47, the
利用者は、画像管理サービスを利用するためには会員登録を行う必要があり、会員には有料会員と無料会員がある。有料会員は画像管理サーバに送信された全ての画像を取得して自分の携帯端末にダウンロードしたりすることができるのに対して、無料会員は１枚の画像だけを取得することができる。送信画像選択画面は、無料会員が取得する１枚の画像を選択するのに用いられる画面である。なお、画像管理サービスは、ゲームにおいて作成され、写真シール作成装置１から画像管理サーバに送信された画像を利用者に提供するサービスである。
To use the image management service, users must register as members, and there are paid and free members. Paid members can obtain all images sent to the image management server and download them to their mobile devices, whereas free members can obtain only one image. The transmission image selection screen is a screen used by free members to select one image to obtain. The image management service is a service that provides users with images that have been created in the game and sent from the photo
ステップＳ４８において、編集処理部４０３は、メールアドレス入力画面をタブレット内蔵モニタ１３１に表示させる。
In step S48, the
メールアドレス入力画面は、利用者のメールアドレスの入力に用いられる画面である。
メールアドレス入力画面には、メールアドレスに用いることが可能なアルファベットや記号、スマートフォンなどの携帯電話機のキャリアを選択するためのボタンなどが表示される。
The email address input screen is a screen used for inputting the user's email address.
The email address input screen displays the alphabets and symbols that can be used in email addresses, as well as buttons for selecting the carrier of a mobile phone such as a smartphone.
ステップＳ４９において、通信制御部４３６は、編集画像を画像管理サーバに送信する。画像管理サーバに対しては、適宜、撮影画像も送信される。すなわち、編集画像だけでなく、編集画像の元になった撮影画像も画像管理サーバに対して送信される。
In step S49, the
また、画像管理サーバに対しては、写真シール作成装置１の機器ID、撮影日時、送信画像選択画面からどの画像が選択されたのかを表す情報なども送信される。
In addition, information such as the device ID of the photo
ステップＳ５０において、印刷データ生成部４３５は、利用者により選択されたレイアウトで編集画像を配置することによって印刷データを生成する。印刷データは印刷処理部４０４に供給され、編集画像の印刷に用いられる（図２６のステップＳ４）。
In step S50, the print
ステップＳ５１において、表示制御部４３４は、案内画面をタブレット内蔵モニタ１３１に表示させることによって、編集作業を終えた利用者に対して、印刷待ち空間Ａ３への移動を案内する。印刷待ち空間Ａ３への移動の案内は、スピーカ３４１から音声を出力することによっても行われる。
In step S51, the
その後、図２６のステップＳ３に戻り、それ以降の処理が行われる。 Then, the process returns to step S3 in FIG. 26 and the subsequent processes are carried out.
以上のように、写真シール作成装置１のゲームにおいては、撮影空間Ａ１だけでなく、編集空間Ａ２においても撮影を行うことが可能とされる。利用者は、編集空間Ａ２にいてゲームを行っている自分達の様子を自撮りによって残しておくことができる。
As described above, in the game using the photo
＜編集用画像生成処理＞
次に、図３０のフローチャートを参照して、図２７のステップＳ４２において行われる編集用画像生成処理について説明する。
<Editing image generation process>
Next, the editing image generating process performed in step S42 in FIG. 27 will be described with reference to the flowchart in FIG.
ステップＳ６１において、性別判定部４５３は、撮影画像に写るそれぞれの利用者の性別を判定する。
In step S61, the
ステップＳ６２において、レタッチ処理部４５２は、撮影画像に対してレタッチ処理を施す。レタッチ処理部４５２によるレタッチ処理は、撮影処理時にタッチパネルモニタ９２に表示されたレタッチ画面を用いて選択された内容に従って行われる。
In step S62, the
例えば、レタッチ処理部４５２は、撮影画像に写る利用者の目を検出し、検出した目の大きさを調整する処理をそれぞれの撮影画像を対象として行う。レタッチ処理部４５２は、目の大きさの調整以外の複数種類の画像処理を、それぞれの撮影画像を対象として行う。
For example, the
ステップＳ６３において、領域検出部４５１は、撮影画像に写る利用者の目の領域を検出する。
In step S63, the
ステップＳ６４において、まつげ処理部４５４は、撮影画像に写っているまつげを強調する画像処理であるまつげ処理を行う。まつげ処理の詳細については図３１のフローチャートを参照して後述する。
In step S64, the
ステップＳ６５において、縮小部４５５は、まつげ処理部４５４から供給された撮影画像を縮小して編集用の撮影画像を生成する。
In step S65, the
ステップＳ６６において、編集用画像生成部４３２は、全ての撮影画像の処理が終わったか否かを判定し、まだ処理が終わっていない撮影画像があると判定した場合、ステップＳ６１以降の処理を繰り返し実行する。
In step S66, the editing
全ての撮影画像の処理が終わったとステップＳ６６において判定した場合、図２７のステップＳ４２に戻り、それ以降の処理が行われる。 If it is determined in step S66 that processing of all captured images has been completed, the process returns to step S42 in FIG. 27 and subsequent processing is performed.
＜まつげ処理＞
次に、図３１のフローチャートを参照して、図３０のステップＳ６４において行われるまつげ処理について説明する。
<Eyelash treatment>
Next, the eyelash processing performed in step S64 in FIG. 30 will be described with reference to the flowchart in FIG.
ステップＳ８１において、まつげ処理部４５４は、性別判定部４５３による性別の判定結果に基づいて、処理対象になっている撮影画像に女性が写っているか否かを判定する。
In step S81, the
上述したように、まつげを強調する画像処理であるまつげ処理は、女性だけを対象として行われ、男性を対象としては行われない。処理対象になっている撮影画像に女性が写っていない、すなわち、撮影画像に写っている利用者全員が男性であるとステップＳ８１において判定された場合、図３１のステップＳ８２以降の処理はスキップされる。 As described above, eyelash processing, which is image processing that emphasizes eyelashes, is performed only on females, not on males. If it is determined in step S81 that the captured image being processed does not contain any females, i.e., all users shown in the captured image are males, the process from step S82 onwards in FIG. 31 is skipped.
これにより、男性のまつげを強調するような画像処理が行われるのを防ぐことが可能となる。 This makes it possible to prevent image processing that emphasizes men's eyelashes.
ステップＳ８２以降の処理のうちの少なくとも一部の処理が、男性を対象として行われるようにしてもよい。 At least some of the processing from step S82 onwards may be performed on males.
処理対象になっている撮影画像に女性が写っているとステップＳ８１において判定された場合、処理はステップＳ８２に進む。複数の女性が写っている場合、１人ずつ注目してステップＳ８２以降の処理が行われる。 If it is determined in step S81 that a woman is in the photographed image being processed, processing proceeds to step S82. If multiple women are in the image, the processing from step S82 onwards is carried out for each one.
ステップＳ８２において、逆さまつげ除去部４６１は、目の領域のうちの白目領域に含まれる異常画素を検出し、周辺画素で補間することによって逆さまつげを除去する。
In step S82, the inverted
ステップＳ８３において、変形部４６２は、図２４を参照して説明したようにして、目の上側の輪郭の形状に合わせて、まつげ画像を変形させる。
In step S83, the
ステップＳ８４において、合成部４６３は、変形部４６２により変形されたまつげ画像を、撮影画像に写る、処理対象の女性の目の上側の輪郭に沿って合成する。
In step S84, the
ここで、処理対象の女性の両方の目が開いている場合、両目に対してまつげ画像の合成が行われる。例えば、閾値となる度合いより目の開きの度合いが低い場合（閉じている場合）、まつげ画像の合成を含むまつげを強調する処理が、その閉じている目を対象としては行われないようにしてもよい。 Here, if both eyes of the woman being processed are open, eyelash images are synthesized for both eyes. For example, if the eyes are less open than a threshold degree (closed), the process of emphasizing the eyelashes, including the synthesis of eyelash images, may not be performed on the closed eye.
ウインクなどをして閉じている目を対象としてまつげの強調が行われるとした場合、不自然な見栄えになる可能性があるが、そのようなことを防ぐことが可能となる。 If eyelashes are emphasized when the eye is closed (for example, by winking), it may look unnatural, but this can be prevented.
ステップＳ８５において、まつげ強調処理部４６４は、まつげを画像処理によって強調させる。例えば、上まつげと下まつげを検出し、その１本１本を太くしたり、濃くしたりすることによって、まつげの強調が行われる。まつげの１本１本を太くしたり、濃くしたりする処理は、上まつげとして合成されたまつげ画像を構成するまつげの１本１本に対しても施される。
In step S85, the eyelash
すなわち、この例においては、上まつげに対しては、まつげ画像の合成に加えて、さらに、１本１本を太くしたりする処理が施されることになる。また、上まつげと下まつげは、それぞれ異なる処理によって強調されることになる。 In this example, in addition to combining the eyelash images, the upper eyelashes are also processed to thicken each individual eyelash. Also, the upper and lower eyelashes are emphasized using different processes.
その後、図３０のステップＳ６４に戻り、それ以降の処理が行われる。 Then, the process returns to step S64 in FIG. 30 and the subsequent processing is carried out.
以上のように、撮影画像に写る女性に対するまつげの強調は、テンプレートとして用意されたまつげ画像をそのまま合成するのではなく、目の輪郭の形状に合わせて変形させたまつげ画像を合成するようにして行われる。 As described above, the eyelashes of women in photographed images are emphasized not by simply synthesizing an eyelash image prepared as a template, but by synthesizing an eyelash image that has been deformed to fit the shape of the eye outline.
撮影時の表情などにより、それぞれの利用者の目の形状は異なるものとなる。それぞれの利用者の目の形状に合わせて変形させたまつげ画像を合成することにより、より自然な形でまつげを強調させ、目を大きく見せることが可能となる。 The shape of each user's eyes will be different depending on factors such as their facial expression at the time of shooting. By synthesizing eyelash images that have been deformed to match the shape of each user's eyes, it is possible to emphasize the eyelashes in a more natural way, making the eyes appear larger.
また、まつげ画像の合成後、上まつげと下まつげの１本１本を強調することにより、まつげ画像として合成されたまつげを、利用者の自分のまつげに馴染ませることが可能となる。 In addition, after the eyelash images are combined, each upper and lower eyelash can be emphasized, allowing the combined eyelashes to blend in with the user's own eyelashes.
＜メイクツール機能＞
・アイカラーツール
ここで、編集画面に用意されるメイクツールを用いた編集について説明する。
<Makeup tool function>
Eye Color Tool Editing using the makeup tools provided on the editing screen will now be described.
図３２は、メイクツール選択中の、図２９の編集パレット５０３Ｒを拡大して示す図である。
Figure 32 shows an enlarged view of the
編集パレット５０３Ｒの上には、メイクツールの選択に用いられる選択ボタン５１１－１乃至５１１－５が並べて表示される。
Selection buttons 511-1 to 511-5 used to select makeup tools are displayed in a row above the
選択ボタン５１１－１は、小顔に見えるためのメイクを行う小顔ツールを選択するときに押下されるボタンである。 Selection button 511-1 is the button that is pressed to select a face-slimming tool that applies makeup to make the face look smaller.
選択ボタン５１１－２は、黒目部分の色を変えるアイカラーツールを選択するときに押下されるボタンである。利用者は、アイカラーツールを使うことにより、カラーコンタクトレンズを装着しているかのようなメイクをすることができる。図３２の例においては、選択ボタン５１１－２が押下され、アイカラーツールが選択されている。 Selection button 511-2 is a button that is pressed to select an eye color tool that changes the color of the pupil. By using the eye color tool, the user can apply makeup that looks as if they are wearing colored contact lenses. In the example of FIG. 32, selection button 511-2 has been pressed and the eye color tool has been selected.
選択ボタン５１１－３は、目の輪郭の濃さを調整する輪郭濃度調整ツールを選択するときに押下されるボタンである。 Selection button 511-3 is the button that is pressed to select the contour density adjustment tool that adjusts the darkness of the eye contour.
選択ボタン５１１－４は、唇の色を変えるリップツールを選択するときに押下されるボタンである。選択ボタン５１１－５は、チークの色を変えるチークツールを選択するときに押下されるボタンである。 Selection button 511-4 is a button that is pressed when selecting a lip tool that changes the color of the lips. Selection button 511-5 is a button that is pressed when selecting a cheek tool that changes the color of the cheeks.
アイカラーツールが選択されている場合、図３２に示すように、編集パレット５０３Ｒの左側には顔画像領域５１２が表示される。顔画像領域５１２は、顔認識を行うことによって切り出された、撮影画像に写る利用者の顔の画像の表示領域である。
When the eye color tool is selected, as shown in FIG. 32, a
顔画像領域５１２に顔が表示されている利用者を対象として、黒目の色を変更する処理である黒目処理が黒目処理部４３３Ａ（図１９）により行われる。図３２の例においては、図２９において編集領域５０１Ｒに表示されている撮影画像に写る２人の利用者のうちの右側の利用者がアイカラーツールの対象の利用者として表示されている。
The
顔画像領域５１２の下には、アイカラーツールの対象とする利用者を切り替えるときに押下される切り替えボタン５１３が表示される。
Below the
顔画像領域５１２の右側には、アイカラーの選択に用いられるボタンであるカラー選択ボタン５１４－１乃至５１４－４が表示される。円形のボタンであるカラー選択ボタン５１４－１乃至５１４－４には、それぞれ、ブラウン、ショコラ、グレー、ブラックの色が割り当てられている。
Color selection buttons 514-1 to 514-4, which are used to select eye color, are displayed to the right of the
例えばカラー選択ボタン５１４－１が押下された場合、編集領域５０１Ｒに表示されている撮影画像に写る利用者のうち、アイカラーツールの対象として選択されている利用者の黒目領域の色がブラウンに変更される。
For example, when color selection button 514-1 is pressed, the color of the pupil of the eye of the user selected as the target of the eye color tool among the users appearing in the captured image displayed in
また、カラー選択ボタン５１４－２が押下された場合、編集領域５０１Ｒに表示されている撮影画像に写る利用者のうち、アイカラーツールの対象として選択されている利用者の黒目領域の色がショコラに変更される。
In addition, when the color selection button 514-2 is pressed, the color of the pupil area of the user selected as the target of the eye color tool among the users appearing in the captured image displayed in the
図３３は、アイカラーツールによって生成される画像の例を示す図である。 Figure 33 shows an example of an image generated by the eye color tool.
撮影画像Ｐ１０１が編集対象として選択され、右側の利用者がアイカラーツールの対象として選択されている場合、カラー選択ボタン５１４－１乃至５１４－４が押下されることに応じて、編集領域５０１Ｒの撮影画像が、枠Ｆで囲んで示す右側の利用者の黒目領域の色が変更された撮影画像Ｐ１０１－１乃至Ｐ１０１－４に切り替えられる。
When the captured image P101 is selected as the editing target and the user on the right is selected as the target of the eye color tool, pressing color selection buttons 514-1 to 514-4 switches the captured image in the
図３３の例においては同じ画像として示されているが、撮影画像Ｐ１０１－１は、右側の利用者の黒目領域の色がブラウンに変更された画像であり、撮影画像Ｐ１０１－２は、右側の利用者の黒目領域の色がショコラに変更された画像である。撮影画像Ｐ１０１－３は、右側の利用者の黒目領域の色がグレーに変更された画像であり、撮影画像Ｐ１０１－４は、右側の利用者の黒目領域の色がブラックに変更された画像である。 In the example of FIG. 33, they are shown as the same image, but photographed image P101-1 is an image in which the color of the pupil of the right user's eye has been changed to brown, and photographed image P101-2 is an image in which the color of the pupil of the right user's eye has been changed to chocolate. Photographed image P101-3 is an image in which the color of the pupil of the right user's eye has been changed to gray, and photographed image P101-4 is an image in which the color of the pupil of the right user's eye has been changed to black.
切り替えボタン５１３が押下される毎に、左側に写る利用者、右側に写る利用者、２人の利用者の順に、アイカラーツールの対象とする利用者が切り替えられる。
Each time the
例えば、アイカラーツールの対象とする利用者が左側に写る利用者として選択されている場合、カラー選択ボタン５１４－１乃至５１４－４が押下されることに応じて、編集領域５０１Ｒの撮影画像が、左側の利用者の黒目領域の色が変更された撮影画像に切り替えられる。
For example, if the user targeted by the eye color tool is selected as the user appearing on the left side, pressing color selection buttons 514-1 to 514-4 switches the captured image in
また、アイカラーツールの対象とする利用者が全員である２人の利用者として選択されている場合、カラー選択ボタン５１４－１乃至５１４－４が押下されることに応じて、編集領域５０１Ｒの撮影画像が、左側と右側の２人の利用者の黒目領域の色が変更された撮影画像に切り替えられる。
In addition, when the target users of the eye color tool are all selected as two users, pressing color selection buttons 514-1 to 514-4 switches the captured image in
このように、アイカラーツールを利用することにより、利用者は、１枚の撮影画像毎に、かつ、撮影画像に写っている利用者毎に、黒目の色を変えることができる。また、利用者は、２人の利用者の目の色を同時に変えることもできる。 In this way, by using the eye color tool, a user can change the color of the pupils of each captured image and for each user appearing in the captured image. A user can also change the eye color of two users at the same time.
図３２のカラー選択ボタン５１４－４の右下には、アイカラーツールの機能をオフにするときに押下されるオフボタン５１５が表示される。オフボタン５１５が押下された場合、編集領域５０１Ｒには、黒目処理が施されていない撮影画像が表示される。
In Figure 32, an
図３４は、アイカラーツール選択時の画像処理に用いられるマスク画像の例を示す図である。 Figure 34 shows an example of a mask image used for image processing when the eye color tool is selected.
編集用の撮影画像の生成時、図３４Ａに示す撮影画像Ｐ１０１に基づいて、図３４Ｂに示すような、目の各領域を表すマスク画像が生成される。上述したように、編集用の撮影画像の生成時、編集用画像生成部４３２の領域検出部４５１（図２０）においては、機械学習により生成された予測モデルを用いて、目の各領域などを表すマスク画像Ｍが生成される。
When generating a captured image for editing, a mask image representing each area of the eye, as shown in FIG. 34B, is generated based on the captured image P101 shown in FIG. 34A. As described above, when generating a captured image for editing, the area detection unit 451 (FIG. 20) of the
図３４Ｂの例においては、マスク画像Ｍを構成する画素のうち、２人の利用者のそれぞれの目の輪郭、目の黒目の輪郭、およびまつげを表す画素が白色の画素によって表されている。このようなマスク画像Ｍを用いて、黒目処理部４３３Ａにより黒目処理が行われる。
In the example of FIG. 34B, among the pixels constituting the mask image M, the pixels representing the eye contours, iris contours, and eyelashes of each of the two users are represented by white pixels. Using this mask image M, iris processing is performed by the
図３５は、黒目領域の色の変更の例を示す図である。 Figure 35 shows an example of changing the color of the iris area.
アイカラーツールによって黒目の色を変更することが選択された場合、黒目処理部４３３Ａは、マスク画像Ｍを用いて、アイカラーツールの対象とする利用者の黒目領域を抽出する。図３５の上段の例においては、右目ＥRの黒目領域Ａ１１Rと、左目ＥLの黒目領域Ａ１１Lがマスク画像Ｍに基づいて抽出されている。
When changing the color of the iris by the eye color tool is selected, the
また、黒目処理部４３３Ａは、抽出した黒目領域である黒目領域Ａ１１R，Ａ１１Lを構成する画素の色を、ブラウン、ショコラ、グレー、ブラックの中から利用者により選択された色に変更する。図３５の下段において黒目領域Ａ１１R，Ａ１１Lにハッチを付して示していることは、黒目領域Ａ１１R，Ａ１１Lの画素の色が変更されていることを表す。
Furthermore, the
黒目領域を構成する画素の色の変更は、例えば、オリジナルの色の色相を、選択された色に応じた量だけ変更するようにして行われる。ブラウン、ショコラ、グレー、ブラックのそれぞれの色に対しては、変更の程度（量）を含む、色相の変更の仕方があらかじめ設定されている。 The color of the pixels that make up the iris area is changed, for example, by changing the hue of the original color by an amount that corresponds to the selected color. For each of the colors brown, chocolate, gray, and black, the method of changing the hue, including the degree (amount) of change, is preset.
すなわち、選択された色に変更するのではなく、オリジナルの黒目の色を基準にして、その基準の色を、選択された色に応じて調整するようにして色の変更が行われる。 In other words, instead of changing to the selected color, the color is changed by using the original iris color as a reference color and adjusting that reference color according to the selected color.
色相ではなく、明度、彩度などの他のパラメータを変更することによって、または、複数のパラメータの組み合わせを変更することによって、黒目領域の色が変更されるようにしてもよい。 The color of the iris area may be changed by changing other parameters, such as brightness, saturation, etc., rather than hue, or by changing a combination of multiple parameters.
黒目領域を構成する各画素に対してフィルタ処理を施したり、所定のトーンカーブを用いて輝度を調整したりするようにして色の変更が行われるようにしてもよい。 The color may be changed by applying a filter process to each pixel that makes up the iris area, or by adjusting the brightness using a specified tone curve.
このように、黒目領域の色の変更は、黒目領域の形状と同じ形状を有する略円形の画像を撮影画像の上に合成するのではなく、撮影画像の画素の色自体を変更するようにして行われる。また、人ごとに微妙に異なるオリジナルの色を元にして、オリジナルの色を変更するようにして黒目領域の色の変更が行われる。 In this way, the color of the iris area is changed by changing the color of the pixels in the captured image itself, rather than by superimposing a roughly circular image that has the same shape as the iris area onto the captured image. Also, the color of the iris area is changed by modifying the original color, which varies slightly from person to person.
ブラウン、ショコラ、グレー、ブラックの中から同じ色を選択したとしても人ごとに微妙に異なる色となるため、黒目領域の印象を、違和感なく、自然な見映えがする状態で変更することが可能となる。 Even if the same color is selected from brown, chocolate, gray, and black, the color will be slightly different for each person, so it is possible to change the impression of the iris area in a way that looks natural and does not feel unnatural.
仮に、所定の色の円形の画像を黒目領域に合成する形で黒目領域の色の変更が行われるとした場合、人によっては、黒目領域の色が大きく変わってしまったり、目の向きやストロボ光の当たり方などに応じた見え方の違いが損なわれてしまったりすることがあるが、そのような不自然な色の変更が行われるのを防ぐことが可能となる。 If the color of the iris area were to be changed by superimposing a circular image of a specific color onto the iris area, the color of the iris area could change significantly for some people, or differences in appearance depending on the direction of the eyes or the way the strobe light hits the area could be lost. However, it is possible to prevent such unnatural color changes.
・輪郭濃度調整ツール
次に、輪郭濃度調整ツールを用いて行われる目の輪郭の濃さの調整について説明する。
Contour Density Adjustment Tool Next, adjustment of the darkness of the eye contour using the contour density adjustment tool will be described.
選択ボタン５１１－３が押下された場合、編集パレット５０３Ｒには、例えば、目の輪郭の濃さの調整に用いられるスライドバーが表示される。編集パレット５０３Ｒの左側には顔画像領域５１２が表示される。
When the selection button 511-3 is pressed, a slide bar used to adjust, for example, the darkness of the eye outline is displayed in the
顔画像領域５１２に顔が表示されている利用者を対象として、目の輪郭の濃さを変更する処理である輪郭濃度調整処理が輪郭調整部４３３Ｂ（図１９）により行われる。輪郭濃度調整処理も、領域検出部４５１により生成されたマスク画像Ｍを用いて行われる。
For users whose faces are displayed in the
図３６は、目の輪郭の濃さの調整の例を示す図である。 Figure 36 shows an example of adjusting the darkness of the eye outline.
目の輪郭を濃くすることが輪郭濃度調整ツールによって選択された場合、輪郭調整部４３３Ｂは、目の輪郭、目の黒目の輪郭、および、まつげを、マスク画像Ｍを用いて抽出する。
When darkening the eye contour is selected using the contour density adjustment tool, the
また、輪郭調整部４３３Ｂは、抽出したそれぞれの部分が濃くなるように、画素の色を調整する。例えば、抽出したそれぞれの部分を太くすることによって、または、色を濃くすることによって、目の輪郭、目の黒目の輪郭、および、まつげの調整が行われる。図３６の下段の例においては、目の輪郭、目の黒目の輪郭（左右の縁）、および、まつげが、図３６の上段の状態より濃い状態で示されている。
Furthermore, the
図３７は、目の輪郭の濃さの調整の他の例を示す図である。 Figure 37 shows another example of adjusting the darkness of the eye outline.
目の輪郭を薄くすることが輪郭濃度調整ツールによって選択された場合、輪郭調整部４３３Ｂは、目の輪郭、目の黒目の輪郭、および、まつげを、マスク画像Ｍを用いて抽出する。
When thinning the eye contour is selected using the contour density adjustment tool, the
また、輪郭調整部４３３Ｂは、抽出したそれぞれの部分が薄くなるように、画素の色を調整する。例えば、抽出したそれぞれの部分を細くすることによって、または、色を薄くすることによって、目の輪郭、目の黒目の輪郭、および、まつげの調整が行われる。
In addition, the
このように、目の輪郭の調整は、マスク画像Ｍに基づいて、目の輪郭、目の黒目の輪郭、および、まつげを一体として調整するようにして行われる。スライドバーが複数表示され、目の輪郭、目の黒目の輪郭、および、まつげの濃さのそれぞれを調整することができるようにしてもよい。 In this way, the eye contour is adjusted by adjusting the eye contour, the iris of the eye, and the eyelashes as a whole based on the mask image M. Multiple slide bars may be displayed to allow adjustment of each of the eye contour, the iris of the eye, and the thickness of the eyelashes.
このような輪郭濃度調整処理が、輪郭濃度調整ツールの対象とする利用者を選択して行われる。 This kind of contour density adjustment process is performed by selecting the user who is the target of the contour density adjustment tool.
例えば、図３２を参照して説明したように、輪郭濃度調整ツールの対象とする利用者が右側に写る利用者として選択されている場合、スライドバーが操作されることに応じて、編集領域５０１Ｒの撮影画像が、右側の利用者の目の輪郭の濃さが変更された撮影画像に切り替えられる。
For example, as described with reference to FIG. 32, if the user targeted by the contour density adjustment tool is selected as the user appearing on the right side, the captured image in the
同様に、輪郭濃度調整ツールの対象とする利用者が左側に写る利用者として選択されている場合、スライドバーが操作されることに応じて、編集領域５０１Ｒの撮影画像が、左側の利用者の目の輪郭の濃さが変更された撮影画像に切り替えられる。
Similarly, if the user targeted by the contour density adjustment tool is selected as the user appearing on the left side, the captured image in the
また、輪郭濃度調整ツールの対象とする利用者が２人の利用者として選択されている場合、スライドバーが操作されることに応じて、編集領域５０１Ｒの撮影画像が、左側と右側の２人の利用者の目の輪郭の濃さが変更された撮影画像に切り替えられる。
In addition, when two users are selected as the target users of the contour density adjustment tool, the captured image in the
このように、輪郭濃度調整ツールを利用することにより、利用者は、１枚の撮影画像毎に、かつ、撮影画像に写っている利用者毎に、目の輪郭の濃さを変えることができる。また、利用者は、２人の利用者の目の輪郭の濃さを同時に変えることもできる。 In this way, by using the contour density adjustment tool, a user can change the darkness of the eye contour for each captured image and for each user who appears in the captured image. A user can also change the darkness of the eye contour for two users at the same time.
アイカラーツールと輪郭濃度調整ツールを合わせて利用することにより、利用者は、黒目の色については利用者毎に個別に調整し、目の輪郭などの濃さについては２人まとめて調整するといったことが可能となる。また、利用者は、黒目の色については２人まとめて調整し、目の輪郭などの濃さについては利用者毎に個別に調整するといったことが可能となる。 By using the eye color tool and eye contour density adjustment tool together, users can adjust the color of the iris individually for each user, and adjust the darkness of the eye contour etc. for two people together. Also, users can adjust the color of the iris together for two people, and adjust the darkness of the eye contour etc. for each user individually.
＜変形例＞
・他のメイクツールの例
メイクツールとして用意されるリップツール、チークツールを用いた処理が、アイカラーツールと同様にして行われるようにしてもよい。
<Modification>
Other examples of makeup tools A lip tool and a cheek tool provided as makeup tools may be used in the same manner as the eye color tool.
例えば選択ボタン５１１－４が押下され、リップツールが選択された場合、リップツールの対象として選択された利用者の唇の色が、編集パレット５０３Ｒに表示されたボタンを用いて選択された色に応じて変更される。マスク画像を用いて抽出された唇領域を構成する画素の色の変更が、オリジナルの唇の色を基準にして、その基準の色を、選択された色に応じて調整するようにして行われる。
For example, when selection button 511-4 is pressed and the lip tool is selected, the color of the user's lips selected as the target of the lip tool is changed according to the color selected using the button displayed in
・出力先に応じた処理の切り替え
アイカラーツールによって色が変更される黒目領域は、画像全体に対して狭い領域である。仮に、黒目領域の色を変更した複数枚の画像を並べてシール紙に印刷した場合、それぞれの画像に写る黒目が小さいために、レイアウトによっては、黒目領域の色の違いを表現できないことがある。また、黒目全体が不自然な色に見えてしまうことがある。
- Switching processing according to output destination The iris area, which is changed by the eye color tool, is a small area compared to the entire image. If multiple images with changed iris area colors are printed side by side on sticker paper, depending on the layout, the iris in each image may not be able to express the difference in color. Also, the entire iris may look an unnatural color.
アイカラーツールによる黒目領域の色の変更が、編集画面に表示する画像には反映され、シール紙に印刷する画像には反映されないようにしてもよい。この場合、それぞれの撮影画像を対象として、編集画面に表示する画像を生成するための処理と、シール紙に印刷する画像を生成するための処理とが、利用者の操作に応じて行われることになる。 Changes to the color of the iris area using the eye color tool may be reflected in the image displayed on the editing screen, but not in the image printed on the sticker paper. In this case, for each captured image, processing to generate an image to be displayed on the editing screen and processing to generate an image to be printed on the sticker paper are performed in response to user operations.
すなわち、撮影画像Ｐ１０１が編集対象として選択されている場合において、アイカラーツールによる黒目領域の色の変更が利用者により指示された場合、黒目領域の色を変更した撮影画像Ｐ１０１が、編集画面に表示する画像として生成されるとともに、黒目領域の色を変更していない撮影画像Ｐ１０１が、シール紙に印刷する画像として生成される。 In other words, when the photographed image P101 is selected as the object to be edited, if the user instructs to change the color of the iris area using the eye color tool, the photographed image P101 with the color of the iris area changed is generated as the image to be displayed on the editing screen, and the photographed image P101 with the color of the iris area not changed is generated as the image to be printed on the sticker paper.
これにより、画像の出力先に応じて適切な画像を生成することができ、不自然な見え方の画像がシール紙に印刷されてしまうといったことを防ぐことが可能となる。 This allows an appropriate image to be generated depending on the output destination, preventing an image that looks unnatural from being printed on sticker paper.
なお、黒目領域の色を変更した状態で編集画面に表示された撮影画像Ｐ１０１に対しては、各種の編集ツールを用いた編集が利用者の操作に応じて施される。編集については施され、黒目領域の色については変更されていない画像がシール紙には印刷されることになる。 The captured image P101 displayed on the editing screen with the color of the iris area changed can be edited using various editing tools in response to user operations. The image that has been edited but has the color of the iris area unchanged will be printed on the sticker paper.
画像の出力先が編集画面（タブレット内蔵モニタ１３１）またはシール紙であるものとしたが、他の出力先に応じて処理が切り替えられるようにしてもよい。出力先には、タッチパネルモニタ９２などの写真シール作成装置１に設けられる構成だけでなく、利用者のスマートフォンのモニタ、画像管理サーバが含まれる。
Although the image output destination is assumed to be the editing screen (tablet built-in monitor 131) or sticker paper, the process may be switched depending on other output destinations. Output destinations include not only components provided in the photo
なお、画像の印刷媒体がシール紙である場合について説明したが、印刷用紙、樹脂製のカード、布などの各種の媒体がシール紙に代えて用いられるようにしてもよい。 Note that, although the above description concerns a case where the image printing medium is sticker paper, various media such as printing paper, plastic cards, and cloth may be used in place of sticker paper.
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
Regarding the program: The above-mentioned series of processes can be executed by hardware or software. When the series of processes is executed by software, the program constituting the software is installed in a computer incorporated in dedicated hardware, or in a general-purpose personal computer.
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１６に示されるリムーバブルメディア３１９に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM３１２や記憶部３１６に、あらかじめインストールしておくことができる。
The program to be installed is provided by being recorded on
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program in which processing is performed chronologically according to the sequence described in this specification, or a program in which processing is performed in parallel or at the required timing, such as when called.
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。 The effects described in this specification are merely examples and are not limiting, and other effects may also exist.
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiment of this technology is not limited to the above-mentioned embodiment, and various modifications are possible without departing from the gist of this technology.
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。 For example, this technology can be configured as cloud computing, in which a single function is shared and processed collaboratively by multiple devices over a network.
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。 In addition, each step described in the above flowchart can be executed by a single device, or can be shared and executed by multiple devices.
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。 Furthermore, when a single step includes multiple processes, the multiple processes included in that single step can be executed by a single device, or can be shared and executed by multiple devices.
１ 写真シール作成装置， ６６ 鏡面部， ８２ 上ストロボユニット， ９１ カメラ， ９２ タッチパネルモニタ， １３１ タブレット内蔵モニタ， ３０１ PC部， ３０２ 事前選択部， ３０４ 撮影部， ３０５ 編集部， ３０６ 印刷部， ４０１ 事前選択処理部， ４０２ 撮影処理部， ４０３ 編集処理部， ４０４ 印刷処理部， ４１１ 撮影制御部， ４１２ 画像処理部， ４１３ 表示制御部， ４１４ 画像記憶部， ４３１ 選択受付部， ４３２ 編集用画像生成部， ４３３ 編集制御部， ４３４ 表示制御部， ４３５ 印刷データ生成部， ４３６ 通信制御部， ４５１ 領域検出部， ４５２ レタッチ処理部， ４５３ 性別判定部， ４５４ まつげ処理部， ４５５ 縮小部 1 Photo sticker creation device, 66 Mirror surface section, 82 Upper strobe unit, 91 Camera, 92 Touch panel monitor, 131 Tablet built-in monitor, 301 PC section, 302 Pre-selection section, 304 Photography section, 305 Editing section, 306 Printing section, 401 Pre-selection processing section, 402 Photography processing section, 403 Editing processing section, 404 Printing processing section, 411 Photography control section, 412 Image processing section, 413 Display control section, 414 Image storage section, 431 Selection reception section, 432 Editing image generation section, 433 Editing control section, 434 Display control section, 435 Print data generation section, 436 Communication control section, 451 Area detection section, 452 Retouching processing section, 453 Gender determination section, 454 Eyelash processing section, 455 Reduced section
Claims (7)
利用者による異なる操作に応じて、黒目の色と、黒目の縁の濃さとをそれぞれ変更する画像処理部と
を備える画像処理装置。 A detection unit that detects the black eyes of a person appearing in a photographed image;
and an image processing unit that changes the color of the pupil and the darkness of the pupil edge in response to different operations by a user.
請求項１に記載の画像処理装置。 The image processing device according to claim 1 , further comprising a display control unit that displays a button used to adjust the color of the iris and a button used to adjust the darkness of the iris on the same screen together with the captured image.
請求項１または２に記載の画像処理装置。 The image processing device according to claim 1 , wherein the image processing unit changes a color of the iris of one of the plurality of people appearing in the photographed image, and changes darkness of the iris of the eye of all of the plurality of people collectively.
請求項１または２に記載の画像処理装置。 The image processing device according to claim 1 , wherein the image processing unit changes a darkness of a rim of a pupil of one of a plurality of people appearing in the photographed image, and changes a color of the pupils of all of the plurality of people collectively.
請求項１に記載の画像処理装置。 The image processing device according to claim 1 , wherein the image processing unit further changes a darkness of an eye outline.
撮影画像に写る人物の黒目を検出し、
利用者による異なる操作に応じて、黒目の色と、黒目の縁の濃さとをそれぞれ変更する
画像処理方法。 The image processing device
Detects the pupils of people in the captured image,
An image processing method for changing the color of the iris and the darkness of the iris edge according to different operations by a user.
撮影画像に写る人物の黒目を検出し、
利用者による異なる操作に応じて、黒目の色と、黒目の縁の濃さとをそれぞれ変更する
処理を実行させるプログラム。 On the computer,
Detects the pupils of people in the captured image,
A program that executes a process to change the color of the iris and the darkness of the iris rim according to different operations by the user.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023135602A JP7626951B2 (en) | 2019-09-05 | 2023-08-23 | Image processing device, image processing method, and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019161941A JP7339515B2 (en) | 2019-09-05 | 2019-09-05 | Image processing device, image processing method, and program |
| JP2023135602A JP7626951B2 (en) | 2019-09-05 | 2023-08-23 | Image processing device, image processing method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019161941A Division JP7339515B2 (en) | 2019-09-05 | 2019-09-05 | Image processing device, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023164461A JP2023164461A (en) | 2023-11-10 |
| JP7626951B2 true JP7626951B2 (en) | 2025-02-05 |
Family
ID=74848683
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019161941A Active JP7339515B2 (en) | 2019-09-05 | 2019-09-05 | Image processing device, image processing method, and program |
| JP2023135602A Active JP7626951B2 (en) | 2019-09-05 | 2023-08-23 | Image processing device, image processing method, and program |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019161941A Active JP7339515B2 (en) | 2019-09-05 | 2019-09-05 | Image processing device, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7339515B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7549565B2 (en) * | 2021-07-16 | 2024-09-11 | フリュー株式会社 | Image processing device, image processing method, and program |
| JP7492150B2 (en) | 2022-04-28 | 2024-05-29 | フリュー株式会社 | Information processing device, information processing method, and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013017127A (en) | 2011-07-06 | 2013-01-24 | Tatsumi Denshi Kogyo Kk | Automatic photograph creation device, automatic photograph creation method and program |
| JP2013243466A (en) | 2012-05-18 | 2013-12-05 | Tatsumi Denshi Kogyo Kk | Imaging apparatus for game, imaging method for game, and program |
| JP2015163924A (en) | 2014-02-28 | 2015-09-10 | フリュー株式会社 | Photo sticker making apparatus and photo sticker making method |
| JP2016009306A (en) | 2014-06-24 | 2016-01-18 | 大日本印刷株式会社 | Image processing apparatus and image processing program |
| JP2018189789A (en) | 2017-05-02 | 2018-11-29 | フリュー株式会社 | Photo creation game machine, information processing method, and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013058165A (en) | 2011-09-09 | 2013-03-28 | Nikon Corp | Image processing device and camera |
| CN118502135A (en) | 2017-06-14 | 2024-08-16 | 株式会社目立康 | Contact lens for beauty |
| JP6635170B2 (en) | 2018-10-22 | 2020-01-22 | 辰巳電子工業株式会社 | Photo shooting game device, image processing method, and image processing program |
-
2019
- 2019-09-05 JP JP2019161941A patent/JP7339515B2/en active Active
-
2023
- 2023-08-23 JP JP2023135602A patent/JP7626951B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013017127A (en) | 2011-07-06 | 2013-01-24 | Tatsumi Denshi Kogyo Kk | Automatic photograph creation device, automatic photograph creation method and program |
| JP2013243466A (en) | 2012-05-18 | 2013-12-05 | Tatsumi Denshi Kogyo Kk | Imaging apparatus for game, imaging method for game, and program |
| JP2015163924A (en) | 2014-02-28 | 2015-09-10 | フリュー株式会社 | Photo sticker making apparatus and photo sticker making method |
| JP2016009306A (en) | 2014-06-24 | 2016-01-18 | 大日本印刷株式会社 | Image processing apparatus and image processing program |
| JP2018189789A (en) | 2017-05-02 | 2018-11-29 | フリュー株式会社 | Photo creation game machine, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023164461A (en) | 2023-11-10 |
| JP2021039655A (en) | 2021-03-11 |
| JP7339515B2 (en) | 2023-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7626951B2 (en) | Image processing device, image processing method, and program | |
| JP7664512B2 (en) | Image processing device, image processing method, and program | |
| JP5748651B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2018031860A (en) | Photograph creating game machine, and information processing method | |
| JP2018107515A (en) | Photo creation game machine and image processing method | |
| JP7401727B2 (en) | Image processing device, image processing method, and image processing program | |
| JP7132492B2 (en) | Image processing device, display control method, and program | |
| JP7152687B2 (en) | Display control device, display control method, program | |
| JP2021039654A (en) | Image processing device, image processing method, and program | |
| JP2021182104A (en) | Photo-creating game consoles, editing methods, and programs | |
| JP2021044734A (en) | Image processing equipment, image processing methods, and programs | |
| JP6867587B2 (en) | Photographing game consoles, information processing methods, and programs | |
| JP7560711B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING | |
| JP6303561B2 (en) | Image processing apparatus and photographing method | |
| JP7140962B2 (en) | Image processing device, control method, and program | |
| JP5013203B2 (en) | Photo sticker creation apparatus and method, and program | |
| JP7583320B2 (en) | Game consoles | |
| JP6465333B2 (en) | Image processing apparatus and image processing method | |
| JP7575657B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, IMAGE PROCESSING PROGRAM, REGION SPECIFICATION MODEL, AND MODEL GENERATION METHOD | |
| JP7751175B2 (en) | Image processing device, image processing method, and program | |
| JP6421969B2 (en) | Image processing apparatus and control method | |
| JP2021026173A (en) | Photographing device, photographing method, and program | |
| JP7319535B2 (en) | Photo-making game machine, control method, and program | |
| JP2024064430A (en) | Photo creation game machine, image processing method, and program | |
| JP7290826B2 (en) | Image processing device, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240624 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240910 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20241111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250106 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7626951 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |