Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3424913B2 - Photo processing method and photo processing device - Google Patents
[go: Go Back, main page]

JP3424913B2 - Photo processing method and photo processing device - Google Patents

Photo processing method and photo processing device

Info

Publication number
JP3424913B2
JP3424913B2 JP04429599A JP4429599A JP3424913B2 JP 3424913 B2 JP3424913 B2 JP 3424913B2 JP 04429599 A JP04429599 A JP 04429599A JP 4429599 A JP4429599 A JP 4429599A JP 3424913 B2 JP3424913 B2 JP 3424913B2
Authority
JP
Japan
Prior art keywords
processing
area
image
points
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04429599A
Other languages
Japanese (ja)
Other versions
JP2000244727A (en
Inventor
卓二 貴志
康 宇佐美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP04429599A priority Critical patent/JP3424913B2/en
Publication of JP2000244727A publication Critical patent/JP2000244727A/en
Application granted granted Critical
Publication of JP3424913B2 publication Critical patent/JP3424913B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、画像処理を含む写
真処理方法及び画像処理部を具備する写真処理装置に関
する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a photographic processing method including image processing and a photographic processing apparatus having an image processing section.

【0002】[0002]

【従来の技術】従来、或る画像表示媒体において、人間
の顔等の画像に対してパターン認識技術を利用して画像
処理を施し、当該画像をその画像表示媒体上で見やすい
画像に修正したり、当該画像を肖像権保護のためにモデ
ィファイしたり、又は、芸術的な装飾を付加したりする
ような画像処理技術がある。
2. Description of the Related Art Conventionally, in an image display medium, an image of a human face or the like is subjected to image processing by using pattern recognition technology, and the image is corrected into an image which is easy to see on the image display medium. There is an image processing technique for modifying the image to protect the portrait right or adding artistic decoration.

【0003】かかる画像処理技術によれば、例えば、コ
ンピュータグラフィックスのような技術分野において
は、画像に関するデータとしてディジタルデータを利用
し、このデータに基づいて、画像の拡大縮小や回転、反
転、投影、陰影付与等種々の立体操作等を行うことがで
きる。
According to such an image processing technique, for example, in a technical field such as computer graphics, digital data is used as data relating to an image, and based on this data, enlargement / reduction, rotation, inversion, projection of the image are performed. It is possible to perform various three-dimensional operations such as shadowing.

【0004】また、写真処理装置の技術分野において
は、例えば、写真撮影時にストロボ光の影響を受けたよ
うな場合や、カラーコンタクトを装着していたような場
合の眼の瞳の色を修正してからカラープリントを作製し
たりする需要があるので、前述したような画像処理技術
が要求されるようになってきている。
Further, in the technical field of photographic processing apparatus, for example, the color of the pupil of the eye is corrected in the case of being affected by strobe light at the time of taking a picture or wearing a color contact. Since there is a demand for producing color prints after that, the image processing technique as described above has been required.

【0005】そして、写真処理装置の技術分野において
も、フィルムにアナログ的に記録された画像情報を、ス
キャナ等を用いて読み取って画像情報を電気的信号に変
換し、この電気的信号に基づいて得たディジタルデータ
に対して画像処理を施した画像データを利用して露光
し、現像することによってプリントを作製する技術が普
及してきている。
Also in the technical field of photographic processing apparatus, image information recorded on a film in an analog manner is read by using a scanner or the like to convert the image information into an electric signal, and based on this electric signal. A technique for producing a print by exposing and developing the obtained digital data by using image data obtained by performing image processing has become widespread.

【0006】ところで、このような画像処理技術におい
て、人間の顔の或る一部分、例えば眼だけ、を特定して
抽出しその領域だけに対して画像処理する手法は、パタ
ーン認識技術の進歩につれて種々提案されているが、例
えば、パーソナルコンピュータのように、汎用的で、し
かも画像表示手段を具備したような安価な機器装置によ
って、後述するような専門知識のない非熟練者でも実行
できる簡単な手法を得ることは困難である。
By the way, in such an image processing technique, as a pattern recognition technique advances, there are various techniques for identifying and extracting a certain part of a human face, for example, only the eye, and performing image processing on only that region. Although proposed, a simple method that can be executed by an unskilled person without specialized knowledge as described later by a general-purpose inexpensive device such as a personal computer equipped with an image display means. Is hard to get.

【0007】即ち、写真処理の技術分野においては、写
真感光材料に対する現像や焼付を自動で行う写真処理装
置が急速に普及しており、写真処理や画像処理に関する
専門知識のない非熟練者が、かかる自動の写真処理装置
を操作して短時間で低コストでカラープリントを作製す
ることが行われるようになっているので、非熟練者でも
容易に機器を操作して画像処理ができることが要求され
ている。
That is, in the technical field of photographic processing, photographic processing apparatuses for automatically developing and printing photographic light-sensitive materials are rapidly spreading, and unskilled persons who do not have specialized knowledge of photographic processing and image processing are Since it has become possible to produce color prints in a short time and at low cost by operating such an automatic photographic processing apparatus, it is required that even an unskilled person can easily operate the equipment to perform image processing. ing.

【0008】例えば、画像表示媒体に表示された人間の
顔の画像のうち、眼だけを特定して何らかの画像処理を
行う場合の手法の要領について図6を参照して説明す
る。符号10は眼、20は眉毛を示す。
[0008] For example, the outline of a technique for performing some image processing by specifying only the eyes of the image of the human face displayed on the image display medium will be described with reference to FIG. Reference numeral 10 indicates an eye, and 20 indicates an eyebrow.

【0009】前述したような画像のうち、オペレータ
は、眼10の部分を目視で認識し、例えばマウスのよう
なポインティング装置により眼の領域の周囲において、
眼10になるべく近い位置の複数の点として例えば、点
1〜R8を指定し、この複数の点R1〜R8を順番に線分
等によって結んだ多角形によって囲まれる領域を定義し
て画像上の眼10の領域を特定する。
In the image as described above, the operator visually recognizes the part of the eye 10 and, for example, with a pointing device such as a mouse, around the eye region,
For example, points R 1 to R 8 are designated as a plurality of points at positions as close as possible to the eye 10, and a region surrounded by a polygon formed by sequentially connecting the plurality of points R 1 to R 8 is defined. Area of the eye 10 on the image is specified.

【0010】このとき、画像表示媒体は、撮像装置によ
って得られた画像を一旦画像データとしてディジタル化
し、再度画像化して表示しているのであるから、画像デ
ータは単なる数値でしかない。従って、前記複数の点を
画像表示媒体上で特定したとき、もしも眼以外の領域を
広く特定してしまうと、前記領域を特定したのち画像処
理を実行する際に眼以外の領域を除外するためのデータ
処理に多大の時間を費やすこととなる。従って、前述し
たような複数の点の指定にあたっては、データ処理を迅
速に且つ正確に実行するために、できるだけ眼に近づけ
て指定する必要がある。
At this time, since the image display medium temporarily digitizes the image obtained by the image pickup device as image data and re-images it, the image data is merely a numerical value. Therefore, when the plurality of points are specified on the image display medium, if the area other than the eye is specified widely, the area other than the eye is excluded when the image processing is performed after the area is specified. It takes a lot of time to process the data. Therefore, when specifying a plurality of points as described above, it is necessary to specify the points as close to the eyes as possible in order to perform data processing quickly and accurately.

【0011】しかしながら、画像表示媒体上でポインテ
ィング装置により前記複数の点を手際よく指定すること
は思いのほか熟練を要し、指定し損なったりして長時間
を要するという問題がある。しかも、長時間をかけたと
しても指定精度が向上するわけではないのである。
However, there is a problem in that skillfully specifying the plurality of points by the pointing device on the image display medium requires skill, and it takes a long time to fail to specify them. Moreover, even if it takes a long time, the designation accuracy does not improve.

【0012】[0012]

【発明が解決しようとする課題】本発明は、前述した問
題点に鑑みてなされたものであり、熟練を要することな
く表示画像の眼の領域のうちから例えば瞳の領域を特定
して抽出して短時間かつ精度よく画像処理して写真処理
する写真処理方法及び写真処理装置を提供することを課
題とする。
SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems, and specifies and extracts, for example, a pupil region from the eye region of a display image without requiring skill. It is an object of the present invention to provide a photographic processing method and a photographic processing device that perform image processing by performing image processing with high accuracy in a short time.

【0013】[0013]

【課題を解決するための手段】前述した課題を解決すべ
く、本発明の請求項1記載の写真処理方法は、被写体の
画像を表示する表示工程33と、表示された画像のうち
画像処理する処理領域を特定する特定工程36と、前記
処理領域を画像処理して写真を形成するための画像デー
タを形成する画像処理工程37とを含む写真処理方法に
おいて、前記特定工程36において、前記処理領域を挟
む2点を指定し、該2点に基づいて定められる矩形領域
と該矩形領域の中央部に位置させた処理領域標準パター
ンとを画像表示し、該処理領域標準パターンと表示され
た画像とのパターンマッチングを行って前記処理領域を
特定することを特徴とする。
In order to solve the above-mentioned problems, a photographic processing method according to claim 1 of the present invention comprises a display step 33 for displaying an image of a subject and an image processing of the displayed images. In the photographic processing method, including a specifying step 36 for specifying a processing area and an image processing step 37 for image-processing the processing area to form image data for forming a photograph, in the specifying step 36, the processing area Are specified, and a rectangular area determined based on the two points and a processing area standard pattern located in the center of the rectangular area are displayed as an image, and the processing area standard pattern and the displayed image are displayed. Pattern matching is performed to specify the processing area.

【0014】前述した構成により、処理領域を挟む2点
を処理領域の近傍の指定しやすい位置で指定するだけ
で、処理領域のパターンマッチングを行うことができ
る。
With the above-described structure, the pattern matching of the processing area can be performed only by designating two points sandwiching the processing area at positions near the processing area that are easy to specify.

【0015】本発明の請求項2記載の写真処理方法によ
れば、前記被写体が人物の眼10であり、前記処理領域
が瞳領域13及び虹彩領域12のうちの少なくとも1つ
であり、前記2点が白眼領域11に位置するので、片目
ずつの処理ができ、しかも処理領域を挟む2点が指定し
やすい。
According to the photographic processing method of the second aspect of the present invention, the subject is a human eye 10, the processing area is at least one of a pupil area 13 and an iris area 12, and Since the points are located in the white-eye area 11, it is possible to perform processing for each eye, and it is easy to specify two points that sandwich the processing area.

【0016】本発明の請求項3記載の写真処理方法によ
れば、前記処理領域標準パターンをテンプレート17と
とし、テンプレートマッチングを行って前記処理領域を
特定できるので、少ない数のテンプレートを保持するだ
けで、短時間且つ精度よく瞳又は虹彩の領域を特定でき
る。
According to the photographic processing method of the third aspect of the present invention, since the processing area standard pattern is the template 17 and the processing area can be specified by performing template matching, only a small number of templates are held. Thus, the area of the pupil or iris can be specified accurately in a short time.

【0017】本発明の請求項4記載の写真処理方法は、
被写体の画像を画像表示する第1表示工程33と、表示
された画像のうち画像処理する処理領域を含む対象領域
を指定する対象領域指定工程34と、前記対象領域を抽
出して拡大して画像表示する第2表示工程35と、前記
対象領域のうちから前記処理領域を特定する特定工程3
6と、前記処理領域を画像処理して写真を形成するため
の画像データを形成する画像処理工程37とを含む写真
処理方法において、前記特定工程36において前記処理
領域を挟む2点を指定し、該2点に基づいて定められる
矩形領域と該矩形領域の中央部に位置させた処理領域標
準パターンとを表示し、該処理領域標準パターンと表示
された画像とのパターンマッチングを行って前記処理領
域を特定することを特徴とする。
The photographic processing method according to claim 4 of the present invention is
A first display step 33 for displaying an image of a subject, a target area designating step 34 for designating a target area including a processing area for image processing in the displayed image, and extracting the target area and enlarging the image. Second display step 35 of displaying and specifying step 3 of specifying the processing area from the target area
6 and an image processing step 37 of forming an image data for forming a photograph by performing image processing on the processing area, and in the specifying step 36, two points sandwiching the processing area are designated, The processing area is displayed by displaying a rectangular area determined based on the two points and a processing area standard pattern located in the center of the rectangular area, and pattern matching is performed between the processing area standard pattern and the displayed image. Is specified.

【0018】前述した構成により、眼の画像が小さい場
合でも処理領域を挟む2点を処理領域の近傍の指定しや
すい位置で指定するだけで、処理領域のパターンマッチ
ングを行うことができる。
With the above-mentioned configuration, even if the image of the eye is small, the pattern matching of the processing area can be performed only by designating two points sandwiching the processing area at positions which are easy to designate in the vicinity of the processing area.

【0019】本発明の請求項5記載の写真処理方法によ
れば、前記被写体が人物の顔であり、前記対象領域が前
記人物の眼10であり、前記処理領域が瞳領域13及び
虹彩領域12のうちの少なくとも1つであり、前記2点
が白眼領域11に位置するので、片目ずつの処理がで
き、しかも前記処理領域を挟む2点が指定しやすい。
According to the photographic processing method of claim 5 of the present invention, the subject is a human face, the target area is the human eye 10, and the processing area is a pupil area 13 and an iris area 12. Since at least one of them is located in the white-eye area 11, it is possible to perform processing for each eye, and it is easy to specify two points sandwiching the processing area.

【0020】本発明の請求項6記載の写真処理方法によ
れば、前記処理領域標準パターンをテンプレート17と
とし、テンプレートマッチングを行って前記処理領域を
特定する少ない数のテンプレートを保持するだけで、短
時間且つ精度よく瞳又は虹彩の領域を特定できる。
According to the photographic processing method of the sixth aspect of the present invention, the processing area standard pattern is used as the template 17, and only a small number of templates that specify the processing area by performing template matching are held, The area of the pupil or iris can be specified accurately in a short time.

【0021】本発明の請求項7記載の写真処理方法によ
れば、前記対象領域指定工程34において、所定の2箇
所の点を指定し、該2箇所の点によって定まる線分と、
対象領域との間の位置関係に基づいて対象領域を指定す
るので、所定の2点を指定するだけで対象領域を簡単に
特定でき、対象領域の近傍の複数の点を指定する必要が
ない。
According to the photographic processing method of the seventh aspect of the present invention, in the target area designating step 34, predetermined two points are designated, and a line segment defined by the two points,
Since the target area is specified based on the positional relationship with the target area, the target area can be easily specified by specifying only two predetermined points, and it is not necessary to specify a plurality of points in the vicinity of the target area.

【0022】本発明の請求項8記載の写真処理方法によ
れば、前記対象領域指定工程34において、所定の4箇
所の点を指定し、4箇所の点によって定まる線分と、対
象領域との間の位置関係に基づいて対象領域を指定する
所定の2点を指定するだけで対象領域を簡単に特定で
き、対象領域の近傍の複数の点を指定する必要がなく、
対象領域をわかりやすく表示するアイコンを表示でき
る。
According to the photographic processing method of claim 8 of the present invention, in the target area designating step 34, predetermined four points are designated, and a line segment defined by the four points and the target area are designated. The target area can be easily specified only by specifying two predetermined points that specify the target area based on the positional relationship between them, and it is not necessary to specify a plurality of points in the vicinity of the target area.
It is possible to display an icon that clearly displays the target area.

【0023】本発明の請求項9記載の写真処理装置は、
被写体の画像データに対して画像処理できる画像処理部
50を設けた写真処理装置において、前記画像処理部5
0が、前記被写体の画像を表示する画像表示部51と、
画像表示部上の任意の点及び領域を指定可能であるポイ
ンティング装置52と、画像処理のため画像データを演
算処理する演算処理部53と、前記画像に関する所定の
データを記憶する記憶部54とを具備し、前記画像のう
ち画像処理する処理領域を表示し、且つ前記ポインティ
ング装置52によって前記処理領域を挟む2点を指定し
たとき該2点によって定まる矩形領域及び該矩形領域の
中央部に位置させた処理領域標準パターンを表示し、パ
ターンマッチングを行って前記処理領域を特定して画像
処理できることを特徴とする。
A photographic processing apparatus according to claim 9 of the present invention is
In the photographic processing device provided with an image processing unit 50 capable of performing image processing on image data of a subject, the image processing unit 5
0 is an image display unit 51 for displaying an image of the subject,
A pointing device 52 capable of designating an arbitrary point and area on the image display unit, an arithmetic processing unit 53 for arithmetically processing image data for image processing, and a storage unit 54 for storing predetermined data regarding the image. A processing area for image processing of the image is displayed, and when two points sandwiching the processing area are designated by the pointing device 52, a rectangular area defined by the two points and a central portion of the rectangular area are positioned. It is characterized in that the processing area standard pattern is displayed, and the processing area can be specified by performing pattern matching to perform image processing.

【0024】前述した構成によれば、処理領域を挟む2
点を通常の画像処理手段によって指定するだけで瞳又は
虹彩の領域を短時間且つ精度よく簡単に特定できる。
According to the above-mentioned structure, the processing area is sandwiched between 2
The area of the pupil or iris can be specified easily in a short time and with high accuracy simply by designating the points by a normal image processing means.

【0025】[0025]

【発明の実施の形態】以下、添付図面を参照しつつ、本
発明の実施の形態について説明する。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the accompanying drawings.

【0026】本明細書において、人間の顔の画像に関
し、人間の身体の上下にあわせて顔(頭部を含む)の頭
部を上、顎部を下、画像に向かって向かって顔の右又は
左というものとする。従って、本明細書において顔の左
又は右というのは、被写体の人物本人にとっての左右で
はない。
In the present specification, with respect to an image of a human face, the head of the face (including the head) is placed on the upper side, the jaw is placed on the lower side of the human body, and the right side of the face is directed toward the image. Or left. Therefore, in this specification, the left or right of the face does not mean the left or right of the person who is the subject.

【0027】図1は、本発明に係わる写真処理装置の構
成を概略的に示すブロック説明図である。本発明に係わ
る写真処理装置は、以下に詳細に説明する画像処理部5
0を具備する他は、従来から知られている写真処理装置
と同様に、現像、定着、水洗及び乾燥等の種々の化学的
処理又は物理的処理を一連の工程で自動的に行う処理装
置61や、カラー画像の各画素を近似的に青、緑、及び
赤の3原色に分解測光するという色分解を行い、各画素
ごとに青、緑、及び赤の各光強度を色信号として色ごと
に順番に読み出すためのカラースキャナ装置62等から
なる写真処理部60や、制御部70を具備している。
FIG. 1 is a block diagram schematically showing the construction of a photographic processing apparatus according to the present invention. The photographic processing apparatus according to the present invention includes an image processing unit 5 described in detail below.
The processing device 61 automatically performs various chemical treatments such as development, fixing, washing with water, and drying in a series of steps as in the case of a conventionally known photographic processing device except that 0 is provided. Alternatively, color separation is performed by separating and metering each pixel of a color image into three primary colors of blue, green, and red, and for each pixel, the light intensity of blue, green, and red is used as a color signal for each color. A photo processing unit 60 including a color scanner device 62 and the like for sequentially reading and a control unit 70 are provided.

【0028】そして、各色信号をディジタル信号に変換
したのち、後述するように画像処理を行ったうえで、画
像処理された画像データに基づいて写真感光材料に走査
露光し、通常の写真処理を行ってカラープリント等を得
る。前記処理装置61及びカラースキャナ装置62等に
ついては、その説明を省略し、以下、本発明に係わる画
像処理部50について説明する。
Then, after converting each color signal into a digital signal, image processing is performed as described later, and then the photographic light-sensitive material is scanned and exposed based on the image data subjected to the image processing, and ordinary photographic processing is performed. Get color prints. The description of the processing device 61, the color scanner device 62 and the like is omitted, and the image processing unit 50 according to the present invention will be described below.

【0029】当該画像処理部50は、画像表示部51
と、ポインティング装置52と、演算処理部53と、記
憶部54とによって構成され、写真処理装置1全体とし
て操作は制御部70によって制御される。
The image processing section 50 includes an image display section 51.
The pointing device 52, the arithmetic processing unit 53, and the storage unit 54 control the operation of the photo processing apparatus 1 as a whole.

【0030】まず、画像表示部51は、フィルム等の写
真感光材料等に記録された画像情報をカラースキャナ装
置62等によって画像情報として読取り、ディジタルデ
ータとして読み取った画像データを表示装置(図にハッ
チングで示した)に画像表示するものであり、CRT又
は液晶表示装置等によって構成される。そして、画像表
示部51に付随して、対象とする画像に関する統計的デ
ータや、後述する演算処理や画像処理に関する追加的の
指示や情報の入出力が可能なインターフェイス(図示せ
ず)を設けてもよい。
First, the image display section 51 reads image information recorded on a photographic light-sensitive material such as a film as image information by a color scanner device 62 or the like, and the image data read as digital data is displayed on a display device (hatched in the figure). The image is displayed on the display) and is composed of a CRT, a liquid crystal display device, or the like. An interface (not shown) that allows input / output of statistical data regarding a target image, and additional instructions and information regarding arithmetic processing and image processing described later is provided in association with the image display unit 51. Good.

【0031】また、ポインティング装置52は、画像表
示部51上の任意の点を指定する機能、及び、後述する
ように2点を指定したときに2点に基づいて演算処理部
によって算出された矩形領域と、パターンマッチングを
行うための処理領域標準パターンとを発生させるように
演算処理部及び画像表示部に作用する機能を有するもの
であり、いわゆるマウス又はトラックボール等によって
構成される。
Further, the pointing device 52 has a function of designating an arbitrary point on the image display unit 51, and a rectangle calculated by the arithmetic processing unit based on the two points when two points are designated as described later. It has a function of acting on the arithmetic processing unit and the image display unit so as to generate an area and a processing area standard pattern for performing pattern matching, and is configured by a so-called mouse or trackball.

【0032】また、演算処理部53は、前記画像データ
に対して本実施の形態に係わる画像処理を行う領域を特
定する処理(以下、「画像処理領域特定処理」という)
を行うため及び前記矩形領域及び処理領域標準パターン
を算定するため行う演算処理の他、色補正や濃度補正、
後述する写真画像特有の処理のための画像処理や、一般
的に画像に対して行う拡大縮小や回転、反転、投影、陰
影付与、合成、分割等種々の画像処理を行うための演算
処理を行うものであり、種々の論理回路や演算回路、レ
ジスタ等によって構成される。
Further, the arithmetic processing unit 53 is a process for specifying a region for performing image processing according to the present embodiment on the image data (hereinafter referred to as "image processing region specifying process").
And calculation processing for calculating the rectangular area and the processing area standard pattern, color correction and density correction,
Performs image processing for processing unique to photographic images, which will be described later, and arithmetic processing for performing various image processing such as enlargement / reduction, rotation, inversion, projection, shading, composition, and division that are generally performed on images. And is composed of various logic circuits, arithmetic circuits, registers, and the like.

【0033】また、記憶部54は、本実施の形態に係わ
る対象画像に関する所定のデータやや統計的データに基
づく基本的数値等の他、前記画像データ、前記基本的数
値を加工したデータ等の演算処理途中のデータ等を記憶
するものであり、RAM及びROM等によって構成され
る。このように、記憶部54に、対象画像に関する所定
のデータや統計的データに基づく基本的数値を記憶する
ので、特段の複雑な演算等を要することがなく当該所定
のデータや統計的データに基づいて処理領域の位置を推
定できる。そして、記憶部54に特段の装置や処理を要
しないので、記憶部を低コストで実現できる。
Further, the storage section 54 calculates not only basic data based on predetermined data or statistical data relating to the target image according to the present embodiment but also the image data, data obtained by processing the basic data, and the like. It stores data in the process of processing and is configured by a RAM, a ROM, and the like. As described above, since the storage unit 54 stores the basic data based on the predetermined data and the statistical data related to the target image, it does not require a particularly complicated calculation or the like and is based on the predetermined data and the statistical data. Therefore, the position of the processing area can be estimated. Since the storage unit 54 does not require any special device or processing, the storage unit can be realized at low cost.

【0034】次に、本実施の形態に係わる画像処理部5
0によって行う画像処理領域特定処理の基本的概念につ
いて説明する。本実施の形態においては、被写体を人物
の画像とし、画像処理の対象としてその画像のうち、瞳
又は虹彩の画像を画像処理する。そのため、まず眼の領
域を「対象領域」として特定し、眼の画像を拡大して表
示し、次に画像処理する領域である瞳又は虹彩を「処理
領域」として各白眼領域に1点ずつ指定点を指定して矩
形領域を表示し、瞳又は虹彩を特定する。そして、特定
した瞳領域又は虹彩領域内の少なくとも一部分に対して
画像処理を行う。以下、詳細に説明する。尚、以下の説
明において、「瞳又は虹彩」のようにいずれかに言及す
る記載は、両方でもよいものとする。
Next, the image processing unit 5 according to the present embodiment.
The basic concept of the image processing area specifying process performed by 0 will be described. In the present embodiment, a subject is an image of a person, and an image of a pupil or an iris among the images is subjected to image processing as an object of image processing. Therefore, first, the eye area is specified as the "target area", the eye image is enlarged and displayed, and then the pupil or iris, which is the area to be image-processed, is designated as the "processing area", one point for each white-eye area. A rectangular area is displayed by designating points and the pupil or iris is specified. Then, image processing is performed on at least a part of the identified pupil region or iris region. The details will be described below. In the following description, both references such as "pupil or iris" may be used.

【0035】まず、眼の領域を対象領域として指定する
手法を説明する。本実施の形態においては、画像処理領
域特定の前提となる対象領域を指定する。そのための2
点を指定し、該2点によって定まる線分と、該線分と所
定の位置関係にある領域を推定して前記対象領域を特定
する。或いは、顔の画像の面積的広がりを利用できる場
合、即ち、頭頂や顎部にも指定点を指定できるときに
は、後述するように4点を指定して4点によって定まる
線分と所定の位置関係にある領域を推定してその領域に
対応したアイコンを表示して前記対象領域を特定する。
First, a method of designating an eye region as a target region will be described. In the present embodiment, a target area which is a premise for specifying the image processing area is designated. 2 for that
A point is designated, a line segment defined by the two points and a region having a predetermined positional relationship with the line segment are estimated to specify the target region. Alternatively, when the area spread of the face image can be used, that is, when the designated points can be designated also on the crown and the chin, as will be described later, four points are designated and a line segment determined by the four points and a predetermined positional relationship. Area is estimated, an icon corresponding to the area is displayed, and the target area is specified.

【0036】以下、4点を指定する場合について説明す
るが、2点を指定する場合にはアイコン等は用いず、後
述する統計的位置関係だけから眼の領域を特定する点が
4点を指定する場合と異なり、その他は同じである。本
実施の形態においては、画像処理領域特定の前提となる
対象領域を指定するための4点を指定し、統計的データ
に基づく顔の各部分の位置関係を利用して、4点によっ
て定まる線分を基準にして眼の領域が統計的に推定され
る位置に眼の形状に対応した円や、眼鏡形状のアイコン
やマスク形状のアイコン等のツールを表示して眼の領域
を特定する。以下、まず、当該統計的データについて説
明する。
The case of designating four points will be described below. When designating two points, no icon or the like is used, and four points are designated to specify the eye region only from the statistical positional relationship described later. Other than that, the others are the same. In the present embodiment, four points for designating a target area on which image processing area is specified are designated, and a line determined by the four points is utilized by using the positional relationship of each part of the face based on statistical data. A circle corresponding to the eye shape, a tool such as a spectacle-shaped icon, a mask-shaped icon, or the like is displayed at a position where the eye area is statistically estimated based on the minutes, and the eye area is specified. Hereinafter, the statistical data will be described first.

【0037】図2は、人間の顔のうち、眼10や鼻3
1、口32等がどの位置に存在するかという相互の位置
関係を統計的に調査した結果を概略的に示した平面説明
図である。一般に、人間の顔のうち、左右の眼10が顔
のどこの位置に存在するかという存在領域の位置関係
は、統計的にみてほぼ一定であることが知られている。
FIG. 2 shows an eye 10 and a nose 3 of a human face.
It is a plane explanatory view which showed roughly the result of having investigated statistically the mutual positional relationship which 1, the mouth 32 grade | etc., Exist in. In general, it is known that the positional relationship of the existence regions, where the left and right eyes 10 are present in the human face, is statistically substantially constant.

【0038】即ち、図示したように、線分CDを、左眼
の下端及び右眼の下端を通る線分上に位置するように設
定するとき、右眼の両端(目頭、目尻)の位置及び左眼
の両端の位置は線分CDを5等分する4点P1、P2、P
3、P4の位置にほぼ相当する。即ち、 h1≒h2≒h3≒h4≒h5 (1) である。また、線分ACは、線分BDによってほぼ2等
分される。従って、 AF≒DF≒FB≒FC≒v1≒v2≒0.5V (2) である。そして、a、b、c及びdを、同様に、統計的
に得られる定数(設定値は変更できる)として、線分B
D方向(顔の縦方向)における眼自体の大きさLは、 L≒h1≒aH(a≒0.2) (3) であり、眼は、点Fからみてbh1(b≒0.5)の点
からch1(c≒0.5)の点までの領域に位置すると
いう位置関係(位置関係1)が得られる。
That is, as shown in the figure, when the line segment CD is set so as to be located on the line segment passing through the lower end of the left eye and the lower end of the right eye, the positions of both ends of the right eye (the inner and outer corners of the eye) and The positions of both ends of the left eye are four points P 1 , P 2 , P that divide the line segment CD into five equal parts.
It is almost equivalent to the positions of 3 and P 4 . That is, h 1 ≈h 2 ≈h 3 ≈h 4 ≈h 5 (1). The line segment AC is divided into two approximately equal parts by the line segment BD. Therefore, it is AF ≒ DF ≒ FB ≒ FC ≒ v 1 ≒ v 2 ≒ 0.5V (2). Then, similarly, a, b, c, and d are line segments B similarly as statistically obtained constants (setting values can be changed).
The size L of the eye itself in the D direction (longitudinal direction of the face) is L≈h 1 ≈aH (a≈0.2) (3), and the eye sees the point F from bh 1 (b≈0. A positional relationship (positional relationship 1) of being located in the area from the point 5) to the point ch 1 (c≈0.5) is obtained.

【0039】そして、線分AC方向(顔の横方向)にお
ける眼自体の大きさWは、眉毛の下端P5と、鼻の下端
6と顎Cとに関して、 y1≒y2≒0.5Y (4) であることから、 W≒dy1(d≒0.3) (5) であり、眼は、線分BDからみて線分に接する位置から
からみてdy1までの領域に位置するという位置関係が
得られる(位置関係2)。
Then, the size W of the eye itself in the direction of the line segment AC (the lateral direction of the face) is y 1 ≈y 2 ≈0 for the lower end P 5 of the eyebrows, the lower end P 6 of the nose and the chin C. 5Y Since (4), W ≈ dy 1 (d ≈ 0.3) (5), and the eye is said to be located in the region from the position touching the line segment BD to the line segment to dy 1 A positional relationship is obtained (positional relationship 2).

【0040】そこで、線分ACの長さ及び線分BDの長
さを、それぞれ、表示された画像上で求めて、その長さ
データに基づいてさらに、統計的に得られた前述の式
(1)〜(5)及び位置関係1〜2に従って、眼の存在
が推定される領域を演算処理して算出し、画像表示する
ことができる。
Therefore, the length of the line segment AC and the length of the line segment BD are respectively obtained on the displayed image, and based on the length data, the above-mentioned formula ( According to 1) to (5) and the positional relationships 1 to 2, it is possible to calculate and calculate an area where the presence of the eye is estimated, and display the image.

【0041】以上説明した顔の各部分の位置関係に関す
る統計的データを利用して、以下のように4点を指定
し、4点によって規定される線分を定める。
Using the statistical data on the positional relationship of each part of the face described above, the following four points are designated and the line segment defined by the four points is determined.

【0042】即ち、まず、顔のほぼ中央を上下に通る直
線の直線上で、頭頂部の一点A、顎の一点B、両眼の下
端部を結び顔を左右に通る直線の直線上で、顔の右方の
端部の一点C、及び、顔の左方の端部の一点Dを指定す
る。そして、点Cは右眼と、顔の端縁との間に位置し、
点Dは左眼と、顔の端縁との間に位置するものとする。
以上の4点を指定すると、A点とB点とを結ぶ線分A
B、C点とD点とを結ぶ線分CDが定まり、さらに、線
分ABと、線分CDとの交点Fが定まる。このとき、4
点は、4辺形形状を指定し得る位置であって、且つ対角
線が互いにほぼ直交する位置関係となるように設定す
る。このような位置に4点を指定するので、指定操作
は、熟練を要することがなく簡単である。
That is, first, on a straight line passing vertically through substantially the center of the face, a point A on the top of the head, a point B on the chin, and a straight line connecting the lower ends of both eyes and passing the face left and right, A point C on the right end of the face and a point D on the left end of the face are designated. The point C is located between the right eye and the edge of the face,
It is assumed that the point D is located between the left eye and the edge of the face.
If the above four points are specified, the line segment A connecting the points A and B
A line segment CD connecting the points B, C and D is determined, and further, an intersection point F between the line segment AB and the line segment CD is determined. At this time, 4
The points are set so that the quadrilateral shape can be designated, and the diagonal lines are in a positional relationship in which they are substantially orthogonal to each other. Since four points are designated at such positions, the designation operation is easy without requiring any skill.

【0043】次に、前記線分を利用し、前記統計的デー
タによる顔の各部分の位置関係に基づいて、前記4点に
よって定まる線分を基準にして眼の領域が推定される領
域(以下、「推定領域」という)を表示して前記対象領
域を特定する。
Next, using the line segments, the eye region is estimated based on the positional relationship of each part of the face based on the statistical data with reference to the line segments defined by the four points (hereinafter referred to as the eye region). , "Estimated region") is displayed to identify the target region.

【0044】即ち、線分DFに接して上方に左眼が、線
分CFに接して上方に右眼が存在するものと推定され、
その位置は、図2に示した各部分の位置関係により、線
分DF及びCFに付随して定まる。この各部分の位置関
係に基づき、4点の位置及び式(1)〜式(5)等に従
って眼の推定領域が演算処理されて算出される。このと
き、推定領域の大きさは、前記4点を指定する際の指定
位置のバラツキを含めて尚且つ推定領域が真の領域を含
み得る大きさとなるように設定される。以上のようにし
て眼の領域を特定したのち、次に、眼の領域のなかから
瞳の領域又は虹彩の領域を特定する。図3は、瞳又は虹
彩を特定する手法を概略的に示す説明図である
That is, it is estimated that the left eye is above the line segment DF and the right eye is above the line segment CF.
The position is determined in association with the line segments DF and CF according to the positional relationship of each part shown in FIG. Based on the positional relationship of each portion, the estimated region of the eye is calculated and calculated according to the positions of the four points and the formulas (1) to (5). At this time, the size of the estimated region is set so as to include the variation in the designated positions when the four points are designated and the estimated region may include the true region. After the eye area is specified as described above, the pupil area or the iris area is specified from the eye areas. FIG. 3 is an explanatory diagram schematically showing a method of identifying a pupil or an iris.

【0045】即ち、睫毛14を含めた眼10の領域のう
ち、白眼領域11の双方の領域中にそれぞれ1点A及び
Bを指定する。この2点A及びBを含む矩形領域16
と、該矩形領域16の中央に、後述する標準パターンと
を設定し、該標準パターンと、表示された画像とのパタ
ーンマッチングを行って前記処理領域を特定して画像処
理を表示する。
That is, of the areas of the eye 10 including the eyelashes 14, one point A and B are designated in both areas of the white eye area 11. A rectangular area 16 including these two points A and B
Then, a standard pattern described later is set in the center of the rectangular area 16, and the standard pattern and the displayed image are subjected to pattern matching to specify the processing area and display the image processing.

【0046】このとき矩形領域16の長辺が眼の水平方
向に平行であるように、且つ、前記2点がそれぞれ短辺
上に位置するように矩形領域16を設定する。そして、
前記2点によって定まる線分の中央部に虹彩及び瞳が同
心円状に位置して、前記短辺の長さに対応した円弧が得
られるものとして、虹彩12領域又は瞳13領域の各画
素について記憶部54に記憶された虹彩12及び瞳13
に関する所定のデータに基づいて色情報等を設定した処
理領域標準パターン17(以下、単に「標準パターン」
という)を前記矩形領域16の中央部に位置するように
推定して予め設定しておき、表示された画像との間でパ
ターンマッチングを行い、処理領域を特定する。
At this time, the rectangular area 16 is set so that the long side of the rectangular area 16 is parallel to the horizontal direction of the eye and the two points are located on the short sides. And
The iris and the pupil are concentrically located in the center of the line segment defined by the two points, and an arc corresponding to the length of the short side is obtained, and is stored for each pixel in the iris 12 area or the pupil 13 area. Iris 12 and pupil 13 stored in section 54
Processing area standard pattern 17 (hereinafter simply referred to as “standard pattern”) in which color information and the like are set based on predetermined data regarding
Is preliminarily set so as to be located in the central portion of the rectangular area 16, and pattern matching is performed with the displayed image to specify the processing area.

【0047】このパターンマッチングの具体的な手法と
しては、例えば、前記標準パターン17をテンプレート
として形成しておき、表示した画像に対して、知られた
手法に従ってテンプレートマッチングを行って虹彩12
領域又は瞳13領域の特定を行う。パターンマッチング
の手法はテンプレートマッチングには限定されない。
As a concrete method of this pattern matching, for example, the standard pattern 17 is formed as a template, and the iris 12 is formed by performing template matching on the displayed image according to a known method.
The area or the pupil 13 area is specified. The pattern matching method is not limited to template matching.

【0048】いずれも、本実施の形態によれば、虹彩1
2領域及び瞳13領域をかなり絞り込んでいるので、保
有すべき標準パターン17の数が少なくてすみ、簡単な
演算処理で推定領域を処理領域として特定できる。
In either case, according to the present embodiment, the iris 1
Since the two areas and the pupil area 13 are narrowed down considerably, the number of standard patterns 17 to be held can be small, and the estimation area can be specified as a processing area by a simple calculation process.

【0049】以上のようにして虹彩12領域又は瞳13
領域を特定するので、よく知られた演算回路等を用いる
だけで演算処理して処理領域を推定して特定できる。従
って、演算処理部等が低コストで実現できる。しかも、
対象領域及び処理領域の推定位置を、線分を基準にして
演算処理して得るので簡単な演算処理で高速に処理領域
を推定でき、特段の複雑な装置を用いることなく短時間
で対象領域及び処理領域を特定できる。また、前記対象
領域を、前記統計的データに基づいて推定するので、統
計的確からしさを伴って正確に対象領域を推定できる。
さらに、パターンマッチングを行う際に処理領域がかな
り絞り込まれているので、パターンマッチングが短時間
且つ正確に行える。
As described above, the iris 12 region or the pupil 13
Since the area is specified, the processing area can be estimated and specified by performing the arithmetic processing only by using a well-known arithmetic circuit or the like. Therefore, the arithmetic processing unit and the like can be realized at low cost. Moreover,
Since the estimated positions of the target area and the processing area are obtained by performing arithmetic processing based on the line segment, the processing area can be estimated at high speed with simple arithmetic processing, and the target area and the processing area can be estimated in a short time without using a special complicated device. The processing area can be specified. Further, since the target area is estimated based on the statistical data, the target area can be accurately estimated with statistical certainty.
Furthermore, since the processing area is considerably narrowed down when performing pattern matching, pattern matching can be performed accurately in a short time.

【0050】図4は、以上に説明した画像処理領域特定
処理の基本的概念に従って画像処理を行う実際の手順を
工程順に示したフローチャートである。まず、フィルム
等の画像の記録手段から対象とする顔の画像をスキャナ
装置等によって画像データとして取り込み(工程3
2)、画像表示媒体である画像表示部51上に第1表示
工程として画像表示する(工程33)。対象とする画像
が眼であり、処理領域が瞳又は虹彩であり、処理領域を
挟む白眼領域が充分大きく表示でき、この白眼領域中
に、処理領域を挟む2点が充分容易に指定できるとき
は、後述する対象領域指定工程34及び第2表示工程3
5を省略し、白眼領域をそのまま処理領域として工程3
6を実行する。
FIG. 4 is a flow chart showing, in the order of steps, an actual procedure for performing image processing according to the basic concept of the image processing area specifying processing described above. First, a target face image is captured as image data by a scanner device or the like from an image recording unit such as a film (step 3
2), an image is displayed on the image display unit 51, which is an image display medium, as a first display step (step 33). If the target image is an eye, the processing area is a pupil or an iris, and the white-eye area that sandwiches the processing area can be displayed sufficiently large, and two points that sandwich the processing area can be easily specified in this white-eye area. , A target area designation step 34 and a second display step 3 which will be described later.
Step 5 is omitted, and the white-eye region is used as it is as the processing region.
6 is executed.

【0051】工程33において、顔が斜め方向を向いた
り、俯いたりしている場合は、画像表示上ほぼ正面を向
く位置まで回転させる等して対象領域を指定する前提と
なる2点の指定或いは4点の指定が容易になる向きに画
像を修正して画像表示部51に表示してもよい。
In step 33, if the face is facing diagonally or is lying down, the two points that are the preconditions for designating the target area by rotating the face to a position that is almost front in the image display, or The image may be corrected and displayed on the image display unit 51 in such a direction that it becomes easy to specify four points.

【0052】次に、眼の領域を特定するため、表示され
た顔の画像のうちから前述の2点或いは4点を、例えば
マウスのようなポインティング装置52によって指定す
る(工程34)。このとき、4点を指定する場合は、頭
頂から所定方向回りに順に4点を指定する。ただし、4
点の各々のいずれが頭頂や顎であるかが適宜に規定され
るのであれば、この順自体は限定されない。指定する位
置は、顔の領域の内部であることを要するが、内部であ
れば少々ずれた位置でもかまわない。例えば、頭頂の場
合は顔の輪郭線上の位置が好ましいが、少々ずれた位置
即ち毛髪部分でもかまわない。このようにして2点又は
4点を指定することにより前述のように、顔の各部分の
位置関係に基づく統計的データから得られる位置関係及
び線分が演算処理されて定まり、この線分を基準にして
眼の位置が統計的に推定されて推定領域として画像表示
される。
Next, in order to specify the eye region, the above-mentioned two points or four points are designated from the displayed face image by the pointing device 52 such as a mouse (step 34). At this time, when designating four points, the four points are designated in order around the predetermined direction from the crown. However, 4
The order itself is not limited as long as it is appropriately defined which of the points is the crown or the chin. The specified position needs to be inside the face region, but if it is inside, the position may be slightly deviated. For example, in the case of the crown, the position on the contour line of the face is preferable, but the position may be slightly deviated, that is, the hair portion may be used. By specifying 2 points or 4 points in this way, as described above, the positional relationship and the line segment obtained from the statistical data based on the positional relationship of each part of the face are calculated and determined, and this line segment is determined. The position of the eye is statistically estimated based on the reference and displayed as an estimated region in an image.

【0053】このとき、4点を指定した場合は、眼の推
定領域と顔の輪郭との関係を画像表示部上で見やすくす
るため、顔の画像を表示するのと同時に、推定領域を示
すアイコンを表示することができる。このアイコンは、
図5の(a)〜(c)に示すように、単純な円(図5の
(a))や、推定領域を眼鏡形状にしたアイコン(図5の
(b))、又は、推定領域が開口になっているマスク状に
したアイコン(図5の(c))等を設定することができ
る。そして、推定領域の形状は、円形でも長円でもよ
く、眼の形状に近似させ且つ眼の輪郭に近接した形状で
もよい。
At this time, when four points are designated, in order to make the relationship between the estimated region of the eye and the contour of the face easy to see on the image display unit, at the same time as displaying the face image, an icon indicating the estimated region is displayed. Can be displayed. This icon
As shown in (a) to (c) of FIG.
(a)) or an icon in which the estimated area is in the shape of glasses (see FIG. 5).
(b)), or a mask-shaped icon ((c) in FIG. 5) having an opening in the estimated region can be set. The shape of the estimated region may be a circle or an ellipse, or may be a shape that approximates the shape of the eye and is close to the contour of the eye.

【0054】そして、前記推定領域の形状が、円や長円
であれば容易にアイコンを設定でき記憶部の記憶容量を
圧迫することがない。また、前記推定領域の形状が、眼
鏡形状であれば、画像処理するとき眼の表情等が実感的
に想像できる。さらに、前記推定領域の形状が開口とし
たマスク状のアイコンであれば、肌色部分の影響を受け
ないので見やすい。
If the shape of the estimated area is a circle or an ellipse, the icon can be easily set and the storage capacity of the storage unit is not overwhelmed. Further, if the shape of the estimated region is a spectacle shape, the facial expression of the eyes can be visually imagined when performing image processing. Furthermore, if the estimated region is a mask-shaped icon having an opening, it is easy to see because it is not affected by the skin color part.

【0055】このとき、さらに、被写体人物の年齢や性
別等のバラツキにより眼の位置や大きさ、眼同士の位置
関係が推定領域とずれていることがあるので、ポインテ
ィング装置52等のよく知られた操作によって、前記眼
鏡の位置や、マスク状アイコンの開口の位置を変位さ
せ、又は、大きさを拡大縮小して表示画像の位置及び大
きさに近づけることができる。従って、表示画像に対し
て位置関係がわかりやすく推定領域を表示してその大き
さ及び位置を調節することができる。
At this time, the position and size of the eyes and the positional relationship between the eyes may be deviated from the estimated region due to variations in the age and sex of the person to be photographed, so that the pointing device 52 and the like are well known. By such an operation, the position of the eyeglasses or the position of the opening of the mask-like icon can be displaced, or the size can be enlarged or reduced to be closer to the position and size of the display image. Therefore, it is possible to adjust the size and position of the estimated region by displaying the estimated region so that the positional relationship is easy to understand with respect to the display image.

【0056】こののち、眼の部分を抽出して拡大して第
2表示として表示(工程35)し、次に、処理領域を挟
む2点として、2つの白眼部分のそれぞれに1点ずつ指
定点を指定(工程36a)し、この2点に基づいて前記
矩形領域16及び標準パターン17を表示する(工程3
6b)。前述したように、この矩形領域16の中央部に
は虹彩12又は瞳13に合わせて設定された標準パター
ン17としてテンプレートが予め形成されていて、矩形
領域16に合わせて表示できるので、表示された画像に
対して、標準パターン17と、矩形領域16の中央部の
画像とに対してテンプレートマッチングを行うことによ
ってパターンマッチングして(工程36c)虹彩12又
は瞳13を特定する(工程36d)。
After that, the eye portion is extracted and enlarged to be displayed as the second display (step 35). Next, as two points sandwiching the processing region, one point is designated for each of the two white eye portions. Is designated (step 36a), and the rectangular area 16 and the standard pattern 17 are displayed based on these two points (step 3).
6b). As described above, the template is previously formed as the standard pattern 17 set in accordance with the iris 12 or the pupil 13 in the central portion of the rectangular area 16, and the template can be displayed in accordance with the rectangular area 16. With respect to the image, template matching is performed on the standard pattern 17 and the image in the central portion of the rectangular area 16 to perform pattern matching (step 36c) to identify the iris 12 or the pupil 13 (step 36d).

【0057】以上のように処理領域を特定したのち、処
理領域のうち少なくともその一部分、例えば、瞳12又
は虹彩13を抽出してその一部分に対して、色を変更し
たり、当該一部分を拡大又は縮小したり、所望の部分画
像を追加したりして画像処理することができる(工程3
7)。
After the processing area is specified as described above, at least a part of the processing area, for example, the pupil 12 or the iris 13 is extracted and the color is changed, or the part is enlarged or enlarged. Image processing can be performed by reducing or adding a desired partial image (step 3).
7).

【0058】即ち、眼のうち、その内部の円形領域を瞳
であると判断して瞳の色を任意に変更して赤目を除去し
たり、カラーコンタクトを装着したようにしたりでき
る。また、瞳の領域とその隣接領域とを黒と白とでコン
トラストを強調することができる。さらに、瞳の中に白
い点を加えて、いわゆるキャッチライト効果を出したり
することができる。
That is, it is possible to judge that the circular area inside the eye is the pupil and arbitrarily change the color of the pupil to remove the red eye, or to wear a color contact. In addition, the contrast of the pupil region and its adjacent region can be enhanced by black and white. In addition, a white dot can be added to the pupil to create a so-called catch light effect.

【0059】以上説明したように、簡単なアルゴリズム
によって従来の手法の場合よりも少ない数の指定点を、
指定しやすい位置で指定することにより比較的短時間で
画像処理する領域を特定することが可能である。しか
も、処理領域を挟む2点の指定点の位置は、特に複雑な
位置ではないので、片目ずつ又は片目のみの場合であっ
ても、熟練を要することなく容易に画像処理する領域を
特定することができる。
As described above, a simple algorithm is used to specify a smaller number of designated points than in the conventional method.
It is possible to specify the area to be image-processed in a relatively short time by specifying it at a position that is easy to specify. Moreover, since the positions of the two designated points sandwiching the processing region are not particularly complicated positions, it is possible to easily specify the region to be image-processed without requiring skill even in the case of each eye or only one eye. You can

【0060】以上本実施の形態においては、処理領域が
被写体の人物の瞳又は虹彩である場合について説明した
が、本発明はこの構成に限定されるものではなく、或る
対象物の各部分の位置関係が定量的に得られて当該位置
関係によって各部分の領域が推定され、処理領域を2点
で挟むことができ得るのであれば、対象画像が人物だけ
でなく、動植物等生物のみならず建築物や物品等無生物
に対しても、当該領域を特定できる。
In the above, the case where the processing area is the pupil or iris of the person as the subject has been described in the present embodiment, but the present invention is not limited to this configuration, and each portion of a certain object is processed. If the positional relationship is quantitatively obtained and the area of each part is estimated by the positional relationship, and the processing area can be sandwiched by two points, the target image is not only a person, but also a living thing such as animals and plants. The area can be specified even for inanimate objects such as buildings and articles.

【0061】[0061]

【発明の効果】本発明に係わる写真処理方法によれば、
表示された画像のうち画像処理する処理領域を特定する
特定工程において、処理領域を挟む2点を指定し、該2
点に基づいて定められる矩形領域と該矩形領域の中央部
に位置させた処理領域標準パターンとを画像表示し、該
処理領域標準パターンと表示された画像とのパターンマ
ッチングを行って前記処理領域を特定するという構成に
より、処理領域を挟む2点を処理領域の近傍の指定しや
すい位置で指定するだけで、処理領域のパターンマッチ
ングを行うことができるので、熟練を要することなく指
定点を指定でき、短時間かつ精度よく画像処理して写真
処理できる。
According to the photographic processing method of the present invention,
In the specifying step of specifying the processing area to be image-processed in the displayed image, two points sandwiching the processing area are designated and
A rectangular area defined based on points and a processing area standard pattern located in the center of the rectangular area are displayed as an image, and the processing area standard pattern and the displayed image are subjected to pattern matching to define the processing area. With the configuration of specifying, it is possible to perform pattern matching of the processing area only by specifying two points sandwiching the processing area at positions that are easy to specify in the vicinity of the processing area. Therefore, the specified points can be specified without skill. It is possible to process images with high accuracy and in short time.

【0062】本発明に係わる写真処理方法によれば、前
記被写体を人物の眼とし、前記処理領を瞳領域及び虹彩
領域のうちの少なくとも1つとし、前記2点を白眼領域
に位置できるので、片目ずつの処理ができ、しかも処理
領域を挟む2点が指定しやすいので、熟練を要すること
なく指定点を指定できる。
According to the photographic processing method of the present invention, the subject is a human eye, the processing area is at least one of a pupil area and an iris area, and the two points can be located in the white eye area. Since it is possible to perform processing for each eye and it is easy to specify two points that sandwich the processing area, the specified points can be specified without requiring skill.

【0063】本発明に係わる写真処理方法によれば、前
記処理領域標準パターンをテンプレートととすることが
でき、テンプレートマッチングを行って前記処理領域を
特定できるので、少ない数のテンプレートを保持するだ
けで、短時間且つ精度よく瞳又は虹彩の領域を特定でき
るので、片目ずつ又は片目のみでも、熟練を要すること
なく瞳又は虹彩の画像処理ができる。
According to the photographic processing method of the present invention, the processing area standard pattern can be used as a template, and the processing area can be specified by performing template matching. Therefore, a small number of templates can be held. Since the pupil or iris region can be specified accurately in a short time, the image processing of the pupil or iris can be performed without requiring skill even with each eye or only with one eye.

【0064】本発明に係わる写真処理方法によれば、被
写体の画像を画像表示して対象領域を指定し、さらに前
記対象領域を抽出して拡大して画像表示して処理領域を
特定する際、前記処理領域を挟む2点を指定し、該2点
によって定まる矩形領域と該矩形領域の中央部に位置さ
せた処理領域標準パターンとを表示し、該処理領域標準
パターンと表示された画像とのパターンマッチングを行
って前記処理領域を特定するという構成により、処理領
域を挟む2点を処理領域の近傍の指定しやすい位置で指
定するだけで、処理領域のパターンマッチングを行うこ
とができるので、対象とする画像が小さい場合でも熟練
を要することなく指定点を指定でき、短時間かつ精度よ
く画像処理して写真処理できる。
According to the photographic processing method of the present invention, when an image of a subject is displayed as an image to specify a target area, and the target area is extracted and enlarged to display an image, the processing area is specified. Two points sandwiching the processing area are designated, a rectangular area defined by the two points and a processing area standard pattern positioned in the center of the rectangular area are displayed, and the processing area standard pattern and the displayed image are displayed. With the configuration in which the processing area is specified by performing the pattern matching, the pattern matching of the processing area can be performed only by specifying two points sandwiching the processing area at positions that are easy to specify in the vicinity of the processing area. Even if the image to be processed is small, a specified point can be specified without requiring skill, and image processing can be performed in a short time and with high accuracy, and photo processing can be performed.

【0065】本発明に係わる写真処理方法によれば、前
記被写体を人物の顔とし、前記対象領域を前記人物の眼
とし、前記処理領域を瞳領域及び虹彩領域のうちの少な
くとも1つとし、前記2点を白眼領域に位置させること
ができる、片目ずつの処理ができ、しかも前記処理領域
を挟む2点が指定しやすいので、熟練を要することなく
指定点を指定できる。
According to the photographic processing method of the present invention, the subject is a human face, the target area is the human eye, and the processing area is at least one of a pupil area and an iris area. Two points can be located in the white-eye area, processing can be performed for each eye, and since two points sandwiching the processing area can be easily specified, the specified points can be specified without requiring skill.

【0066】本発明に係わる写真処理方法によれば、前
記処理領域標準パターンをテンプレートととし、テンプ
レートマッチングを行って前記処理領域を特定できるの
で、少ない数のテンプレートを保持するだけで、短時間
且つ精度よく瞳又は虹彩の領域を特定でき、少ない数の
テンプレートを保持するだけで、短時間且つ精度よく瞳
又は虹彩の領域を特定できるので、片目ずつ又は片目の
みでも、熟練を要することなく瞳又は虹彩の画像処理が
できる。
According to the photographic processing method of the present invention, since the processing area standard pattern is used as a template and the processing area can be specified by performing template matching, a small number of templates can be held for a short time. The pupil or iris region can be accurately specified, and the pupil or iris region can be accurately specified in a short time by holding a small number of templates. Iris image processing is possible.

【0067】本発明に係わる写真処理方法によれば、前
記対象領域指定工程において、所定の2箇所の点を指定
して対象領域を指定するので、指定の容易な所定の2点
を指定するだけで対象領域を簡単に特定でき、対象領域
の近傍の複数の点を指定する必要がない。従って、熟練
を要することなく瞳又は虹彩の画像処理ができる。
According to the photographic processing method of the present invention, in the target area designating step, the target area is designated by designating two predetermined points, so it is only necessary to designate two predetermined easy-to-designate points. The target area can be specified easily with and there is no need to specify multiple points in the vicinity of the target area. Therefore, image processing of the pupil or iris can be performed without requiring skill.

【0068】本発明に係わる写真処理方法によれば、前
記対象領域指定工程において、所定の4箇所の点を指定
して対象領域を指定するので、指定の容易な所定の4点
を指定するだけで対象領域を簡単に特定でき、対象領域
の近傍の複数の点を指定する必要がなく、しかも、対象
領域をわかりやすく表示するアイコンを表示できる。従
って、熟練を要することなく瞳又は虹彩の画像処理がで
きる。
According to the photographic processing method of the present invention, in the target area designating step, the target area is designated by designating the predetermined four points, so that only the predetermined four points which are easy to designate are designated. The target area can be easily specified with, there is no need to specify a plurality of points in the vicinity of the target area, and an icon for easily displaying the target area can be displayed. Therefore, image processing of the pupil or iris can be performed without requiring skill.

【0069】本発明に係わる写真処理装置は、画像表示
部と、ポインティング装置と、演算処理部と、記憶部5
4とからなる画像処理部を具備し、画像処理する処理領
域を表示し、且つ前記ポインティング装置によって前記
処理領域を挟む2点を指定したとき該2点によって定ま
る矩形領域及び処理領域標準パターンを表示し、パター
ンマッチングを行って前記処理領域を特定して画像処理
できる。従って、通常の画像処理手段によって処理領域
を挟む2点を指定するだけで短時間且つ精度よく処理領
域を特定できる写真処理装置を低コストにて実現する。
The photographic processing apparatus according to the present invention comprises an image display section, a pointing device, an arithmetic processing section, and a storage section 5.
And a processing area for image processing is displayed, and when two points sandwiching the processing area are designated by the pointing device, a rectangular area and a processing area standard pattern defined by the two points are displayed. Then, pattern matching is performed to specify the processing area and image processing can be performed. Therefore, it is possible to realize a photographic processing device which can accurately specify a processing area in a short time and at low cost only by designating two points sandwiching the processing area by a normal image processing means.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の一実施の形態に係わる写真処理装置の
構成を概略的に示すブロック図。
FIG. 1 is a block diagram schematically showing the configuration of a photographic processing apparatus according to an embodiment of the present invention.

【図2】本発明の一実施の形態に係わる画像処理領域特
定手法を概念的に示す説明図。
FIG. 2 is an explanatory view conceptually showing an image processing area specifying method according to an embodiment of the present invention.

【図3】本発明の一実施の形態に係わるテンプレートを
概念的に示す説明図。
FIG. 3 is an explanatory diagram conceptually showing a template according to an embodiment of the present invention.

【図4】本発明の一実施の形態に係わる画像処理領域特
定手法を工程順に示すフローチャート。
FIG. 4 is a flowchart showing an image processing area specifying method according to an embodiment of the present invention in process order.

【図5】本発明の一実施の形態に係わる画像処理領域特
定手法を概念的に示す説明図であり、(a)は円形のアイ
コン、(b)は眼鏡形状のアイコン、(c)は開口を有する
マスク状のアイコンを示す説明図。
5A and 5B are explanatory views conceptually showing an image processing area specifying method according to an embodiment of the present invention, in which FIG. 5A is a circular icon, FIG. 5B is a spectacle-shaped icon, and FIG. Explanatory drawing which shows the mask-shaped icon which has.

【図6】従来の眼の近傍を指定する手法を概念的に示し
た説明図。
FIG. 6 is an explanatory view conceptually showing a conventional method of designating the vicinity of an eye.

【符号の説明】[Explanation of symbols]

10…眼、16…矩形領域、17…テンプレート、50
…画像処理部
10 ... Eye, 16 ... Rectangular area, 17 ... Template, 50
… Image processing unit

フロントページの続き (56)参考文献 特開 平10−91761(JP,A) 特開 平9−261580(JP,A) 特開 平10−233929(JP,A) 特開 平9−81732(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 1/387 H04N 1/40 - 1/409 G06T 7/00 Continuation of the front page (56) Reference JP-A-10-91761 (JP, A) JP-A-9-261580 (JP, A) JP-A-10-233929 (JP, A) JP-A-9-81732 (JP , A) (58) Fields investigated (Int.Cl. 7 , DB name) H04N 1/387 H04N 1/40-1/409 G06T 7/00

Claims (9)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 被写体の画像を表示する表示工程(33)
と、表示された画像のうち画像処理する処理領域を特定
する特定工程(36)と、前記処理領域を画像処理して写
真を形成するための画像データを形成する画像処理工程
(37)とを含む写真処理方法において、前記特定工程
(36)において、前記処理領域を挟む2点を指定し、該
2点に基づいて定められる矩形領域と該矩形領域の中央
部に位置させた処理領域標準パターンとを画像表示し、
該処理領域標準パターンと表示された画像とのパターン
マッチングを行って前記処理領域を特定することを特徴
とする写真処理方法。
1. A display step (33) for displaying an image of a subject.
And a specifying step (36) of specifying a processing area to be image-processed in the displayed image, and an image processing step of image-processing the processing area to form image data for forming a photograph.
(37) In the photograph processing method including
In (36), two points sandwiching the processing area are designated, and a rectangular area determined based on the two points and a processing area standard pattern located in the central portion of the rectangular area are displayed as images.
A photographic processing method characterized in that the processing area is specified by performing pattern matching between the processing area standard pattern and a displayed image.
【請求項2】 前記被写体が人物の眼(10)であり、前
記処理領域が瞳領域(13)及び虹彩領域(12)のうちの
少なくとも1つであり、前記2点が白眼領域(11)に位
置する請求項1記載の写真処理方法。
2. The subject is a human eye (10), the processing region is at least one of a pupil region (13) and an iris region (12), and the two points are white eye regions (11). The photographic processing method according to claim 1, which is located at.
【請求項3】 前記処理領域標準パターンをテンプレー
ト(17)ととし、テンプレートマッチングを行って前記
処理領域を特定する請求項1記載の写真処理方法。
3. The photograph processing method according to claim 1, wherein the processing area standard pattern is used as a template (17), and template processing is performed to identify the processing area.
【請求項4】 被写体の画像を画像表示する第1表示工
程(33)と、表示された画像のうち画像処理する処理領
域を含む対象領域を指定する対象領域指定工程(34)
と、前記対象領域を抽出して拡大して画像表示する第2
表示工程(35)と、前記対象領域のうちから前記処理領
域を特定する特定工程(36)と、前記処理領域を画像処
理して写真を形成するための画像データを形成する画像
処理工程(37)とを含む写真処理方法において、前記特
定工程(36)において前記処理領域を挟む2点を指定
し、該2点に基づいて定められる矩形領域と該矩形領域
の中央部に位置させた処理領域標準パターンとを表示
し、該処理領域標準パターンと表示された画像とのパタ
ーンマッチングを行って前記処理領域を特定することを
特徴とする写真処理方法。
4. A first display step (33) for displaying an image of a subject, and a target area specifying step (34) for specifying a target area including a processing area for image processing in the displayed image.
And extracting the target area and enlarging and displaying the image.
A display step (35), an identification step (36) of identifying the processing area from the target area, and an image processing step (37) of image-processing the processing area to form image data for forming a photograph. ) And a processing area located at the center of the rectangular area defined by the two points that sandwich the processing area in the specifying step (36) A photographic processing method characterized by displaying a standard pattern and performing pattern matching between the standard pattern of the processing area and the displayed image to identify the processing area.
【請求項5】 前記被写体が人物の顔であり、前記対象
領域が前記人物の眼(10)であり、前記処理領域が瞳領
域(13)及び虹彩領域(12)のうちの少なくとも1つで
あり、前記2点が白眼領域(11)に位置する請求項4記
載の写真処理方法。
5. The subject is a human face, the target region is the human eye (10), and the processing region is at least one of a pupil region (13) and an iris region (12). The photographic processing method according to claim 4, wherein the two points are located in the white-eye area (11).
【請求項6】 前記処理領域標準パターンをテンプレー
ト(17)ととし、テンプレートマッチングを行って前記
処理領域を特定する請求項5記載の写真処理方法。
6. The photographic processing method according to claim 5, wherein the processing area standard pattern is a template (17), and the processing area is specified by performing template matching.
【請求項7】 前記対象領域指定工程(34)において、
所定の2箇所の点を指定し、該2箇所の点によって定ま
る線分と、対象領域との間の位置関係に基づいて対象領
域を指定する請求項4記載の写真処理方法。
7. In the target area specifying step (34),
5. The photographic processing method according to claim 4, wherein two predetermined points are designated, and the target area is designated based on a positional relationship between the line segment defined by the two points and the target area.
【請求項8】 前記対象領域指定工程(34)において、
所定の4箇所の点を指定し、4箇所の点によって定まる
線分と、対象領域との間の位置関係に基づいて対象領域
を指定する請求項4記載の写真処理方法。
8. In the target area specifying step (34),
The photographic processing method according to claim 4, wherein the predetermined four points are designated, and the target area is designated based on a positional relationship between the line segment defined by the four points and the target area.
【請求項9】 被写体の画像データに対して画像処理で
きる画像処理部(50)を設けた写真処理装置において、
前記画像処理部(50)が、前記被写体の画像を表示する
画像表示部(51)と、画像表示部上の任意の点及び領域
を指定可能であるポインティング装置(52)と、画像処
理のため画像データを演算処理する演算処理部(53)
と、前記画像に関する所定のデータを記憶する記憶部
(54)とを具備し、前記画像のうち画像処理する処理領
域を表示し、且つ前記ポインティング装置(52)によっ
て前記処理領域を挟む2点を指定したとき該2点によっ
て定まる矩形領域及び該矩形領域の中央部に位置させた
処理領域標準パターンを表示し、パターンマッチングを
行って前記処理領域を特定して画像処理できることを特
徴とする写真処理装置。
9. A photographic processing device provided with an image processing unit (50) capable of performing image processing on image data of a subject,
The image processing unit (50) displays an image of the subject, an image display unit (51), a pointing device (52) capable of designating an arbitrary point and area on the image display unit, and for image processing. Arithmetic processing unit (53) for arithmetically processing image data
And a storage unit that stores predetermined data regarding the image
(54) A rectangular area defined by the two points when a processing area for image processing of the image is displayed and two points sandwiching the processing area are designated by the pointing device (52) and the rectangular area A photographic processing apparatus capable of displaying a processing area standard pattern positioned at the center of the area, performing pattern matching to identify the processing area, and performing image processing.
JP04429599A 1999-02-23 1999-02-23 Photo processing method and photo processing device Expired - Fee Related JP3424913B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04429599A JP3424913B2 (en) 1999-02-23 1999-02-23 Photo processing method and photo processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04429599A JP3424913B2 (en) 1999-02-23 1999-02-23 Photo processing method and photo processing device

Publications (2)

Publication Number Publication Date
JP2000244727A JP2000244727A (en) 2000-09-08
JP3424913B2 true JP3424913B2 (en) 2003-07-07

Family

ID=12687530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04429599A Expired - Fee Related JP3424913B2 (en) 1999-02-23 1999-02-23 Photo processing method and photo processing device

Country Status (1)

Country Link
JP (1) JP3424913B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068948A (en) * 2010-09-24 2012-04-05 Renesas Electronics Corp Face attribute estimating apparatus and method therefor
CN111033562B (en) * 2017-08-30 2024-03-22 日本电气株式会社 Image processing system, image processing method, and storage medium

Also Published As

Publication number Publication date
JP2000244727A (en) 2000-09-08

Similar Documents

Publication Publication Date Title
US10304166B2 (en) Eye beautification under inaccurate localization
JP3557659B2 (en) Face extraction method
KR101446975B1 (en) Automatic face and skin beautification using face detection
JP4291963B2 (en) Image processing method
US8520089B2 (en) Eye beautification
CN107368806B (en) Image rectification method, image rectification device, computer-readable storage medium and computer equipment
CN108229278A (en) Face image processing process, device and electronic equipment
WO2004084142A1 (en) Image processing device
US20050041111A1 (en) Frame adjustment device and image-taking device and printing device
JP2007193824A (en) Image processing method
JP4219521B2 (en) Matching method and apparatus, and recording medium
US7212674B1 (en) Method, apparatus and recording medium for face extraction
JP4519681B2 (en) Method and apparatus for creating human lip area mask data
JP2006164133A (en) Image processing method and device, and program
JP3424913B2 (en) Photo processing method and photo processing device
CN110730303B (en) Image hair dyeing processing method, device, terminal and storage medium
JP2009251634A (en) Image processor, image processing method, and program
JP4795988B2 (en) Image processing method
JPH08106519A (en) Face direction determination device and image display device using the same
JP3590862B2 (en) Photo processing apparatus and photo processing method
KR20010102873A (en) Method and system for generating an avatar of real-picture using finite image templates
JP3578319B2 (en) Photo processing equipment
JP3800652B2 (en) Face image creation device, image generation device, and face image correction method
CN114565506B (en) Image color migration method, device, equipment and storage medium
JP2000278510A (en) Digital image automatic correction method and system

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030404

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100502

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100502

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130502

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees