JP4090926B2 - 画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラム - Google Patents
画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラム Download PDFInfo
- Publication number
- JP4090926B2 JP4090926B2 JP2003095004A JP2003095004A JP4090926B2 JP 4090926 B2 JP4090926 B2 JP 4090926B2 JP 2003095004 A JP2003095004 A JP 2003095004A JP 2003095004 A JP2003095004 A JP 2003095004A JP 4090926 B2 JP4090926 B2 JP 4090926B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- registered
- information
- subject
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラ等で撮影した撮影画像や反射原稿または透過原稿の読取画像やＣＧ（コンピュータグラフィック）等の生成画像を登録画像として保存する際の画像の保存方法、この保存方法で保存された登録画像の中から所望の画像を検索する登録画像の検索方法およびシステム、上記画像の保存方法によって保存された画像または上記登録画像の検索方法で検索された画像を取り出して画像処理を施す登録画像の画像処理方法、ならびに、画像の保存方法を実施するプログラム、登録画像の検索方法を実施するプログラムおよび登録画像の画像処理方法を実施するプログラムに関する。
【０００２】
【従来の技術】
今日、カメラを用いて撮影された撮影画像を大量に蓄積しつつ、蓄積された大量の画像の中から所望の画像を効率よく検索することが望まれており、種々の画像検索システムが提案されている。
一方、蓄積された画像から検索する者（操作者）が自分の感性表現に適した画像、例えば、「壮大な」、「すがすがしい」といった感性表現を入力することによって、この感性表現に適した画像を効率よく検索して出力することも望まれている。
【０００３】
例えば、特許文献１では、画像の検索を行う者が検査に際して負担をかけずに自らの感性に適した画像の検索を行うことのできる画像検索システムを提案している。
上記公報における画像検索システムは、キーワードを入力するキーワード入力手段と、画像を入力する画像入力手段と、登録画像とともに画像特徴量とキーワードを記憶する画像記憶手段と、前記キーワード入力手段から入力されたキーワードを組み合わせて画像を検出するキーワード検索手段と、登録画像からキーワードや特徴量を自動的に抽出する特徴量・キーワード抽出手段と、前記キーワード検索手段によって検索した結果に対し、キーワードを使わず絞り込む検索結果絞り込み手段とを備えることで、撮影画像の検索を行う者が検査に際して負担をかけずに自らの感性に適した画像の検索を行うことができるとされている。
【０００４】
また、特許文献２では、画像内に存在若しくはこの画像に付属し、またはこの画像内に存在すると同時にこの画像に付属する特定の情報を抽出または認識し、得られた特定の情報をそのまま、もしくは特定の情報の関連情報を、画像の画像データに付属させて付属情報としてデータベースに記憶し、この付属情報の少なくとも一部を検索条件として指定し、指定された検索条件でデータベースを検索し、選び出された記憶画像データに付属している付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出す検索方法を提案している。これにより、画像の効率の良い検索が実現できるとされている。
【０００５】
しかし、上記特許文献１の画像検索システムは、取得された画像毎に演算される画像特徴量、例えば画像データを用いたヒストグラムから得られる画像特徴量と、「鮮やか」、「壮大な」といった撮影画像内の被写体とを一意的に対応付けることは難しく、従って、入力した感性表現に適した画像を効率よく検索することは困難であるといった問題がある。
【０００６】
また、上記特許文献２の検索方法は、検索時にキーワードの代わりに音声情報やメッセージ情報等の特定の入力情報を使用し、この入力情報と一致するまたは近い付属情報を持つ画像を検索するが、このような付属情報を画像に付加する煩雑な操作を操作者が行わなければならないといった問題がある。しかも、この検索方法では、撮影画像中の被写体の領域を幾何学図形を用いて、例えば被写体が「山」であれば三角形の被写体の領域を持つ画像を検索するので、「壮大な」、「すがすがしい」といった操作者により入力された感性表現に適合した画像を検索するといったことはできない。
【０００７】
【特許文献１】
特開２０００−０４８０４１号公報
【特許文献２】
特開２００１−０８４２７４号公報
【０００８】
【発明が解決しようとする課題】
そこで、本発明は、上記従来技術の問題点を解消し、撮影被写体や画像の主題等の画像シーンの類型と対応付けられた感性表現キーワードに適した画像を効率よく検索することができるように、撮影画像や取得画像や生成画像等の画像をデータベースに登録画像として登録する画像の保存方法、この保存方法によって保存された登録画像の中から、操作者が感性表現キーワードを入力することによって、この感性表現キーワードに適した画像を効率よく検索することができる登録画像の検索方法およびシステム、この検索方法によって検索された登録画像について、入力された感性表現に合った画像処理を施す登録画像の画像処理方法、ならびに、画像の保存方法を実施するプログラム、登録画像の検索方法を実施するプログラムおよび登録画像の画像処理方法を実施するプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の態様は、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとが予め記録保存された（第１）データベースを用いて撮影画像の付属情報を求め、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに（第２データベースに）保存する画像の保存方法であって、前記撮影画像を保存する際、前記撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域またはこの領域で囲まれている領域を被写体領域として抽出して、少なくとも前記撮影画像の撮影位置、撮影方位、および撮影倍率の情報を含む撮影情報、ならびに地図データを用いて、前記被写体領域を同定することにより、前記被写体領域の前記画像シーンとしての類型を求め、この求められた前記類型を用いて前記（第１）データベースを参照して、前記類型に対応する前記感性表現キーワードを導出し、この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として（前記第２データベースに）保存することを特徴とする画像の保存方法を提供するものである。
【００１０】
ここで、前記画像は、撮影画像、取得画像または生成画像であり、前記画像シーンは、撮影被写体または画像の主題であり、前記シーンは、被写体または主題であるのが好ましい。
すなわち、本態様の一形態は、撮影被写体の類型と、この類型と対応関係を付けた感性表現キーワードとが予め記録保存された（第１）データベースを用いて撮影画像の付属情報を求め、前記撮影画像を登録画像として前記付属情報とともに（第２データベースに）保存する画像の保存方法であって、前記撮影画像を保存する際、前記撮影画像内の被写体を抽出して、前記撮影被写体としての類型を求め、この求められた前記類型を用いて前記（第１）データベースを参照して前記感性表現キーワードを導出し、この導出した感性表現キーワードを前記撮影画像の付属情報として対応付け、前記撮影画像を登録画像として（前記第２データベースに）保存することを特徴とする画像の保存方法を提供するものである。
【００１１】
ここで、前記登録画像には、前記撮影画像の保存の際に求められた前記被写体の前記撮影被写体としての類型も、前記撮影画像の付属情報として対応付けられているのが好ましい。
また、前記撮影画像内の被写体の抽出は、撮影シーンの奥行き情報を用いて行うのが好ましい。
また、前記撮影画像内の被写体の抽出を行った後、この被写体の同定を、前記撮影情報および地図情報に加えて、撮影の奥行き情報から、被写体領域以外の領域内の被写体の位置を算出し、これを用いて行うことにより、前記被写体の撮影被写体としての類型を求めるのも好ましい。
また、前記撮影画像内の被写体の抽出は、前記撮影画像内の被写体の領域を抽出することであるのが好ましい。
また、前記撮影情報は、前記撮影画像の撮影時の天気の情報を含むことが好ましい。
さらに、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとが予め記録保存されたデータベースを用いて撮影画像の付属情報を求め、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに保存する画像の保存方法であって、被写体を撮影する際、前記被写体に予め付与されているＩＣタグのタグ情報を同時に読み取り、前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出し、この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存することが好ましい。
また、前記撮影画像内に複数の被写体が存在する場合は、前記撮影画像内の、より中心に位置する被写体の点数が高くなるように点数化し、前記点数の最も高い被写体について、前記感性表現キーワードを導出することが好ましい。
【００１２】
また、上記目的を達成するために、本発明の第２の態様は、上記第１の態様の画像の保存方法によって（前記第２データベースに）保存された登録画像の中から所望の登録画像を検索する検索方法であって、入力された感性表現情報に一致する、または近似する感性表現キーワードを、登録画像の付属情報から見出し、この見出された感性表現キーワードを付属情報とする登録画像を（前記第２データベースから）取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
また、入力された感性表現情報に一致する、または近似する感性表現キーワードを、辞書を内蔵する辞書参照部を用いて導出し、前記感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を、登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
【００１３】
また、上記目的を達成するために、本発明の第２の態様は、上記第１の態様の画像の保存方法によって（前記第２データベースに）保存された登録画像の中から所望の登録画像を検索する検索方法であって、入力された感性表現情報に一致する、または近似する感性表現キーワードと対応関係にある撮影被写体の類型を（前記第１データベースから）取り出し、この取り出された撮影被写体の類型を付属情報として持つ登録画像を（前記第２データベースから）取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
【００１４】
また、上記目的を達成するために、本発明の第２の態様は、上記第１の態様の画像の保存方法によって（前記第２データベースに）保存された登録画像の中から所望の登録画像を検索する検索方法であって、前記登録画像の検索を行う際に入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、（前記第２）データベース内の登録画像を検索し、この感性表現キーワードを付属情報とする複数の登録画像を取り出して、画像表示デバイスに表示し、表示された複数の登録画像の中からユーザによって選択された１つの画像または前記画像の類型に対してポイントを加算することを、前記登録画像を検索する毎に行い、前記加算されたポイントを、前記画像毎または前記画像の類型毎、かつ、前記ユーザ毎に集計して、記憶しておき、次回からの検索時に、前記複数の登録画像の中から、入力された感性表現情報に一致、または近似する感性表現キーワードを付属情報とする画像であり、さらに、前記記憶されたポイントが所定の比率以上である画像、または前記記憶されたポイントが所定の比率以上である類型に当てはまる画像を、限定的に、あるいは、優先的に取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
【００１５】
また、上記目的を達成するために、本発明の第３の態様は、上記第２の態様の登録画像の検索方法によって（前記第２データベースから）検索された登録画像を呼び出して画像処理を施す登録画像の画像処理方法であって、登録画像に対応して前記感性表現キーワードが対応付けられて設定されており、さらに、前記感性表現キーワードに対応して画像処理条件が対応付けられて（前記第３データベースに）設定されており、登録画像に画像処理を施す際、前記感性表現情報に一致する、または近似する感性表現キーワードと対応付けられた画像処理条件を（前記第３データベースから）呼び出し、この画像処理条件に基づいて自動的に画像処理を施すことを特徴とする登録画像の画像処理方法を提供するものである。
【００１６】
また、上記目的を達成するために、本発明の第４の態様は、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第１データベースと、撮影画像を保存する際に、前記撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域またはこの領域で囲まれている領域を被写体領域として抽出して、少なくとも前記撮影画像の撮影位置、撮影方位、および撮影倍率の情報を含む撮影情報、ならびに地図データを用いて、前記被写体領域を同定することにより、前記被写体領域の前記画像シーンとしての類型を求める手段と、この求められた前記類型を用いて前記第１のデータベースを参照して、前記類型に対応する前記感性表現キーワードを導出する手段と、
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに保存する第２データベースとを有することを特徴とする画像の保存システムを提供するものである。
また、登録画像の中から所望の登録画像を検索する検索システムであって、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第１データベースと、被写体を撮影する際、前記被写体に予め付与されているＩＣタグのタグ情報を同時に読み取る手段と、前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出する手段と、この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存する第２データベースと、この第２データベースに記録保存された登録画像の中から、入力された感性表現情報に一致する、または近似する感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出す登録画像の検索手段とを有することを特徴とする登録画像の検索システムを提供する。
【００１７】
ここで、前記画像は、撮影画像、取得画像または生成画像であり、前記画像シーンは、撮影被写体または画像の主題であり、前記シーンは、被写体または主題であるのが好ましい。
また、前記登録画像には、前記撮影画像の保存の際に求められた前記被写体の前記撮影被写体としての類型も、前記撮影画像の付属情報として対応付けられているのが好ましい。
また、前記撮影画像内の被写体の抽出は、撮影シーンの奥行き情報を用いて行うのが好ましい。
また、前記撮影画像内の被写体の抽出を行った後、この被写体の同定を撮影の奥行き情報を用いて行うことにより、前記被写体の撮影被写体としての類型を求めるのも好ましい。
また、前記撮影画像内の被写体の抽出は、前記撮影画像内の被写体の領域を抽出することであるのが好ましい。
【００１８】
また、上記目的を達成するために、本発明の第５の態様は、登録画像の中から所望の登録画像を検索する検索システムであって、本発明の第４の態様の画像の保存システムと、この第２データベースに記録保存された登録画像の中から、入力された感性表現情報に一致する、または近似する感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出す登録画像の検索手段とを有することを特徴とする登録画像の検索システムを提供するものである。
【００１９】
また、上記目的を達成するために、本発明の第５の態様は、登録画像の中から所望の登録画像を検索する検索システムであって、本発明の第４の態様の画像の保存システムと、この第２データベースに記録保存された登録画像の中から登録画像の検索を行う際に、入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、第２データベース内の登録画像を検索する検索手段と、この感性表現キーワードを付属情報とする複数の登録画像を取り出して表示する画像表示デバイスと、表示された複数の登録画像の中からユーザによって１つの選択された画像またはその類型に対してポイントを加算することを、検索毎に所定期間繰り返し、前記所定期間経過後、同一の感性表現キーワードにおいて検索された画像または類型毎かつ前記ユーザ毎に、加算されたポイントを集計して、前記第２データベースに当該登録画像の前記付属情報として記憶させる評価手段と、前記検索手段は、次回からの検索時に、所定の比率以上のポイントを有する画像またはその類型に絞って、あるいは優先して、登録画像の検索を行うことを特徴とする登録画像の検索システムを提供するものである。
また、登録画像の中から所望の登録画像を検索する検索システムであって、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第１データベースと、被写体を撮影する際、前記被写体に予め付与されているＩＣタグのタグ情報を同時に読み取る手段と、前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出する手段と、この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存する第２データベースと、この第２データベースに記録保存された登録画像の中から登録画像の検索を行う際に、入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、第２データベース内の登録画像を検索する検索手段と、この感性表現キーワードを付属情報とする複数の登録画像を取り出して表示する画像表示デバイスと、表示された複数の登録画像の中からユーザによって１つの選択された画像またはその類型に対してポイントを加算することを、検索毎に所定期間繰り返し、前記所定期間経過後、同一の感性表現キーワードにおいて検索された画像または類型毎かつ前記ユーザ毎に、加算されたポイントを集計して、前記第２データベースに当該登録画像の前記付属情報として記憶させる評価手段と、前記検索手段は、次回からの検索時に、所定の比率以上のポイントを有する画像またはその類型に絞って、あるいは優先して、登録画像の検索を行うことを特徴とする登録画像の検索システムを提供する。
【００２０】
また、上記目的を達成するために、本発明の第６の態様は、登録画像に画像処理を施す登録画像の画像処理システムであって、上記第５の態様の登録画像の検索システムと、前記感性表現キーワードに対応して画像処理条件が対応付けられて設定されている第３データベースと、前記登録画像の検索システムによって前記第２データベースから検索された登録画像を呼び出し、呼び出された登録画像に画像処理を施す際、前記感性表現情報に一致する、または近似する感性表現キーワードと対応付けられた画像処理条件を前記第３データベースから呼び出し、この画像処理条件に基づいて画像処理を施す画像処理手段とを有することを特徴とする登録画像の画像処理システムを提供するものである。
【００２１】
また、上記目的を達成するために、本発明の第７の態様は、本発明の第１の態様の画像の保存方法を実施することを特徴とするプログラム、本発明の第２の態様の登録画像の検索方法を実施することを特徴とするプログラム、または本発明の第３の態様の登録画像の画像処理方法を実施することを特徴とするプログラムを提供するものである。
【００２２】
【発明の実施の形態】
本発明に係る画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラムを添付に図面に示す好適実施形態に基づいて以下詳細に説明する。
以下においては、本発明法（本発明の第１の態様の画像の保存方法、本発明の第２の態様の登録画像の検索方法および本発明の第３の態様の登録画像の画像処理方法）を実施する装置の一実施形態である図１に示す画像検索・画像処理装置１に基づいて説明するが、本発明は、これらに限定されるわけではない。
【００２３】
図１は、画像検索・画像処理装置１の概略の構成を機能的に示したブロック図である。
画像検索・画像処理装置１は、一部分がプログラムを実行することによって機能を発揮するコンピュータで構成されてもよいし、一部分が専用回路で構成されてもよいし、コンピュータと専用回路によって構成されてもよい。
画像検索・画像処理装置１は、「壮大な」、「鮮やかな」といった感性表現の情報（以降、感性表現情報という）を操作者が入力することによって画像を検索して、所望の画像を画像処理して写真プリントとして出力する装置である。
画像検索・処理装置１は、主に、画像蓄積装置２、画像検索装置３、画像出力装置４、通信制御装置５、ＣＰＵ６およびモニタ７を有する。
ＣＰＵ６は、画像蓄積装置２、画像検索装置３、画像出力装置４および通信制御装置５の各機能を制御する部位である。
ここで、画像検索・処理装置１は、本発明の第６の態様の登録画像の画像処理システムを、画像蓄積装置２は、本発明の第４の態様の画像の保存システムを、画像蓄積装置２および画像検索装置３は、本発明の第５の態様の登録画像の検索システムを構成する。
【００２４】
画像蓄積装置２は、デジタルスチルカメラ等の撮影画像を登録画像として保存する際、登録画像に適した感性表現キーワードを付属情報として対応付けて保存する装置である。
画像蓄積装置２は、画像取得部１０と、被写体抽出・同定部１２と、データベース部１４と、登録画像格納部１６とを有する。
【００２５】
画像取得部１０は、デジタルスチルカメラにより撮影された撮影画像を取得する部位である。あるいは、銀塩フィルムに撮影された画像を透過光を用いてＣＣＤ素子（Charged Coupled Device）等の受光面に結像させて画像を読み取るスキャナであってもよい。画像取得部１０は、さらに、撮影画像を取得する際に撮影時の撮影情報、例えば、撮影位置（緯度、経度）、撮影方位および撮影倍率の情報、さらには、撮影日時の情報や撮影時のカメラから被写体に至る測距情報を取得する。なお、撮影位置および撮影方位の情報は、ＧＰＳ（Global Positioning System ）機能を搭載し、かつ、ジャイロを利用した方位測定センサを備えたカメラによって撮影が行われる際に撮影位置および撮影方位の情報を同時に記録したものが取得される。測距情報は、赤外線等を用いてカメラから被写体に至る距離を測定する測定センサによって測定して記録したものが取得される。
【００２６】
撮影情報の取得の方法は、デジタルスチルカメラでは、画像データが画像取得部１０に読み込まれる際に撮影情報のデータが読み込まれる。ＡＰＳ（Advanced Photo Sysytem) 銀塩フィルムを用いたカメラでは、銀塩フィルムの各撮影コマの上下に設けられた磁気記録領域に書き込まれ、スキャナで撮影画像を読み取る際に磁気記録領域に書き込まれた磁気記録情報が、スキャナに設けられた磁気読取装置によって読み取られることによって撮影位置および撮影方位の情報を取得することができる。
画像取得部１０は、通信制御部５を介して接続されたインターネット等の通信ネットワーク８上のウェブサイト内の画像を取得するものであってもよい。
【００２７】
被写体抽出・同定部１２は、画像取得部１０で取得された画像から撮影情報を用いて画像内の被写体を抽出する、詳しくは、被写体の領域を抽出し、さらに、この抽出された領域の被写体を同定するとともに、抽出した被写体から、または抽出した領域から、あるいは同定した被写体から、例えば「人物」、「山」、「海」、「空」、「山林」、または「富士山」といったように撮影被写体としての類型を求める部位である。
【００２８】
被写体の領域の抽出については、例えば、取得した画像に対して微分処理を行うことにより、被写体としてのエッジ部分が鮮鋭化されている領域、またはこの領域で囲まれている領域を被写体の領域として抽出することができる。ピントの合った領域は、エッジ部分が鮮明であり、微分処理により値が大きくなるからである。
【００２９】
また、カメラを同一の位置から同一の方向に向けて被写体を撮影する際、被写体に対して多段階の結像距離（カメラの結像レンズの主点と結像面との距離）で複数の画像を撮影して多段焦点撮影画像（多段フォーカス撮影画像）を得、撮影の際に得られる測距情報を用いて、さらに、多段焦点撮影画像とともに取得される結像距離の情報を用いて、撮影シーンの被写体の領域を抽出することができる他、撮影シーンの奥行き情報を得ることができる。具体的には、測距情報は撮影したカメラと被写体との間の距離であるので、この距離の情報に対応する結像距離に一致するまたは最も近い結像距離で撮影された撮影画像内においてピントが合った領域を求め、この領域を被写体の領域として抽出することができる。従って、これ以外の結像距離で撮影された撮影画像のピントの合った領域は、奥行きの情報として取得することができる。なお、ピントの合った領域は、上述したように微分処理により求めることができる。
このような奥行き情報は後述するように被写体の同定に利用するとよい。
【００３０】
被写体の同定については、上述の撮影位置（緯度、経度）、撮影方位および撮影倍率の情報と、被写体抽出・同定部１２が自ら保有する地図データとを用いて被写体を同定する。例えば、撮影位置および撮影方位から地図データ上における被写体となる候補を取り出し、撮影画像内における被写体の位置と形状（被写体の領域の形状）と撮影倍率とを用いて、撮影画像内の被写体の形状や大きさと地図データにおける被写体の候補となる３次元情報との対応を行うことによって、被写体の同定を行う。この場合、上述の奥行き情報を用いることで同定の精度は向上する。
【００３１】
さらに、被写体抽出・同定部１２は、抽出された被写体の領域、あるいは同定された被写体に基づいて撮影被写体としての類型を求める。例えば、「山」、「川」、「海」といった普通名詞や、例えば「富士山」、「東京タワー」といった固有名詞を求める。
なお、被写体の同定を行うことなく、直接被写体を抽出することにより、あるいは、被写体の領域を抽出し、この領域の画像データを用いることにより、例えば青い「海」、白い「山」といった普通名詞の類型を求めてもよい。
被写体抽出・同定部１２は、さらに、データベース部１４内に保存されている撮影被写体の類型と感性表現キーワードとの対応関係を用いて、感性表現キーワードを導出する。
【００３２】
データベース部１４は、本発明の第１データベースに対応する部分であって、上述したような撮影被写体の類型と、この類型と対応関係を付けた感性表現キーワードとを記録保存する部位である。
例えば、「海」、「湖」、または「空」の類型には「あざやか」といった感性表現キーワードを、「山林」には「すがすがしい」といった感性表現キーワードを、また、固有名詞の「富士山」には「壮大」といった感性表現キーワードを対応させて関係付ける。このような対応関係は、１つの類型に対して複数の感性表現キーワードが対応づけられ、１つの感性表現キーワードに対して複数の類型が対応づけられてもよい。
【００３３】
データベース部１４において、撮影被写体の類型と感性表現キーワードとを関連付ける方法では、画像の被写体またはシーンの主題については、マニュアル設定および自動設定のいずれでも良いし、両者を併用しても良い。また、感性表現キーワードの関連付けは、被写体の類型導出とは別処理としても良い。
例えば、画像の主要テーマが判れば良いので、被写体の類型を導出するのは、撮影画像に限らず、コンピュータグラフィックス（ＣＧ）でも可能である。
なお、本発明において対象とする画像としては、撮影画像の他、反射原稿／透過原稿の読取（スキャン）画像またはＣＧ画像等の生成画像であっても良い。また、これらの撮影画像、読取画像、生成画像は、それぞれ放映画像などであっても良く、それぞれ動画／静止画を問わず、各種タイプの画像データを対象とすることができる。
また、画像シーンとしては、撮影被写体または画像の主題であり、シーン情報としては、撮影情報または主題情報であり、シーンとしては、被写体または主題であるのが好ましい。
【００３４】
また、映像コンテンツ、例えば、テレビ（ＴＶ）放送等のメタデータに被写体を示すデータがある場合に、別途、感性表現検索用のデータを業者レベルおよび／またはユーザレベルで作成することもできる。例えば、被写体人物が、テレビタレントや有名人である場合、その人物の最新のイメージ調査データにアクセスして、感性表現キーワードを付属および／または更新させることができる。この場合には、一般ユーザーが自分でできるように、パーソナルコンピュータ（ＰＣ）ソフトを専門業者が提供することが好ましい。
ここでは、画像を表示デバイスに表示させ、印象を示すキーワードを入力および／または選択すると、被写体類型と入力キーワードとが関連付けられてデータベース部１４に記憶される機能を持つのが好ましい。
【００３５】
被写体抽出・同定部１２において導出された感性表現キーワードは、撮影画像とともに、登録画像格納部１６に送られる。
登録画像格納部１６は、本発明の第２データベースに対応する部分であって、導出した感性表現キーワードを撮影画像の付属情報として対応付けて、撮影画像を登録画像として保存する。
【００３６】
一方、画像検索装置３は、画像表現情報入力部１８と、画像検索部２０と、辞書参照部２２とを有し、操作者が感性表現情報、例えば「すがすがしい」といった感性表現情報を入力することで、感性表現情報に適した登録画像を、登録画像格納部１６から検索する装置である。
画像表現情報入力部１８は、感性表現情報を入力するキーボードやマウス等の入力装置であり、感性表現情報は画像検索部２０に送る。
【００３７】
画像検索部２０は、送られてきた感性表現情報と、登録画像格納部１６に格納されている感性表現キーワードとを比較して、一致する感性表現キーワードがあるか否かを調べ、入力された感性表現情報と一致する感性表現キーワードが見つかると、この感性表現キーワードと対応付けられた登録画像を登録画像格納部１６から取り出し、一致した感性表現キーワードとともに、後述する画像処理部２４に送るように構成される。
【００３８】
なお、入力された感性表現情報と一致する感性表現キーワードが見つからない場合、辞書参照部２２に感性表現情報を送り、感性表現情報に近い近似表現を導出するように指示する。感性表現情報に近い近似表現が辞書参照部２２から送られると、この近似表現と一致する感性表現キーワードがあるか否かを調べる。例えば、感性表現情報が「さわやか」である場合の近似表現は「すがすがしい」等である。
近似表現と一致する感性表現キーワードが見つかると、画像検索部２０は、感性表現キーワードと対応付けられた登録画像を、登録画像格納部１６から取り出し、この一致した感性表現キーワードとともに画像処理部２４に送る。
なお、最終的に感性表現キーワードと一致する近似表現が見つからない場合、感性表現情報に適した登録画像を見い出すことができなかったものとして、画像出力装置４における処理は行われない。
【００３９】
辞書参照部２２は、画像検索部２０から送られてくる感性表現情報に近い近似表現を、内蔵する辞書を参照して導出する部位である。近似表現は、感性表現情報に近似度の高い順番に複数導出してもよいし、近似度の高い順番に１つずつ導出してもよい。
【００４０】
画像出力装置４は、画像処理部２４とプリンタ部２６とを有する。
画像処理部２４は、画像検索部２０から送られてきた登録画像に画像処理を施す部位である。なお、この画像処理の処理内容、すなわち、処理条件は、感性表現キーワードに対応して画像処理条件が設けられて、第３データベースにデータベース化されている。この第３データベースは、画像処理部２４内に設けられているものであるのが好ましいが、データベース部１４であっても良く、登録画像格納部１６であっても良いし、これらとは、全く別のデータベースやメモリ（データ記録部）であっても良い。この内、第３データベースがデータベース部１４である場合には、画像処理条件は、撮影被写体の類型とともに感性表現キーワードに対応付けられて格納されていても良いし、感性表現キーワードに対応付けられていれば、別々に格納されていても良い。
【００４１】
従って、登録画像に画像処理を施す際、画像検索部２０から送られてきた感性表現キーワードに基づいて第３データベースから画像処理条件を呼び出し、この画像処理条件に基づいて画像処理を施す。
すなわち、画像処理部２４は、登録画像をそのまま、すなわち撮影画像のまま出力するのではなく、検索時に感性表現情報に一致したあるいは近似した感性表現キーワードの表現に適する方向に画像処理を施す。
例えば、被写体について、幾何学的特徴（大きさ、形状）を意図的に拡大縮小したり、画像濃度または色味を加工したり、さらには、シャープネス強調またはぼかし等の加工処理を施す。さらに、この画像処理条件は、撮影被写体としての類型毎に画像処理条件を異ならせてもよい。
【００４２】
例えば、感性表現キーワードが「鮮やか」である場合、登録画像の所定の閾値以上の彩度を持つ登録画像内の領域に対して、さらに、彩度を上げる画像処理を施す。このような場合としては、登録画像の被写体の類型が「花」の場合が挙げられる。また、被写体の類型が「空」、「海」の場合、青色の彩度を上げる。
また、感性表現キーワードが「壮大な」または「雄大な」である場合、登録画像の被写体の類型が「山」の場合、被写体の大きさを大きくして、壮大さまたは雄大さを増すようにする。この場合、手前にいる人物の大きさを変えず、背景の山との隙間は補間処理によって行う。
また、登録画像内の「山」の領域のコントラストを上げたり、鮮鋭度を上げたり、雪山の場合、雪の白さを強調する色補正の画像処理を施す。また、「山」の領域以外の部分はぼかす。
【００４３】
さらに、感性表現キーワードが「しんみり」である場合、登録画像をセピア風に画像処理を施す。
また、感性表現キーワードが「美しい」であり、登録画像の被写体の類型が「女性」の場合、背景の領域の大きさを変えずに登録画像の「女性」の領域を拡大する処理を施す。また、背景の領域をぼかす画像処理を施す。
【００４４】
このように、操作者が感性表現情報入力部１８で入力した感性表現情報に一致または近似した感性表現キーワードに対応して、登録画像に施す画像処理条件が定まる。このため、同一の登録画像であっても、入力される感性表現情報によって、感性表現キーワードが異なるので、画像処理の内容が異なる。なお、画像処理部２４は、専用回路（ハードウェア）によって構成されたものであってもよいし、プログラム（ソフトウェア）の実行によって機能を発揮するものであってもよい。
【００４５】
プリンタ部２６は、画像処理部２４で画像処理された登録画像をプリント画像として提供するために、画像処理の施された登録画像を出力する画像出力装置であり、インクジェットプリンタや感光材料をレーザビームで焼付け露光するプリンタが用いられる。
プリンタ部２６は、画像処理の施された登録画像を出力する一形態であるが、画像処理部２４で処理された登録画像は、モニタ７に表示されたり、通信制御部５に送られ、インターネット等の通信ネットワーク８を介してユーザＰＣ（パーソナルコンピュータ）３０に送信されてもよい。さらに、処理済登録画像は、ＭＯ、ＣＤ−Ｒ、Ｚｉｐ（登録商標）やフレキシブルディスク等の記録媒体に記録保存されてもよい。
以上が画像検索・画像処理装置１の基本的な構成である。
【００４６】
このような画像検索・画像処理装置１において実施される本発明の画像の保存方法、登録画像の検索方法および登録画像の画像処理方法について説明する。
ここで、図２は、本発明の第１の態様の画像の保存方法の一例のフローチャートであり、図３は、本発明の第２の態様の登録画像の検索方法および本発明の第３の態様の登録画像の画像処理方法の一例のフローチャートである。図４は、本発明の第１の態様の画像の保存方法において、撮影画像と対応付けられる情報を表にして分かり易く説明した図である。
【００４７】
本発明の第１の態様の画像の保存方法においては、まず、図２に示すように、撮影画像が画像取得部１０において取得される（ステップ１００）。
撮影画像の取得は、デジタルスチルカメラから直接転送される形態や、デジタルスチルカメラで撮影された画像を記録媒体を経由して取得する形態や、通信制御部５を介してユーザＰＣ３０から転送される形態や、さらに、銀塩フィルムに記録された撮影画像をスキャナで光電的に読み取る形態が挙げられる。
その際、撮影画像の取得とともに、撮影位置（緯度、経度）、撮影方位および撮影倍率の情報、さらには、撮影日時の情報や撮影時のカメラから被写体に至る測距情報等の撮影情報を取得する。
【００４８】
次に、被写体抽出・同定部１２において、被写体自体または被写体の領域が抽出される（ステップ１０２）。
例えば、取得した撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域、またはこの領域で囲まれている領域を被写体の領域として抽出する。例えば、被写体を富士山とした撮影した場合、撮影された富士山のエッジ部分が領域として抽出される。このような被写体の領域の抽出は、複数の被写体の領域が見い出された場合、撮影画像内の、より真ん中に位置する領域あるいは大きな領域の点数が高くなるように点数化し、点数の最も高い領域を被写体の領域として抽出する。
【００４９】
次に、抽出された被写体または抽出された領域の被写体が何であるかが同定される（ステップ１０４）。例えば、撮影情報に、撮影位置（緯度、経度）、撮影方位および撮影倍率の情報が含まれる場合、撮影位置および撮影方位から地図データ上における被写体となる候補を取り出し、撮影画像内における被写体の位置と形状（被写体の領域の形状）と撮影倍率とを用いて、撮影画像内の被写体の形状や大きさや位置と地図データにおける被写体の候補となる３次元情報との対応を行うことによって、被写体の同定を行う。この場合、カメラを同一の位置から同一の方向に向けて、被写体に対して多段階の結像距離で複数の画像を撮影した多段焦点撮影画像（多段フォーカス撮影画像）を得た場合、撮影シーンの奥行き情報を得ることができるので、この撮影シーンの奥行き情報を用いて同定の精度を向上させることができる。
【００５０】
次に、被写体の類型化が行われる（ステップ１０６）。
例えば、抽出または同定された被写体が「富士山」であれば、「山」といった類型が求められる。
次に、この類型である「山」と対応関係が付けられた感性表現キーワードが、予め用意されているデータベース部１４から導出されて（ステップ１０８）、撮影画像と対応付けが行われる。
最後に、撮影画像は、取り出された感性表現キーワードと対応付けられて、登録画像として登録画像格納部１６に記録保存される（ステップ１１０）。
図４では、「富士山」の撮影画像に、「壮大な」、「どっしりした」、「真っ白な」といった感性表現キーワードが対応付けられている。
【００５１】
このような撮影画像の保存方法では、撮影情報に撮影日時が含まれる場合、撮影日時のイベント情報や天気の情報を割り出すことができるのでこの天気の情報を参照して、被写体の類型化の際に、類型化を天気の情報で限定したものを用いるものであってもよい。
例えば、「富士山」の撮影画像の場合、撮影時の天気の情報から判断して天気が晴れている場合「晴れた日の山」といった類型を定め、天気が雨の場合「雨の日の山」といった類型を定める。そして「晴れた日の山」に「さわやかな」といった感性表現キーワードを、「雨の日の山」に「じめじめした」といった感性表現キーワードの対応関係を持たせてデータベース部１４に予め用意しておく。また、撮影日時が秋であれば、紅葉した「秋の山林」に対して「鮮やかな」または「きれいな」といった感性表現キーワードの対応関係を持たせる。
【００５２】
さらに、撮影日時から撮影位置におけるイベント情報が割り出されるので、例えば、「祭り」といった類型に対して、「にぎやかな」、「楽しげな」といった感性表現キーワードの対応関係を持たせてもよい。また、「入学式」、「卒業式」、「成人式」といったイベントの類型に対して、それぞれ「晴れやかな」といった感性表現キーワードの対応関係を持たせてもよい。
このような類型と感性表現キーワードの対応関係は予めデータベース部１４に作成されて記録保存されている。
【００５３】
こうして登録画像格納部１６に記録保存された登録画像は、画像検索装置３からのアクセスを受け、登録画像の検索に供される。
まず、感性表現情報入力部１８から、操作者によって感性表現情報が入力される（ステップ１２０）。例えば、「雄大な」といった感性表現情報が入力されると、この感性表現情報は画像検索部２０に送られる。
【００５４】
画検索部２０では、送られてきた感性表現情報と感性表現キーワードとが比較され、感性表現情報と一致する感性表現キーワードが登録画像格納部１６に記録保存されているか否かが調べられる。例えば「雄大な」といった感性表現キーワードが記録保存されているか、調べられる。
一致する感性表現キーワードが見つからない場合、感性表現情報は辞書参照部２２に送られる。辞書参照部２２では、送られてきた感性表現情報に近似する近似表現が導出される。近似表現として、例えば、近似度の高い近似表現が導出され画像検索部２０に送られる。例えば、「雄大な」といった感性表現情報に対して「壮大な」といった近似表現が導出され、画像検索部２０に返送される。
【００５５】
画像検索部２０では、返送された近似表現を用いて登録画像格納部１６にアクセスし、近似表現と一致する感性表現キーワードが記録保存されているか、調べられる。
登録画像格納部１６には、図４に示すように、「富士山」の撮影画像が、この撮影画像の付属情報として「壮大な」、「どっしりした」、「真っ白な」といった感性表現キーワードと対応付けられているので、近似表現である「壮大な」と一致する感性表現キーワード「壮大な」が見いだされる。従って、この感性表現キーワードを付属情報として持つ「富士山」の登録画像が取り出される。このように登録画像が検索される（ステップ１２２）。
【００５６】
このように感性表現情報に一致する、または、近似する感性表現キーワードを付属情報として持つ登録画像が検索される。検索された結果、登録画像が複数検索された場合、検索画像がモニタ７に表示され、後述するような登録画像の出力が操作者の選択に委ねられる。こうして出力画像が設定される（ステップ１２４）。なお、以降では、プリント画像を出力する例を用いて説明するが、本発明はこれに限定されない。
こうして出力画像として設定された登録画像は、感性表現情報に一致する、または近似する上記感性表現キーワードとともに、画像処理部２４に送られる。
【００５７】
画像処理部２４では、画像検索部２０から送られてきた感性表現キーワードに応じて画像処理条件が定められ（ステップ１２６）、この画像処理条件に基づいて、画像処理が行われる（ステップ１２８）。
すなわち、画像処理部２４では、処理条件は、感性表現キーワードに対応して画像処理条件が一意的に対応付けられて、第３データベースにデータベース化されているので、感性表現キーワードに応じて、一意的に画像処理条件が定められる。この画像処理条件は、感性表現キーワードと対応づけられており、この感性表現キーワードは、操作者によって入力された感性表現情報によって変わるものであるため、同一の登録画像であっても、入力される感性表現情報によっては、画像処理条件が変わる。
【００５８】
例えば、「壮大な」といった感性表現キーワードに対して、被写体である山の領域を領域の中心を変えずに拡大する画像処理条件がデータベース化されている一方、「真っ白な」といった感性表現キーワードに対して、被写体である山のやや薄汚れた白い領域を雪と判断して明度の高い白色領域に変換する画像処理条件がデータベース化されている場合、感性表現情報として「雄大な」が入力された場合と、「真っ白な」が入力された場合とでは、同じ「富士山」の登録画像であっても、前者では「富士山」を大きく強調する画像処理が行われ、後者では「富士山」の雪の領域を真っ白に強調する画像処理が行われる。
【００５９】
このように画像処理が施された登録画像は、プリンタ部２６に適したデータに変換されて、プリンタ部２６でプリント画像としてプリント出力される（ステップ１３０）。
選択された出力の形態によっては、通信制御部５を介して画像処理の施された登録画像がユーザＰＣ３０に送信される。あるいは、図示されないドライブ装置を介してＭＯ、ＣＤ−Ｒ、Ｚｉｐ（登録商標）やフレキシブルディスク等の記録媒体に書き込まれる。
【００６０】
このように、本実施形態では、操作者の入力した感性表現情報に適した登録画像を検索し、しかも、感性表現情報に応じて登録画像も強調されて出力されることを特徴とする。
【００６１】
上記実施形態のデータベース部１４は、撮影被写体の類型と、この類型と対応関係を付けた感性表現キーワードと予め記録保存したものであったが、本発明においては、このデータベース部は、各個人毎に専用のデータベース部が構築されたものであってもよい。例えば、複数のサンプル画像と感性表現キーワード一覧表を予め用意しておき、各個人がサンプル画像毎に感性キーワード一覧表から感性表現キーワードを選択することで、サンプル画像の撮影被写体の類型と感性表現キーワードの対応関係を求めておき、これをデータベース部に記録保存するとよい。これにより個人用データベースをそれぞれ構築することができる。
【００６２】
また、上記実施形態では、撮影画像を登録画像として登録画像格納部１６に格納する際、登録画像に感性表現キーワードを付属情報として対応させて記録保存するが、さらに、撮影画像から被写体の領域を抽出して求めた被写体の類型を、登録画像の付属情報として対応させて登録画像格納部１６に記憶させてもよい。これにより、図３に示すステップ１２２における登録画像の検索において、以下の方法によって登録画像を検索することができる。
【００６３】
すなわち、画像検索においては、ステップ１２０で入力された感性表現情報に一致する、または、近似する感性表現キーワードをデータベース部１４にて調べる。感性表現情報に一致する、または近似する画像表現キーワードがない場合、画像検索部２０は、辞書参照部２２に近似表現の導出を指示し、この指示に応じて導出された近似表現を用いてデータベース部１４にて感性表現キーワードを調べる。こうして、感性表現情報に一致する、または近似する感性表現キーワードをデータベース部１４にて見出すと、これに対応した撮影被写体の類型を取り出す。この取り出された撮影被写体の類型と一致する付属情報としての類型を調べる。このようにして、上記撮影被写体の類型と一致する類型を付属情報として持つ登録画像を検索することができる。勿論、この時、登録画像が付属情報として持つ複数の感性表現キーワードの中に、感性表現情報に一致する、または近似する感性表現キーワードが含まれているのが好ましい。
【００６４】
さらに、登録画像格納部１６は、上述した登録画像の検索が行われた日時の履歴を登録画像に対応させて記録保存してもよい。例えば、後日、検索した日時の記憶を頼りに登録画像を検索することもできる。
さらに、モニタ７の近くに音声記録装置を設け、検索した登録画像がモニタ７に表示された際の登録画像鑑賞者の発言内容を録音し、この発言内容を音声情報として登録画像の付属情報として対応付けて記録保存してもよい。一方、感性表現情報入力部１８は、音声入力システムを備え、登録画像鑑賞者が、後日、上記発言内容の記憶を頼りに音声入力により感性表現情報を入力することで、上記発言内容を付属情報として持つ登録画像を検索することができる。
【００６５】
このような検索は、上記実施形態における検索方法と組み合わせることで、効率良く所望の登録画像を検索することができる。また、本発明に用いられる画像検索および画像処理装置により、例えば人が癒される画像を表示したり、すがすがしい気持ちになる画像を表示したりすることができる娯楽性をも提供することができる。
【００６６】
なお、上述した実施例においては、撮影画像の登録保存、登録画像の検索および画像処理の対象となる被写体またはシーンを風景としているが、本発明はこれに限定されない。
例えば、対象となる被写体またはシーンは、人物や人物の所有物、あるいは人物の近くにある物品であっても良い。
この時、撮影被写体の類型と感性表現キーワードとの対応付けは、以下のようにして行うことができる。
【００６７】
図５に示す実施例を用いて説明すると、タグセンサ付きデジタルカメラ４２でＩＣタグ４４ａ付き物品４４、例えばハンドバッグを持っている、または装飾品や衣服を身につけている人物４６を撮影すると、人物４６の撮影画像（画像データ）の他に、撮影被写体の類型となるハンドバッグ、装飾品や衣服等の物品４４の識別データ（物品ＩＤ）を入手することができる。
撮影後、カメラ４２がＰＣ（パソコン）４８に接続され、入手できた物品ＩＤが画像データとともにＰＣ４８に入力される。ＰＣ４８から物品ＩＤをキーとして、メーカ５０側に通信ネットワーク５２を介してアクセスし、メーカ５０側が用意している物品４４の物品情報や感性表現キーワードを取り込み、取り込まれた感性表現キーワードと物品４４（類型）との関連付けを行い、データベース（例えば、図１のデータベース部１４）に保存することができるし、人物や物品のの画像データを感性表現キーワードと関連付けて、好ましくはさらに、類型（物品データ）とも関連付けて、データベース（登録画像格納部１６）に保存することもできる。
【００６８】
ここで、人物の所有物や撮影時に当該人物の近傍にある物品４４としては、撮影被写体の類型となるもので、上述した装飾品類、衣服類、ハンドバッグ類、靴類、帽子類、その他置物類や、家具調度品などを挙げることができる。撮影被写体の類型としては、１つであっても、複数であっても良い。
また、メーカ５０側では、物品４４の物品ＩＤに対応付けて、物品情報および感性表現キーワードとなる感性表現データが用意されている。例えば、物品４４が着物である場合に、物品ＩＤが「ＸＸＸ１」である着物には「あでやか」なる感性表現データが用意され、物品ＩＤが「ＸＸＸ２」である着物には「しぶい」なる感性表現データが用意される。
【００６９】
すなわち、風景以外の被写体の場合の撮影被写体の類型と感性表現キーワードとの対応付けの第１ステップでは、画像データには、付属情報として被写体情報を含む。ここで、被写体情報としては、人物情報の他、その人物の所有物や近傍の載置物の各物品について、各物品に付けられているＩＣタグから読み取ることができる。
第２ステップでは、被写体に関連する感性表現をデータベースから読出し、画像データの付属情報に追加する。この時、１つの物品に優先順位付きで複数の感性表現があっても良い。
なお、本発明において対象とされる画像としては、静止画の他、動画であっても良い。
【００７０】
また、上述した実施例においては、撮影画像の画像データと感性表現キーワードとを関連付けてデータベース（登録画像格納部１６）に保存しているが、本発明はこれに限定さない。すなわち、本発明においては、画像データと感性表現キーワードとの関連がわかればよいので、この画像データに感性表現キーワードを付属させるという形態に限定されない。例えば、個々の感性表現キーワードに対し、画像データのＩＤ（ファイル名、アクセス先等）を付属させる形態のファイルを記録（但し、追加／更新／削除は自由）し、参照する方法でも良い。
【００７１】
また、感性表現情報と検索対象との対応付けに学習機能を持たせ、両者の対応付けをユーザ個人毎に学習し、カスタマイズするようにしても良い。
入力ステップとしては、例えば、ＰＣ（パソコン）のデスクトップの背景画像（いわゆる壁紙）として欲しい画像を検索するものとすると、以下のように行うことができる。
最初にある特定のキーワードを入力または選択すると、複数の画像が順次、またはインデックス画像として表示される。ユーザによって、好みの画像（複数でも可能）が選択されると、選択された絵には、ポイントが加算され、選択された画像が壁紙として所定期間（１日／１週間）表示される。なお、複数画像選択した場合には、順次更新されるのが良い。
その後、所定期間経過後に、再び、感性表現キーワードにより、画像を検索して、選択する処理を繰り返す。
【００７２】
次の学習ステップでは、所定期間経過後に、同一の感性表現キーワードで検索された画像について、ポイントの分布をチェックする。
ここでは、各画像の被写体における類型ごとにポイントを集計する。なお、１つの被写体に複数の類型を対応付けても良いので、この場合には、各類型毎にポイントが加算される。
例えば、類型は、１つの被写体に１つとは限らず、固有名詞でも良いし、分野とか国名とか、山であれば何千ｍクラスであるなど、人物であれば性別、年齢、職業、といった類型をつけることができる。
例１として、「固有名詞：富士山」、「分野：山」、「国名：日本」、「高度：３０００ｍクラス」、「人気度：大」などを挙げることができる。
例２として、「固有名詞：○○」、「分野：人物」、「国名：日本」、「性別」、「年齢層」、「職業：俳優」などを挙げることができる。
【００７３】
この後、加算されたポイントを各類型毎に集計し、ポイント集計結果をユーザ毎に記憶しておく。この集計結果は、検索カスタマイズ情報としてＰＣ内に登録しておく。
次回の画像検索時には、所定の比率以上のポイントを有する類型に絞って、あるいは優先して、画像を検索し、表示する。例えば、類型毎にポイントを付けていくのをある程度繰り返して行き、最もポイントを多く獲得した類型に高い優先度をつけることができる。
この時には、同じ感性表現キーワードであっても、Ａ氏の場合とＢ氏の場合では、異なる画像が検索される。例えば、同じ「さわやか」という感性表現キーワードでも、Ａ氏の場合には自然のシーンで、特に森林シーンが主にヒットする。一方、Ｂ氏の場合には若手の女性歌手が主にヒットするという風にだんだん別れて行く。
この時、一定期間経過したら削除しても良いし、古いデータは順次消去する等の処置をすることもできる。
【００７４】
なお、上記実施例において、画像の関連情報と関連付けてポイント集計を行っても良い。
例えば、類型が同じ「分野：山」の場合についても、各撮影情報の「撮影日時（季節／時間帯）」、その時の「天候（晴れ／雨）」、「撮影倍率（大／小）」別にポイント集計しても良い。すなわち、同じ山であっても、撮影情報を階層化して、各階層毎にポイント集計しても良い。
また、上述したカスタマイズ処理は、ユーザ個人別に行われているが、このカスタマイズ処理を、特定のグループ（事前にメンバ登録）内で、すなわち、特定の同好会等のグループ単位で行うこともできる。
ここでは、各メンバの画像指定におけるポイントをグループ内で集計し、グループ内検索カスタマイズ情報として、代表するＰＣ内に記録することができる。
さらに、キーワード検索タイプを、一般共通用、個人用、またはグループ用で切り換えて使用することもできる。すなわち、一般共通用／個人用／グループ用の検索カスタマイズ情報を切り換えて使用できる。
【００７５】
本発明の画像の保存方法、登録画像の検索方法および画像処理方法を適用するサービス形態および利用方法として、以下のようなものも挙げることができる。
例えば、例１としては、プレゼントの選択時に、相手の個人用検索カスタマイズ情報を利用して検索することができる。例えば、プレゼントを贈る相手の人物は、さわやかな色の服が好きだということを指定すると、その人物のさわやかというのはどのような色かというのをカスタマイズ情報を使って正確に選び出すことができ、好みにあった服を選ぶことができる。
【００７６】
次に、例２として、飲食店をインターネットで検索する場合に、個人／グループの検索カスタマイズ情報を利用することができる。
また、例３として、化粧シミュレーションや化粧品の選択に利用することができる。この時には、化粧品メーカ、色味、モデル等の類型で個人用検索カスタマイズ情報を作成しておくのが好ましい。
例４として、見合い写真選別に利用することができる。この時には、化粧品顔の縦横比や目鼻口の間隔比等でタイプ分けして顔の類型を作成しておくのが好ましい。
【００７７】
また、本発明の第１および４の態様の画像の保存方法およびシステム、本発明の第２および５の態様の登録画像の検索方法およびシステムならびに本発明の第３および６の態様の登録画像の画像処理方法およびシステムは、基本的に以上のように構成されるが、本発明これに限定されず、本発明の第７の態様のように、上述した本発明の第１、２および３の態様の画像の保存方法、登録画像の検索方法および登録画像の画像処理方法をコンピュータ上で動作する画像処理プログラムとして実現しても良い。
【００７８】
以上、本発明の画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラムについて種々の実施形態を挙げて詳細に説明したが、本発明は、上記種々の実施形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００７９】
【発明の効果】
以上、詳細に説明したように、本発明によれば、撮影画像や取得画像や生成画像等の画像に関する感性表現キーワードを撮影被写体や画像の主題等の画像シーンの類型を介して設定し、この感性表現キーワードを撮影画像や取得画像や生成画像等の画像の付属情報として対応付けて、この画像を登録画像として記録保存するので、操作者が感性表現情報を入力するだけで、感性表現情報に適した登録画像を効率よく検索することができる。しかも、撮影場所や被写体の固有名詞がわからない場合でも、感性表現情報を入力するだけで所望の登録画像を検索することができ、しかも、感性表現情報に応じた画像処理を施すので、所望の画像を容易に入手することができる。
【図面の簡単な説明】
【図１】 本発明の画像の保存方法を実施する画像保存・検索装置の一実施形態の概略の構成を示すブロック図である。
【図２】 図１に示す画像保存・検索装置おいて実施される本発明の画像の保存方法の流れの一例を示すフローチャートである。
【図３】 本発明の登録画像の検索方法および登録画像の画像処理方法の流れの一例を示すフローチャートである。
【図４】 本発明の画像の保存方法における撮影画像との対応関係を持つ情報をわかり易く説明する説明図である。
【図５】 本発明の登録画像の検索方法に利用される撮影被写体の類型と感性表現キーワードとの対応付けを説明するための説明図である。
【符号の説明】
１ 画像保存・検索装置
２ 画像蓄積装置
３ 画像検索装置
４ 画像出力装置
５ 通信制御装置
６ ＣＰＵ
７ モニタ
１０ 画像取得部
１２ 被写体抽出・同定部
１４ データベース部
１６ 登録画像格納部
１８ 感性表現情報入力部
２０ 画像検索部
２２ 辞書参照部
２４ 画像処理部
２６ プリンタ部
【発明の属する技術分野】
本発明は、カメラ等で撮影した撮影画像や反射原稿または透過原稿の読取画像やＣＧ（コンピュータグラフィック）等の生成画像を登録画像として保存する際の画像の保存方法、この保存方法で保存された登録画像の中から所望の画像を検索する登録画像の検索方法およびシステム、上記画像の保存方法によって保存された画像または上記登録画像の検索方法で検索された画像を取り出して画像処理を施す登録画像の画像処理方法、ならびに、画像の保存方法を実施するプログラム、登録画像の検索方法を実施するプログラムおよび登録画像の画像処理方法を実施するプログラムに関する。
【０００２】
【従来の技術】
今日、カメラを用いて撮影された撮影画像を大量に蓄積しつつ、蓄積された大量の画像の中から所望の画像を効率よく検索することが望まれており、種々の画像検索システムが提案されている。
一方、蓄積された画像から検索する者（操作者）が自分の感性表現に適した画像、例えば、「壮大な」、「すがすがしい」といった感性表現を入力することによって、この感性表現に適した画像を効率よく検索して出力することも望まれている。
【０００３】
例えば、特許文献１では、画像の検索を行う者が検査に際して負担をかけずに自らの感性に適した画像の検索を行うことのできる画像検索システムを提案している。
上記公報における画像検索システムは、キーワードを入力するキーワード入力手段と、画像を入力する画像入力手段と、登録画像とともに画像特徴量とキーワードを記憶する画像記憶手段と、前記キーワード入力手段から入力されたキーワードを組み合わせて画像を検出するキーワード検索手段と、登録画像からキーワードや特徴量を自動的に抽出する特徴量・キーワード抽出手段と、前記キーワード検索手段によって検索した結果に対し、キーワードを使わず絞り込む検索結果絞り込み手段とを備えることで、撮影画像の検索を行う者が検査に際して負担をかけずに自らの感性に適した画像の検索を行うことができるとされている。
【０００４】
また、特許文献２では、画像内に存在若しくはこの画像に付属し、またはこの画像内に存在すると同時にこの画像に付属する特定の情報を抽出または認識し、得られた特定の情報をそのまま、もしくは特定の情報の関連情報を、画像の画像データに付属させて付属情報としてデータベースに記憶し、この付属情報の少なくとも一部を検索条件として指定し、指定された検索条件でデータベースを検索し、選び出された記憶画像データに付属している付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出す検索方法を提案している。これにより、画像の効率の良い検索が実現できるとされている。
【０００５】
しかし、上記特許文献１の画像検索システムは、取得された画像毎に演算される画像特徴量、例えば画像データを用いたヒストグラムから得られる画像特徴量と、「鮮やか」、「壮大な」といった撮影画像内の被写体とを一意的に対応付けることは難しく、従って、入力した感性表現に適した画像を効率よく検索することは困難であるといった問題がある。
【０００６】
また、上記特許文献２の検索方法は、検索時にキーワードの代わりに音声情報やメッセージ情報等の特定の入力情報を使用し、この入力情報と一致するまたは近い付属情報を持つ画像を検索するが、このような付属情報を画像に付加する煩雑な操作を操作者が行わなければならないといった問題がある。しかも、この検索方法では、撮影画像中の被写体の領域を幾何学図形を用いて、例えば被写体が「山」であれば三角形の被写体の領域を持つ画像を検索するので、「壮大な」、「すがすがしい」といった操作者により入力された感性表現に適合した画像を検索するといったことはできない。
【０００７】
【特許文献１】
特開２０００−０４８０４１号公報
【特許文献２】
特開２００１−０８４２７４号公報
【０００８】
【発明が解決しようとする課題】
そこで、本発明は、上記従来技術の問題点を解消し、撮影被写体や画像の主題等の画像シーンの類型と対応付けられた感性表現キーワードに適した画像を効率よく検索することができるように、撮影画像や取得画像や生成画像等の画像をデータベースに登録画像として登録する画像の保存方法、この保存方法によって保存された登録画像の中から、操作者が感性表現キーワードを入力することによって、この感性表現キーワードに適した画像を効率よく検索することができる登録画像の検索方法およびシステム、この検索方法によって検索された登録画像について、入力された感性表現に合った画像処理を施す登録画像の画像処理方法、ならびに、画像の保存方法を実施するプログラム、登録画像の検索方法を実施するプログラムおよび登録画像の画像処理方法を実施するプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の態様は、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとが予め記録保存された（第１）データベースを用いて撮影画像の付属情報を求め、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに（第２データベースに）保存する画像の保存方法であって、前記撮影画像を保存する際、前記撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域またはこの領域で囲まれている領域を被写体領域として抽出して、少なくとも前記撮影画像の撮影位置、撮影方位、および撮影倍率の情報を含む撮影情報、ならびに地図データを用いて、前記被写体領域を同定することにより、前記被写体領域の前記画像シーンとしての類型を求め、この求められた前記類型を用いて前記（第１）データベースを参照して、前記類型に対応する前記感性表現キーワードを導出し、この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として（前記第２データベースに）保存することを特徴とする画像の保存方法を提供するものである。
【００１０】
ここで、前記画像は、撮影画像、取得画像または生成画像であり、前記画像シーンは、撮影被写体または画像の主題であり、前記シーンは、被写体または主題であるのが好ましい。
すなわち、本態様の一形態は、撮影被写体の類型と、この類型と対応関係を付けた感性表現キーワードとが予め記録保存された（第１）データベースを用いて撮影画像の付属情報を求め、前記撮影画像を登録画像として前記付属情報とともに（第２データベースに）保存する画像の保存方法であって、前記撮影画像を保存する際、前記撮影画像内の被写体を抽出して、前記撮影被写体としての類型を求め、この求められた前記類型を用いて前記（第１）データベースを参照して前記感性表現キーワードを導出し、この導出した感性表現キーワードを前記撮影画像の付属情報として対応付け、前記撮影画像を登録画像として（前記第２データベースに）保存することを特徴とする画像の保存方法を提供するものである。
【００１１】
ここで、前記登録画像には、前記撮影画像の保存の際に求められた前記被写体の前記撮影被写体としての類型も、前記撮影画像の付属情報として対応付けられているのが好ましい。
また、前記撮影画像内の被写体の抽出は、撮影シーンの奥行き情報を用いて行うのが好ましい。
また、前記撮影画像内の被写体の抽出を行った後、この被写体の同定を、前記撮影情報および地図情報に加えて、撮影の奥行き情報から、被写体領域以外の領域内の被写体の位置を算出し、これを用いて行うことにより、前記被写体の撮影被写体としての類型を求めるのも好ましい。
また、前記撮影画像内の被写体の抽出は、前記撮影画像内の被写体の領域を抽出することであるのが好ましい。
また、前記撮影情報は、前記撮影画像の撮影時の天気の情報を含むことが好ましい。
さらに、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとが予め記録保存されたデータベースを用いて撮影画像の付属情報を求め、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに保存する画像の保存方法であって、被写体を撮影する際、前記被写体に予め付与されているＩＣタグのタグ情報を同時に読み取り、前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出し、この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存することが好ましい。
また、前記撮影画像内に複数の被写体が存在する場合は、前記撮影画像内の、より中心に位置する被写体の点数が高くなるように点数化し、前記点数の最も高い被写体について、前記感性表現キーワードを導出することが好ましい。
【００１２】
また、上記目的を達成するために、本発明の第２の態様は、上記第１の態様の画像の保存方法によって（前記第２データベースに）保存された登録画像の中から所望の登録画像を検索する検索方法であって、入力された感性表現情報に一致する、または近似する感性表現キーワードを、登録画像の付属情報から見出し、この見出された感性表現キーワードを付属情報とする登録画像を（前記第２データベースから）取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
また、入力された感性表現情報に一致する、または近似する感性表現キーワードを、辞書を内蔵する辞書参照部を用いて導出し、前記感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を、登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
【００１３】
また、上記目的を達成するために、本発明の第２の態様は、上記第１の態様の画像の保存方法によって（前記第２データベースに）保存された登録画像の中から所望の登録画像を検索する検索方法であって、入力された感性表現情報に一致する、または近似する感性表現キーワードと対応関係にある撮影被写体の類型を（前記第１データベースから）取り出し、この取り出された撮影被写体の類型を付属情報として持つ登録画像を（前記第２データベースから）取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
【００１４】
また、上記目的を達成するために、本発明の第２の態様は、上記第１の態様の画像の保存方法によって（前記第２データベースに）保存された登録画像の中から所望の登録画像を検索する検索方法であって、前記登録画像の検索を行う際に入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、（前記第２）データベース内の登録画像を検索し、この感性表現キーワードを付属情報とする複数の登録画像を取り出して、画像表示デバイスに表示し、表示された複数の登録画像の中からユーザによって選択された１つの画像または前記画像の類型に対してポイントを加算することを、前記登録画像を検索する毎に行い、前記加算されたポイントを、前記画像毎または前記画像の類型毎、かつ、前記ユーザ毎に集計して、記憶しておき、次回からの検索時に、前記複数の登録画像の中から、入力された感性表現情報に一致、または近似する感性表現キーワードを付属情報とする画像であり、さらに、前記記憶されたポイントが所定の比率以上である画像、または前記記憶されたポイントが所定の比率以上である類型に当てはまる画像を、限定的に、あるいは、優先的に取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
【００１５】
また、上記目的を達成するために、本発明の第３の態様は、上記第２の態様の登録画像の検索方法によって（前記第２データベースから）検索された登録画像を呼び出して画像処理を施す登録画像の画像処理方法であって、登録画像に対応して前記感性表現キーワードが対応付けられて設定されており、さらに、前記感性表現キーワードに対応して画像処理条件が対応付けられて（前記第３データベースに）設定されており、登録画像に画像処理を施す際、前記感性表現情報に一致する、または近似する感性表現キーワードと対応付けられた画像処理条件を（前記第３データベースから）呼び出し、この画像処理条件に基づいて自動的に画像処理を施すことを特徴とする登録画像の画像処理方法を提供するものである。
【００１６】
また、上記目的を達成するために、本発明の第４の態様は、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第１データベースと、撮影画像を保存する際に、前記撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域またはこの領域で囲まれている領域を被写体領域として抽出して、少なくとも前記撮影画像の撮影位置、撮影方位、および撮影倍率の情報を含む撮影情報、ならびに地図データを用いて、前記被写体領域を同定することにより、前記被写体領域の前記画像シーンとしての類型を求める手段と、この求められた前記類型を用いて前記第１のデータベースを参照して、前記類型に対応する前記感性表現キーワードを導出する手段と、
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに保存する第２データベースとを有することを特徴とする画像の保存システムを提供するものである。
また、登録画像の中から所望の登録画像を検索する検索システムであって、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第１データベースと、被写体を撮影する際、前記被写体に予め付与されているＩＣタグのタグ情報を同時に読み取る手段と、前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出する手段と、この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存する第２データベースと、この第２データベースに記録保存された登録画像の中から、入力された感性表現情報に一致する、または近似する感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出す登録画像の検索手段とを有することを特徴とする登録画像の検索システムを提供する。
【００１７】
ここで、前記画像は、撮影画像、取得画像または生成画像であり、前記画像シーンは、撮影被写体または画像の主題であり、前記シーンは、被写体または主題であるのが好ましい。
また、前記登録画像には、前記撮影画像の保存の際に求められた前記被写体の前記撮影被写体としての類型も、前記撮影画像の付属情報として対応付けられているのが好ましい。
また、前記撮影画像内の被写体の抽出は、撮影シーンの奥行き情報を用いて行うのが好ましい。
また、前記撮影画像内の被写体の抽出を行った後、この被写体の同定を撮影の奥行き情報を用いて行うことにより、前記被写体の撮影被写体としての類型を求めるのも好ましい。
また、前記撮影画像内の被写体の抽出は、前記撮影画像内の被写体の領域を抽出することであるのが好ましい。
【００１８】
また、上記目的を達成するために、本発明の第５の態様は、登録画像の中から所望の登録画像を検索する検索システムであって、本発明の第４の態様の画像の保存システムと、この第２データベースに記録保存された登録画像の中から、入力された感性表現情報に一致する、または近似する感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出す登録画像の検索手段とを有することを特徴とする登録画像の検索システムを提供するものである。
【００１９】
また、上記目的を達成するために、本発明の第５の態様は、登録画像の中から所望の登録画像を検索する検索システムであって、本発明の第４の態様の画像の保存システムと、この第２データベースに記録保存された登録画像の中から登録画像の検索を行う際に、入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、第２データベース内の登録画像を検索する検索手段と、この感性表現キーワードを付属情報とする複数の登録画像を取り出して表示する画像表示デバイスと、表示された複数の登録画像の中からユーザによって１つの選択された画像またはその類型に対してポイントを加算することを、検索毎に所定期間繰り返し、前記所定期間経過後、同一の感性表現キーワードにおいて検索された画像または類型毎かつ前記ユーザ毎に、加算されたポイントを集計して、前記第２データベースに当該登録画像の前記付属情報として記憶させる評価手段と、前記検索手段は、次回からの検索時に、所定の比率以上のポイントを有する画像またはその類型に絞って、あるいは優先して、登録画像の検索を行うことを特徴とする登録画像の検索システムを提供するものである。
また、登録画像の中から所望の登録画像を検索する検索システムであって、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第１データベースと、被写体を撮影する際、前記被写体に予め付与されているＩＣタグのタグ情報を同時に読み取る手段と、前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出する手段と、この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存する第２データベースと、この第２データベースに記録保存された登録画像の中から登録画像の検索を行う際に、入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、第２データベース内の登録画像を検索する検索手段と、この感性表現キーワードを付属情報とする複数の登録画像を取り出して表示する画像表示デバイスと、表示された複数の登録画像の中からユーザによって１つの選択された画像またはその類型に対してポイントを加算することを、検索毎に所定期間繰り返し、前記所定期間経過後、同一の感性表現キーワードにおいて検索された画像または類型毎かつ前記ユーザ毎に、加算されたポイントを集計して、前記第２データベースに当該登録画像の前記付属情報として記憶させる評価手段と、前記検索手段は、次回からの検索時に、所定の比率以上のポイントを有する画像またはその類型に絞って、あるいは優先して、登録画像の検索を行うことを特徴とする登録画像の検索システムを提供する。
【００２０】
また、上記目的を達成するために、本発明の第６の態様は、登録画像に画像処理を施す登録画像の画像処理システムであって、上記第５の態様の登録画像の検索システムと、前記感性表現キーワードに対応して画像処理条件が対応付けられて設定されている第３データベースと、前記登録画像の検索システムによって前記第２データベースから検索された登録画像を呼び出し、呼び出された登録画像に画像処理を施す際、前記感性表現情報に一致する、または近似する感性表現キーワードと対応付けられた画像処理条件を前記第３データベースから呼び出し、この画像処理条件に基づいて画像処理を施す画像処理手段とを有することを特徴とする登録画像の画像処理システムを提供するものである。
【００２１】
また、上記目的を達成するために、本発明の第７の態様は、本発明の第１の態様の画像の保存方法を実施することを特徴とするプログラム、本発明の第２の態様の登録画像の検索方法を実施することを特徴とするプログラム、または本発明の第３の態様の登録画像の画像処理方法を実施することを特徴とするプログラムを提供するものである。
【００２２】
【発明の実施の形態】
本発明に係る画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラムを添付に図面に示す好適実施形態に基づいて以下詳細に説明する。
以下においては、本発明法（本発明の第１の態様の画像の保存方法、本発明の第２の態様の登録画像の検索方法および本発明の第３の態様の登録画像の画像処理方法）を実施する装置の一実施形態である図１に示す画像検索・画像処理装置１に基づいて説明するが、本発明は、これらに限定されるわけではない。
【００２３】
図１は、画像検索・画像処理装置１の概略の構成を機能的に示したブロック図である。
画像検索・画像処理装置１は、一部分がプログラムを実行することによって機能を発揮するコンピュータで構成されてもよいし、一部分が専用回路で構成されてもよいし、コンピュータと専用回路によって構成されてもよい。
画像検索・画像処理装置１は、「壮大な」、「鮮やかな」といった感性表現の情報（以降、感性表現情報という）を操作者が入力することによって画像を検索して、所望の画像を画像処理して写真プリントとして出力する装置である。
画像検索・処理装置１は、主に、画像蓄積装置２、画像検索装置３、画像出力装置４、通信制御装置５、ＣＰＵ６およびモニタ７を有する。
ＣＰＵ６は、画像蓄積装置２、画像検索装置３、画像出力装置４および通信制御装置５の各機能を制御する部位である。
ここで、画像検索・処理装置１は、本発明の第６の態様の登録画像の画像処理システムを、画像蓄積装置２は、本発明の第４の態様の画像の保存システムを、画像蓄積装置２および画像検索装置３は、本発明の第５の態様の登録画像の検索システムを構成する。
【００２４】
画像蓄積装置２は、デジタルスチルカメラ等の撮影画像を登録画像として保存する際、登録画像に適した感性表現キーワードを付属情報として対応付けて保存する装置である。
画像蓄積装置２は、画像取得部１０と、被写体抽出・同定部１２と、データベース部１４と、登録画像格納部１６とを有する。
【００２５】
画像取得部１０は、デジタルスチルカメラにより撮影された撮影画像を取得する部位である。あるいは、銀塩フィルムに撮影された画像を透過光を用いてＣＣＤ素子（Charged Coupled Device）等の受光面に結像させて画像を読み取るスキャナであってもよい。画像取得部１０は、さらに、撮影画像を取得する際に撮影時の撮影情報、例えば、撮影位置（緯度、経度）、撮影方位および撮影倍率の情報、さらには、撮影日時の情報や撮影時のカメラから被写体に至る測距情報を取得する。なお、撮影位置および撮影方位の情報は、ＧＰＳ（Global Positioning System ）機能を搭載し、かつ、ジャイロを利用した方位測定センサを備えたカメラによって撮影が行われる際に撮影位置および撮影方位の情報を同時に記録したものが取得される。測距情報は、赤外線等を用いてカメラから被写体に至る距離を測定する測定センサによって測定して記録したものが取得される。
【００２６】
撮影情報の取得の方法は、デジタルスチルカメラでは、画像データが画像取得部１０に読み込まれる際に撮影情報のデータが読み込まれる。ＡＰＳ（Advanced Photo Sysytem) 銀塩フィルムを用いたカメラでは、銀塩フィルムの各撮影コマの上下に設けられた磁気記録領域に書き込まれ、スキャナで撮影画像を読み取る際に磁気記録領域に書き込まれた磁気記録情報が、スキャナに設けられた磁気読取装置によって読み取られることによって撮影位置および撮影方位の情報を取得することができる。
画像取得部１０は、通信制御部５を介して接続されたインターネット等の通信ネットワーク８上のウェブサイト内の画像を取得するものであってもよい。
【００２７】
被写体抽出・同定部１２は、画像取得部１０で取得された画像から撮影情報を用いて画像内の被写体を抽出する、詳しくは、被写体の領域を抽出し、さらに、この抽出された領域の被写体を同定するとともに、抽出した被写体から、または抽出した領域から、あるいは同定した被写体から、例えば「人物」、「山」、「海」、「空」、「山林」、または「富士山」といったように撮影被写体としての類型を求める部位である。
【００２８】
被写体の領域の抽出については、例えば、取得した画像に対して微分処理を行うことにより、被写体としてのエッジ部分が鮮鋭化されている領域、またはこの領域で囲まれている領域を被写体の領域として抽出することができる。ピントの合った領域は、エッジ部分が鮮明であり、微分処理により値が大きくなるからである。
【００２９】
また、カメラを同一の位置から同一の方向に向けて被写体を撮影する際、被写体に対して多段階の結像距離（カメラの結像レンズの主点と結像面との距離）で複数の画像を撮影して多段焦点撮影画像（多段フォーカス撮影画像）を得、撮影の際に得られる測距情報を用いて、さらに、多段焦点撮影画像とともに取得される結像距離の情報を用いて、撮影シーンの被写体の領域を抽出することができる他、撮影シーンの奥行き情報を得ることができる。具体的には、測距情報は撮影したカメラと被写体との間の距離であるので、この距離の情報に対応する結像距離に一致するまたは最も近い結像距離で撮影された撮影画像内においてピントが合った領域を求め、この領域を被写体の領域として抽出することができる。従って、これ以外の結像距離で撮影された撮影画像のピントの合った領域は、奥行きの情報として取得することができる。なお、ピントの合った領域は、上述したように微分処理により求めることができる。
このような奥行き情報は後述するように被写体の同定に利用するとよい。
【００３０】
被写体の同定については、上述の撮影位置（緯度、経度）、撮影方位および撮影倍率の情報と、被写体抽出・同定部１２が自ら保有する地図データとを用いて被写体を同定する。例えば、撮影位置および撮影方位から地図データ上における被写体となる候補を取り出し、撮影画像内における被写体の位置と形状（被写体の領域の形状）と撮影倍率とを用いて、撮影画像内の被写体の形状や大きさと地図データにおける被写体の候補となる３次元情報との対応を行うことによって、被写体の同定を行う。この場合、上述の奥行き情報を用いることで同定の精度は向上する。
【００３１】
さらに、被写体抽出・同定部１２は、抽出された被写体の領域、あるいは同定された被写体に基づいて撮影被写体としての類型を求める。例えば、「山」、「川」、「海」といった普通名詞や、例えば「富士山」、「東京タワー」といった固有名詞を求める。
なお、被写体の同定を行うことなく、直接被写体を抽出することにより、あるいは、被写体の領域を抽出し、この領域の画像データを用いることにより、例えば青い「海」、白い「山」といった普通名詞の類型を求めてもよい。
被写体抽出・同定部１２は、さらに、データベース部１４内に保存されている撮影被写体の類型と感性表現キーワードとの対応関係を用いて、感性表現キーワードを導出する。
【００３２】
データベース部１４は、本発明の第１データベースに対応する部分であって、上述したような撮影被写体の類型と、この類型と対応関係を付けた感性表現キーワードとを記録保存する部位である。
例えば、「海」、「湖」、または「空」の類型には「あざやか」といった感性表現キーワードを、「山林」には「すがすがしい」といった感性表現キーワードを、また、固有名詞の「富士山」には「壮大」といった感性表現キーワードを対応させて関係付ける。このような対応関係は、１つの類型に対して複数の感性表現キーワードが対応づけられ、１つの感性表現キーワードに対して複数の類型が対応づけられてもよい。
【００３３】
データベース部１４において、撮影被写体の類型と感性表現キーワードとを関連付ける方法では、画像の被写体またはシーンの主題については、マニュアル設定および自動設定のいずれでも良いし、両者を併用しても良い。また、感性表現キーワードの関連付けは、被写体の類型導出とは別処理としても良い。
例えば、画像の主要テーマが判れば良いので、被写体の類型を導出するのは、撮影画像に限らず、コンピュータグラフィックス（ＣＧ）でも可能である。
なお、本発明において対象とする画像としては、撮影画像の他、反射原稿／透過原稿の読取（スキャン）画像またはＣＧ画像等の生成画像であっても良い。また、これらの撮影画像、読取画像、生成画像は、それぞれ放映画像などであっても良く、それぞれ動画／静止画を問わず、各種タイプの画像データを対象とすることができる。
また、画像シーンとしては、撮影被写体または画像の主題であり、シーン情報としては、撮影情報または主題情報であり、シーンとしては、被写体または主題であるのが好ましい。
【００３４】
また、映像コンテンツ、例えば、テレビ（ＴＶ）放送等のメタデータに被写体を示すデータがある場合に、別途、感性表現検索用のデータを業者レベルおよび／またはユーザレベルで作成することもできる。例えば、被写体人物が、テレビタレントや有名人である場合、その人物の最新のイメージ調査データにアクセスして、感性表現キーワードを付属および／または更新させることができる。この場合には、一般ユーザーが自分でできるように、パーソナルコンピュータ（ＰＣ）ソフトを専門業者が提供することが好ましい。
ここでは、画像を表示デバイスに表示させ、印象を示すキーワードを入力および／または選択すると、被写体類型と入力キーワードとが関連付けられてデータベース部１４に記憶される機能を持つのが好ましい。
【００３５】
被写体抽出・同定部１２において導出された感性表現キーワードは、撮影画像とともに、登録画像格納部１６に送られる。
登録画像格納部１６は、本発明の第２データベースに対応する部分であって、導出した感性表現キーワードを撮影画像の付属情報として対応付けて、撮影画像を登録画像として保存する。
【００３６】
一方、画像検索装置３は、画像表現情報入力部１８と、画像検索部２０と、辞書参照部２２とを有し、操作者が感性表現情報、例えば「すがすがしい」といった感性表現情報を入力することで、感性表現情報に適した登録画像を、登録画像格納部１６から検索する装置である。
画像表現情報入力部１８は、感性表現情報を入力するキーボードやマウス等の入力装置であり、感性表現情報は画像検索部２０に送る。
【００３７】
画像検索部２０は、送られてきた感性表現情報と、登録画像格納部１６に格納されている感性表現キーワードとを比較して、一致する感性表現キーワードがあるか否かを調べ、入力された感性表現情報と一致する感性表現キーワードが見つかると、この感性表現キーワードと対応付けられた登録画像を登録画像格納部１６から取り出し、一致した感性表現キーワードとともに、後述する画像処理部２４に送るように構成される。
【００３８】
なお、入力された感性表現情報と一致する感性表現キーワードが見つからない場合、辞書参照部２２に感性表現情報を送り、感性表現情報に近い近似表現を導出するように指示する。感性表現情報に近い近似表現が辞書参照部２２から送られると、この近似表現と一致する感性表現キーワードがあるか否かを調べる。例えば、感性表現情報が「さわやか」である場合の近似表現は「すがすがしい」等である。
近似表現と一致する感性表現キーワードが見つかると、画像検索部２０は、感性表現キーワードと対応付けられた登録画像を、登録画像格納部１６から取り出し、この一致した感性表現キーワードとともに画像処理部２４に送る。
なお、最終的に感性表現キーワードと一致する近似表現が見つからない場合、感性表現情報に適した登録画像を見い出すことができなかったものとして、画像出力装置４における処理は行われない。
【００３９】
辞書参照部２２は、画像検索部２０から送られてくる感性表現情報に近い近似表現を、内蔵する辞書を参照して導出する部位である。近似表現は、感性表現情報に近似度の高い順番に複数導出してもよいし、近似度の高い順番に１つずつ導出してもよい。
【００４０】
画像出力装置４は、画像処理部２４とプリンタ部２６とを有する。
画像処理部２４は、画像検索部２０から送られてきた登録画像に画像処理を施す部位である。なお、この画像処理の処理内容、すなわち、処理条件は、感性表現キーワードに対応して画像処理条件が設けられて、第３データベースにデータベース化されている。この第３データベースは、画像処理部２４内に設けられているものであるのが好ましいが、データベース部１４であっても良く、登録画像格納部１６であっても良いし、これらとは、全く別のデータベースやメモリ（データ記録部）であっても良い。この内、第３データベースがデータベース部１４である場合には、画像処理条件は、撮影被写体の類型とともに感性表現キーワードに対応付けられて格納されていても良いし、感性表現キーワードに対応付けられていれば、別々に格納されていても良い。
【００４１】
従って、登録画像に画像処理を施す際、画像検索部２０から送られてきた感性表現キーワードに基づいて第３データベースから画像処理条件を呼び出し、この画像処理条件に基づいて画像処理を施す。
すなわち、画像処理部２４は、登録画像をそのまま、すなわち撮影画像のまま出力するのではなく、検索時に感性表現情報に一致したあるいは近似した感性表現キーワードの表現に適する方向に画像処理を施す。
例えば、被写体について、幾何学的特徴（大きさ、形状）を意図的に拡大縮小したり、画像濃度または色味を加工したり、さらには、シャープネス強調またはぼかし等の加工処理を施す。さらに、この画像処理条件は、撮影被写体としての類型毎に画像処理条件を異ならせてもよい。
【００４２】
例えば、感性表現キーワードが「鮮やか」である場合、登録画像の所定の閾値以上の彩度を持つ登録画像内の領域に対して、さらに、彩度を上げる画像処理を施す。このような場合としては、登録画像の被写体の類型が「花」の場合が挙げられる。また、被写体の類型が「空」、「海」の場合、青色の彩度を上げる。
また、感性表現キーワードが「壮大な」または「雄大な」である場合、登録画像の被写体の類型が「山」の場合、被写体の大きさを大きくして、壮大さまたは雄大さを増すようにする。この場合、手前にいる人物の大きさを変えず、背景の山との隙間は補間処理によって行う。
また、登録画像内の「山」の領域のコントラストを上げたり、鮮鋭度を上げたり、雪山の場合、雪の白さを強調する色補正の画像処理を施す。また、「山」の領域以外の部分はぼかす。
【００４３】
さらに、感性表現キーワードが「しんみり」である場合、登録画像をセピア風に画像処理を施す。
また、感性表現キーワードが「美しい」であり、登録画像の被写体の類型が「女性」の場合、背景の領域の大きさを変えずに登録画像の「女性」の領域を拡大する処理を施す。また、背景の領域をぼかす画像処理を施す。
【００４４】
このように、操作者が感性表現情報入力部１８で入力した感性表現情報に一致または近似した感性表現キーワードに対応して、登録画像に施す画像処理条件が定まる。このため、同一の登録画像であっても、入力される感性表現情報によって、感性表現キーワードが異なるので、画像処理の内容が異なる。なお、画像処理部２４は、専用回路（ハードウェア）によって構成されたものであってもよいし、プログラム（ソフトウェア）の実行によって機能を発揮するものであってもよい。
【００４５】
プリンタ部２６は、画像処理部２４で画像処理された登録画像をプリント画像として提供するために、画像処理の施された登録画像を出力する画像出力装置であり、インクジェットプリンタや感光材料をレーザビームで焼付け露光するプリンタが用いられる。
プリンタ部２６は、画像処理の施された登録画像を出力する一形態であるが、画像処理部２４で処理された登録画像は、モニタ７に表示されたり、通信制御部５に送られ、インターネット等の通信ネットワーク８を介してユーザＰＣ（パーソナルコンピュータ）３０に送信されてもよい。さらに、処理済登録画像は、ＭＯ、ＣＤ−Ｒ、Ｚｉｐ（登録商標）やフレキシブルディスク等の記録媒体に記録保存されてもよい。
以上が画像検索・画像処理装置１の基本的な構成である。
【００４６】
このような画像検索・画像処理装置１において実施される本発明の画像の保存方法、登録画像の検索方法および登録画像の画像処理方法について説明する。
ここで、図２は、本発明の第１の態様の画像の保存方法の一例のフローチャートであり、図３は、本発明の第２の態様の登録画像の検索方法および本発明の第３の態様の登録画像の画像処理方法の一例のフローチャートである。図４は、本発明の第１の態様の画像の保存方法において、撮影画像と対応付けられる情報を表にして分かり易く説明した図である。
【００４７】
本発明の第１の態様の画像の保存方法においては、まず、図２に示すように、撮影画像が画像取得部１０において取得される（ステップ１００）。
撮影画像の取得は、デジタルスチルカメラから直接転送される形態や、デジタルスチルカメラで撮影された画像を記録媒体を経由して取得する形態や、通信制御部５を介してユーザＰＣ３０から転送される形態や、さらに、銀塩フィルムに記録された撮影画像をスキャナで光電的に読み取る形態が挙げられる。
その際、撮影画像の取得とともに、撮影位置（緯度、経度）、撮影方位および撮影倍率の情報、さらには、撮影日時の情報や撮影時のカメラから被写体に至る測距情報等の撮影情報を取得する。
【００４８】
次に、被写体抽出・同定部１２において、被写体自体または被写体の領域が抽出される（ステップ１０２）。
例えば、取得した撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域、またはこの領域で囲まれている領域を被写体の領域として抽出する。例えば、被写体を富士山とした撮影した場合、撮影された富士山のエッジ部分が領域として抽出される。このような被写体の領域の抽出は、複数の被写体の領域が見い出された場合、撮影画像内の、より真ん中に位置する領域あるいは大きな領域の点数が高くなるように点数化し、点数の最も高い領域を被写体の領域として抽出する。
【００４９】
次に、抽出された被写体または抽出された領域の被写体が何であるかが同定される（ステップ１０４）。例えば、撮影情報に、撮影位置（緯度、経度）、撮影方位および撮影倍率の情報が含まれる場合、撮影位置および撮影方位から地図データ上における被写体となる候補を取り出し、撮影画像内における被写体の位置と形状（被写体の領域の形状）と撮影倍率とを用いて、撮影画像内の被写体の形状や大きさや位置と地図データにおける被写体の候補となる３次元情報との対応を行うことによって、被写体の同定を行う。この場合、カメラを同一の位置から同一の方向に向けて、被写体に対して多段階の結像距離で複数の画像を撮影した多段焦点撮影画像（多段フォーカス撮影画像）を得た場合、撮影シーンの奥行き情報を得ることができるので、この撮影シーンの奥行き情報を用いて同定の精度を向上させることができる。
【００５０】
次に、被写体の類型化が行われる（ステップ１０６）。
例えば、抽出または同定された被写体が「富士山」であれば、「山」といった類型が求められる。
次に、この類型である「山」と対応関係が付けられた感性表現キーワードが、予め用意されているデータベース部１４から導出されて（ステップ１０８）、撮影画像と対応付けが行われる。
最後に、撮影画像は、取り出された感性表現キーワードと対応付けられて、登録画像として登録画像格納部１６に記録保存される（ステップ１１０）。
図４では、「富士山」の撮影画像に、「壮大な」、「どっしりした」、「真っ白な」といった感性表現キーワードが対応付けられている。
【００５１】
このような撮影画像の保存方法では、撮影情報に撮影日時が含まれる場合、撮影日時のイベント情報や天気の情報を割り出すことができるのでこの天気の情報を参照して、被写体の類型化の際に、類型化を天気の情報で限定したものを用いるものであってもよい。
例えば、「富士山」の撮影画像の場合、撮影時の天気の情報から判断して天気が晴れている場合「晴れた日の山」といった類型を定め、天気が雨の場合「雨の日の山」といった類型を定める。そして「晴れた日の山」に「さわやかな」といった感性表現キーワードを、「雨の日の山」に「じめじめした」といった感性表現キーワードの対応関係を持たせてデータベース部１４に予め用意しておく。また、撮影日時が秋であれば、紅葉した「秋の山林」に対して「鮮やかな」または「きれいな」といった感性表現キーワードの対応関係を持たせる。
【００５２】
さらに、撮影日時から撮影位置におけるイベント情報が割り出されるので、例えば、「祭り」といった類型に対して、「にぎやかな」、「楽しげな」といった感性表現キーワードの対応関係を持たせてもよい。また、「入学式」、「卒業式」、「成人式」といったイベントの類型に対して、それぞれ「晴れやかな」といった感性表現キーワードの対応関係を持たせてもよい。
このような類型と感性表現キーワードの対応関係は予めデータベース部１４に作成されて記録保存されている。
【００５３】
こうして登録画像格納部１６に記録保存された登録画像は、画像検索装置３からのアクセスを受け、登録画像の検索に供される。
まず、感性表現情報入力部１８から、操作者によって感性表現情報が入力される（ステップ１２０）。例えば、「雄大な」といった感性表現情報が入力されると、この感性表現情報は画像検索部２０に送られる。
【００５４】
画検索部２０では、送られてきた感性表現情報と感性表現キーワードとが比較され、感性表現情報と一致する感性表現キーワードが登録画像格納部１６に記録保存されているか否かが調べられる。例えば「雄大な」といった感性表現キーワードが記録保存されているか、調べられる。
一致する感性表現キーワードが見つからない場合、感性表現情報は辞書参照部２２に送られる。辞書参照部２２では、送られてきた感性表現情報に近似する近似表現が導出される。近似表現として、例えば、近似度の高い近似表現が導出され画像検索部２０に送られる。例えば、「雄大な」といった感性表現情報に対して「壮大な」といった近似表現が導出され、画像検索部２０に返送される。
【００５５】
画像検索部２０では、返送された近似表現を用いて登録画像格納部１６にアクセスし、近似表現と一致する感性表現キーワードが記録保存されているか、調べられる。
登録画像格納部１６には、図４に示すように、「富士山」の撮影画像が、この撮影画像の付属情報として「壮大な」、「どっしりした」、「真っ白な」といった感性表現キーワードと対応付けられているので、近似表現である「壮大な」と一致する感性表現キーワード「壮大な」が見いだされる。従って、この感性表現キーワードを付属情報として持つ「富士山」の登録画像が取り出される。このように登録画像が検索される（ステップ１２２）。
【００５６】
このように感性表現情報に一致する、または、近似する感性表現キーワードを付属情報として持つ登録画像が検索される。検索された結果、登録画像が複数検索された場合、検索画像がモニタ７に表示され、後述するような登録画像の出力が操作者の選択に委ねられる。こうして出力画像が設定される（ステップ１２４）。なお、以降では、プリント画像を出力する例を用いて説明するが、本発明はこれに限定されない。
こうして出力画像として設定された登録画像は、感性表現情報に一致する、または近似する上記感性表現キーワードとともに、画像処理部２４に送られる。
【００５７】
画像処理部２４では、画像検索部２０から送られてきた感性表現キーワードに応じて画像処理条件が定められ（ステップ１２６）、この画像処理条件に基づいて、画像処理が行われる（ステップ１２８）。
すなわち、画像処理部２４では、処理条件は、感性表現キーワードに対応して画像処理条件が一意的に対応付けられて、第３データベースにデータベース化されているので、感性表現キーワードに応じて、一意的に画像処理条件が定められる。この画像処理条件は、感性表現キーワードと対応づけられており、この感性表現キーワードは、操作者によって入力された感性表現情報によって変わるものであるため、同一の登録画像であっても、入力される感性表現情報によっては、画像処理条件が変わる。
【００５８】
例えば、「壮大な」といった感性表現キーワードに対して、被写体である山の領域を領域の中心を変えずに拡大する画像処理条件がデータベース化されている一方、「真っ白な」といった感性表現キーワードに対して、被写体である山のやや薄汚れた白い領域を雪と判断して明度の高い白色領域に変換する画像処理条件がデータベース化されている場合、感性表現情報として「雄大な」が入力された場合と、「真っ白な」が入力された場合とでは、同じ「富士山」の登録画像であっても、前者では「富士山」を大きく強調する画像処理が行われ、後者では「富士山」の雪の領域を真っ白に強調する画像処理が行われる。
【００５９】
このように画像処理が施された登録画像は、プリンタ部２６に適したデータに変換されて、プリンタ部２６でプリント画像としてプリント出力される（ステップ１３０）。
選択された出力の形態によっては、通信制御部５を介して画像処理の施された登録画像がユーザＰＣ３０に送信される。あるいは、図示されないドライブ装置を介してＭＯ、ＣＤ−Ｒ、Ｚｉｐ（登録商標）やフレキシブルディスク等の記録媒体に書き込まれる。
【００６０】
このように、本実施形態では、操作者の入力した感性表現情報に適した登録画像を検索し、しかも、感性表現情報に応じて登録画像も強調されて出力されることを特徴とする。
【００６１】
上記実施形態のデータベース部１４は、撮影被写体の類型と、この類型と対応関係を付けた感性表現キーワードと予め記録保存したものであったが、本発明においては、このデータベース部は、各個人毎に専用のデータベース部が構築されたものであってもよい。例えば、複数のサンプル画像と感性表現キーワード一覧表を予め用意しておき、各個人がサンプル画像毎に感性キーワード一覧表から感性表現キーワードを選択することで、サンプル画像の撮影被写体の類型と感性表現キーワードの対応関係を求めておき、これをデータベース部に記録保存するとよい。これにより個人用データベースをそれぞれ構築することができる。
【００６２】
また、上記実施形態では、撮影画像を登録画像として登録画像格納部１６に格納する際、登録画像に感性表現キーワードを付属情報として対応させて記録保存するが、さらに、撮影画像から被写体の領域を抽出して求めた被写体の類型を、登録画像の付属情報として対応させて登録画像格納部１６に記憶させてもよい。これにより、図３に示すステップ１２２における登録画像の検索において、以下の方法によって登録画像を検索することができる。
【００６３】
すなわち、画像検索においては、ステップ１２０で入力された感性表現情報に一致する、または、近似する感性表現キーワードをデータベース部１４にて調べる。感性表現情報に一致する、または近似する画像表現キーワードがない場合、画像検索部２０は、辞書参照部２２に近似表現の導出を指示し、この指示に応じて導出された近似表現を用いてデータベース部１４にて感性表現キーワードを調べる。こうして、感性表現情報に一致する、または近似する感性表現キーワードをデータベース部１４にて見出すと、これに対応した撮影被写体の類型を取り出す。この取り出された撮影被写体の類型と一致する付属情報としての類型を調べる。このようにして、上記撮影被写体の類型と一致する類型を付属情報として持つ登録画像を検索することができる。勿論、この時、登録画像が付属情報として持つ複数の感性表現キーワードの中に、感性表現情報に一致する、または近似する感性表現キーワードが含まれているのが好ましい。
【００６４】
さらに、登録画像格納部１６は、上述した登録画像の検索が行われた日時の履歴を登録画像に対応させて記録保存してもよい。例えば、後日、検索した日時の記憶を頼りに登録画像を検索することもできる。
さらに、モニタ７の近くに音声記録装置を設け、検索した登録画像がモニタ７に表示された際の登録画像鑑賞者の発言内容を録音し、この発言内容を音声情報として登録画像の付属情報として対応付けて記録保存してもよい。一方、感性表現情報入力部１８は、音声入力システムを備え、登録画像鑑賞者が、後日、上記発言内容の記憶を頼りに音声入力により感性表現情報を入力することで、上記発言内容を付属情報として持つ登録画像を検索することができる。
【００６５】
このような検索は、上記実施形態における検索方法と組み合わせることで、効率良く所望の登録画像を検索することができる。また、本発明に用いられる画像検索および画像処理装置により、例えば人が癒される画像を表示したり、すがすがしい気持ちになる画像を表示したりすることができる娯楽性をも提供することができる。
【００６６】
なお、上述した実施例においては、撮影画像の登録保存、登録画像の検索および画像処理の対象となる被写体またはシーンを風景としているが、本発明はこれに限定されない。
例えば、対象となる被写体またはシーンは、人物や人物の所有物、あるいは人物の近くにある物品であっても良い。
この時、撮影被写体の類型と感性表現キーワードとの対応付けは、以下のようにして行うことができる。
【００６７】
図５に示す実施例を用いて説明すると、タグセンサ付きデジタルカメラ４２でＩＣタグ４４ａ付き物品４４、例えばハンドバッグを持っている、または装飾品や衣服を身につけている人物４６を撮影すると、人物４６の撮影画像（画像データ）の他に、撮影被写体の類型となるハンドバッグ、装飾品や衣服等の物品４４の識別データ（物品ＩＤ）を入手することができる。
撮影後、カメラ４２がＰＣ（パソコン）４８に接続され、入手できた物品ＩＤが画像データとともにＰＣ４８に入力される。ＰＣ４８から物品ＩＤをキーとして、メーカ５０側に通信ネットワーク５２を介してアクセスし、メーカ５０側が用意している物品４４の物品情報や感性表現キーワードを取り込み、取り込まれた感性表現キーワードと物品４４（類型）との関連付けを行い、データベース（例えば、図１のデータベース部１４）に保存することができるし、人物や物品のの画像データを感性表現キーワードと関連付けて、好ましくはさらに、類型（物品データ）とも関連付けて、データベース（登録画像格納部１６）に保存することもできる。
【００６８】
ここで、人物の所有物や撮影時に当該人物の近傍にある物品４４としては、撮影被写体の類型となるもので、上述した装飾品類、衣服類、ハンドバッグ類、靴類、帽子類、その他置物類や、家具調度品などを挙げることができる。撮影被写体の類型としては、１つであっても、複数であっても良い。
また、メーカ５０側では、物品４４の物品ＩＤに対応付けて、物品情報および感性表現キーワードとなる感性表現データが用意されている。例えば、物品４４が着物である場合に、物品ＩＤが「ＸＸＸ１」である着物には「あでやか」なる感性表現データが用意され、物品ＩＤが「ＸＸＸ２」である着物には「しぶい」なる感性表現データが用意される。
【００６９】
すなわち、風景以外の被写体の場合の撮影被写体の類型と感性表現キーワードとの対応付けの第１ステップでは、画像データには、付属情報として被写体情報を含む。ここで、被写体情報としては、人物情報の他、その人物の所有物や近傍の載置物の各物品について、各物品に付けられているＩＣタグから読み取ることができる。
第２ステップでは、被写体に関連する感性表現をデータベースから読出し、画像データの付属情報に追加する。この時、１つの物品に優先順位付きで複数の感性表現があっても良い。
なお、本発明において対象とされる画像としては、静止画の他、動画であっても良い。
【００７０】
また、上述した実施例においては、撮影画像の画像データと感性表現キーワードとを関連付けてデータベース（登録画像格納部１６）に保存しているが、本発明はこれに限定さない。すなわち、本発明においては、画像データと感性表現キーワードとの関連がわかればよいので、この画像データに感性表現キーワードを付属させるという形態に限定されない。例えば、個々の感性表現キーワードに対し、画像データのＩＤ（ファイル名、アクセス先等）を付属させる形態のファイルを記録（但し、追加／更新／削除は自由）し、参照する方法でも良い。
【００７１】
また、感性表現情報と検索対象との対応付けに学習機能を持たせ、両者の対応付けをユーザ個人毎に学習し、カスタマイズするようにしても良い。
入力ステップとしては、例えば、ＰＣ（パソコン）のデスクトップの背景画像（いわゆる壁紙）として欲しい画像を検索するものとすると、以下のように行うことができる。
最初にある特定のキーワードを入力または選択すると、複数の画像が順次、またはインデックス画像として表示される。ユーザによって、好みの画像（複数でも可能）が選択されると、選択された絵には、ポイントが加算され、選択された画像が壁紙として所定期間（１日／１週間）表示される。なお、複数画像選択した場合には、順次更新されるのが良い。
その後、所定期間経過後に、再び、感性表現キーワードにより、画像を検索して、選択する処理を繰り返す。
【００７２】
次の学習ステップでは、所定期間経過後に、同一の感性表現キーワードで検索された画像について、ポイントの分布をチェックする。
ここでは、各画像の被写体における類型ごとにポイントを集計する。なお、１つの被写体に複数の類型を対応付けても良いので、この場合には、各類型毎にポイントが加算される。
例えば、類型は、１つの被写体に１つとは限らず、固有名詞でも良いし、分野とか国名とか、山であれば何千ｍクラスであるなど、人物であれば性別、年齢、職業、といった類型をつけることができる。
例１として、「固有名詞：富士山」、「分野：山」、「国名：日本」、「高度：３０００ｍクラス」、「人気度：大」などを挙げることができる。
例２として、「固有名詞：○○」、「分野：人物」、「国名：日本」、「性別」、「年齢層」、「職業：俳優」などを挙げることができる。
【００７３】
この後、加算されたポイントを各類型毎に集計し、ポイント集計結果をユーザ毎に記憶しておく。この集計結果は、検索カスタマイズ情報としてＰＣ内に登録しておく。
次回の画像検索時には、所定の比率以上のポイントを有する類型に絞って、あるいは優先して、画像を検索し、表示する。例えば、類型毎にポイントを付けていくのをある程度繰り返して行き、最もポイントを多く獲得した類型に高い優先度をつけることができる。
この時には、同じ感性表現キーワードであっても、Ａ氏の場合とＢ氏の場合では、異なる画像が検索される。例えば、同じ「さわやか」という感性表現キーワードでも、Ａ氏の場合には自然のシーンで、特に森林シーンが主にヒットする。一方、Ｂ氏の場合には若手の女性歌手が主にヒットするという風にだんだん別れて行く。
この時、一定期間経過したら削除しても良いし、古いデータは順次消去する等の処置をすることもできる。
【００７４】
なお、上記実施例において、画像の関連情報と関連付けてポイント集計を行っても良い。
例えば、類型が同じ「分野：山」の場合についても、各撮影情報の「撮影日時（季節／時間帯）」、その時の「天候（晴れ／雨）」、「撮影倍率（大／小）」別にポイント集計しても良い。すなわち、同じ山であっても、撮影情報を階層化して、各階層毎にポイント集計しても良い。
また、上述したカスタマイズ処理は、ユーザ個人別に行われているが、このカスタマイズ処理を、特定のグループ（事前にメンバ登録）内で、すなわち、特定の同好会等のグループ単位で行うこともできる。
ここでは、各メンバの画像指定におけるポイントをグループ内で集計し、グループ内検索カスタマイズ情報として、代表するＰＣ内に記録することができる。
さらに、キーワード検索タイプを、一般共通用、個人用、またはグループ用で切り換えて使用することもできる。すなわち、一般共通用／個人用／グループ用の検索カスタマイズ情報を切り換えて使用できる。
【００７５】
本発明の画像の保存方法、登録画像の検索方法および画像処理方法を適用するサービス形態および利用方法として、以下のようなものも挙げることができる。
例えば、例１としては、プレゼントの選択時に、相手の個人用検索カスタマイズ情報を利用して検索することができる。例えば、プレゼントを贈る相手の人物は、さわやかな色の服が好きだということを指定すると、その人物のさわやかというのはどのような色かというのをカスタマイズ情報を使って正確に選び出すことができ、好みにあった服を選ぶことができる。
【００７６】
次に、例２として、飲食店をインターネットで検索する場合に、個人／グループの検索カスタマイズ情報を利用することができる。
また、例３として、化粧シミュレーションや化粧品の選択に利用することができる。この時には、化粧品メーカ、色味、モデル等の類型で個人用検索カスタマイズ情報を作成しておくのが好ましい。
例４として、見合い写真選別に利用することができる。この時には、化粧品顔の縦横比や目鼻口の間隔比等でタイプ分けして顔の類型を作成しておくのが好ましい。
【００７７】
また、本発明の第１および４の態様の画像の保存方法およびシステム、本発明の第２および５の態様の登録画像の検索方法およびシステムならびに本発明の第３および６の態様の登録画像の画像処理方法およびシステムは、基本的に以上のように構成されるが、本発明これに限定されず、本発明の第７の態様のように、上述した本発明の第１、２および３の態様の画像の保存方法、登録画像の検索方法および登録画像の画像処理方法をコンピュータ上で動作する画像処理プログラムとして実現しても良い。
【００７８】
以上、本発明の画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラムについて種々の実施形態を挙げて詳細に説明したが、本発明は、上記種々の実施形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００７９】
【発明の効果】
以上、詳細に説明したように、本発明によれば、撮影画像や取得画像や生成画像等の画像に関する感性表現キーワードを撮影被写体や画像の主題等の画像シーンの類型を介して設定し、この感性表現キーワードを撮影画像や取得画像や生成画像等の画像の付属情報として対応付けて、この画像を登録画像として記録保存するので、操作者が感性表現情報を入力するだけで、感性表現情報に適した登録画像を効率よく検索することができる。しかも、撮影場所や被写体の固有名詞がわからない場合でも、感性表現情報を入力するだけで所望の登録画像を検索することができ、しかも、感性表現情報に応じた画像処理を施すので、所望の画像を容易に入手することができる。
【図面の簡単な説明】
【図１】 本発明の画像の保存方法を実施する画像保存・検索装置の一実施形態の概略の構成を示すブロック図である。
【図２】 図１に示す画像保存・検索装置おいて実施される本発明の画像の保存方法の流れの一例を示すフローチャートである。
【図３】 本発明の登録画像の検索方法および登録画像の画像処理方法の流れの一例を示すフローチャートである。
【図４】 本発明の画像の保存方法における撮影画像との対応関係を持つ情報をわかり易く説明する説明図である。
【図５】 本発明の登録画像の検索方法に利用される撮影被写体の類型と感性表現キーワードとの対応付けを説明するための説明図である。
【符号の説明】
１ 画像保存・検索装置
２ 画像蓄積装置
３ 画像検索装置
４ 画像出力装置
５ 通信制御装置
６ ＣＰＵ
７ モニタ
１０ 画像取得部
１２ 被写体抽出・同定部
１４ データベース部
１６ 登録画像格納部
１８ 感性表現情報入力部
２０ 画像検索部
２２ 辞書参照部
２４ 画像処理部
２６ プリンタ部
Claims (16)
- 画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとが予め記録保存されたデータベースを用いて撮影画像の付属情報を求め、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに保存する画像の保存方法であって、
前記撮影画像を保存する際、
前記撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域またはこの領域で囲まれている領域を被写体領域として抽出して、
少なくとも前記撮影画像の撮影位置、撮影方位、および撮影倍率の情報を含む撮影情報、ならびに地図データを用いて、前記被写体領域を同定することにより、前記被写体領域の前記画像シーンとしての類型を求め、
この求められた前記類型を用いて前記データベースを参照して、前記類型に対応する前記感性表現キーワードを導出し、
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存することを特徴とする画像の保存方法。 - 前記登録画像には、前記撮影画像の保存の際に求められた前記被写体の前記撮影被写体としての類型も、前記撮影画像の付属情報として対応付けられている請求項１に記載の画像の保存方法。
- 前記撮影画像内の被写体の抽出は、撮影シーンの奥行き情報を用いて行う請求項１または２に記載の画像の保存方法。
- 前記撮影画像内の被写体の抽出を行った後、この被写体の同定を、前記撮影情報および地図情報に加えて、撮影の奥行き情報から、被写体領域以外の領域内の被写体の位置を算出し、これを用いて行うことにより、前記被写体の撮影被写体としての類型を求める請求項１〜３のいずれかに記載の画像の保存方法。
- 前記撮影画像内の被写体の抽出は、前記撮影画像内の被写体の領域を抽出することである請求項１〜４のいずれかに記載の画像の保存方法。
- 前記撮影情報は、前記撮影画像の撮影時の天気の情報を含む請求項１〜５のいずれかに記載の画像の保存方法。
- 画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとが予め記録保存されたデータベースを用いて撮影画像の付属情報を求め、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに保存する画像の保存方法であって、
被写体を撮影する際、前記被写体に予め付与されているＩＣタグのタグ情報を同時に読み取り、
前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出し、
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存することを特徴とする画像の保存方法。 - 前記撮影画像内に複数の被写体が存在する場合は、前記撮影画像内の、より中心に位置する被写体の点数が高くなるように点数化し、前記点数の最も高い被写体について、前記感性表現キーワードを導出する請求項１〜７のいずれかに記載の画像の保存方法。
- 請求項１〜８のいずれかに記載の画像の保存方法によって保存された登録画像の中から所望の登録画像を検索する検索方法であって、
入力された感性表現情報に近似する感性表現キーワードを、辞書を内蔵する辞書参照部を用いて導出し、前記感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を、登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法。 - 請求項１〜８のいずれかに記載の画像の保存方法によって保存された登録画像の中から所望の登録画像を検索する検索方法であって、
登録画像の検索を行う際に、入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、データベース内の登録画像を検索し、
この感性表現キーワードを付属情報とする複数の登録画像を取り出して、画像表示デバイスに表示し、
表示された複数の登録画像の中からユーザによって選択された１つの画像または前記画像の類型に対してポイントを加算することを、前記登録画像を検索する毎に行い、
前記加算されたポイントを、前記画像毎または前記画像の類型毎、かつ、前記ユーザ毎に集計して、記憶しておき、
次回からの検索時に、前記複数の登録画像の中から、入力された感性表現情報に一致、または近似する感性表現キーワードを付属情報とする画像であり、さらに、前記記憶されたポイントが所定の比率以上である画像、または前記記憶されたポイントが所定の比率以上である類型に当てはまる画像を、限定的に、あるいは、優先的に取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法。 - 請求項９または１０に記載の登録画像の検索方法によって検索された登録画像を呼び出して画像処理を施す登録画像の画像処理方法であって、
登録画像に対応して前記感性表現キーワードが対応付けられて設定されており、
さらに、前記感性表現キーワードに対応して画像処理条件が対応付けられて設定されており、
登録画像に画像処理を施す際、前記感性表現情報に一致する、または近似する感性表現キーワードと対応付けられた画像処理条件を呼び出し、この画像処理条件に基づいて自動的に画像処理を施すことを特徴とする登録画像の画像処理方法。 - 登録画像の中から所望の登録画像を検索する検索システムであって、
画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第１データベースと、
撮影画像を保存する際に、前記撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域またはこの領域で囲まれている領域を被写体領域として抽出して、少なくとも前記撮影画像の撮影位置、撮影方位、および撮影倍率の情報を含む撮影情報、ならびに地図データを用いて、前記被写体領域を同定することにより、前記被写体領域の前記画像シーンとしての類型を求める手段と、
この求められた前記類型を用いて前記第１のデータベースを参照して、前記類型に対応する前記感性表現キーワードを導出する手段と、
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに保存する第２データベースと、
この第２データベースに記録保存された登録画像の中から、入力された感性表現情報に一致する、または近似する感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出す登録画像の検索手段とを有することを特徴とする登録画像の検索システム。 - 登録画像の中から所望の登録画像を検索する検索システムであって、
画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第１データベースと、
被写体を撮影する際、前記被写体に予め付与されているＩＣタグのタグ情報を同時に読み取る手段と、
前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出する手段と、
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存する第２データベースと、
この第２データベースに記録保存された登録画像の中から、入力された感性表現情報に一致する、または近似する感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出す登録画像の検索手段とを有することを特徴とする登録画像の検索システム。 - 登録画像の中から所望の登録画像を検索する検索システムであって、
画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第１データベースと、
撮影画像を保存する際に、前記撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域またはこの領域で囲まれている領域を被写体領域として抽出して、少なくとも前記撮影画像の撮影位置、撮影方位、および撮影倍率の情報を含む撮影情報、ならびに地図データを用いて、前記被写体領域を同定することにより、前記被写体領域の前記画像シーンとしての類型を求める手段と、
この求められた前記類型を用いて前記第１のデータベースを参照して、前記類型に対応する前記感性表現キーワードを導出する手段と、
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに保存する第２データベースと、
この第２データベースに記録保存された登録画像の中から登録画像の検索を行う際に、入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、第２データベース内の登録画像を検索する検索手段と、
この感性表現キーワードを付属情報とする複数の登録画像を取り出して表示する画像表示デバイスと、
表示された複数の登録画像の中からユーザによって１つの選択された画像またはその類型に対してポイントを加算することを、検索毎に所定期間繰り返し、
前記所定期間経過後、同一の感性表現キーワードにおいて検索された画像または類型毎かつ前記ユーザ毎に、加算されたポイントを集計して、前記第２データベースに当該登録画像の前記付属情報として記憶させる評価手段と、
前記検索手段は、次回からの検索時に、所定の比率以上のポイントを有する画像またはその類型に絞って、あるいは優先して、登録画像の検索を行うことを特徴とする登録画像の検索システム。 - 登録画像の中から所望の登録画像を検索する検索システムであって、
画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第１データベースと、
被写体を撮影する際、前記被写体に予め付与されているＩＣタグのタグ情報を同時に読み取る手段と、
前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出する手段と、
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存する第２データベースと、
この第２データベースに記録保存された登録画像の中から登録画像の検索を行う際に、入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、第２データベース内の登録画像を検索する検索手段と、
この感性表現キーワードを付属情報とする複数の登録画像を取り出して表示する画像表示デバイスと、
表示された複数の登録画像の中からユーザによって１つの選択された画像またはその類型に対してポイントを加算することを、検索毎に所定期間繰り返し、
前記所定期間経過後、同一の感性表現キーワードにおいて検索された画像または類型毎かつ前記ユーザ毎に、加算されたポイントを集計して、前記第２データベースに当該登録画像の前記付属情報として記憶させる評価手段と、
前記検索手段は、次回からの検索時に、所定の比率以上のポイントを有する画像またはその類型に絞って、あるいは優先して、登録画像の検索を行うことを特徴とする登録画像の検索システム。 - 請求項１〜８のいずれかに記載の画像の保存方法、請求項９または１０に記載の登録画像の検索方法、または請求項１１に記載の登録画像の画像処理方法を実施することを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003095004A JP4090926B2 (ja) | 2002-03-29 | 2003-03-31 | 画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002094245 | 2002-03-29 | ||
| JP2003095004A JP4090926B2 (ja) | 2002-03-29 | 2003-03-31 | 画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004005534A JP2004005534A (ja) | 2004-01-08 |
| JP4090926B2 true JP4090926B2 (ja) | 2008-05-28 |
Family
ID=30446329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003095004A Expired - Fee Related JP4090926B2 (ja) | 2002-03-29 | 2003-03-31 | 画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4090926B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9786076B2 (en) | 2014-08-27 | 2017-10-10 | Fujifilm Corporation | Image combining apparatus, image combining method and non-transitory computer readable medium for storing image combining program |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2553603C (en) * | 2004-01-20 | 2015-03-10 | Thomson Licensing | Television production technique |
| JP2005346440A (ja) * | 2004-06-03 | 2005-12-15 | Ntt Docomo Inc | メタデータ付与支援システム、制御装置、及び、メタデータ付与支援方法 |
| WO2006028108A1 (ja) * | 2004-09-07 | 2006-03-16 | Nec Corporation | 画像処理システム及びその方法と、それに用いられる端末及びサーバ |
| WO2006028109A1 (ja) * | 2004-09-07 | 2006-03-16 | Nec Corporation | 撮影システム及びその撮影条件の設定方法と、それに用いられる端末及びサーバ |
| JP4697931B2 (ja) * | 2004-10-20 | 2011-06-08 | ソニー・エリクソン・モバイルコミュニケーションズ株式会社 | 情報提供システムおよび携帯端末 |
| JP2006244424A (ja) * | 2005-03-07 | 2006-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 映像シーン分類方法及び装置及びプログラム |
| JP4816140B2 (ja) * | 2006-02-28 | 2011-11-16 | ソニー株式会社 | 画像処理システムおよび方法、画像処理装置および方法、撮像装置および方法、プログラム記録媒体、並びにプログラム |
| JP5018147B2 (ja) * | 2007-03-09 | 2012-09-05 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN102105901B (zh) * | 2008-06-06 | 2013-03-06 | 谷歌公司 | 注释图像 |
| JP5387103B2 (ja) * | 2009-04-06 | 2014-01-15 | 株式会社ニコン | 画像処理装置 |
| JP5220684B2 (ja) * | 2009-05-28 | 2013-06-26 | ヤフー株式会社 | 感覚情報表現サーバ、感覚情報表現システム、及び感情表現方法 |
| JP2010134952A (ja) * | 2010-01-20 | 2010-06-17 | Seiko Epson Corp | 画像データの管理 |
| JP5321564B2 (ja) * | 2010-11-08 | 2013-10-23 | ソニー株式会社 | 画像管理方法および装置、記録媒体、並びにプログラム |
| JP6958096B2 (ja) * | 2017-08-10 | 2021-11-02 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、及びプログラム |
| JP7023005B2 (ja) * | 2019-10-24 | 2022-02-21 | 克己 横道 | 情報処理システム、情報処理方法およびプログラム |
| CN112822425B (zh) * | 2020-12-30 | 2023-01-06 | 上海掌门科技有限公司 | 一种用于生成高动态范围图像的方法与设备 |
-
2003
- 2003-03-31 JP JP2003095004A patent/JP4090926B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9786076B2 (en) | 2014-08-27 | 2017-10-10 | Fujifilm Corporation | Image combining apparatus, image combining method and non-transitory computer readable medium for storing image combining program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004005534A (ja) | 2004-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20030193582A1 (en) | Method for storing an image, method and system for retrieving a registered image and method for performing image processing on a registered image | |
| JP4090926B2 (ja) | 画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラム | |
| CN104885442B (zh) | 服务器装置和拍摄装置 | |
| US10346677B2 (en) | Classification and organization of consumer digital images using workflow, and face detection and recognition | |
| US9558397B2 (en) | Method and apparatus for automated analysis and identification of a person in image and video content | |
| US7106887B2 (en) | Image processing method using conditions corresponding to an identified person | |
| CN102640149B (zh) | 乐曲推荐系统、信息处理装置及信息处理方法 | |
| US8698920B2 (en) | Image display apparatus and image display method | |
| JP4073156B2 (ja) | 画像検索装置 | |
| US8237819B2 (en) | Image capture method with artistic template design | |
| CN102725756B (zh) | 图像分类装置、方法、程序、记录程序的记录介质及集成电路 | |
| CN101790035B (zh) | 照相机 | |
| US20110029635A1 (en) | Image capture device with artistic template design | |
| US20110058028A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| CN101799621B (zh) | 一种拍摄方法和拍摄设备 | |
| JP2011517791A (ja) | イベントマーカーとしての装飾 | |
| JPWO2012147256A1 (ja) | 画像処理装置 | |
| JP5878523B2 (ja) | コンテンツ加工装置とその集積回路、方法、およびプログラム | |
| JP2001297090A (ja) | 画像データ検索方法、画像表示方法、データ検索システム、画像編集装置及びコンピュータ読み取り可能な記憶媒体 | |
| JP2012504806A (ja) | 対話式画像選択方法 | |
| US20170061642A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
| US20050041103A1 (en) | Image processing method, image processing apparatus and image processing program | |
| JPH10124655A (ja) | デジタルアルバムの作成装置及びデジタルアルバム装置 | |
| CN109191229A (zh) | 增强现实装饰物推荐方法及装置 | |
| JP2006279925A (ja) | 撮像装置、撮像方法、及び撮像プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050307 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4090926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110307 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110307 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120307 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120307 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130307 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130307 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140307 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |