JP6287529B2 - キーワード決定装置、キーワード決定プログラム及びキーワード決定方法 - Google Patents

Description

本発明は、キーワード決定装置、キーワード決定プログラム及びキーワード決定方法に関する。

画像を管理する場合、画像にキーワードを紐付けることで管理しやすくなり、画像へのアクセス性も向上する。このキーワードの紐付け作業をユーザが手作業で行うこととすると、手間と時間を要する。したがって、画像から自動的にキーワードを抽出して紐付けができるようになれば、ユーザの利便性も向上する。

従来、駅名板を撮影した画像情報から文字列を抽出し、文字列のサイズや位置に基づいて、駅名を抽出する方法が知られている（例えば、特許文献１等参照）。

特開２００９−１３０６９７号公報

しかしながら、上記特許文献１のように、文字列の位置やサイズに基づいて画像のキーワードを特定しようとしても、キーワードとなりうる文字列の位置やサイズは撮影した画像に含まれる看板の種類によって異なる。このため、上記特許文献１を用いたとしても画像のキーワードを正しく特定できない場合がある。

１つの側面では、本発明は、画像のキーワードとして適切なキーワードを決定することが可能なキーワード決定装置、キーワード決定プログラム及びキーワード決定方法を提供することを目的とする。

一つの態様では、キーワード決定装置は、キーワードとなりうる単語と該単語を示す１又は複数の文字体系の文字列とを関連付けて記憶する記憶部と、画像に複数の文字列が含まれる場合、前記記憶部を参照して、前記画像に含まれる各文字列が示す単語を特定する特定部と、前記特定部が特定した単語を示す前記画像に含まれる文字列の種類数又は個数が多い単語を前記文字列の種類数又は個数が少ない単語よりも優先して、特定した単語の中から前記画像を示すキーワードを決定する決定部と、を備えている。

一つの態様では、キーワード決定プログラムは、画像に複数の文字列が含まれる場合、キーワードとなりうる単語と該単語を示す１又は複数の文字体系の文字列とを関連付けて記憶する記憶部を参照して、前記画像に含まれる各文字列が示す単語を特定し、特定した前記単語を示す前記画像に含まれる文字列の種類数又は個数が多い単語を前記文字列の種類数又は個数が少ない単語よりも優先して、特定した前記単語の中から前記画像を示すキーワードを決定する、処理をコンピュータに実行させるプログラムである。

一つの態様では、キーワード決定方法は、画像に複数の文字列が含まれる場合、キーワードとなりうる単語と該単語を示す１又は複数の文字体系の文字列とを関連付けて記憶する記憶部を参照して、前記画像に含まれる各文字列が示す単語を特定し、特定した前記単語を示す前記画像に含まれる文字列の種類数又は個数が多い単語を前記文字列の種類数又は個数が少ない単語よりも優先して、特定した前記単語の中から前記画像を示すキーワードを決定する、処理をコンピュータが実行するキーワード決定方法である。

画像のキーワードとして適切なキーワードを決定することができる。

一実施形態に係る電子機器のハードウェア構成を概略的に示すブロック図である。 ＣＰＵの機能ブロック図である。 単語ＤＢのデータ構造を示す図である。 ＣＰＵによるキーワード決定処理を示すフローチャートである。 図５（ａ）〜図５（ｃ）は、図４の処理を説明するための図である。 看板領域の別例を示す図である。

以下、一実施形態について、図１〜図６に基づいて詳細に説明する。図１には、本実施形態に係る電子機器１００のハードウェア構成が概略的に示されている。電子機器１００は、例えば、スマートフォンや携帯電話などの端末や、コンパクトカメラや一眼レフカメラなどの撮影装置等であるものとする。

電子機器１００は、図１に示すように、ＣＰＵ（Central Processing Unit）９０、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６、ネットワークインタフェース９７、表示部９３、入力部９５、撮影部８０、及び可搬型記憶媒体用ドライブ９９等を備えている。これら電子機器１００の構成各部は、バス９８に接続されている。表示部９３は、液晶ディスプレイ等を含み、入力部９５は、タッチパネルや入力ボタン等を含む。撮影部８０は、入力部９５を介したユーザからの指示に基づいて、撮影を行う。なお、電子機器１００では、ＣＰＵ９０は、撮影部８０が撮影した画像をＨＤＤ９６で管理する際、画像のキーワードを決定して、該キーワードを紐付けた状態で画像を管理する。すなわち、ＣＰＵ９０は、キーワード決定装置として機能する。具体的には、電子機器１００では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（キーワード決定プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（キーワード決定プログラムを含む）をＣＰＵ９０が実行することにより、図２に示す機能が実現される。なお、キーワードとは、画像中に含まれる単語のうち、画像を撮影した撮影者が撮影を意図した（撮影者が撮影しようと考えた）と想定される単語を意味する。

図２には、ＣＰＵ９０の機能ブロック図が概略的に示されている。図２に示すように、ＣＰＵ９０は、画像取得部１２、看板領域推定部１４、文字列抽出部１６、文字認識部１８、特定部としての単語検出部２０、及び決定部としてのキーワード決定部２２、として機能する。なお、図２には、ＨＤＤ９６等に格納されている文字認識辞書ＤＢ３０及び記憶部としての単語ＤＢ３２も図示されている。

画像取得部１２は、撮影部８０が撮影した画像を取得し、看板領域推定部１４に送信する。

看板領域推定部１４は、画像取得部１２から受信した画像中から看板領域を推定して切り出しを行う。看板領域の推定方法としては、公知の方法（例えば、周他，「情景画像からの看板領域と看板中の情報抽出」，PRMU, No.102,2003など）を採用することができる。

文字列抽出部１６は、看板領域推定部１４において切り出された看板領域を文字とそれ以外に分離して文字部分のみを画像として抽出する。なお、文字列抽出部１６が抽出する画像を、文字列画像と呼ぶものとする。

文字認識部１８は、文字認識辞書ＤＢ３０を参照して、文字列抽出部１６が抽出した文字列画像に対し文字認識を実行し、文字認識結果を得る。なお、文字認識辞書ＤＢ３０には、通常の文字認識処理において用いられる辞書データが格納されている。

単語検出部２０は、文字認識部１８による文字認識結果と、単語ＤＢ３２に基づいて、看板領域内に存在している単語を検出する。図３には単語ＤＢ３２のデータ構造が示されている。図３に示すように、単語ＤＢ３２は、「単語」、「文字列通番」、「文字列」の各フィールドを有する。「単語」のフィールドには、画像のキーワードになりうる単語、例えば地名、駅名などが格納される。「文字列通番」のフィールドには登録文字列に割り当てられた通し番号が格納される。「文字列」のフィールドには、画像のキーワードになりうる単語に対応する１又は複数の文字体系の文字列が格納される。なお、文字体系とは、漢字表記、ひらがな表記、カタカナ表記、ローマ字表記、英語表記などを意味する。例えば、文字列「富士通城」「ふじつうじょう」「Fujitsu Castle」のように、使われている文字種が異なってもそれらの文字列が示す（意味する）共通の単語を「単語」とする。すなわち、「単語」は、共通する意味を有する１又は複数の文字列を代表する文字列であるともいえる。

キーワード決定部２２は、検出された単語の数が単数の場合、その単語をキーワードとして決定する。一方、検出された単語の数が複数の場合、キーワード決定部２２は、看板領域内に存在していた文字列に基づいてキーワードを決定する。なお、キーワードの決定方法の詳細については、後述する。なお、ＣＰＵ９０では、キーワード決定部２２が決定したキーワードと画像とを紐付けて、ＨＤＤ９６において画像を管理するものとする。

次に、ＣＰＵ９０によるキーワード決定処理について、図４のフローチャートに沿って詳細に説明する。

図４の処理では、ステップＳ１０において、画像取得部１２が、画像が撮影部８０から入力されるまで待機する。この場合、撮影部８０が画像を撮影し、撮影部８０から画像が送信されてくると、画像取得部１２は、ステップＳ１２に移行する。

ステップＳ１２に移行すると、画像取得部１２は、撮影部８０から送信されてきた画像を取得する。画像取得部１２は、取得した画像を看板領域推定部１４に送信する。

次いで、ステップＳ１４では、看板領域推定部１４が、看板領域を推定する。例えば、画像取得部１２が図５（ａ）に示すような看板を撮影した画像を取得した場合、看板領域推定部１４は、図５（ｂ）において破線で示す範囲を看板領域として推定する。なお、看板領域推定部１４は、上述したように、看板領域を公知の方法により推定する。なお、ステップＳ１４において、看板領域推定部１４が看板領域を推定できなかった場合、すなわち、画像中に看板領域が存在しなかった場合には、図４の全処理を終了すればよい。

次いで、ステップＳ１６では、文字列抽出部１６が、看板領域から文字列画像を抽出する。そして、文字認識部１８が、文字認識辞書ＤＢ３０を参照し、文字列画像の文字認識を行う。図５（ｂ）の看板領域の場合、文字認識部１８による文字認識結果は、図５（ｃ）のようになる。なお、図５（ｃ）では、図３の単語ＤＢ３２に登録されている文字列（登録文字列と呼ぶ）に下線を付している。

次いで、ステップＳ１８では、文字認識部１８が、登録文字列が複数であるか否かを判断する。図５（ｃ）の場合、登録文字列が３つ存在しているので、このステップＳ１８の判断は肯定される。

ステップＳ１８の判断が肯定された場合、ステップＳ２０に移行し、単語検出部２０は、単語ＤＢ３２を参照して、文字認識結果の文字列（登録文字列）に対応する単語を特定する。図５（ｃ）の場合、単語検出部２０は、文字列「富士通城」と「ふじつうじょう」に対応する単語「富士通城」と、文字列「相模湖」に対応する単語「相模湖」を特定する。

次いで、ステップＳ２２では、キーワード決定部２２が、特定された単語の中から、キーワードを決定する。ここでは、キーワード決定部２２は、以下のような方法で画像のキーワードを決定する。

まず、キーワード決定部２２は、ステップＳ２０で特定された単語の画像中における検出回数Ｎ_iを求める。図５（ｃ）の例では、キーワード決定部２２は、単語「富士通城」と「相模湖」のうち、１つ目の単語「富士通城」の検出回数Ｎ₁（＝２）を求めるとともに、２つ目の単語「相模湖」の検出回数Ｎ₂（＝１）を求める。

次いで、キーワード決定部２２は、Ｎ_iによって定義されるキーワードらしさの度合いｆ（Ｎ_i）を次式（１）より計算する。

ここで、ｆ（Ｎ_i）は、検出回数Ｎiを０から１の範囲に正規化した値である。図５（ｃ）の例では、１つ目の単語「富士通城」のｆ（Ｎ₁）は、
ｆ（Ｎ₁）＝２／（２＋１）＝２／３≒０．６７ …（２）
となり、２つ目の単語「相模湖」のｆ（Ｎ₂）は、
ｆ（Ｎ₂）＝１／（２＋１）＝１／３≒０．３３ …（３）
となる。

次いで、キーワード決定部２２は、ｆ（Ｎ_i）が最も大きい単語をキーワードとして決定する。上記例では、「富士通城」が図５（ａ）の画像に紐づくキーワードとして決定される。

なお、画像のキーワードを複数設定できる場合には、キーワード決定部２２は、ｆ（Ｎ_i）が所定の閾値よりも大きい単語をキーワードとして決定してもよい。

なお、ｆ（Ｎ_i）が最も大きい単語をキーワードとして決定する場合、キーワード決定部２２は、キーワードらしさの度合いｆ（Ｎ_i）として、Ｎ_iそのものを用いることとしてもよい（ｆ（Ｎ_i）＝Ｎ_i）。

また、ｆ（Ｎ_i）が最も大きい単語をキーワードとして決定する場合、２以上の単語のｆ(Ｎ_i)の値が等しくキーワードを決定できないような場合もある。このような場合には、公知技術（上記特許文献１）のように文字列の位置や大きさの情報を更に考慮して、キーワードを決定することとしてもよい。

なお、上記式（１）では、例えば、単語「富士通城」に対応する文字列として「富士通城」が２回、「ふじつうじょう」が１回検出されたりする場合がある。このような場合には、検出回数Ｎ_iを全検出回数である３回とカウントしてもよいし、登録文字列の種類が検出された回数、すなわち漢字表記「富士通城」とひらがな表記「ふじつうじょう」の２回とカウントしてもよい。

以上により、図４の処理が終了する。一方、図４のステップＳ１８の判断が否定された場合、すなわち、登録文字列が１つしか認識（検出）されなかった場合には、キーワード決定部２２は、ステップＳ２４に移行し、単語ＤＢ３２に基づいてキーワードを決定する。すなわち、キーワード決定部２２は、認識された１つの登録文字列により一意に定まる単語をキーワードとして決定する。その後は、図４の全処理を終了する。なお、登録文字列が１つも認識されなかった場合には、キーワードを決定できないので、ステップＳ２４においてキーワードを決定せずに図４の全処理を終了する。なお、ＣＰＵ９０は、キーワードが決定できた画像については、ＨＤＤ９６においてキーワードを紐付けた状態で画像を管理する。

図６には、画像に含まれる看板領域の別例が示されている。図６のような看板領域（駅看板）においても上記と同様の処理を行うこととすればよい。図６の例では、単語「富士通」の登録文字列として、漢字表記の「富士通」、ひらがな表記の「ふじつう」、ローマ字表記の「Fujitsu」が検出され、単語「右隣」の登録文字列として、漢字表記の「右隣」、ローマ字表記の「Migitonari」が検出され、単語「左隣」の登録文字列として、漢字表記の「左隣」、ローマ字表記の「Hidaritonari」が検出される。したがって、キーワードらしさの度合いｆ（Ｎ_i）は、単語「富士通」が最も大きくなるため、キーワードとして１つの単語を決定する場合には、キーワード決定部２２は、単語「富士通」をキーワードとして決定する。

以上、詳細に説明したように、本実施形態によると、単語ＤＢ３２には、キーワードとなりうる単語と該単語を示す１又は複数の文字体系の文字列とが関連付けて記憶されており、単語検出部２０は、画像に複数の文字列が含まれる場合に単語ＤＢ３２を参照して、画像に含まれる各文字列が示す単語を特定する。そして、キーワード決定部２２は、特定された単語を示す文字列の種類数や個数に基づいて、特定された単語の中から画像を示すキーワードを決定する。これにより、本実施形態では、ユーザが特定の説明板や案内板などの看板を撮影した画像に複数の文字列が含まれている場合であっても、多様な文字体系で表記されている単語をその画像のキーワード（その画像が意味するであろう、代表する文字列）として自動的に決定することができる。また、単語の位置やサイズでは適切にキーワードを決定することができない場合であっても、本実施形態の処理を行うことで、画像のキーワードとして適切なキーワードを決定することができる。

なお、上記実施形態では、キーワード決定部２２が、１又は複数のキーワードを決定して画像に紐付ける場合について説明したが、これに限られるものではない。例えば、キーワード決定部２２は、ステップＳ２０で特定された単語のｆ（Ｎ_i）に基づいて、各単語に優先順位を付け、各単語を優先順位に従った並び順に並び替えて、画像に紐付けるようにしてもよい。すなわち、ｆ（Ｎ_i）が大きい単語をｆ（Ｎ_i）が小さい単語よりも優先するように画像に紐付けるようにしてもよい。

なお、上記実施形態では、電子機器１００のＣＰＵ９０が図２の各機能を有し、電子機器１００内において図４の処理が全て行われる場合について説明したが、これに限られるものではない。例えば、図２の少なくとも一部の機能をＰＣ（Personal Computer）やサーバに持たせ、図４の処理の少なくとも一部をＰＣやサーバに実行させるようにしてもよい。例えば、ＰＣやサーバに図２の全機能を持たせ、電子機器１００からＰＣやサーバに画像をアップロードする際に、ＰＣやサーバにおいて画像のキーワードを決定するようにしてもよい。また、例えば、ＰＣやサーバに単語検出部２０及びキーワード決定部２２の機能を持たせることとしてもよい。この場合、電子機器１００からＰＣやサーバに画像をアップロードする際に、電子機器１００からＰＣやサーバに対して文字認識結果を通知するようにし、ＰＣやサーバでは、図４のステップＳ１８〜Ｓ２４の処理を実行するようにしてもよい。

なお、図１の構成は一例である。すなわち、電子機器１００の種類や必要な機能に応じて、構成の追加、削除、変更を行ってもよい。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

なお、以上の実施形態の説明に関して、更に以下の付記を開示する。
（付記１） キーワードとなりうる単語と該単語を示す１又は複数の文字体系の文字列とを関連付けて記憶する記憶部と、
画像に複数の文字列が含まれる場合、前記記憶部を参照して、前記画像に含まれる各文字列が示す単語を特定する特定部と、
前記特定部が特定した単語を示す前記画像に含まれる文字列の種類数に基づいて、特定した単語の中から前記画像を示すキーワードを決定する決定部と、
を備えるキーワード決定装置。
（付記２） 前記決定部は、前記文字列の種類数が多い単語を前記文字列の種類数が少ない単語よりも優先して、前記キーワードを決定することを特徴とする付記１に記載のキーワード決定装置。
（付記３） 前記決定部は、前記特定部が特定した単語を示す文字列の個数に基づいて、前記画像を示すキーワードを決定することを特徴とする付記１又は２に記載のキーワード決定装置。
（付記４） 画像に複数の文字列が含まれる場合、キーワードとなりうる単語と該単語を示す１又は複数の文字体系の文字列とを関連付けて記憶する記憶部を参照して、前記画像に含まれる各文字列が示す単語を特定し、
特定した前記単語を示す前記画像に含まれる文字列の種類数に基づいて、特定した前記単語の中から前記画像を示すキーワードを決定する、
処理をコンピュータに実行させるキーワード決定プログラム。
（付記５） 前記決定する処理では、前記文字列の種類数が多い単語を前記文字列の種類数が少ない単語よりも優先して、前記キーワードを決定することを特徴とする付記４に記載のキーワード決定プログラム。
（付記６） 前記決定する処理では、特定した単語を示す文字列の個数に基づいて、前記画像を示すキーワードを決定することを特徴とする付記４又は５に記載のキーワード決定プログラム。
（付記７） 画像に複数の文字列が含まれる場合、キーワードとなりうる単語と該単語を示す１又は複数の文字体系の文字列とを関連付けて記憶する記憶部を参照して、前記画像に含まれる各文字列が示す単語を特定し、
特定した前記単語を示す前記画像に含まれる文字列の種類数に基づいて、特定した前記単語の中から前記画像を示すキーワードを決定する、
処理をコンピュータが実行するキーワード決定方法。
（付記８） 前記決定する処理では、前記文字列の種類数が多い単語を前記文字列の種類数が少ない単語よりも優先して、前記キーワードを決定することを特徴とする付記７に記載のキーワード決定方法。
（付記９） 前記決定する処理では、特定した単語を示す文字列の個数に基づいて、前記画像を示すキーワードを決定することを特徴とする付記７又は８に記載のキーワード決定方法。

２０ 単語検出部（特定部）
２２ キーワード決定部（決定部）
３２ 単語ＤＢ（記憶部）
９０ ＣＰＵ（キーワード決定装置）

Claims (5)

1. キーワードとなりうる単語と該単語を示す１又は複数の文字体系の文字列とを関連付けて記憶する記憶部と、
   画像に複数の文字列が含まれる場合、前記記憶部を参照して、前記画像に含まれる各文字列が示す単語を特定する特定部と、
   前記特定部が特定した単語を示す前記画像に含まれる文字列の種類数又は個数が多い単語を前記文字列の種類数又は個数が少ない単語よりも優先して、特定した単語の中から前記画像を示すキーワードを決定する決定部と、
   を備えるキーワード決定装置。
2. 前記決定部は、前記文字列の種類数又は個数が所定の閾値よりも多い単語を前記画像を示すキーワードとして決定することを特徴とする請求項１に記載のキーワード決定装置。
3. 前記決定部は、前記画像に含まれる各文字列の位置及び／又は大きさに更に基づいて、前記画像を示すキーワードを決定することを特徴とする請求項１又は２に記載のキーワード決定装置。
4. 画像に複数の文字列が含まれる場合、キーワードとなりうる単語と該単語を示す１又は複数の文字体系の文字列とを関連付けて記憶する記憶部を参照して、前記画像に含まれる各文字列が示す単語を特定し、
   特定した前記単語を示す前記画像に含まれる文字列の種類数又は個数が多い単語を前記文字列の種類数又は個数が少ない単語よりも優先して、特定した前記単語の中から前記画像を示すキーワードを決定する、
   処理をコンピュータに実行させるキーワード決定プログラム。
5. 画像に複数の文字列が含まれる場合、キーワードとなりうる単語と該単語を示す１又は複数の文字体系の文字列とを関連付けて記憶する記憶部を参照して、前記画像に含まれる各文字列が示す単語を特定し、
   特定した前記単語を示す前記画像に含まれる文字列の種類数又は個数が多い単語を前記文字列の種類数又は個数が少ない単語よりも優先して、特定した前記単語の中から前記画像を示すキーワードを決定する、
   処理をコンピュータが実行するキーワード決定方法。
   

Images