JP7645312B2 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。

従来、ＶＳＥ（Visual-Semantic Embedding）モデルを用いた画像検索に関する技術が開示されている。例えば、ＶＳＥモデルを用いた画像検索では、指定された検索キーワードと、検索対象となる画像とをそれぞれ特徴ベクトルに変換し、双方の特徴ベクトル間の類似度に応じた画像を検索結果と出力する（例えば、特許文献１参照）。

特開２０２２－１８０９４１号公報

しかしながら、従来技術では、検索キーワードと特徴ベクトルが類似する画像を検索するに過ぎず、ユーザによる検索意図を反映したサムネイル画像を提供することについては考慮されていなかった。

本発明は、上記に鑑みてなされたものであって、ユーザによる検索意図を反映したサムネイル画像を提供することができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る情報処理装置は、ユーザによって指定された検索クエリに基づいて検索対象を検索する検索部と、前記検索部による検索結果に含まれる前記検索対象に紐づいた複数の候補画像のうち、前記検索クエリとの関係性が最も高い前記候補画像を前記検索対象それぞれから選択する選択部と、前記選択部によって選択された前記候補画像を前記検索対象のサムネイル画像として提供する提供部とを備える。

本発明によれば、ユーザによる検索意図を反映したサムネイル画像を提供することができる。

図１は、実施形態に係る提供システムの構成例を示す図である。 図２は、実施形態に係る情報処理の一例を示す図である。 図３は、実施形態に係る分散表現空間の説明図である。 図４は、実施形態に係るサムネイル画像の生成処理の概要図である。 図５は、実施形態に係る情報処理装置の構成例を示すブロック図である。 図６は、実施形態に係るユーザ情報記憶部に格納される情報の一例を示す図である。 図７は、実施形態に係る商品情報記憶部に格納される情報の一例を示す図である。 図８は、実施形態に係る学習データの収集方法の一例を示す図である。 図９は、実施形態に係る学習データの一例を示す図である。 図１０は、実施形態に係る合成画像の一例を示す図である。 図１１は、実施形態に係る情報処理の処理手順の一例を示すフローチャートである。 図１２は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る情報処理装置、情報処理方法および情報処理プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法および情報処理プログラムが限定されるものではない。また、以下では、検索対象が、電子商店街で取り扱う商品である場合について説明する。

［実施形態］
〔１．１ システム〕
まず、図１に示す提供システムについて説明する。図１は、実施形態に係る提供システムの構成例を示す図である。図１に示すように、提供システムは、情報処理装置１と、ユーザ端末１０とが含まれる。情報処理装置１と、ユーザ端末１０とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。

情報処理装置１は、服飾（ファッションアイテムともいい、衣服、下着、履物（シューズともいう）、帽子（キャップやハットなど）、バッグ、装身具（アクセサリともいう）等を含む）、化粧品（ファッションアイテムともいう）等を含む商品を提供（検索、販売等）する電子商取引サービスを提供する。また、情報処理装置１は、複数の服飾を使用したコーディネートを示すコンテンツ（画像、動画、記事等）、１つ以上の化粧品を使用した化粧を示すコンテンツなどの投稿をユーザから受け付け、他のユーザに提供（検索、配信等）するコーディネートサービスを提供する。例えば、情報処理装置１は、サーバ装置やクラウドシステム等により実現可能である。

また、情報処理装置１は、後述するように、事前に学習した分散表現空間を利用してユーザに対して各種サービスを提供する。また、実施形態に係る分散表現空間には、画像とキーワード（タグ等も含む）とが投影されており、画像と画像、画像とキーワード、キーワードとキーワードの近さが投影されている。また、両者が意味的に近ければ近いほど、分散表現空間上で近くなるように学習される（逆も成立する）。すなわち、画像と画像、画像とキーワード、キーワードとキーワードの類似度が分散表現空間上の距離として測定可能である。なお、実施形態に係る分散表現空間上の近さは、例えば、ユークリッド距離に基づく近さや、コサイン距離に基づく近さを含む。

また、情報処理装置１は、サービスに係るウェブサイトを提供するウェブサーバとしての機能を有していてもよい。また、情報処理装置１は、ユーザ端末１０にインストールされた各種サービスに関するアプリケーションに表示する情報を、ユーザ端末１０に配信する装置であってもよい。また、情報処理装置１は、アプリケーションのデータそのものを配信する装置であってもよい。

また、情報処理装置１は、ユーザ端末１０に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）等のスクリプト言語やＣＳＳ（Cascading Style Sheets）等のスタイルシート言語により記述される。なお、情報処理装置１から配信されるアプリケーションそのものを制御情報とみなしてもよい。

ユーザ端末１０は、ユーザによって利用される情報処理装置である。ユーザ端末１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。また、ユーザ端末１０は、情報処理装置１や、所定のサービスを提供するサーバ装置などによって配信される情報を、ウェブブラウザやアプリケーションにより表示する。

〔１．２ 情報処理〕
次に、図２を用いて、実施形態に係る情報処理について説明する。図２は、実施形態に係る情報処理の一例を示す図である。図２に示すように、情報処理装置１は、ファッションアイテムに関する情報を提供するウェブサーバとして機能し、まず、ユーザ端末１０からユーザによって指定された検索クエリの指定を受け付ける（ステップＳ１）。

情報処理装置１は、かかる検索クエリに基づいて商品を検索する（ステップＳ２）。例えば、検索クエリに対応するキーワード等がタグ付けされた商品を検索結果として出力される。

つづいて、情報処理装置１は、検索結果に含まれる商品それぞれについてサムネイル画像を選択する（ステップＳ３）。より具体的には、情報処理装置１は、各商品に紐づいた複数の候補画像のうち、検索クエリとの関係性が最も高い候補画像を検索結果に含まれる商品それぞれから選択する。

例えば、情報処理装置１は、検索クエリ（キーワード）と各候補画像との分散表現空間における類似度に基づいて、各商品のサムネイル画像を選択する。より具体的には、検索クエリは、ユーザの検索意図を示すものであり、検索クエリを指定したユーザがクリック（閲覧）したサムネイル画像（クリックしただけではなく、購買に繋がったサムネイル画像でもよい）は、ユーザの検索意図をより反映している画像であると捉えることができる。例えば、情報処理装置１は、ＶＳＥ（Visual-Semantic Embedding）やＣＬＩＰ（Contrastive Language-Image Pre-training）等、分散表現空間に関する技術を利用して、各検索クエリや候補画像等を分散表現空間に投影することができる。

そのため、例えば、情報処理装置１は、ユーザが指定した検索クエリと、ユーザがクリックしたサムネイル画像とを紐づけて学習データとして用いることで、検索クエリと関係性が高い、すなわち、ユーザの検索意図を反映したサムネイル画像を選択することができる。また、例えば、情報処理装置１は、ユーザが指定した検索クエリと、ユーザがクリックしなかったサムネイル画像とを紐づけて負例の学習データとして用いてもよい。なお、本実施形態では、検索クエリおよび候補画像に加えて、検索クエリを指定したユーザの属性を基に、候補画像からサムネイル画像を選択する。

ここで、図３を用いて、実施形態に係る分散表現空間について説明しておく。図３は、実施形態に係る分散表現空間の説明図である。なお、ここでは、１つの商品に紐づいた複数の候補画像からサムネイル画像を選択する処理について説明する。

図３に示すように、まず、情報処理装置１は、商品に紐づいた複数の候補画像を分散表現空間に埋め込むとともに（ステップＳ１１）、検索クエリおよびユーザ属性をそれぞれ分散表現空間に埋め込む（ステップＳ１２、ステップＳ１３）。なお、ユーザ属性は、例えば、ユーザの年齢、性別、体型、足型、肌の色、住居や、ユーザによるクリックログ、検索ログ（検索履歴）、購買ログ（購買履歴）、閲覧ログ（閲覧履歴）等に関する情報を含む。また、ユーザ属性は、例えば、ユーザと所定の関係（親子関係等を含む）を有するユーザの年齢、性別、体型、足型、肌の色、居住地、クリックログ、検索ログ、購買ログ、閲覧ログ等に関する情報を含んでいてもよい。

図３に示す例では、各候補画像の特徴ベクトルを「画像ベクトルＶｉ１～Ｖｉ５」で示し、検索クエリの特徴ベクトルを「クエリベクトルＶｑ」、ユーザ属性の特徴ベクトルを「ユーザベクトルＶｕ」として示している。なお、以下では、画像ベクトルＶｉ１～Ｖｉ５を区別しない場合、「画像ベクトルＶｉ」と表記する。

例えば、情報処理装置１は、画像ベクトルＶｉ１～Ｖｉ５のうち、クエリベクトルＶｑおよびユーザベクトルＶｕとの位置関係に応じてランキングを作成する。例えば、情報処理装置１は、各画像ベクトルＶｉ１～Ｖｉ５と、クエリベクトルＶｑおよびユーザベクトルＶｕを結んだ空間（三角形）の面積が最も小さい画像ベクトルＶｉから順にランキングを作成する。なお、情報処理装置１は、画像ベクトルＶｉ１～Ｖｉ５のうち、クエリベクトルＶｑおよびユーザベクトルＶｕのいずれか一方に類似する順にランキングを生成するようにしてもよい。

そして、情報処理装置１は、ランキングにおいて１位の候補画像をサムネイル画像として選択する。すなわち、情報処理装置１は、各画像ベクトルＶｉのうち、クエリベクトルＶｑおよびユーザベクトルＶｕにそれぞれ類似する画像ベクトルＶｉに対応する候補画像をサムネイル画像として選択する。

つまり、情報処理装置１は、商品に紐づいた各候補画像のうち、検索クエリやユーザ属性に応じて、サムネイル画像となる候補画像を選択する。より詳しくは、各候補画像に対応する画像ベクトルＶｉのうち、検索クエリに対応するクエリベクトルＶｑおよびユーザ属性に対応するユーザベクトルＶｕに類似する画像ベクトルＶｉを選択し、サムネイル画像として選択する。

これにより、情報処理装置１は、商品に紐づいた複数の候補画像からユーザによる検索意図を反映したサムネイル画像を選択することができる。図３に示す例では、画像ベクトルＶｉ４と、クエリベクトルＶｑおよびユーザベクトルＶｕを結ぶ空間の面積が最も小さいことを示しており、画像ベクトルＶｉ４に対応する候補画像がサムネイル画像として選択されることを示している。

情報処理装置１は、ステップＳ２の検索結果に含まれる各商品に対し、各候補画像からサムネイル画像を選択すると、図２に示すように、ユーザ端末１０に対して、選択したサムネイル画像を提供する（ステップＳ４）。

また、情報処理装置１は、例えば、分散表現空間における各画像ベクトルＶｉから、サムネイル画像の選択条件を満たす画像ベクトルＶｉがない商品については、サムネイル画像を生成することも可能である。すなわち、情報処理装置１は、適切なサムネイル画像が存在しない商品については、検索クエリに基づいてサムネイル画像を新たに生成する。なお、情報処理装置１は、事前に生成した複数の候補画像を登録し、選択条件を満たすサムネイル画像がない場合には事前に登録した候補画像からサムネイル画像を選択して提供するようにしてもよい。

図４は、実施形態に係るサムネイル画像の生成処理の概要図である。例えば、情報処理装置１は、適切なサムネイル画像がない商品の商品画像Ｉｔと、検索クエリに対応する合成用画像Ｉｓとを組み合わせて合成したサムネイル画像である合成画像Ｉｃを生成する。

例えば、合成用画像Ｉｓは、他の商品に紐づいた候補画像や、各ユーザがコーディネートサービスなどに投稿した投稿画像（例えば、コーディネート画像）を含む。投稿画像は、各ユーザが着用中のファッションアイテムがタグ付けされた写真を含む。

例えば、情報処理装置１は、検索クエリを基に各合成用画像Ｉｓを他の商品に紐づいた候補画像や、各ユーザが投稿した投稿画像から抽出する。例えば、情報処理装置１は、分散表現空間における各画像の画像ベクトルＶｉおよび検索クエリのクエリベクトルＶｑの類似度に応じて、各画像から合成用画像Ｉｓを抽出する。

つづいて、情報処理装置１は、各種画像生成ＡＩを用いて、商品画像Ｉｔおよび合成用画像Ｉｓを組み合わせた合成画像Ｉｃを合成する。

この際、例えば、情報処理装置１は、合成した合成画像Ｉｃの画像ベクトルＶｉ、検索クエリのクエリベクトルＶｑおよびユーザ属性のユーザベクトルＶｕを結ぶ空間の面積が閾値以下となるまで合成画像Ｉｃの生成を繰り返し実行し、ユーザが指定した検索クエリに適応した合成画像Ｉｃを生成する。

このように、情報処理装置１は、検索クエリに対応するサムネイル画像がない商品については、サムネイル画像の自動生成を行う。これにより、情報処理装置１は、ユーザが入力した検索クエリに対応する適切なサムネイル画像を提供することができる。

〔２．情報処理装置〕
次に、図５を用いて、実施形態に係る情報処理装置１の構成例について説明する。図５は、実施形態に係る情報処理装置１の構成例を示すブロック図である。図５に示すように、情報処理装置１は、通信部２と、記憶部３と、制御部４とを備える。なお、情報処理装置１は、情報処理装置１を利用する管理者などから各種操作を受け付ける入力部（例えば、キーボードやマウスなど）や、各種情報を表示するための表示部（例えば、液晶ディスプレイなど）を有してもよい。

通信部２は、例えば、ＮＩＣ（Network Interface Card）などによって実現される。通信部２は、４Ｇ（4th Generation）または５Ｇ（5th Generation）などの通信ネットワークと有線または無線で接続され、通信ネットワークを介して、ユーザ端末１０などの各々との間で情報の送受信を行う。

記憶部３は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置によって実現される。記憶部３は、ユーザ情報記憶部３１と、商品情報記憶部３２と、モデル記憶部３３とを有する。

ユーザ情報記憶部３１は、各ユーザに関する情報を記憶する。図６は、実施形態に係るユーザ情報記憶部３１に格納される情報の一例を示す図である。図６に示すように、ユーザ情報記憶部３１は、「ユーザＩＤ」、「ユーザ情報」などといった項目の情報を互いに対応付けて記憶する。

「ユーザＩＤ」は、ユーザを識別するための識別情報を示す。「ユーザ情報」は、ユーザ情報を示す。図６に示した例では、「ユーザ情報」に「ユーザ情報＃１」や「ユーザ情報＃２」といった概念的な情報が格納される例を示したが、実際には、年齢や性別などのユーザ属性の情報や、ユーザが所有する商品（アイテム）の識別情報などが格納される。

商品情報記憶部３２は、商品情報を記憶する。商品情報記憶部３２は、情報処理装置１が提供する電子商店街で取り扱う商品に関する情報である。図７は、実施形態に係る商品情報記憶部３２に格納される情報の一例を示す図である。

図７に示すように、商品情報記憶部３２は、「商品ＩＤ」および「画像情報」などといった項目の情報を互いに対応付けて記憶する。「商品ＩＤ」は、商品を識別するための識別情報を示す。「画像情報」は、対応する商品ＩＤによって識別される商品の画像情報である。本実施形態において、各商品に対して、複数の候補画像が画像情報として格納される。

モデル記憶部３３は、モデルを記憶する。例えば、モデルは、各画像や、検索クエリ（キーワード）およびユーザ情報を同一の分散表現空間に投影する学習モデルである。例えば、学習モデルは、後述する学習部４２によって学習が行われたモデルであり、学習モデルには、例えば、ＶＳＥモデルを採用することができる。

つづいて、制御部４について説明する。制御部４は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって、情報処理装置１内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部４は、例えば、コントローラであり、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現される。

図５に示すように、制御部４は、取得部４１と、学習部４２と、検索部４３と、選択部４４と、生成部４５と、提供部４６とを備え、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部４の内部構成は、図５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部４が有する各処理部の接続関係は、図５に示した接続関係に限られず、他の接続関係であってもよい。

取得部４１は、各種情報を取得する。例えば、取得部４１は、ユーザ端末１０からユーザ情報を取得し、ユーザ情報記憶部３１に登録する。また、取得部４１は、電子商店街の出店者（不図示）の端末から商品情報を取得し、商品情報記憶部３２に登録する。

また、取得部４１は、複数の服飾を使用したコーディネートを示すコンテンツ（画像、動画、記事等）、１つ以上の化粧品を使用した化粧を示すコンテンツなどの投稿をユーザから受け付ける。例えば、かかるコンテンツは、ＳＮＳ等のプラットフォームを通じて、他のユーザに提供（検索、配信等）される。なお、かかるプラットフォームは、情報処理装置１が提供するプラットフォームであってもよい。

学習部４２は、モデル記憶部３３に格納されるモデル（学習モデル）の学習を行う。まず、学習データの収集方法について説明する。図８は、実施形態に係る学習データの収集方法の一例を示す図である。

図８に示すように、例えば、情報処理装置１は、ユーザ端末１０に対しアノテーションアプリを提供し、アノテーションアプリを通じて学習モデルの学習データを取得する。例えば、図８に示すように、アノテーションアプリでは、学習対象となる検索クエリと、複数の画像を表示する。

そして、ユーザは、アノテーションアプリを通じて、検索クエリにマッチする画像を選択し、情報処理装置１は、検索クエリとユーザが選択した画像とを紐づけた学習データを取得する。図８に示す例では、検索クエリが「ゴルフ」であり、ユーザは「ゴルフ」を連想する画像を選択することになる。なお、検索クエリが「ゴルフ ニット セーター」であり、ユーザは「ゴルフ ニット セーター」を連想する画像を選択することになってもよい。

情報処理装置１は、アノテーションアプリを通じて各検索クエリに対応する画像をユーザに対して選択してもらうことで、検索クエリに対応する画像の学習データを収集することができる。

なお、アノテーションアプリは、図８に示す例に限らず、同時に表示する画像の数を２枚としてもよいし、ユーザに応じて複数の画像の配置を変更してもよいし、複数の画像の配置を円状として表示してもよいし、複数の画像の配置を常に動かしながら表示してもよい。これにより、画像の配置によって選択され易くなるというバイアスを取り除くことができる。

また、上記の例に加えて、情報処理装置１は、例えば、各ユーザの電子商店街におけるログ情報から学習データを収集するようにしてもよい。図９は、実施形態に係る学習データの一例を示す図である。

図９に示すように、学習データは、「ユーザ」、「検索クエリ」、「クリックした画像」および「クリックしなかった画像」等の項目を有する。「ユーザ」は、ユーザの属性を示す。「検索クエリ」は、対応するユーザが指定した検索クエリを示す。なお、学習データは、ユーザが画像を選択するまでに掛かった時間や、同時に表示された画像、ユーザが選択した画像のポジション（表示位置）等に関する情報を含むようにしてもよい。

「クリックした画像」は、対応するユーザが対応する検索クエリによる検索結果に含まれ商品の画像であって、クリックした画像（例えば、サムネイル画像）を示し、「クリックしなかった画像」は対応するユーザが対応する検索クエリによる検索結果に含まれる商品の画像であって、クリックしなかった画像を示す。

すなわち、この場合には、電子商店街における各ユーザのログを基に学習データを収集することが可能となる。これらの学習データの収集を経て、学習部４２は、収集した学習データを基に学習モデルの学習を行う。具体的には、学習部４２は、分散表現空間において、検索クエリの特徴ベクトルと、当該検索クエリに紐づいた画像の特徴ベクトルが分散表現空間において、類似する特徴ベクトルとなるように学習モデルの学習を行う。

より具体的には、学習部４２は、類似する画像同士が類似する特徴ベクトル、類似する検索クエリ（キーワード）同士が類似する特徴ベクトル、かつ、学習データとなる検索クエリと当該検索クエリに紐づいた画像が類似する特徴ベクトルとなるように、学習モデルの学習を行う。

また、学習部４２は、各ユーザのユーザ属性を分散表現空間に投影可能な学習モデルの学習を行う。例えば、ユーザ属性は、ユーザの年齢、性別、住居等のいわゆるデモグラフィック属性と、電子商店街におけるユーザのログを含み、ユーザのログは、検索履歴、閲覧履歴、購入履歴等を含む。

また、学習部４２は、例えば、検索意図を表現したサムネイル画像の疑似的なランキングをSerial Rank等の手法により生成し、学習モデルの評価を行う。また、学習部４２は、類似するユーザ属性同士が分散表現空間において類似する特徴ベクトルとなるように学習モデルの学習を行う。なお、学習データは、上記の例に限定されるものではなく、コーディネートサービスにおける各ユーザのログを含むようにしてもよい。コーディネートサービスにおけるユーザのログは、閲覧履歴、検索履歴、投稿履歴、コーディネートサービスを通じた商品の購入履歴等を含む。

検索部４３は、ユーザによって指定された検索クエリに基づいて検索対象（商品）を検索する。具体的には、検索部４３は、ユーザ端末１０からユーザＩＤおよび検索クエリを取得し、ユーザによって指定された検索クエリに合致する商品を商品情報記憶部３２から検索する。そして、検索部４３は、ユーザＩＤおよび検索結果に含まれる商品情報を選択部４４へ渡す。

選択部４４は、検索部４３による検索結果に含まれる商品に紐づいた複数の候補画像のうち、検索クエリとの関係性が最も高い候補画像を商品それぞれから選択する。具体的には、選択部４４は、学習モデルを用いて、商品ごとに候補画像、ユーザ属性および検索クエリを分散表現空間に投影し、分散表現空間における各画像ベクトルＶｉ、ユーザベクトルＶｕおよびクエリベクトルＶｑを結ぶ空間の面積を算出する（図２参照）。

例えば、選択部４４は、かかる空間の面積が最も小さい画像ベクトルＶｉに対応する候補画像をサムネイル画像として選択する。この際、選択部４４は、例えば、画像ベクトルＶｉ、ユーザベクトルＶｕおよびクエリベクトルＶｑを結ぶ空間の面積が閾値以上である場合、すなわち、検索クエリに対応するサムネイル画像がない場合、かかる商品に関する情報を生成部４５へ渡し、サムネイル画像の生成を指示する。

生成部４５は、検索部４３による検索結果に含まれる商品のサムネイル画像を検索クエリと画像との関係性に基づいて生成する。生成部４５は、選択部４４によってサムネイル画像の生成が指示された商品、すなわち、商品に紐づく複数の候補画像がサムネイル画像の選択条件を満たさなかった商品についてサムネイル画像を生成する。

例えば、生成部４５は、検索部４３による検索結果に含まれる商品を含むコーディネート画像をサムネイル画像として生成する。コーディネート画像は、複数の服飾を使用した画像である。例えば、生成部４５は、トップス、ボトム、靴などの各カテゴリに対応する商品それぞれに紐づいた複数の候補画像を組み合わせてコーディネート画像を生成する。

まず、生成部４５は、検索クエリに基づき、合成用画像を抽出する。例えば、生成部４５は、学習モデルを用いて、電子商店街で取り扱う商品の商品画像、ユーザによって投稿された投稿画像をそれぞれ分散表現空間に投影し、分散表現空間において検索クエリのクエリベクトルＶｑと類似する画像を合成用画像として抽出する。

生成部４５は、例えば、サムネイル画像の生成対象となる商品画像Ｉｔおよび検索クエリを基に、分散表現空間において検索クエリに類似し、かつ、商品と似合う画像を合成用画像として抽出する。たとえば、生成部４５は、投稿画像に写るモデルの骨格、スタイル、季節等に応じて異なる複数のパターンの合成用画像を抽出する。なお、生成部４５は、商品（たとえば、トップスなど）と、投稿画像に写るモデルとの相性や、投稿画像に写るモデルが着用する他の商品（たとえば、スカートなど）との相性、投稿画像に写る背景との相性に応じて異なる複数のパターンの合成用画像を抽出してもよい。

生成部４５は、ユーザによって投稿された投稿画像から合成用画像を抽出する場合には、たとえば、電子商店街で取り扱っていないブランドの商品を含む投稿画像を合成用画像の対象から除外するようにしてもよい。

例えば、投稿画像には、各ユーザが着用中の商品（アイテム）に関するタグ付けが行われており、生成部４５は、かかるタグに基づいて、電子商店街で取り扱っていない商品を含む投稿画像を判別することができる。

なお、生成部４５は、すべての投稿画像を合成用画像の対象から除外することなく、例えば、合成用画像を利用して合成画像を生成する際に、電子商店街で取り扱っていない商品を上書きして合成画像を生成するようにしてもよい。すなわち、電子商店街で取り扱っていないブランドの商品をサムネイル画像に掲載しないことにより、例えば、著作権の侵害を抑制することができる。

なお、生成部４５は、各検索クエリに対応する画像を予め準備しておき、かかる画像の中から合成用画像を抽出（選択）するようにしてもよい。

生成部４５は、合成画像の抽出を終えると、画像生成ＡＩを用いて対象となる商品の商品画像Ｉｔおよび合成用画像から合成画像を生成する。例えば、生成部４５は、各商品画像（各アイテム画像）を合成用画像上に配置してコラージュ画像を生成したうえで、コラージュ画像から自然なサムネイル画像を生成する。この際、生成部４５は、例えば、各合成用画像から、使用アイテム、背景などの切り抜き画像を抽出したうえで、サムネイル画像を生成するようにしてもよい。

また、生成部４５は、ユーザや、検索クエリに応じて、画像生成ＡＩへの指示を変更するようにしてもよい。例えば、生成部４５は、ユーザが男性である場合、男性がモデルとなる画像を生成するように画像生成ＡＩに指示する。

また、検索元のユーザが男性であり、検索クエリが「女性、ワンピース、おしゃれ」である場合に、男性が女性へのプレゼントを検索しているとする。この場合、生成部４５は、検索クエリの「女性」を基に、女性がモデルの画像を生成するように画像生成ＡＩに指示する。なお、ユーザおよび検索クエリのどちらを優先するかについては、例えば、ルールベースで予め定めておくことにしてもよい。

また、生成部４５は、合成画像の生成に際し、例えば、ユーザが過去に購入した商品を合成画像に含めるようにしてもよい。なお、ユーザが過去に購入した商品は、例えば、電子商店街におけるユーザの購入履歴から特定することが可能であるが、ユーザが投稿した投稿画像（コーディネート画像）から特定するようにしてもよい。

図１０は、実施形態に係る合成画像の一例を示す図である。例えば、図１０に示すように、生成部４５は、ユーザ情報記憶部３１からユーザが過去に購入した商品の商品画像を抽出し、抽出した商品画像を含む合成画像を生成する。なお、この際、生成部４５は、ユーザのログから選択された商品の商品画像を含む合成画像を生成するようにしてもよい。この場合、生成部４５は、ユーザがお気に入りに登録した商品、過去に閲覧した商品、あるいは、対象となるユーザと類似するユーザが購入した商品等に関する商品画像を抽出するようにしてもよい。図１０に示す例において、ユーザが過去に購入した商品がバックとネックレスである。生成部４５は、バックに対応する商品画像Ｉｂおよびネックレスに対応する商品画像Ｉｎを、さらに合成用画像として利用して、合成画像Ｉｃを生成する。

つまり、この場合において、合成画像Ｉｃは、ユーザが指定した検索クエリに対応する商品、換言すれば、ユーザの検索意図に合致する商品画像（図１０ではワンピース）に対し、ユーザが過去に購入したバックやネックレスをコーディネートした合成画像Ｉｃが生成されることになる。

すなわち、合成画像Ｉｃでは、ユーザに対し、今回の販売対象となるワンピースに、ユーザ自身が現在所有するバックやネックレスをあわせて着用した際の見本を提示することができる。

このように、生成部４５は、ユーザに対し個別最適化した合成画像Ｉｃを生成することができるので、ユーザによる購買意欲の向上が期待される。なお、例えば、生成部４５は、ユーザが指定した商品を組み合わせて合成画像Ｉｃを生成するようにしてもよい。この場合、ユーザは、過去に購入した商品から商品を選択するようにしてもよく、例えば、ユーザが撮影した商品の画像を選択するようにしてもよい。

提供部４６は、選択部４４によって選択されたサムネイル画像をユーザに対して提供する。この際、提供部４６は、選択部４４によってサムネイル画像が選択されなかった商品については生成部４５によって生成された合成画像Ｉｃをサムネイル画像として提供する。

これにより、提供部４６は、ユーザによる検索意図を反映したサムネイル画像を提供することができる。

〔３．処理フロー〕
次に、図１１を用いて、実施形態に係る情報処理装置１が実行する処理手順について説明する。図１１は、実施形態に係る情報処理の処理手順の一例を示すフローチャートである。以下に示す処理は、情報処理装置１によって、検索クエリの取得毎に所定の周期で繰り返し実行される。

図１１に示すように、情報処理装置１は、ユーザから検索クエリを受け付ける（ステップＳ１０１）。つづいて、情報処理装置１は、検索クエリに合致する商品を検索する（ステップＳ１０２）。

つづいて、情報処理装置１は、検索結果に含まれる商品に紐づいた複数の候補画像、検索クエリ、ユーザ属性を分散表現空間に埋め込む（ステップＳ１０３）。つづいて、情報処理装置１は、分散表現空間における各特徴ベクトルに基づき、候補画像の中から、サムネイル画像を選択する（ステップＳ１０４）。

つづいて、情報処理装置１は、候補画像が選択条件を満たさない商品があるか否かを判定し（ステップＳ１０５）、選択条件を満たさない商品があった場合（ステップＳ１０５：Ｙｅｓ）、当該商品のサムネイル画像を生成する（ステップＳ１０６）。

また、情報処理装置１は、すべての商品からサムネイル画像が選択できた場合（ステップＳ１０５；Ｎｏ）、ステップＳ１０７の処理へ移行する。そして、情報処理装置１は、ユーザに対しサムネイル画像を提供し（ステップＳ１０７）、処理を終了する。

〔４．変形例〕
上述した実施形態では、情報処理装置１が、商品に関するサムネイル画像を提供する場合について説明したが、これに限定されるものではない。例えば、ＳＮＳや動画サイトなどといった各種Ｗｅｂサービスのサムネイル画像を提供する際に、本願発明を適用するようにしてもよい。また、情報処理装置１が、コーディネートサービスにおいて、コーディネートに関するサムネイル画像を提供する際に、本願発明を提供するようにしてもよい。例えば、選択部は、検索部による検索結果に含まれるコーディネートに紐づいた複数の候補画像（投稿画像）のうち、検索クエリとの関係性が最も高い候補画像をコーディネートそれぞれから選択してサムネイル画像として提供してもよい。

上述した実施形態では、提供部４６は、選択部４４によってサムネイル画像が選択されなかった商品については生成部４５によって生成された合成画像Ｉｃをサムネイル画像として提供すると説明したが、これに限定されるものではない。商品に紐づいた複数の候補画像の中に、ユーザによる検索意図を反映した候補画像がない場合であっても、当該商品が使用されたコーディネートを示す投稿画像がコーディネートサイトに投稿されており、その中に、ユーザによる検索意図を反映した投稿画像がある場合であれば、その投稿画像をサムネイル画像として提供してもよい。具体的には、情報処理装置１は、検索結果に含まれる商品を使用したコーディネートを示す複数の投稿画像、検索クエリ、ユーザ属性を分散表現空間に埋め込む。つづいて、情報処理装置１は、分散表現空間における各特徴ベクトルに基づき、投稿画像の中から、サムネイル画像を選択する。

なお、情報処理装置１は、検索結果に含まれる商品を使用したコーディネートを示す全ての投稿画像を分散表現空間に埋め込むのではなく、あらかじめ、コーディネートサイトにおいて、同一の検索クエリで検索し、その検索結果に含まれる投稿画像を分散表現空間に埋め込むようにしてもよい。

すなわち、検索部４３による検索対象は、電子商店街で取り扱う商品に加え、例えば、コーディネートサービスに投稿されたコーディネート画像まで拡張するようにしてもよい。このように、検索対象を拡張することにより、ユーザの検索意図を反映した検索結果を提供することができる。

〔５．効果〕
実施形態に係る情報処理装置１は、ユーザによって指定された検索クエリに基づいて商品を検索する検索部４３と、検索部４３による検索結果に含まれる商品に紐づいた複数の候補画像のうち、検索クエリとの関係性が最も高い候補画像を商品それぞれから選択する選択部４４と、選択部４４によって選択された候補画像を商品のサムネイル画像として提供する提供部とを備える。

また、選択部４４は、分散表現空間に検索クエリおよび候補画像を投影し、分散表現空間において検索クエリと類似する候補画像を選択する。また、選択部４４は、検索クエリを指定したユーザのユーザ情報に基づいて候補画像を選択し、ユーザ情報を投影した分散表現空間において、ユーザ情報、検索クエリおよび候補画像を結ぶ空間の面積が最も小さい候補画像を選択する。

また、選択部４４は、学習段階において、検索クエリに対応する画像として予めアノテーションが付された候補画像と、当該検索クエリとが分散表現空間において類似するベクトルとなるように学習されたモデルを用いて候補画像を選択する。

また、選択部４４は、学習段階において、ユーザによって指定された検索クエリと、当該検索クエリを利用した際に前記ユーザが選択した画像とが分散表現空間において類似するベクトルとなるように学習されたモデルを用いて候補画像を選択する。

また、情報処理装置１は、選択部４４による候補画像の選択条件を満たさない商品について、前記検索条件を満たす合成用画像を用いて合成画像を生成する生成部４５を備え、提供部４６は、生成部４５によって生成された合成画像をサムネイル画像として提供する。

上述した各処理のいずれかもしくは組合せにより、本願に係る情報処理装置は、ユーザによる検索意図を反映したサムネイル画像を提供することができる。

〔６．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１は、例えば図１２に示すような構成のコンピュータ１０００によって実現される。図１２は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワーク（通信ネットワーク）Ｎを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置（図１２では、出力装置および入力装置を総称して「入出力装置」と記載する）を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る情報処理装置として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部４の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

〔７．その他〕
以上、本願の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

例えば、上述した情報処理装置は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティング等で呼び出して実現するなど、構成は柔軟に変更できる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１ 情報処理装置
２ 通信部
３ 記憶部
４ 制御部
１０ ユーザ端末
３１ ユーザ情報記憶部
３２ 商品情報記憶部
３３ モデル記憶部
４１ 取得部
４２ 学習部
４３ 検索部
４４ 選択部
４５ 生成部
４６ 提供部

Claims (12)

1. ユーザによって指定された検索クエリに基づいて検索対象を検索する検索部と、
   前記検索部による検索結果に含まれる前記検索対象に紐づいた複数の候補画像のうち、前記検索クエリとの関係性が最も高い前記候補画像を前記検索対象それぞれから選択する選択部と、
   前記選択部によって選択された前記候補画像を前記検索対象のサムネイル画像として提供する提供部と
   を備え、
   前記選択部は、
   学習段階において、前記ユーザによって指定された前記検索クエリと、当該検索クエリによる検索結果において前記ユーザが選択した画像とが分散表現空間において類似する特徴ベクトルとなるように学習されたモデルを用いて、前記分散表現空間に前記検索クエリおよび前記候補画像を投影し、前記検索クエリと類似する前記候補画像を選択すること
   を特徴とする情報処理装置。
2. ユーザによって指定された検索クエリに基づいて検索対象を検索する検索部と、
   前記検索部による検索結果に含まれる前記検索対象に紐づいた複数の候補画像のうち、前記検索クエリとの関係性が最も高い前記候補画像を前記検索対象それぞれから選択する選択部と、
   前記選択部によって選択された前記候補画像を前記検索対象のサムネイル画像として提供する提供部と
   を備え、
   前記選択部は、
   学習段階において、前記検索クエリに対応する画像として予めアノテーションが付された前記候補画像と、当該検索クエリとが分散表現空間において類似する特徴ベクトルとなるように学習されたモデルを用いて、分散表現空間に前記検索クエリおよび前記候補画像を投影し、前記検索クエリと類似する前記候補画像を選択すること
   を特徴とする情報処理装置。
3. ユーザによって指定された検索クエリに基づいて検索対象を検索する検索部と、
   前記検索部による検索結果に含まれる前記検索対象に紐づいた複数の候補画像のうち、前記検索クエリとの関係性が最も高い前記候補画像を前記検索対象それぞれから選択する選択部と、
   前記選択部によって選択された前記候補画像を前記検索対象のサムネイル画像として提供する提供部と
   を備え、
   前記選択部は、
   前記候補画像として複数の服飾を使用したコーディネート画像を選択し、
   前記提供部は、
   前記コーディネート画像を前記サムネイル画像として提供すること
   を特徴とする情報処理装置。
4. ユーザによって指定された検索クエリに基づいて検索対象を検索する検索部と、
   前記検索部による検索結果に含まれる前記検索対象に紐づいた複数の候補画像のうち、前記検索クエリとの関係性が最も高い前記候補画像を前記検索対象それぞれから選択する選択部と、
   前記選択部による前記候補画像の選択条件を満たさない前記検索対象に対して、当該検索対象の画像から合成画像を生成する生成部と、
   前記選択部によって選択された前記候補画像、または、前記生成部によって生成された前記合成画像を前記検索対象のサムネイル画像として提供する提供部と
   を備えることを特徴とする情報処理装置。
5. コンピュータが実行する情報処理方法であって、
   ユーザによって指定された検索クエリに基づいて検索対象を検索する検索工程と、
   前記検索工程による検索結果に含まれる前記検索対象に紐づいた複数の候補画像のうち、前記検索クエリとの関係性が最も高い前記候補画像を前記検索対象それぞれから選択する選択工程と、
   前記選択工程によって選択された前記候補画像を前記検索対象のサムネイル画像として提供する提供工程と
   を含み、
   前記選択工程は、
   学習段階において、前記ユーザによって指定された前記検索クエリと、当該検索クエリによる検索結果において前記ユーザが選択した画像とが分散表現空間において類似する特徴ベクトルとなるように学習されたモデルを用いて、前記分散表現空間に前記検索クエリおよび前記候補画像を投影し、前記検索クエリと類似する前記候補画像を選択すること
   を特徴とする情報処理方法。
6. コンピュータが実行する情報処理方法であって、
   ユーザによって指定された検索クエリに基づいて検索対象を検索する検索工程と、
   前記検索工程による検索結果に含まれる前記検索対象に紐づいた複数の候補画像のうち、前記検索クエリとの関係性が最も高い前記候補画像を前記検索対象それぞれから選択する選択工程と、
   前記選択工程によって選択された前記候補画像を前記検索対象のサムネイル画像として提供する提供工程と
   を含み、
   前記選択工程は、
   学習段階において、前記検索クエリに対応する画像として予めアノテーションが付された前記候補画像と、当該検索クエリとが分散表現空間において類似する特徴ベクトルとなるように学習されたモデルを用いて、分散表現空間に前記検索クエリおよび前記候補画像を投影し、前記検索クエリと類似する前記候補画像を選択すること
   を特徴とする情報処理方法。
7. コンピュータが実行する情報処理方法であって、
   ユーザによって指定された検索クエリに基づいて検索対象を検索する検索工程と、
   前記検索工程による検索結果に含まれる前記検索対象に紐づいた複数の候補画像のうち、前記検索クエリとの関係性が最も高い前記候補画像を前記検索対象それぞれから選択する選択工程と、
   前記選択工程によって選択された前記候補画像を前記検索対象のサムネイル画像として提供する提供工程と
   を含み、
   前記選択工程は、
   前記候補画像として複数の服飾を使用したコーディネート画像を選択し、
   前記提供工程は、
   前記コーディネート画像を前記サムネイル画像として提供すること
   を特徴とする情報処理方法。
8. コンピュータが実行する情報処理方法であって、
   ユーザによって指定された検索クエリに基づいて検索対象を検索する検索工程と、
   前記検索工程による検索結果に含まれる前記検索対象に紐づいた複数の候補画像のうち、前記検索クエリとの関係性が最も高い前記候補画像を前記検索対象それぞれから選択する選択工程と、
   前記選択工程による前記候補画像の選択条件を満たさない前記検索対象に対して、当該検索対象の画像から合成画像を生成する生成工程と、
   前記選択工程によって選択された前記候補画像、または、前記生成工程によって生成された前記合成画像を前記検索対象のサムネイル画像として提供する提供工程と
   を含むことを特徴とする情報処理方法。
9. ユーザによって指定された検索クエリに基づいて検索対象を検索する検索手順と、
   前記検索手順による検索結果に含まれる前記検索対象に紐づいた複数の候補画像のうち、前記検索クエリとの関係性が最も高い前記候補画像を前記検索対象それぞれから選択する選択手順と、
   前記選択手順によって選択された前記候補画像を前記検索対象のサムネイル画像として提供する提供手順と
   をコンピュータに実行させ、
   前記選択手順は、
   学習段階において、前記ユーザによって指定された前記検索クエリと、当該検索クエリによる検索結果において前記ユーザが選択した画像とが分散表現空間において類似する特徴ベクトルとなるように学習されたモデルを用いて、前記分散表現空間に前記検索クエリおよび前記候補画像を投影し、前記検索クエリと類似する前記候補画像を選択すること
   を特徴とする情報処理プログラム。
10. ユーザによって指定された検索クエリに基づいて検索対象を検索する検索手順と、
    前記検索手順による検索結果に含まれる前記検索対象に紐づいた複数の候補画像のうち、前記検索クエリとの関係性が最も高い前記候補画像を前記検索対象それぞれから選択する選択手順と、
    前記選択手順によって選択された前記候補画像を前記検索対象のサムネイル画像として提供する提供手順と
    をコンピュータに実行させ、
    前記選択手順は、
    学習段階において、前記検索クエリに対応する画像として予めアノテーションが付された前記候補画像と、当該検索クエリとが分散表現空間において類似する特徴ベクトルとなるように学習されたモデルを用いて、分散表現空間に前記検索クエリおよび前記候補画像を投影し、前記検索クエリと類似する前記候補画像を選択すること
    を特徴とする情報処理プログラム。
11. ユーザによって指定された検索クエリに基づいて検索対象を検索する検索手順と、
    前記検索手順による検索結果に含まれる前記検索対象に紐づいた複数の候補画像のうち、前記検索クエリとの関係性が最も高い前記候補画像を前記検索対象それぞれから選択する選択手順と、
    前記選択手順によって選択された前記候補画像を前記検索対象のサムネイル画像として提供する提供手順と
    をコンピュータに実行させ、
    前記選択手順は、
    前記候補画像として複数の服飾を使用したコーディネート画像を選択し、
    前記提供手順は、
    前記コーディネート画像を前記サムネイル画像として提供すること
    を特徴とする情報処理プログラム。
12. ユーザによって指定された検索クエリに基づいて検索対象を検索する検索手順と、
    前記検索手順による検索結果に含まれる前記検索対象に紐づいた複数の候補画像のうち、前記検索クエリとの関係性が最も高い前記候補画像を前記検索対象それぞれから選択する選択手順と、
    前記選択手順による前記候補画像の選択条件を満たさない前記検索対象に対して、当該検索対象の画像から合成画像を生成する生成手順と、
    前記選択手順によって選択された前記候補画像、または、前記生成手順によって生成された前記合成画像を前記検索対象のサムネイル画像として提供する提供手順と
    をコンピュータに実行させることを特徴とする情報処理プログラム。

Images