JP6569183B2 - 情報処理装置、方法及びプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、方法及びプログラムに関する。

多くの電子商取引（ＥＣ：Electronic Commerce）では、登録会員に推奨商品を紹介することがなされている。例えば購入履歴からその会員の嗜好を推定し、推定した嗜好に整合する商品を特定する。またインターネット広告の配信においてもスマートフォン（Smartphone）等の携帯情報端末でその閲覧履歴に基づいて嗜好を推定し、推定した嗜好に合致するバナー等の広告をコンテンツと共に表示させることがなされている。

購入履歴はそれを購入する本人の主観的で積極的な意思を直接的に反映しており、それを基に嗜好を解析することはその嗜好範囲を狭小化させてしまう恐れがある。一方、閲覧履歴はそれを閲覧する本人の消極的な意思を含む恐れがあり、それを基に得た嗜好傾向は誤差成分を含み精度が低い恐れがある。

目的は、適正な嗜好傾向を精度良く取得できる情報処理装置及びプログラムを提供することにある。

本実施形態に係る情報処理装置は、ＳＮＳサービス、ＥＣサービス又は動画投稿閲覧サービスを提供するサーバに対して投稿者が投稿した画像及びそれに付帯する投稿者による投稿者コメントを含むコンテンツデータをサーバからダウンロードし、投稿者の嗜好傾向を解析する。抽出手段はコンテンツデータから画像と投稿者コメントを抽出する。言語解析手段は投稿者コメントを言語処理して名詞、形容詞、副詞を抽出する。嗜好推定手段は抽出された形容詞又は副詞に基づいて投稿者の主観的な嗜好の極性及び程度を推定する。オブジェクトに関する種類を多階層に分類して各階層の種類から、より下位の種類を識別するために、複数の識別器が複数の階層ごと及び複数の種類に対して個々に用意されている。投稿者コメントから抽出された名詞に基づいて特定の識別器が複数の識別器から選択される。嗜好情報生成手段は、選択された識別器により識別された画像内のオブジェクトに関する、より下位の種類に、推定された主観的な嗜好の極性及び程度を関連付けることにより投稿者に関する嗜好情報を生成する。

図１は、本実施形態に係る嗜好情報生成処理装置（情報処理装置）を含む全体構成図である。 図２は、本実施形態に係る情報処理装置の構成図である。 図３は、図１の情報処理装置の機能ブロック図である。 図４は、本実施形態における情報処理の動作手順を示すフローチャートである。 図５は、図３の画像解析部を構成する複数の識別器の階層を示す図である。 図６は、図３の嗜好解析部で嗜好極性解析に用いるテーブルの一例を示す図である。 図７は、図３の嗜好解析部で嗜好程度解析に用いるテーブルの一例を示す図である。 図８は、図３の動画解析部による静止画抽出処理の補足説明図である。

以下、図面を参照して本発明の実施形態について説明する。本実施形態は、人と人とのつながりを促進・サポートするコミュニティ型のサービスとしてソーシャルネットワーキングサービス（以下「ＳＮＳ」という）、インターネットなどのネットワークを介して商品やサービスをウェブサイトで販売するサービスを展開するＥＣ（electronic commerce、電子商取引）サービス、YouTube（登録商標）等の動画投稿閲覧サービス等の画像（写真（静止画）、一連の静止画から構成される動画を含む）とそれに付帯するコメント（テキスト）がコンテンツとして投稿されるインターネットサービスに関連する。ここでは「フェイスブック（登録商標）」、「ツイッター（登録商標）」、「インスタグラム（登録商標）」を代表例とするＳＮＳサービスを例に説明する。これらＳＮＳは自分のプロフィールや趣味等に関する写真を自身のコメントと共に投稿するとともに、閲覧者もコメントを投稿できるコミュニティ性の高いインターネット上のサービスである。なお、画像を投稿するユーザを特に「画像投稿者」といい、それを閲覧するユーザを「閲覧者」として両者を区別するものとする。コメントとしても画像投稿者が自ら投稿したコメントを「画像投稿者コメント」、閲覧者が投稿したコメントを「閲覧者コメント」と称して両者を区別する。

図１に示すように本実施形態における情報処理装置２０は、公衆通信回線網（インターネット回線）３０に接続される。インターネット回線３０にはＳＮＳサーバ１０、画像投稿者や閲覧者などのＳＮＳユーザのＰＣ、スマートフォン、ＰＨＳ、ＰＤＡ、タブレット端末などユーザ所有の情報端末４０が接続される。ＳＮＳユーザは自己の情報端末４０を介してＳＮＳサーバ１０と通信することで、ＳＮＳサーバ１０が提供するＳＮＳサービスを受けることができる。画像投稿者は、自己の情報端末４０を介してＳＮＳサーバ１０に対してコンテンツ（プロフィール、画像、コメント）をアップロードすることができる。閲覧者は、自己の情報端末４０を介してＳＮＳサーバ１０にアップロードした画像投稿者のコンテンツを閲覧し、また適宜、その画像に対するコメントをアップロードすることができる。

図２は、本実施形態における情報処理装置２０の構成を示すブロック図である。情報処理装置２０は、例えばコンピュータにより実現されるもので、プロセッサ２０１、ＲＡＭ２０２、ＲＯＭ２０３、入力コントローラ２０４、ビデオコントローラ２０５、Ｉ／Ｏコントローラ２０６、通信装置２０７、入力デバイス２１０、ディスプレイ２１１及び記憶装置２１２を有する。なお、情報処理装置２０は、プロセッサ２０１、ＲＡＭ２０２、ＲＯＭ２０３、入力コントローラ２０４、ビデオコントローラ２０５、Ｉ／Ｏコントローラ２０６、及び通信装置２０７を含む、コンピュータを構成する制御ユニット３００として実現しても良い。

プロセッサ２０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。プロセッサ２０１は、例えばＣＰＵ（Central Processing Unit）、及びＧＰＵ（Graphics Processing Unit）により構成することができる。プロセッサ２０１は、ＲＡＭ２０２に記憶されたプログラムを実行して各種の機能を実現する。プロセッサ２０１は、本実施形態に係る画像処理プログラムを実行することで、画像に映る人体の膝等の特定部位の位置を特定するための処理を実行する。

ＲＡＭ２０２は、プロセッサ２０１の主メモリ、ワークエリア等として機能する。プロセッサ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは記憶装置２１２からＲＡＭ２０２にロードして、ロードしたプログラムを実行することで各種動作を実現する。ＲＯＭ２０３あるいは記憶装置２１２は、プロセッサ２０１により実行されるＢＩＯＳ（Basic Input Output System）、オペレーティングシステムプログラム（ＯＳ）、本実施形態に係る嗜好解析処理プログラムなどの各種機能を実現するために必要な各種プログラム、各種プログラムで処理される各種ファイル、各種データ等が記憶される。

入力コントローラ２０４で、キーボード（ＫＢ）、マウスやタッチパネル等のポインティングデバイス等の入力デバイス２１０からの入力を制御する。ビデオコントローラ２０５は、プロセッサ２０１の制御のもとで、ＬＣＤ（Liquid Crystal Display）などのディスプレイの表示を制御する。Ｉ／Ｏコントローラ２０６は、記憶装置２１２へのアクセスを制御する。記憶装置２１２には、例えば画像処理プログラムによる部位特定処理の対象とする画像ファイル（静止画像、動画像）が記憶される。部位特定処理の対象とする人体が撮像された画像ファイルは、例えば通信装置２０７を通じて、外部の電子機器４００から入力される。通信装置２０７は、インターネット回線３０を介して外部のＳＮＳサーバ１０との通信を制御する。

図３は本実施形態に係る情報処理装置２０の機能構成を示している。図４は本実施形態における嗜好解析処理の動作手順を示している。本実施形態に係る情報処理装置２０は、通信装置３０１を介してＳＮＳサーバ１０から、画像投稿者が投稿した画像、画像投稿者によるコメントを含むコンテンツデータをダウンロードする（Ｓ１）。これら画像、画像投稿者によるコメントとともに、画像投稿者のプロフィール、当該画像やコメントを閲覧した閲覧者が投稿したコメント、音声データ等が適宜ダウンロードされる。セパレータ３０３は、各アプリケーションに応じた領域やタグ等に基づいて、ダウンロードしたコンテンツデータから、画像、画像投稿者コメント、画像投稿者のプロフィール、閲覧者コメント、音声データが分離される（Ｓ２）。画像データは、写真（静止画）であれば、オブジェクト抽出処理部３０７に供給される。画像データは、動画であれば、動画解析部３０５に供給される。動画解析部３０５は、動画を構成する一連の静止画の中から1枚の特定の静止画を抽出する。例えば図８に示すように動画を構成する一連の静止画の中から、閲覧者からのアクション数、例えば「いいね」やコメントが最大数に達した時点の静止画を選択する。選択された静止画はオブジェクト抽出処理部３０７に送られる。

言語解析部３１３は、画像投稿者コメント、閲覧者コメント、さらに音声データから変換されたテキストをテキストマイニング処理にかけて、品詞として名詞、形容詞、副詞を抽出する（Ｓ４）。なお、コメントに絵文字やスタンプ等の絵柄、記号、シンボルが含まれる場合、それらは形容詞として抽出する。画像投稿者コメントから抽出された名詞はほとんどの場合、その画像内の注目オブジェクトの種類を表している。画像投稿者コメントから抽出された名詞（それを表すコード）は識別器選択部３１５に供給され、形容詞及び副詞（それを表すコード）は嗜好解析部３２５に供給される。

オブジェクト抽出処理部３０７は、供給された画像からオブジェクトを抽出し解析する（Ｓ５）。この処理は典型的には畳み込みニューラルネットワークが適用され、オブジェクトの種類（大分類）、オブジェクトの位置（フレーム内の区画）、オブジェクト領域の大きさ（フレームに対するオブジェクト領域のピクセル数の割合）が判断される。例えば図３の例では、画像内に３つのオブジェクトが含まれ、第１のオブジェクトとしては種類が「猫」であり、それが中央区画に位置し、サイズクラスが”大”である。同様に第２のオブジェクトは種類が「犬」であり、中央下区画に位置し、サイズクラスが”小”であり、第３のオブジェクトとしては種類が「猫」であり、それが左下区画に位置し、サイズクラスが”狭小”である。これらオブジェクト情報は部分画像切出部３１７に供給され、部分画像切出部３１７はオブジェクト情報に基づいてオリジナル画像から、ここでは３つの部分画像を切り出す（Ｓ６）。切り出された部分画像は画像選択部３１９に供給される。

またオブジェクト情報は識別器選択部３１５に供給される。識別器選択部３１５は、言語解析部３１３で解析された名詞として特定されるオブジェクトの種類に整合する、画像解析部３２３を構成する複数の識別器３２３−１乃至〜３２３−ｎのいずれかを選択するための選択コマンドを画像解析部３２３に出力する（Ｓ７）。また識別器選択部３１５では、言語解析部３１３で解析された名詞として例えば「猫」と、オブジェクト情報の位置と大きさとに基づいて複数、ここでは３つのオブジェクトから一の注目オブジェクトを選択し、注目オブジェクトに対応する部分画像を選択させるための選択コマンドを画像選択部３１９に出力する。オブジェクト抽出処理部３０７で抽出されたオブジェクトの一が、言語解析部３１３で解析された名詞として特定されるオブジェクトの種類に一致するときには、そのオブジェクトを注目オブジェクトとして選択する。オブジェクト抽出処理部３０７で抽出されたオブジェクトのうち２以上のオブジェクトが、言語解析部３１３で解析された名詞として特定されるオブジェクトの種類に一致するときには、その２以上のオブジェクトのうち、画像フレーム内の位置が中央又はそれに最も近いオブジェクトが注目オブジェクトとして選択される。さらに画像フレーム内の位置が中央に最も近いオブジェクトが複数存在するときには、最も大きい領域を占めるオブジェクトが注目オブジェクトとして選択される。

画像選択部３１９では、選択コマンドに従って注目オブジェクトに関する部分画像が選択される。選択された部分画像は前処理部３２１で前処理を受けた後、画像解析部３２３に供給される。前処理として典型的には、画像解析部３２３の画像解析結果の精度を安定化させるために解像度正規化処理、コントラスト正規化処理が例示されるが、勿論これら処理に限定されることは無い。

画像解析部３２３は、複数の識別器３２３−１乃至〜３２３−ｎで構成される。複数の識別器３２３−１乃至〜３２３−ｎは、典型的には畳み込みニューラルネットワークシステムにより構成される。畳み込みニューラルネットワークを作成する際の機械学習には、膨大な実際の教師画像を用意し学習を繰り返される。周知の通り、畳み込みニューラルネットワークは、２次元画像に対してフィルタによる畳み込みを行うことで、画像から特徴量を抽出する。畳み込みニューラルネットワークは、畳み込みとプーリングとを繰り返す多層ネットワークからなる。畳み込みニューラルネットワークにおいて畳み込み層を構成する識別に有効なフィルタの係数（重み）を、大量の学習用画像などの大量のデータを用いて学習させる。当該係数（重み）は、大量のデータを用いて、フィルタによる畳み込みと、一定領域の反応をまとめるプーリングとを繰り返すことで多様な変形に対する不変性を獲得する学習を行うことにより得られる。なお、畳み込みニューラルネットワークの識別性能は、畳み込み層を構成するフィルタに依存する。フィルタは、オブジェクトの種類ごとに用意される。

ここではオブジェクトの種類を図５に例示するように大分類の種類から中分類の種類、小分類の種類のごとく多階層化し、各階層の種類ごとに個々に識別器３２３−１乃至３２３−ｎが用意されていて、各識別器３２３−１乃至３２３−ｎはそれより下位分類上での種類を識別する。例えば識別器３２３−１が「動物」に関するものであれば、「犬」、「猫」など中分類の種類を識別し、識別器３２３−１が「猫」に関するものであれば、そりより下位分類の「ペルシャ」、「アメリカンショートヘア」など小分類の種類を識別する（Ｓ８）。

仮に言語解析部３１３でコメントから「動物」が抽出されたとき、大分類の「動物」に関する識別器３２３−１が選択され、選択された識別器３２３−１は部分画像を解析して例えば「猫」を識別する。また言語解析部３１３でコメントから「猫」が抽出されたとき、中分類の「猫」に関する識別器３２３−２が選択され、選択された識別器３２３−２は部分画像を解析して例えば「アメリカンショートヘア」を識別する。

嗜好解析部３２５は、図６（ａ）、図６（ｂ）に例示するように、多数の形容詞に対して嗜好極性（ポジティブ（プラス）／ネガティブ（マイナス））を判定するためのテーブルを世代ごと、さらに性別ごとに事前に作成して記憶しており、画像投稿者プロフィール内の年齢、性別に従って選択したテーブルに言語解析部３１３で抽出した形容詞を照会することにより、画像投稿者自身の主観的な嗜好極性を推定する（Ｓ９）。さらに嗜好解析部３２５は、図７に例示するように、多数の副詞に対して嗜好程度（レベル）を判定するためのテーブルを事前に作成して記憶しており、言語解析部３１３で抽出した副詞を照会することにより、画像投稿者自身の主観的な嗜好程度を推定する（Ｓ９）。これらテーブルには、形容詞だけではなく、絵文字やスタンプも掲載することが好ましい。テーブルは、随時追加、更新されるべきである。

画像解析部３２３で識別されたオブジェクトのより下位階層の種類、嗜好解析部３２５で解析された嗜好極性及び嗜好程度は、プロフィール統合処理部３２７において画像投稿者プロフィールに統合される（Ｓ１０）。例えば画像を解析することにより識別されたオブジェクトの種類が「アメリカンショートヘア」であり、嗜好解析結果として嗜好極性が「ポジティブ」、嗜好程度がレベル３であれば、ユーザＩＤやユーザ氏名、年齢や性別等のユーザ情報に嗜好情報としての”アメリカンショートヘア／ポジティブ／レベル３”が関連付けられる。つまり当該ユーザ（画像投稿者）は「アメリカンショートヘアが非常に強く好きである」との嗜好傾向が認識され得る。

コンテンツデータに閲覧者コメントが存在する場合、言語解析部３１３は画像投稿者コメントと同様に閲覧者コメントをテキストマイニング処理にかけて、形容詞（絵文字等も含む）及び副詞を抽出し、それら形容詞及び副詞に基づいて嗜好解析部３２５で嗜好極性及び嗜好程度が推定される。これら閲覧者コメントをソースとする嗜好極性及び嗜好程度は画像投稿者に関する他社の客観的な嗜好極性及び嗜好程度としてユーザプロフィールに統合される。

なお、嗜好解析部３２５はテーブルを事前に準備してそれを照会することにより嗜好極性や嗜好程度を推定する方式であっても良いし、テーブルニューラルネットワークシステムにより構成されてもよい。

本実施形態で特徴的なのは、画像投稿者やその閲覧者が投稿した画像から嗜好対象を特定し、その画像に付帯するコメントから嗜好極性や嗜好程度を判定し、それらを統合することにより嗜好情報を生成することにある。このように取得した嗜好情報は、購入履歴や閲覧履歴から嗜好情報を取得する手法に比べて、過度な主観や誤差振動の少ない、より自然で信頼性の高い情報として非常に有用である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

２０…情報処理装置、３０１…通信装置、３０３…セパレータ、３０５…動画解析部、３０７…オブジェクト抽出処理部、３１３…言語解析部、３１５…識別器選択部、３１７…部分画像切出部、３１９…画像選択部、３２１…前処理部、３２３…画像解析部、３２５…嗜好解析部、３２７…プロフィール統合処理部。

Claims (13)

1. ＳＮＳサービス、ＥＣサービス又は動画投稿閲覧サービスを提供するサーバに対して投稿者が投稿した画像及びそれに付帯する前記投稿者による投稿者コメントを含むコンテンツデータを前記サーバからダウンロードし、前記投稿者の嗜好傾向を解析する情報処理装置において、
   前記コンテンツデータから前記画像と前記投稿者コメントを抽出する抽出手段と、
   前記投稿者コメントを言語処理して名詞、形容詞、副詞を抽出する言語解析手段と、
   前記抽出された形容詞又は副詞に基づいて前記投稿者の主観的な嗜好の極性及び程度を推定する嗜好推定手段と、
   オブジェクトに関する種類を多階層に分類して各階層の種類から、より下位の種類を識別するために、複数の階層ごと及び複数の種類に対して個々に用意された複数の識別器と、
   前記投稿者コメントから抽出された名詞に基づいて特定の識別器を前記複数の識別器から選択する手段と、
   前記選択された識別器により識別された前記画像内のオブジェクトに関する、より下位の種類に、前記推定された主観的な嗜好の極性及び程度を関連付けることにより前記投稿者に関する嗜好情報を生成する嗜好情報生成手段とを具備する情報処理装置。
2. 前記コンテンツデータには閲覧者による閲覧者コメントが含まれ、
   前記抽出手段は、前記コンテンツデータから前記閲覧者コメントを抽出し、
   前記言語解析手段は、前記閲覧者コメントを言語処理して形容詞、副詞を抽出し、
   前記嗜好推定手段は、前記閲覧者コメントから抽出された形容詞又は副詞に基づいて前記閲覧者から見た前記投稿者に関する客観的な嗜好の極性及び程度を推定し、
   前記嗜好情報生成手段は、前記主観的な嗜好の極性及び程度と、前記客観的な嗜好の極性及び程度とから前記嗜好情報を生成する請求項１記載の情報処理装置。
3. 前記嗜好情報生成手段は、前記サーバからダウンロードした前記投稿者のプロフィールに前記嗜好情報を統合する請求項１記載の情報処理装置。
4. 前記嗜好推定手段は、前記サーバからダウンロードした前記投稿者のプロフィール内の年齢及び性別を参照して前記投稿者の主観的な嗜好の極性及び程度を推定する請求項１記載の情報処理装置。
5. 前記画像からそれに含まれるオブジェクトを含む部分画像を切り出す部分画像切出手段をさらに備え、
   前記選択された識別器は前記部分画像を対象として前記画像内のオブジェクトの種類を識別する請求項１記載の情報処理装置。
6. 前記画像に複数のオブジェクトが含まれるとき、前記部分画像切出手段は複数の部分画像を切り出し、
   前記複数の部分画像から、前記投稿者コメントから抽出された名詞又は前記オブジェクトの位置に従って前記特定の部分画像を選択する画像選択手段をさらに備える請求項５記載の情報処理装置。
7. 前記識別器は畳み込みニューラルネットワークにより構成される請求項１記載の情報処理装置。
8. 前記嗜好推定手段はニューラルネットワークにより構成される請求項１記載の情報処理装置。
9. 前記画像は動画であり、前記動画を構成する複数の静止画から特定の静止画を閲覧者からのアクション数に基づいて選択する手段をさらに備え、
   前記選択された識別器は前記選択された静止画に含まれるオブジェクトに関する、より下位の種類を識別する請求項１記載の情報処理装置。
10. 前記コンテンツデータには音声データが含まれ、
    前記音声データを音声認識処理によりテキストに変換する音声認識手段をさらに備え、
    前記言語解析手段は、前記変換されたテキストを言語処理して名詞、形容詞、副詞を抽出する請求項１記載の情報処理装置。
11. ＳＮＳサービス、ＥＣサービス又は動画投稿閲覧サービスを提供するサーバに対して投稿者が投稿した画像及びそれに付帯する前記投稿者による投稿者コメントを含むコンテンツデータを前記サーバからダウンロードし、前記投稿者の嗜好傾向を解析する情報処理装置において、
    前記画像を解析して前記画像内のオブジェクトの種類を識別する手段と、
    前記投稿者コメントに基づいて前記投稿者の前記識別したオブジェクトの種類に対する嗜好傾向を推定する手段とを具備する情報処理装置。
12. ＳＮＳサービス、ＥＣサービス又は動画投稿閲覧サービスを提供するサーバに対して投稿者が投稿した画像及びそれに付帯する前記投稿者による投稿者コメントを含むコンテンツデータを前記サーバからダウンロードし、前記投稿者の嗜好傾向を解析する嗜好傾向解析方法において、
    前記コンテンツデータから前記画像と前記投稿者コメントを抽出し、
    前記投稿者コメントを言語処理して名詞、形容詞、副詞を抽出し、
    前記抽出された形容詞又は副詞に基づいて前記投稿者の主観的な嗜好の極性及び程度を推定し、
    オブジェクトに関する種類を多階層に分類して各階層の種類から、より下位の種類を識別するために、複数の階層ごと及び複数の種類に対して個々に用意された複数の識別器から、前記投稿者コメントから抽出された名詞に基づいて特定の識別器を選択し、
    前記選択された識別器により識別された前記画像内のオブジェクトに関する、より下位の種類に、前記推定された主観的な嗜好の極性及び程度を関連付けることにより前記投稿者に関する嗜好情報を生成する嗜好傾向解析方法。
13. コンピュータを、
    ＳＮＳサービス、ＥＣサービス又は動画投稿閲覧サービスを提供するサーバに対して投稿者が投稿した画像及びそれに付帯する前記投稿者による投稿者コメントを含むコンテンツデータを前記サーバからダウンロードする手段と、
    前記コンテンツデータから前記画像と前記投稿者コメントを抽出する手段と、
    前記投稿者コメントを言語処理して名詞、形容詞、副詞を抽出する出力と、
    前記抽出された形容詞又は副詞に基づいて前記投稿者の主観的な嗜好の極性及び程度を推定する手段と、
    オブジェクトに関する種類を多階層に分類して各階層の種類から、より下位の種類を識別するために、複数の階層ごと及び複数の種類に対して個々に用意された複数の識別器から、前記投稿者コメントから抽出された名詞に基づいて特定の識別器を選択する手段と、
    前記選択された識別器により識別された前記画像内のオブジェクトに関する、より下位の種類に、前記推定された主観的な嗜好の極性及び程度を関連付けることにより前記投稿者に関する嗜好情報を生成する手段として機能させるための嗜好傾向解析プログラム。

Images