JP6058982B2 - 消費者ニーズ分析システム及び消費者ニーズ分析方法 - Google Patents

Description

本発明は、消費者ニーズ分析システム及び消費者ニーズ分析方法に関する。特に、監視カメラを用いて店舗に入店した顧客の仕草により顧客の購買行動を分析する消費者ニーズ分析システム及び消費者ニーズ分析方法に関する。

市場に出回っている商品や広告に対し、消費者がどのように感じているのかを知る方法として、商品の売り上げやアンケートによる情報収集がある。ただし，商品の売り上げでは、何故購入したのか、何と比較の上購入したのかなどの詳細情報がわからない、またアンケートで得られる情報では、知りたい対象となる消費者のごく一部の意見を収集することしかできない。

本発明は、来店した顧客の購買行動を画像認識技術により分析して、顧客の消費者ニーズを直接的に取得するものである。

特開2010-009444号公報

本発明は、店内に陳列されている商品に対し、『どのような消費者（性別・年齢など）が、購入を判断する際、どのようなことに注目しているか』といった情報を、自動的に収集するシステムである。このシステムにより、従来の売り上げやアンケートなどによる情報収集よりも、より多くの情報を取得することができる。また、『（特定の商品に対して）関心を示したにもかかわらず購入に至らなかった』、『（特定商品に対して興味を示したが）代わり何を購入したのか』という情報についても取得することができるようにする。

情報収集の具体例として、スーパーやコンビニエンスストアなどの店舗に設定した監視カメラ映像を元に、消費者の行動を分析する。消費者が、予め設定した仕草をした際に、『その消費者の年齢・性別などの情報』や『関連する商品の画像』などをまとまった情報として蓄積する。また、『購入する／しない』
という情報も分析し収集する。

本発明の消費者ニーズの分析システムは、店内を撮影するカメラと、当該カメラの映像を取り込んでその映像を解析する映像解析装置とからなる消費者ニーズの分析システムであって、
前記映像解析装置は、分析対象者である顧客の移動状況を追跡する顧客追跡部と、分析対象物である商品の移動状況を追跡する商品追跡部と、追跡している顧客が特定の商品に対して行う仕草から追跡顧客と商品との関係を解析する追跡顧客・商品関係解析部と、解析対象となる追跡顧客が何の商品に注目しているかを推定する注目対象商品推定部と、カメラ映像に映し出された顧客がどのような仕草をしているか分析する仕草検出部と、顧客の性別、年齢などの顧客に関する情報の取得を行う顧客情報収集部と、顧客が特定の仕草を行った対象商品の情報を収集する商品情報収集部と、初期値として設定している特定の仕草に関する情報及び取得した情報を格納する情報格納部とを備えており、
前記情報格納部には顧客がとる特定の仕草が記録されており、分析対象者である顧客がとる仕草が前記記録された特定の仕草と判断された場合には、前記追跡顧客・商品関係解析部により当該特定の顧客が注目した商品を購入するか否かを判定するように構成したことを特徴とする。

さらに、本発明の消費者ニーズの分析システムは、前記仕草検出部により前記記録された特定の仕草が検出されると、当該特定仕草が検出された時刻が記録され、前記商品情報収集部により顧客が注目した商品の情報が入手されるように構成したことを特徴とする。

さらに、本発明の消費者ニーズの分析システムは、前記仕草検出部により前記記録された特定の仕草の終了が検出されると、前記追跡顧客・商品関係解析部により、対象とされた商品の購入に向けた動作が行われたか否かを判定するように構成したことを特徴とする。

本発明の消費者ニーズの分析方法は、店内を撮影するカメラと、当該カメラの映像を取り込んでその映像を解析する映像解析装置とによる消費者ニーズの分析方法であって、
前記映像解析装置の情報格納部には特定の仕草に関する情報が予め初期値として記録されており、顧客追跡部により分析対象者である顧客の移動状況を追跡し、商品追跡部により分析対象物である商品の移動状況を追跡し、追跡顧客・商品関係解析部により追跡している顧客が特定の商品に対して行う仕草から追跡顧客と商品との関係を解析し、注目対象商品推定部により解析対象となる追跡顧客が何に注目しているかを推定し、仕草検出部によりカメラ映像に映し出された顧客がどのような仕草をしているか分析し、顧客情報収集部により顧客の性別、年齢などの顧客に関する情報の取得をし、商品情報収集部により顧客が特定の仕草を行った対象商品の情報を収集し、情報格納部には前記取得した情報を格納し、
分析対象者である顧客がとる仕草が前記記録された特定の仕草と判断された場合には、前記追跡顧客・商品関係解析部により当該特定の顧客が注目した商品を購入するか否かを判定するように構成したことを特徴とする。

さらに、本発明の消費者ニーズの分析システムは、前記仕草検出部により前記記録された特定の仕草が検出されると、当該特定仕草が検出された時刻が記録され、前記商品情報収集部により顧客が注目した商品の情報が入手されるように構成したことを特徴とする。

さらに、本発明の消費者ニーズの分析システムは、前記仕草検出部により前記記録された特定の仕草の終了が検出されると、前記追跡顧客・商品関係解析部により、対象とされた商品の購入に向けた動作が行われたか否かを判定するように構成したことを特徴とする。

本発明の消費者ニーズ分析システムにより、顧客の消費ニーズを直接的に入手することが可能である。また、店内に陳列されている商品に対し、『どのような消費者（性別・年齢など）が、購入を判断する際、どのようなことに注目しているか』『（特定の商品に対して）関心を示したにもかかわらず購入に至らなかった』、『（特定商品に対して興味を示したが）代わり何を購入したのか』といった情報を、自動的に収集することができる。

本発明のハードウエア構成図である。 仕草の検出と対象商品の情報取得の手法を説明する概念図である。 注目対象の推定の手法を説明する概念図である。 分析対象商品以外のどこを見ているかの判定の手法を説明する概念図である。 仕草の検出と対象物体の情報取得の手法を説明する概念図である。 本発明のシステムで収集・分析される情報の一例を示す図である。 陳列効果分析の一例を示す説明図である。 本発明のシステムの処理手順を示すフローチャートである。 本発明のシステムの情報収集の処理手順を示すフローチャートである。 本発明のシステムの注目対象推定の処理手順を示すフローチャートである。

ハードウエア構成は図１に示すようになる。人、物体などの追跡／分析対象を映像として撮影するカメラと、カメラにて取得した映像について様々な分析を行う処理部と、分析した結果をデータとして格納するDBで構成されている。カメラは、必要に応じ、１台以上用意する。主にカメラから取得した映像を元に主に以下の分析などを行う。
（１）追跡対象となる人や物体の識別／認識
（２）追跡対象の移動状況の追跡／比較
（３）人の仕草を検出し，あらかじめ指定した仕草と比較

次に、図１に示すハードウエア構成の各構成要素部分での各処理を説明する。
最初に、スーパーなどの店舗施設内にて、客や客が手に取る商品の動きを個別に追跡し、情報を収集する場合における、本発明のシステムで行われる処理内容を説明する。この本発明のシステムを使用することにより、陳列されている多くの商品に対し、店内に居るどのような客がどのような商品に興味を持っているか、また、興味を持った商品を購入するのか或いは購入しないのか等についての情報を収集することができる。このようにして取得した情報は、商品開発や店内の商品配置の見直し、陳列する商品の選定など様々な用途で使用できるものである。

本発明の消費者ニーズ分析システムは、店内を撮影するカメラ１０と、当該カメラの映像を取り込んでその映像を解析する映像解析装置２０とからなる。映像解析装置２０の顧客追跡部２１では、分析対象者（入店している顧客）の移動状況を追跡する。これは、既存技術である人追跡技術を利用することができる。
商品追跡部２２では、分析対象物（陳列商品）の移動状況（顧客が手に取ったり返したりする状況）を追跡する。これは、既存技術である物体追跡技術を利用することができる。
追跡顧客・商品関係解析部２３では、追跡している顧客が特定の商品に対して行う仕草から追跡顧客と商品との関係を解析し、顧客が手に取った、一旦は手に取ったが陳列棚に戻した、買い物かごに入れた等の商品に対する仕草を解析する。これは、追跡顧客の数秒後の移動方向、追跡顧客と特定商品との距離を分析し、当該追跡顧客がその特定の商品を購入するか否か判定する。
注目対象商品推定部２４では、解析対象となる追跡顧客が、何に注目しているかを推定する。これには、既存技術である目鼻口から視線を推定する技術を利用することができる。
仕草検出部２５では、カメラ映像に映し出された人（顧客）がどのような仕草をしているか分析する。また、その仕草があらかじめ指定されていた仕草であるかについても分析する。登録しておく仕草の例としては、『商品を手に取る仕草』がある。仕草の検出には、既存技術であるポスチャ・ジェスチャ技術を利用することができる。
顧客情報収集部２６では、特定の仕草を行った顧客の性別、年齢などの顧客に関する情報の取得を行う。これには、既存技術である顔認識技術を利用することができる。
商品情報収集部２７では、顧客が特定の仕草を行った際に、その画像より顧客が特定の仕草を行った商品の情報を取得し分析して商品を特定する。これには、既存技術である物体認識技術を利用することができる。
情報格納部（ＤＢ）２８では、初期値として設定している情報や、本システムにより取得した情報などを格納する。
取得する情報には、以下のようなものがある。
（１）対象顧客に関する情報（性別、年齢など）
（２）対象商品に関する情報（商品の映像、商品の種類、商品名など）
（３）購買関連情報
□商品を「購入する（棚から取った）」或いは「購入しない（棚に返した）」
購入する／しないを決めるまでの時間（ただし、この時間は、商品を手に持つ仕草を検出してから、その仕草をやめたことを検出するまでの時間として計測する。）

次に、仕草の検出と対象商品の情報取得について、図２を用いて説明する。まず、図２（ａ）のように、特定の仕草を設定しておく。ここでは例として、手に持つ仕草を登録したとする。図２（ｂ）では、顧客が行った仕草の情報収集を行い、その処理を行う。
手に取った商品の情報については、上記仕草をした際の手のひら付近の画像を取得することで得られる。また、物体認識技術などの画像から商品を特定する技術を利用すれば、より詳細な情報を取得することができる。

次に、注目対象の推定について、図３を用いて説明する。具体的には、分析対象商品を注目しているかの判定について説明する。この注目対象の推定においては、映像に映し出された人物の目、鼻、口から視線を推測する既存技術を利用し、解析対象の人物が注視している範囲（視界）を推定することができる。そして、推定した範囲内（視界）に分析対象商品が存在する場合、解析対象顧客は、分析対象商品に注目していると判定する。図３（ａ）は、分析対象商品に注目している状態を示し、図３（ｂ）は、分析対象商品に注目していない状態を示している。

次に、分析対象商品以外のどこを見ているかの判定について、図４を用いて説明する。分析対象商品以外に注目しているか場合、何に注目しているかの判定方法は、図４（ａ）（ｂ）（ｃ）のようになる。この場合は、予め、画像内の特定のエリアを初期設定として設定しておく。例えば、図４の（Ａ）精肉売り場、（Ｂ）飲料水及び（Ｃ）レトルト食品等である。これに対して、推定した視界に含まれたエリアが、注目範囲であると判定する。

次に、仕草の検出と対象物体の情報取得について、図５を用いて説明する。図５（ａ）においては、図２で説明した手に持つ仕草により、情報収集の処理を行う。図５（ａ）の例は、2つの商品を持っているので、情報収集の対象商品は、２つになる。手に持つ仕草が終了した時点で、それまでの時間を算出する。その時間は、商品購入を判断するために要した時間として収集する。
手に持つ仕草を終了した後、対象顧客、対象商品の移動状況を追跡する。それぞれの移動方向や追跡商品と対象顧客の距離を分析し、「購入される」又は「購入されない」を判定する。対象顧客と同じ移動ベクトルであり、かつ対処顧客との距離が一定の距離内にある場合、その対象商品は、「購入される」と判定する。反対に、それら条件を満たさない場合は、「購入されない」と判定する。図５（ａ）（ｂ）は、２つの商品を手に取り、１つの商品を購入し、他の商品は購入しないという情報を収集した状態の顧客動作の分析状態を示している。

以上のようにして収集・分析される情報の一例を図６に示す。図６に示した収集・分析情報は、対象顧客情報としては、性別、年齢、映像があり、その映像から仕草を解析した結果として、「2011/6/10：11:15:10右手の商品に注目」「2011/6/10：11:15:12左手の商品に注目」「2011/6/10：11:15:21右手の商品に注目」「2011/6/10：11:15:33仕草終了」等の仕草関連情報が記録されている。商品情報としては、映像に加えて「×□ドリンンク」「△○エナジードリンク」等の商品名が記録される。また、その他の情報として、購入する商品の選択にかかった思案時間に加えて、注目して購入した又は注目したが購入しなかった等の情報も記録される。

このように、本願発明のシステムの特徴は、スーパーや本屋などで買い物する顧客のニーズ、注目している商品、購入を判断するまでの時間など、あらゆる情報を取得することができるものである。
また、それら情報の取得は、既に店内に設置してある監視カメラなどで取得した映像から分析するため、来店した客や、陳列している商品にＩＣチップなど特別な器具を装着しておく必要がない。
また、取得できる情報については、２つの商品を手に取った場合、その結果どうしたのか、つまり「片方のみ購入した」のか、「両方購入した」のかなど、さらには、その判断をするまでにどの程度の時間を要したのか、その判断をするまでに何を見ていたのか（他の商品への視線）などの情報を取得できる。
本発明のシステムにより取得できる情報は、商品に対する注目度など、購入されていない商品に対する情報が取得できる。また、商品陳列による効果を分析することもできる。
例えば、相性の良い商品を近くに陳列することによる売上げ効果を分析する場合を想定してみる。
例えば、惣菜コーナーに、「お惣菜で作るカツ丼のたれ」という商品を陳列した場合、その商品と惣菜のカツをまとめて購入したか否かの情報を取得できる。また、以下のような情報を取得すれば、それらを購入した客が、何を購入するのを止めて当該商品の購入に至ったかについての情報も取得できる場合がある。それにより、商品の陳列順序を変えることで、購入までのプロセスがどのように変化するかを情報として取得し、陳列を変えることの効果を分析することができる。

図７に示すデータは、以下のような状況にて取得したデータを想定したものである。
「想定」
何か食べ物を探しており、最初は、弁当を買う予定であった。しかし、他の商品を見ていくうちに心変わりして、別の商品「カツ丼のたれ」と「惣菜のカツ」を購入することにした。
時系列の仕草分析情報
11時15分00秒 弁当を手に持つ
11時15分10秒 弁当を手に持ちながら、パンの陳列棚に目線を向けている
11時15分18秒 弁当を手に持ちながら、惣菜コーナーを見ている
（惣菜コーナーには「カツ丼のたれ」が陳列されている）
11時15分25秒 その後、持っていた弁当を手放した（仕草終了）
本システムの分析にて、購入しなかったとして情報取得
11時18分00秒 「カツ丼のたれ」を手に持った
11時18分03秒 「カツ丼のたれ」を買い物カゴに入れた（仕草終了）
11時18分10秒 「惣菜のカツ」を手に持った
11時18分13秒 「惣菜のカツ」を買い物カゴに入れた（仕草終了）
本発明のシステムの分析においては、弁当は購入されなかったことを情報として取得している。

図７の情報で、以下のようなことが分析できる。
（１）「カツ丼のたれ」を惣菜コーナーの近くに陳列することにより、「カツ丼のたれ」と「惣菜（カツ）」を合せて購入する顧客がいた。（以前は「カツ丼のたれ」を惣菜コーナーの遠くに陳列していた）
（２）弁当を購入するか否かを決定する時間（２５秒）と比較して、「カツ丼のたれ」と「惣菜（カツ）」を購入すると決めるまでの時間（各３秒）が短い。
（３）弁当を持って、一旦は購入の意思があったにもかかわらず、パンなど他の主食や惣菜を物色していた。弁当に満足がいっていないため、他の選択肢を考えていたと推測できる。
（４）３５歳程度の顧客は、「カツ丼のたれ」と「惣菜（カツ）」を購入するために弁当の購入を止めた。

本発明の消費者ニーズ分析システムの処理手順を図８以降のフローチャートにより説明する。
本発明の消費者ニーズ分析システムの処理がスタートすると、初期設定のステップ１０１がある。このステップ１０１は、情報収集の処理を実施するきっかけとなる仕草が設定される。これは、毎回設定されるものではなく、システムを立ち上げる際に一度設定すれば足りる。以下の実施例の説明では、一例として、図２で説明した「物を手に取る仕草」を登録した場合を説明する。勿論、初期設定される特定の仕草は「物を手に取る仕草」に限るものではない。この初期設定のタイミングで、店員と顧客を峻別するために、店員のユニフォームや顔を登録しておく。

ステップ１０２では、カメラに映し出された人物を追跡する。この際、店員は登録してあり、店員の動作や仕草を分析することはしない。店員以外の人物を顧客と判断して追跡を継続する。これは、既知の人追跡技術を利用することができる。

ステップ１０３では、追跡している人物（店員以外）の性別・年齢の分析を行う。これは、既知の顔認識技術を利用することができる。
ステップ１０４では、追跡している人物（店員以外）のカメラに映し出された仕草を分析する。これは、既知のポスチャ・ジェスチャ判定機能を利用することができる。

次に、ステップ１０５では、追跡している人物（店員以外）のカメラに映し出された仕草の分析から、初期設定されている仕草（本実施例では「物を手に取る仕草物を手に取る仕草」を「仕草Ａ」として説明する）をしているか否かの判定をし、「物を手に取る仕草物を手に取る仕草」をしている場合は「ＹＥＳ」でステップ２００に進み、「ＮＯ」と判断された場合は、ステップ１０２に戻る。

ステップ２００は、ステップ１０５で初期設定されている仕草Ａが行われたとの判断後の情報収集（１）のステップであり、図９（ａ）にその内容を示している。
このステップ２００では、情報収集（２）で使用するための仕草Ａを検出した時刻（仕草開始時刻）、性別、年齢、目線等の対象者情報、及び商品名等の手に取っている商品に関する情報（商品関連情報）を収集する。

次に、顧客が注目をしている対象についての推定を行う。注目対象の推定に関しては、図１０において詳細に説明する。
ステップ５０１では、対象人物の目、鼻、口を検出する。これは、既知の顔認識技術を利用することができる。次いで、ステップ５０２では、検出した目、鼻、口から視線を推定し、次に眼球を推定する。これは、既知の視線推定技術を利用することができる。ここで、眼球が推定できない場合には、両眼の中央の基準値にあるものと推定する。
顧客の視線が推定されると、ステップ５０３で、顧客の視覚の中に分析対象物（商品）があるか否かを判定する。ここで「ＹＥＳ」と判断されると、分析対象物（商品）に注目していると判定する（ステップ５０５）。
ステップ５０３で「ＮＯ」と判断されると、ステップ５０４において、顧客の視覚内に初期設定で設定されたエリアが有るか否かを判断する。ここで「ＹＥＳ」と判断されると、該当するエリアに注目していると判定し（ステップ５０６）、「ＮＯ」と判断されると、注目しているエリアはないと判定し（ステップ５０７）。

ステップ５００の注目対象推定のステップが完了すると、ステップ１０６において、顧客が仕草Ａを止めたか否かの判断を行う。ここで「ＹＥＳ」と判断されると、仕草Ａを止めたと判定してステップ３００に進み、「ＮＯ」と判断されると、仕草Ａを止めていないと判定してステップ５００に戻る。

ステップ３００では、図９（ｂ）に示すように、仕草Ａの仕草を止めた時刻の取得を行い、仕草Ａを検出した時刻（ステップ２００）との差分を算出して、購入する／しないの判断までに要した時刻とする。

次に、購入する／しないの判定の手順を図９（ｃ）において説明する。追跡対象者の行動及び追跡対象物の移動状況（購入の意思を持って買い物カゴに入れる、或いは購入しないとして陳列棚に戻す）を移動ベクトルとして取得する（ステップ４０１）。次いで、追跡対象者と追跡対象物の位置と移動状況を比較分析する（ステップ４０２）。
ステップ４０２での追跡対象者と追跡対象物の位置と移動状況を比較分析は以下のように行われる。
位置の比較は、追跡対象者と追跡対象物（商品）の位置関係が近いのか、遠いのかを判定する。ここで、近いとは、取得されている顧客（年齢、性別）の一般的な手の長さ以内とする。
移動状況の比較は、追跡対象者と追跡対象物（商品）の時間当たりの移動方向及び移動距離を比較することにより、ベクトル比較が可能である。

これにより、ステップ４０３において、追跡対象者と追跡対象物（商品）の位置が近いのか、及び移動ベクトルが同じなのかの判断ができる。ここで「ＹＥＳ」と判断されると、購入すると判定し、「ＮＯ」と判断されると、購入しないと判定する。

以上により情報収集（１）（２）（３）で収集した情報を纏まった１つの情報として記憶部に格納する。

なお、本発明は上記した実施例に限定されるものではない。実施例は、本発明を分かりやすく説明するためにより具体的に説明したものであり、本発明が必ずしも説明した全ての構成を備えるものに限定されるものではない。

１０・・・カメラ
２０・・・映像解析装置
２１・・・顧客追跡部
２２・・・商品追跡部
２３・・・追跡顧客・商品関係解析部
２４・・・注目対象商品推定部
２５・・・仕草検出部
２６・・・顧客情報収集部
２７・・・商品情報収集部
２８・・・情報格納部

Claims (6)

1. 店内を撮影するカメラと、当該カメラの映像を取り込んでその映像を解析する映像解析装置とからなる消費者ニーズの分析システムであって、
   前記映像解析装置は、分析対象者である顧客の移動状況を追跡する顧客追跡部と、分析対象物である商品の移動状況を追跡する商品追跡部と、追跡している顧客が特定の商品に対して行う仕草から追跡顧客と商品との関係を解析する追跡顧客・商品関係解析部と、解析対象となる追跡顧客が何の商品に注目しているかを推定する注目対象商品推定部と、カメラ映像に映し出された顧客がどのような仕草をしているか分析する仕草検出部と、顧客の性別、年齢などの顧客に関する情報の取得を行う顧客情報収集部と、顧客が特定の仕草を行った対象商品の情報を収集する商品情報収集部と、初期値として設定している特定の仕草に関する情報及び取得した情報を格納する情報格納部とを備えており、
   前記情報格納部には顧客がとる特定の仕草が記録されており、分析対象者である顧客がとる仕草が前記記録された特定の仕草と判断された場合には、前記追跡顧客・商品関係解析部により当該特定の顧客が注目した商品を購入するか否かを判定するように構成したことを特徴とする消費者ニーズの分析システム。
2. 前記仕草検出部により前記記録された特定の仕草が検出されると、当該特定仕草が検出された時刻が記録され、前記商品情報収集部により顧客が注目した商品の情報が入手されるように構成したことを特徴とする請求項１記載の消費者ニーズの分析システム。
3. 前記仕草検出部により前記記録された特定の仕草の終了が検出されると、前記追跡顧客・商品関係解析部により、対象とされた商品の購入に向けた動作が行われたか否かを判定するように構成したことを特徴とする請求項２記載の消費者ニーズの分析システム。
4. 店内を撮影するカメラと、当該カメラの映像を取り込んでその映像を解析する映像解析装置とによる消費者ニーズの分析方法であって、
   前記映像解析装置の情報格納部には特定の仕草に関する情報が予め初期値として記録されており、顧客追跡部により分析対象者である顧客の移動状況を追跡し、商品追跡部により分析対象物である商品の移動状況を追跡し、追跡顧客・商品関係解析部により追跡している顧客が特定の商品に対して行う仕草から追跡顧客と商品との関係を解析し、注目対象商品推定部により解析対象となる追跡顧客が何に注目しているかを推定し、仕草検出部によりカメラ映像に映し出された顧客がどのような仕草をしているか分析し、顧客情報収集部により顧客の性別、年齢などの顧客に関する情報の取得をし、商品情報収集部により顧客が特定の仕草を行った対象商品の情報を収集し、情報格納部には前記取得した情報を格納し、
   分析対象者である顧客がとる仕草が前記記録された特定の仕草と判断された場合には、前記追跡顧客・商品関係解析部により当該特定の顧客が注目した商品を購入するか否かを判定するように構成したことを特徴とする消費者ニーズの分析方法。
5. 前記仕草検出部により前記記録された特定の仕草が検出されると、当該特定仕草が検出された時刻が記録され、前記商品情報収集部により顧客が注目した商品の情報が入手されるように構成したことを特徴とする請求項４記載の消費者ニーズの分析方法。
6. 前記仕草検出部により前記記録された特定の仕草の終了が検出されると、前記追跡顧客・商品関係解析部により、対象とされた商品の購入に向けた動作が行われたか否かを判定するように構成したことを特徴とする請求項５記載の消費者ニーズの分析方法。

Images