Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6339403B2 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents
[go: Go Back, main page]

JP6339403B2 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
JP6339403B2
JP6339403B2 JP2014078134A JP2014078134A JP6339403B2 JP 6339403 B2 JP6339403 B2 JP 6339403B2 JP 2014078134 A JP2014078134 A JP 2014078134A JP 2014078134 A JP2014078134 A JP 2014078134A JP 6339403 B2 JP6339403 B2 JP 6339403B2
Authority
JP
Japan
Prior art keywords
data
item
user
information
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014078134A
Other languages
English (en)
Other versions
JP2015200972A (ja
Inventor
秀暢 小栗
秀暢 小栗
Original Assignee
富士通クラウドテクノロジーズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通クラウドテクノロジーズ株式会社 filed Critical 富士通クラウドテクノロジーズ株式会社
Priority to JP2014078134A priority Critical patent/JP6339403B2/ja
Publication of JP2015200972A publication Critical patent/JP2015200972A/ja
Application granted granted Critical
Publication of JP6339403B2 publication Critical patent/JP6339403B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、個人情報を匿名化又は多様化するための情報処理技術に関する。
情報処理技術の発展に伴い、日常の多くの場面で情報が収集され、この収集された情報を用いた処理が行われている。例えば、消費者が店舗の会員となって商品を購入する場合、会員登録時に消費者の氏名、年齢、性別、住所、メールアドレス等を登録することが多い。そして、消費者が商品を購入すると、店舗側のシステムが、この消費者と購入した商品の情報を対応付けて記録する。このように購入した商品の情報を蓄積して分析すると、当該消費者の嗜好が推定でき、この消費者が好む新商品が発売されたような場合にダイレクトメールを発送するといったサービスを行うことができる。更に、多くの消費者の情報について分析することで、20代女性の好む商品や関東エリアで好まれる商品といった情報を導くことができ、マーケティング等に利用される。
また、これらの情報は、当該店舗だけでなく、商品を製造するメーカや、他の企業にとっても新商品の開発や安全性の向上などに用いることができ、価値を有することがある。
しかし、店舗が有する消費者の個人情報を各消費者の許諾を得ずに、他者へ提供することはできない。このため、上記消費者に関する情報を他者へ提供する場合には、個人を特定できないように、匿名化する必要がある。
例えば、年齢が記載されている会員リストに25歳の人が一人だけであると、25歳の知人がその会員であることを知った時点で、その人を特定できることになる。即ち、25歳の会員という属性を持つ人が一人だけであると、他の情報と照らし合わせることで、個人を特定できる可能性が高い。
そこで、会員リストの年齢の記載を10歳区切りに抽象化し、20代が3人のように同じ属性を持つ人が複数人となるようにすれば、3人のうちの誰であるかを特定できなくなる。このように同じ属性を持つ人がk人以上いる状態を、「k−匿名性」を満たすと称し、そのようにデータを加工することを「k-匿名化」と称する。
特開2012−133451号公報 特開2011−108195号公報 特開2011−128862号公報 特開2012−78932号公報
図19は、ユーザがICカードを用いて駅の自動改札を出入りし、乗車料金を決済した場合に、管理サーバ側に記録される履歴データ(フローデータ)の一例を示す図である。図19の履歴データ91は、ユーザIDや、利用日時、利用駅、利用内容、料金等が対応付けられている。この履歴データ91は、ユーザIDとユーザの姓、年齢、性別を対応付けたユーザ情報92を参照することで、履歴データの各ユーザが識別できる。
この履歴データ91を他の事業者へ提供する場合、ユーザIDとユーザの姓等とを対応
付けるユーザ情報92を削除する、或は参照できないように管理することで、ユーザIDから個人を識別できないようにすること(仮名化状態とすること)が考えられる。
しかし、仮名化状態の場合、ユーザIDから氏名が特定できないとしても、ユーザIDと対応付けられた利用駅等の情報が一個人に限定されている場合、即ち、他に利用駅等の情報が一致するユーザがいない場合、利用駅等の情報から再識別できる可能性がある。例えば、ID=A001のユーザが新宿駅、秋葉原駅、人形町を利用していた場合に、同じように駅を利用した人が他にいなければ、ID=A001のユーザの行動を知る人であれば、この履歴データからID=A001のユーザを再識別できる。
例えば、n=4247万人のユーザが、m=9262の駅を一様分布で選択した場合に、再識別できる駅の数sを式1によって求めると、
mS=n ・・・(式1)
S=2.237となり、履歴データに3駅記録されていれば、再識別できることが分かる。
また、ICカードの履歴データには、この他にもショッピングの情報が含まれることがあり、この場合再識別の可能性が更に高くなる。
このため、各項目の値を抽象化して、各項目の値の組み合わせが一個人に限定されないように匿名化することが考えられるが、行動履歴のようなデータは、データ量が非常に多くなり易く、例えば10万人を超えるユーザの行動履歴の場合、所謂ビッグデータの場合、抽象化を人手で行うのは現実的ではない。
また、機械的に抽象化を行うことも考えられるが、機械的に抽象化を行うと、抽象化した結果が例え匿名性を満たしたとしても、有用なデータになるとは限らない。例えば項目の値の組み合わせが一個人に限定されなくなるまで抽象化した結果、利用価値が無くなるほど抽象的な項目の値(語)になってしまった場合、匿名性を満たしても意味が無い。このため機械的に抽象化を行う場合でも抽象化の結果を人が確認し、有用なデータになっていなければ、抽象化する項目を変える等の設定を変更して抽象化の処理をやり直すといった試行の繰り返しになる。
しかし、単に試行を繰り返すのは非効率であり、特にビッグデータの場合、抽象化の処理や匿名性を検定する処理に多大な時間がかかってしまうため、充分に試行を行うことが困難であった。
また、上記のような行動履歴(フローデータ)の場合、各ユーザの行動に伴って随時データが挿入され、挿入されるデータの数もタイミングも異なるため、匿名性を厳密に行うことが困難であった。
そこで本発明は、複数のユーザの行動履歴について匿名化の検定を可能にする技術を提供する。
本発明に係る情報処理装置は、
ユーザを識別するユーザ識別情報と当該ユーザに係る情報とを対応付けたデータを対象データとし、前記対象データに含まれる複数の語を抽出し、各語の出現数に基づいて、前記複数の語の少なくとも一部をデータ項目の候補とする項目候補生成部と、
統計情報に基づいて前記データ項目の候補から所定数の候補を選択する項目選択部と、
前記選択された前記データ項目の値を前記対象データの前記ユーザ識別情報と対応付け
られたデータから求めて、前記ユーザ識別情報毎に前記データ項目の値を対応付けて匿名候補データとする匿名候補生成部と、
を備える。
前記項目候補生成部は、前記対象データから抽出した前記語を抽象化し、抽象化した語の出現数に基づいて、前記複数の語及び前記抽象化した語の少なくとも一部をデータ項目の候補としても良い。
前記匿名候補生成部は、前記対象データの時間、地域、又は所定カテゴリ毎に、前記匿名候補データを生成しても良い。
前記情報処理装置は、前記匿名候補データの項目の値の組み合わせが、前記対象データの一個人に限定されないことを条件として検定する検定部を備えても良い。
本発明に係る情報処理方法は、
ユーザを識別するユーザ識別情報と当該ユーザに係る情報とを対応付けたデータを対象データとし、前記対象データに含まれる複数の語を抽出し、各語の出現数に基づいて、前記複数の語の少なくとも一部をデータ項目の候補とするステップと、
統計情報に基づいて前記データ項目の候補から所定数の候補を選択するステップと、
前記選択された前記データ項目の値を前記対象データの前記ユーザ識別情報と対応付けられたデータから求めて、前記ユーザ識別情報毎に前記データ項目の値を対応付けて匿名候補データとするステップと、
をコンピュータが実行する。
また、本発明は、上記情報処理方法をコンピュータに実行させるための匿名化プログラムであっても良い。更に、前記匿名化プログラムは、コンピュータが読み取り可能な記録媒体に記録されていても良い。
ここで、コンピュータが読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体の内コンピュータから取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、DAT、8mmテープ、メモリカード等がある。
また、コンピュータに固定された記録媒体としてハードディスクやROM(リードオンリーメモリ)等がある。
本発明は、複数のユーザの行動履歴について匿名化の検定を可能にする技術を提供できる。
図1は、匿名化処理の説明図である。 図2は、ユーザの行動履歴の一例を示す図である。 図3は、匿名化装置の概略構成を示す図である。 図4は情報処理装置のハードウェア構成を示す図である。 図5は、対象データを解析して項目を選択する処理を示す図である。 図6は、匿名候補データを生成する処理を示す図である。 図7は、匿名性を検定する処理を示す図である。 図8は、対象データを自然語解析して語の出現数を求める処理の一例を示す図である。 図9は、対象データを自然語解析して語の出現数を求める処理の一例を示す図である。 図10は、対象データを自然語解析して語の出現数を求める処理の一例を示す図である。 図11は、対象データを自然語解析して語の出現数を求める処理の一例を示す図である。 図12は、対象データを自然語解析して語の出現数を求める処理の一例を示す図である。 図13は、対象データを自然語解析して語の出現数を求める処理の一例を示す図である。 図14は、対象データを自然語解析して語の出現数を求める処理の一例を示す図である。 図15は、対象データを解析して項目を選択する処理を示す図である。 図16は、匿名候補データを生成する処理を示す図である。 図17は、1月で区分したデータ、2月で区分したデータを示す図である。 図18は、匿名化データを複数の区分で作成した例を示す図である。 図19は、ユーザの行動履歴の一例を示す図である。
以下、図面を参照して本発明を実施するための形態について説明する。以下の実施の形態の構成は例示であり、本発明は実施の形態の構成に限定されない。
〈実施形態1〉
図1は、匿名化処理の説明図である。図1(A)は、姓、年齢、性別の項目を含む会員情報から姓の項目を削除した例を示す。図1(A)に示すように年齢が記載されている会員情報に16歳の女性が一人だけであると、16歳の女性が、この会員であることが分かった時点で、その人を特定できる。即ち、16歳・女性という属性を持つ人が一人だけであると、他の情報と照らし合わせることで、個人を特定できる可能性がある。
図1(B)では、会員リストの年齢の記載を抽象化し、0代(10歳未満)、10代、20代のように年代別とした。しかし、この場合でも10代女性は一人だけであり、図1(A)と同様に個人が特定できてしまい匿名化としては不十分である。
そこで、図1(C)では、更に抽象化し、10代以下(19歳以下)と20代のように年代の区切りを変更した。図1(C)の場合、10代以下の女性が2人であり、[10代以下]及び[女性]という属性が単一では無くなる。このため前述のように16歳の女性が、この会員であることが分かったとしても、どちらが当該16歳女性のデータであるかは特定できない。このように同じ属性を持つ人がk人以上いる状態を、「k−匿名性」を満たすと称し、そのようにデータを加工することを「k-匿名化」と称する。
図1のデータは、ユーザ毎に、当該ユーザに係る情報の各項目の値が対応付けられている。換言すると、図1のデータは、各ユーザのデータが各行に記録され、当該ユーザに係る情報の各項目の値が各列に記録されている。即ち、図1のデータは、ユーザ毎の行と項目毎の列とからなるスプレッドシート型のデータである。
図2は、ユーザの行動履歴の一例を示す図である。図2のデータは、ユーザを識別するユーザID(ユーザ識別情報)と当該ユーザに係る情報(行動データ)とを対応付けている。図2の例では、この行動データとして、ユーザが商品を購入した日付、店舗、内容を
有している。このように図2のデータは、ユーザの行動データが各行に記録され、当該ユーザに係る情報の各項目の値が各列に記録されている。即ち、図2のデータは、ユーザの行動データ毎に記録されたフロー型のデータである。
図2に示すフロー型のデータでは、ユーザIDと対応付けられた行動データは、随時追加され、一ユーザのユーザIDと対応付けられた行動データが複数行に存在し、その数の追加されるタイミングも異なるため、図1のスプレッドシート型のデータのように匿名性を検定することができない。
そこで、本実施形態1の情報処理装置(匿名化装置)1では、フローデータ型の対象データをスプレッドシート型に変換することで匿名性の検定を可能にする。以下に、この匿名化装置10について説明する。
図3は、匿名化装置10の概略構成を示す図である。匿名化装置10は、図3に示すように、項目候補生成部11、項目選択部12、匿名候補生成部13、匿名検定部14、データ出力部15を備えている。
項目候補生成部11は、ユーザを識別するユーザ識別情報と当該ユーザに係る情報とを対応付けたデータを対象データとし、前記対象データに含まれる複数の語を抽出し、各語の出現数に基づいて、前記複数の語の少なくとも一部をデータ項目の候補とする。また、項目候補生成部11は、対象データから抽出した語を抽象化し、抽象化した語の出現数に基づいて、複数の語及び抽象化した語の少なくとも一部をデータ項目の候補とする。
項目選択部12は、統計情報(価値データ)に基づいて前記データ項目の候補から所定数の候補を選択する。項目選択部12は、価値データを検索情報蓄積DB42から取得する。また、項目選択部12は、検索情報蓄積DB42に前記価値データが登録されていない場合に、他の装置にリクエストし、取得した価値データを検索情報蓄積DB42に登録する機能(データリクエスト)や、定期的に他の装置を巡回して最新の価値データを取得し、検索情報蓄積DB42に登録されている価値データを更新する機能(データクローラ)を有する。本実施形態では、この価値データとして検索エンジン90から各ワードの統計情報を受信する。ここで、各ワードの統計情報は、例えばSEMの広告単価(クリック単価)や、クリック率、平均掲載順位、1日の表示回数、1日のクリック数等である。なお、価値の取得先は、検索エンジンに限らず、ウェブページやSNS等であっても良い。このようにワードの統計情報を価値データとする場合、例えばウェブページやSNSにおける各ワードの使用頻度を価値データとしても良い。
匿名候補生成部13は、選択されたデータ項目の値を対象データのユーザ識別情報と対応付けられたデータから求めて、ユーザ識別情報毎にデータ項目の値を対応付けて匿名候補データとする。
匿名検定部14は、匿名候補データの一個人と対応する項目の値の組み合わせが、当該匿名候補データ中で単一でないことを条件として検定する。例えば匿名検定部14は、匿名候補データがk−匿名性を満たしているか、l−多様性を満たしているかを検定する。匿名候補データの匿名性を検定し、匿名性を満たした匿名候補データを匿名化情報とする。
データ出力部15は、匿名性を満たした匿名化情報を読み出して出力する。ここで、匿名化情報の出力とは、表示装置による表示出力や、プリンタによる印刷出力、他のコンピュータへの送信、記憶媒体への書き込み等である。
図4は情報処理装置のハードウェア構成を示す図である。匿名化装置10は、CPU1、メモリ2、通信制御部3、記憶装置4、入出力インタフェース5を有する所謂コンピュータである。
CPU1は、メモリ2に実行可能に展開されたプログラムを実行することで、前述の項目候補生成部11、項目選択部12、匿名候補生成部13、匿名検定部14、データ出力部15の機能を提供する。
メモリ2は、主記憶装置(メインメモリ)ということもできる。メモリ2は、例えば、CPU1が実行するプログラムや、通信制御部3を介して受信したデータ、記憶装置4から読み出したデータ、その他のデータ等を記憶する。
通信制御部(CCU:Communication Control Unit)3は、ネットワークを介して他の装置と接続し、当該装置との通信を制御する。入出力インタフェース5は、表示装置やプリンタ等の出力手段や、キーボードやポインティングデバイス等の入力手段、ドライブ装置等の入出力手段が適宜接続される。ドライブ装置は、着脱可能な記憶媒体の読み書き装置であり、例えば、フラッシュメモリカードの入出力装置、USBメモリを接続するUSBのアダプタ等である。また、着脱可能な記憶媒体は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disk)、ブルーレイディスク(Blu-ray(登録商標) Disc)等のディスク媒体であってもよい。ドライブ装置は、着脱可能な記憶媒体からプログラムを読み出し、記憶装置4に格納する。
記憶装置4は、外部記憶装置ということもできる。記憶装置4としては、SSD(Solid State Drive)やHDD等であってもよい。記憶装置4は、ドライブ装置との間で、デ
ータを授受する。例えば、記憶装置4は、ドライブ装置からインストールされる情報処理プログラム等を記憶する。また、記憶装置4は、プログラムを読み出し、メモリ2に引き渡す。本実施形態では、記憶装置4が対象データや検索情報蓄積DB42、匿名化検定用DB45を格納している。
図5−図7は、匿名化装置10が、本実施形態の情報処理プログラムに従って実行する情報処理方法の説明図であり、図5は、対象データを解析して項目を選択する処理を示す図、図6は、匿名候補データを生成する処理を示す図、図7は、匿名性を検定する処理を示す図である。
匿名化装置10は、定期的或いは操作者の指示等を契機に図5,図6の処理を匿名化の事前処理として実行する。先ず、匿名化装置10は、他のコンピュータ或いは記憶装置から対象データを取得し、形態素解析により対象データに含まれる語を抽出し、当該語の出現数や出現率を求める(ステップS10)。なお、語の抽出は、全対象データから抽出しても良いが、これに限らず、最初の1万行や、全体の5%など、対処データの一部から抽出するものでも良い。
次に、匿名化装置10は、ステップS10で抽出した語を抽象化し(ステップS20)、この抽象化した語の出現数や出現率を求める(ステップS30)。また、匿名化装置10は、出現数や出現率が必要とされる所定値未満、例えばk値未満の項目候補を削除し、足きりを行う(ステップS35)。
そして、匿名化装置10は、ステップS10で抽出した語、及びステップS20で抽象化した語を項目候補とし、検索情報蓄積DB42から価値データを取得して各項目候補の重み付けを行い(ステップS40)、この重み付けに基づいて所定数の項目を選択する(ステップS50)。例えば、各語の出現数又は出現率に価値データ(SEM価格)を乗じ
て指数化し、この指数の高い順に所定数の項目を選択する。
次に匿名化装置10は、図6の処理を実行し、対象データから一行分のデータを読み出して(ステップS60)、形態素解析により、この行に含まれる語を抽出する(ステップS70)。匿名化装置10は、この抽出した語の中から、図5の処理で生成した項目の値に該当する語を索出し(ステップS80)、この項目の値をステップS60で読み出した行のユーザIDと対応付けて匿名化検定用DB45に記憶する(ステップS90)。そして、匿名化装置10は、次の処理があるか否かを判定し(ステップS100)、次の処理があればステップS60に戻り、次の行のデータを読み出してステップS60〜ステップS100を繰り返し、ステップS100で次の処理が無ければ、図6の処理を終了する。このように各行のユーザIDと対応付けて、各列の項目の値をそれぞれ対象データから抽出して匿名化検定用DB45に記憶したものが匿名候補データである。
次に匿名化装置10は、図7の処理を実行し、図6の処理で作成した匿名候補データを匿名化検定用DB45から読み出し、匿名候補データの一個人と対応する項目の値の組み合わせが、当該匿名候補データ中で所定数以下、例えば、1でないことを条件として検定
する(ステップS110)。即ち、匿名候補データがk−匿名性を満たしているか否かを判定する。ここで、匿名候補データが匿名性を満たしていなければ、ステップS110に戻って他の匿名候補データを読み出して検定を繰り返す(ステップS110〜S120)。
一方、ステップS120で、匿名性を満たしていれば匿名化装置10は、次の処理があるか否かを判定し(ステップS130)、次の処理があればステップS110に戻り、次の匿名候補データを読み出してステップS110〜ステップS130を繰り返し、ステップS130で次の処理が無ければ、検定をパスした匿名候補データを匿名化データとして出力し(ステップS140)、図7の処理を終了する。
次に匿名候補データを作成する処理について、図8〜図14を用いて具体的に説明する。
図8は、対象データを自然語解析して語の出現数を求める処理の一例を示す図である。図8において、対象データ51は、ユーザを識別するユーザID(ユーザ識別情報)と当該ユーザに係る情報(行動データ)とを対応付け、この行動データとして、ユーザが商品を購入した日付、店舗、内容を有している。対象データ51には、Aブック−中野、Bストロ−新宿、Cレストラン−新宿のように、自然語のデータが記録されている。
対象データ51を自然言語解析し、対象データ51に含まれる語を抽出して、当該語の出現数を求めた結果がデータ52である。データ52は、対象データ51から抜き出された新宿、ネット、Cレストラン等の語と、その品詞及び出現数を対応付けている。なお、データ52では、各語と出現数を対応付けているが、出現数に代えて出現率としても良い、例えば、ある語の出現数がnで、語の総数がsの場合に、出現率Aqをn/sとする。また、出現率比(tf(term frequency)/idf(inverse document frequency))を用いても良い。
また、基となる語と、この語を抽象化した語(上位概念)とを対応付けた抽象化辞書53を用いて、抽出した語を上位概念に置き換えて抽象化する。例えば新宿を東京、ラーメンを中華料理、Eストアをコンビニのように変換する。そして、抽象化した語についても出現数を求めて、データ52に加えたものがデータ54である。
なお、形態素解析を行う際、対象データ51の属性に応じて自然語解析を行っても良い
。例えば、図9に示すように、対象データ52の店舗の項目のデータについては、店舗名を重点的に登録した店舗用の辞書を用いて自然語解析を行い、データ52aとし、対象データ51の内容の項目のデータについては、商品名を重点的に登録した購買内容用の辞書を用いて自然語解析を行い、データ52bとし、これらをまとめて、解析結果52としても良い。
更に、図10,図11に示すように、店舗属性の形態素解析結果52aを店舗用抽象化辞書53aで抽象化して抽象化データ55aを作成し、形態素解析結果52aの語と抽象化データ55aの語とを掛け合わせる。同様に、内容属性の形態素解析結果52bを内容用抽象化辞書(不図示)で抽象化して抽象化データ55bを作成し、形態素解析結果52bの語と抽象化データ55bの語とを掛け合わせる。
例えば、
(1)店舗属性の形態素解析結果52aと内容属性の形態素解析結果52b、
(2)店舗属性の形態素解析結果52aと内容属性の抽象化結果55b、
(3)店舗属性の抽象化結果55aと内容属性の抽象化結果55b、
(4)店舗属性の形態素解析結果52aと内容属性の形態素解析結果52b、
の4種類のパターンを作成する。データ56は、この掛け合わせ結果の一部である。
そして、店舗属性の形態素解析結果52a、内容属性の形態素解析結果52b、店舗属性の抽象化結果55a、内容属性の抽象化結果55b、掛け合わせ結果56をあわせたものがデータ57(図12)である。
なお、図12のデータ57では、各語と出現数を対応付けているが、出現数に代えて出現率としても良い、例えば、ある語の出現数がnで、語の総数がsの場合に、出現率Aqをn/sとする。図12において、レベルは、語の加工の程度、換言すれば元データとの距離であり、本例において、レベル1は元の語、レベル2は抽象化した語、レベル3は掛け合わせた語である。
また、掛け合わせた語の場合、
属性1の出現数 An(1)
属性1の出現率 Aq(1)
属性2の出現数 An(1)
属性2の出現率 Aq(2)
An(1) > An(2)
An(1)×(An(1)/An(1))とする。
また、An(1)×((An(1)/s)×(Aq(2)/s))としても良い。
なお出現率の計算は、一例であり、これに限定されるものではない。
項目候補を含むデータ57の出現数は、この情報群の中における出現数の大小を示している。そのため、2つ以上の情報を組み合わせて匿名性を検証する必要がある場合、k匿名性を満たすためには、最低でも2以上の出現数がなければ、複数要素の選択肢を組み合わせることが出来ないことが解る。また、2以上であっても出現数が少ない場合、k匿名性を満たす可能性が低くなる。そのため、必要とされるkの値で足きりを行い、必要とされる情報群を作成する。例えば、図13の例では、最低出現数を3以上とし、出現数が3未満の候補を除外(足きり)したものが、データ58である。また、データ58の出現数に価値データを乗じて指数化し、指数テーブル59を作成している。なお、出現数に乗ずる価値データは、SEM価格に限らず、POSの売り上げデータや、ユーザや操作者による重み付け係数であっても良い。
図14のデータ61に示すように、スプレッドシートの各行を各ユーザのデータとし、
スプレッドシートの各列に、指数テーブル59の指数の高い順に項目候補を割り当てる。
そして、対象データ51を形態素解析し、語を抽出し、また、この語を抽象化して、データ61の対応する項目に入力する。例えば、データ51のID=A001のAブック−中野というデータから、中野を抽出し、抽象化辞書を参照して東京とし、データ61のID=A001の東京の項目をインクリメントする。なお、データ61に入力する項目の値は、対象データ51で該当するデータの数をそのまま入力しても良いし、所定の閾値を越えたら1、超えなければ0とするフラグとして入力しても良い。また、1〜5、6〜10のように、数値の範囲で入力しても良い。
以上のように本実施形態1によれば、対象データがフローデータ型であってもスプレッドシート型のデータに変換することで、匿名化の検定を確実に行うことができる。
また、本実施形態1によれば、スプレッドシート型のデータに変換する際の項目を語の出現数や価値データに基づいて選択しているので、機械的に変換を行っても、適切な変換結果が得られる。
更に、スプレッドシート型のデータに変換する際、対象データを全て処理しなくても項目候補を選択することができ、処理の負荷が軽減される。
《実施形態2》
本実施形態2は、前述の実施形態1と比べて、主に匿名候補データを複数の区分に区切って作成した構成が異なる。なお、前述の実施形態1と同一の要素には同符号を付す等して再度の説明を省略している。
匿名化装置10は、定期的或いは操作者の指示等を契機に図15,図16の処理を匿名化の事前処理として実行する。先ず、匿名化装置10は、他のコンピュータ或いは記憶装置から対象データを取得し、形態素解析により対象データに含まれる語を抽出し、当該語の出現数や出現率を求める(ステップS10)。なお、語の抽出は、全対象データから抽出しても良いが、これに限らず、最初の1万行や、全体の5%など、対処データの一部から抽出するものでも良い。
次に、匿名化装置10は、ステップS10で抽出した語を抽象化し(ステップS20)、この抽象化した語の出現数や出現率を求める(ステップS30)。また、匿名化装置10は、必要とされるk値未満の項目候補を削除し、足きりを行う(ステップS35)。
そして、匿名化装置10は、ステップS10で抽出した語、及びステップS20で抽象化した語を項目候補とし、検索情報蓄積DB42から価値データを取得して各項目候補の重み付けを行う(ステップS40)。
次に、匿名化装置10は、操作者(分析担当者)による、区分の設定を受ける(ステップS43)。例えば、年/月/日、時刻、時間帯、季節などの時間の区分や、都道府県など地域の区分、食品/書籍など所定カテゴリによる区分等が設定される。
また、既存データへの追加処理化、新規作成処理かが指定される(ステップS46)。例えば、新規に2月の匿名候補データを作成する場合や、過去に東京の区分で作成した匿名候補データにデータを追加する等の処理を選択する。
この設定に従い、既存の匿名候補データ又は新規の匿名候補データに、ステップS40で定めた重み付けに基づいて所定数の項目を設定する(ステップS50)。例えば、各語
の出現数又は出現率に価値データ(SEM価格)を乗じて指数化し、この指数の高い順に所定数の項目を設定する。
次に匿名化装置10は、図16の処理を実行し、対象データから一行分のデータを読み出して(ステップS60)、形態素解析により、この行に含まれる語を抽出する(ステップS70)。匿名化装置10は、ステップS43で設定された区分の条件を読み出し、利用する匿名候補データを決定する(ステップS76)。
匿名化装置10は、この抽出した語の中から、図15の処理で生成した項目の値に該当する語を索出し(ステップS80)、この項目の値をステップS60で読み出した行のユーザIDと対応付けて記憶する(ステップS90)。そして、匿名化装置10は、次の処理があるか否かを判定し(ステップS100)、次の処理がある場合、現在の行のデータを並行して書き込む他の匿名候補データがあるか否かを判定する(ステップS103)。ここで、他の匿名候補データへ書き込む処理があればステップS76へ移行して利用する匿名候補データを決定し、ステップS80へ移行する。
一方、ステップS103で他の匿名候補データへ書き込む処理がなければ、ステップS60へ戻ってステップS60〜103の処理を繰り返す。そして、ステップS100で次の処理が無ければ、匿名候補データの管理テーブルを作成して、図16の処理を終了する。
図17は、1月で区分したデータ62と、2月で区分したデータ63を示す図である。本実施形態の対象データ51は、常に増加するフローデータであるため、例えば月ごとに新しい情報が追加される場合、過去との整合性を確保するテーブル群を追加して管理することが可能となる。
匿名化処理は、時期によって大きく性質が異なるため、例えば1カ月分のデータでは匿名化できないが、1年分のデータを集計すれば匿名化できる場合などが多く存在する。このため、月ごとに匿名化データを累積して行くことで、1年分のデータを改めて計算する手間をかけることなく、長期にわたる知見を得ることができる。
また、地域によってテーブルを分類するなどすることで、その後の統計処理を簡便にすることができる。
更に、図18に示すように、例えば1月の匿名化データを作成し、2月には、その項目名をそのまま用いた上で、対象データから各ユーザのデータを入力することで、1月に多く存在した数字が、季節要因的なものなのか、定常的なものであるのかの比較が可能となる。
定常的に存在する情報は、出現数が大きい=匿名性が高いため、情報として細かく区分することが出来る。本実施形態では、語の出現数に基づいて匿名候補データの項目を決定するので、出現数が大きい語を無駄に抽象化することなく、適切に匿名候補データを作成できる。
また、1月の上位に作成した匿名候補データと別に、2月に上位に出現した語による匿名候補データを作成し、先月との語の相違レベルの比較などに利用することも可能となる。このような多次元の匿名候補データを管理するテーブルも存在すると、匿名化処理のための指針とすることが出来る。
〈その他〉
本発明は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
2 メモリ
3 通信制御部
4 記憶装置
5 入出力インタフェース
10 匿名化装置
11 項目候補生成部
12 項目選択部
13 匿名候補生成部
14 匿名検定部
15 データ出力部

Claims (6)

  1. ユーザを識別するユーザ識別情報と当該ユーザに係る情報とを対応付けたデータを対象データとし、前記対象データに含まれる複数の語を抽出し、各語の出現数に基づいて、前記複数の語の少なくとも一部をデータ項目の候補とする項目候補生成部と、
    統計情報に基づいて前記データ項目の候補から所定数の候補を選択する項目選択部と、
    前記選択された前記データ項目の値を前記対象データの前記ユーザ識別情報と対応付けられたデータから求めて、前記ユーザ識別情報毎に前記データ項目の値を対応付けて匿名候補データとする匿名候補生成部と、
    を備える情報処理装置。
  2. 前記項目候補生成部が、前記対象データから抽出した前記語を抽象化し、抽象化した語の出現数に基づいて、前記複数の語及び前記抽象化した語の少なくとも一部をデータ項目の候補とする請求項1に記載の情報処理装置。
  3. 前記匿名候補生成部が、前記対象データの時間、地域、又は所定カテゴリ毎に、前記匿名候補データを生成する請求項1又は2に記載の情報処理装置。
  4. 前記匿名候補データの項目の値の組み合わせが、前記対象データの一個人に限定されないことを条件として検定する検定部を備える請求項1〜3の何れか1項に記載の情報処理装置。
  5. ユーザを識別するユーザ識別情報と当該ユーザに係る情報とを対応付けたデータを対象データとし、前記対象データに含まれる複数の語を抽出し、各語の出現数に基づいて、前記複数の語の少なくとも一部をデータ項目の候補とするステップと、
    統計情報に基づいて前記データ項目の候補から所定数の候補を選択するステップと、
    前記選択された前記データ項目の値を前記対象データの前記ユーザ識別情報と対応付けられたデータから求めて、前記ユーザ識別情報毎に前記データ項目の値を対応付けて匿名候補データとするステップと、
    をコンピュータが実行する情報処理方法。
  6. ユーザを識別するユーザ識別情報と当該ユーザに係る情報とを対応付けたデータを対象
    データとし、前記対象データに含まれる複数の語を抽出し、各語の出現数に基づいて、前記複数の語の少なくとも一部をデータ項目の候補とするステップと、
    統計情報に基づいて前記データ項目の候補から所定数の候補を選択するステップと、
    前記選択された前記データ項目の値を前記対象データの前記ユーザ識別情報と対応付けられたデータから求めて、前記ユーザ識別情報毎に前記データ項目の値を対応付けて匿名候補データとするステップと、
    をコンピュータに実行させるための情報処理プログラム。
JP2014078134A 2014-04-04 2014-04-04 情報処理装置、情報処理方法、及び情報処理プログラム Active JP6339403B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014078134A JP6339403B2 (ja) 2014-04-04 2014-04-04 情報処理装置、情報処理方法、及び情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014078134A JP6339403B2 (ja) 2014-04-04 2014-04-04 情報処理装置、情報処理方法、及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2015200972A JP2015200972A (ja) 2015-11-12
JP6339403B2 true JP6339403B2 (ja) 2018-06-06

Family

ID=54552199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014078134A Active JP6339403B2 (ja) 2014-04-04 2014-04-04 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (1)

Country Link
JP (1) JP6339403B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6298583B2 (ja) * 2016-07-15 2018-03-20 レノボ・シンガポール・プライベート・リミテッド 個人情報の保護方法、電子機器、およびコンピュータ・プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5095281B2 (ja) * 2007-07-11 2012-12-12 株式会社日立製作所 文字列匿名化装置、文字列匿名化方法及び文字列匿名化プログラム
JP2010231717A (ja) * 2009-03-30 2010-10-14 Hitachi Ltd 情報秘匿装置、情報秘匿方法、情報秘匿プログラム、および記録媒体
JP5782637B2 (ja) * 2012-03-23 2015-09-24 西日本電信電話株式会社 属性選択装置、情報匿名化装置、属性選択方法、情報匿名化方法、属性選択プログラム、及び情報匿名化プログラム

Also Published As

Publication number Publication date
JP2015200972A (ja) 2015-11-12

Similar Documents

Publication Publication Date Title
Coussement et al. Integrating the voice of customers through call center emails into a decision support system for churn prediction
Genc-Nayebi et al. A systematic literature review: Opinion mining studies from mobile app store user reviews
Chen et al. Analysing customer behaviour in mobile app usage
US20160379268A1 (en) User behavior data analysis method and device
JP6015959B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP5615857B2 (ja) 分析装置、分析方法及び分析プログラム
CN105488697A (zh) 一种基于客户行为特征的潜在客户挖掘方法
Wang et al. Database submission—market dynamics and user-generated content about tablet computers
US8452768B2 (en) Using user search behavior to plan online advertising campaigns
JP6837411B2 (ja) 販売促進装置、販売促進方法及び販売促進プログラム
JP7026600B2 (ja) 購買情報活用システム及び購買情報活用方法、及びプログラム
US20190080352A1 (en) Segment Extension Based on Lookalike Selection
JP6214150B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR20220102054A (ko) 사용자 분석 데이터를 활용하는 커머스 플랫폼 서버 및 이를 이용한 서비스 제공 방법
JP2019145043A (ja) データ管理装置およびデータ管理システム
JP6031165B1 (ja) 有望顧客予測装置、有望顧客予測方法及び有望顧客予測プログラム
JP6339403B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP6334915B2 (ja) 匿名化システム
JP2015049648A (ja) 匿名化システム
JP7194562B2 (ja) 情報処理方法及び情報処理システム
KR102518379B1 (ko) 구매 패턴 분석을 통한 수요 맞춤형 예측 방법 및 시스템
JP2017151574A (ja) ユーザ情報処理サーバ及びユーザ情報の処理方法
JP7000691B2 (ja) プログラム、情報処理装置及び情報処理方法
CN110992091A (zh) 一种基于分类模型评估投放权益的方法和装置
JP2011123652A (ja) データ解析システム、及びその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180510

R150 Certificate of patent or registration of utility model

Ref document number: 6339403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350