JP5226746B2 - 変数スコアリングを使用するモデル最適化システム - Google Patents

Description

本願は、モデルを生成するための変数の品質を判定するように構成されるモデル最適化システム、およびモデリングのためのデータの品質を判定する方法に関する。

優先権主張
この特許出願は、２００９年８月３１日に出願された「データ品質スコアカード（Ｄａｔａ Ｑｕａｌｉｔｙ Ｓｃｏｒｅｃａｒｄ）」と題される米国特許仮出願第６１／２３８，３６３号に対する優先権を主張するものであり、その内容全体が参照によって本明細書に組み込まれる。

モデリングは、一般に、挙動または結果を予想または予測するために使用される。このようなモデルは、回帰分析または過去のデータを分析する他の方法によって生成されてよい。例えば、企業は、過去の売上データを利用して、今後の売上に与える影響を予測するモデルを生成する。このような企業は、これによって調整を行って売上を改善したり製品在庫をコントロールしたりすることもできる。

このようなモデルの出力、例えば、売上予測の精度を評価する技術が、従来から多く存在する。しかしながら、ひとたびモデルが正確ではないと判断されると、そのモデルを生成するのに使用される入力データに問題がある場合にモデルの精度を高めるのは極めて困難である。モデルの性能が悪いのは、特定のデータ収集ソースからの特定のモデル入力パラメータのデータが不十分な結果である場合もあれば、パラメータを決定する際に様々なソースによって実施される計算に整合性がない場合もある。それぞれの入力パラメータを分析して、モデルによる予測を不正確にしている入力パラメータを特定するのに多くの工数がかかる場合もある。さらに、入力パラメータの品質を評価するための、および最終モデルの品質に対する様々なデータ品質態様の影響を推定するための、客観的尺度がないという事実によって、分析が一層複雑になることもある。その上、企業が過去のデータを収集してモデルを構築するには費用がかかる。収集されたデータについて、そのデータが正確なモデルを構築するのに使用できるかどうかを判断する分析が最初に行われていないことが多い。結果として、不正確なモデルを構築することによって時間とお金が浪費される。

実施形態によれば、モデル最適化システムは、モデル生成のための変数の品質を判定するように構成される。データ記憶装置は、入力変数、入力変数の品質メトリック、および品質メトリックの重みを格納する。品質メトリックは、入力変数のためのデータの十分性および品質を表し、データは、複数の地域に提供される。スコアリングモジュールは、入力変数および重み付けされた品質メトリックに基づいて各地域のスコアを決定する。最適化ツールは、スコアに基づいて地域の入力変数の少なくとも１つが修正されるべきかどうかを判断し、修正された入力変数を使用してその地域の合計スコアを改善することができるができるかどうかを判断する。

別の実施形態によれば、モデリングのためのデータの品質を判定する方法は、従属変数を推定するためにモデリングに使用することができる入力変数を特定するステップと、入力変数のためのデータであって複数の地域に提供されるデータの十分性を表す品質メトリックを決定するステップと、品質メトリックを重み付けするステップと、重み付けされた品質メトリックに基づいて各地域のスコアをコンピュータシステムによって決定するステップとを含む。この方法は、コンピュータ可読命令を含み、非一時的コンピュータ可読媒体上に格納される１つ以上のコンピュータプログラムに具体化されてよい。コンピュータシステムは、コンピュータ可読命令を実行してこの方法を実施してよい。

以下の図面を参照して、本発明の実施形態について以下の説明において詳しく記載する。

実施形態によるシステムを示す図である。 実施形態による説明のための変数の例を示す図である。 実施形態によるスコアの例を示す図である。 実施形態による地域別の合計スコアの例を示す図である。 実施形態によるスコアの決定方法を示す図である。 実施形態による合計スコアの改善方法を示す図である。 実施形態による方法およびシステムに使用されてよいコンピュータシステムを示す図である。

簡単にするためおよび説明のため、実施形態の原理は、その例を主に参照することによって説明される。以下の説明では、実施形態を完全に理解することができるように数多くの具体的詳細が述べられている。しかしながら、実施形態がこのような具体的詳細に限定されないで実践されてよいことは、当業者にとって明らかであろう。場合によっては、本発明の態様を不必要に不明瞭にしないように、周知の方法および構造については詳細に説明していない。

１．概要
実施形態によれば、システムは、売上影響データが、売上について正確に予測するために使用することができるモデルを生成するのに十分かどうかを判定することができる。さらに、システムは、モデルの性能を改善して正確な予測を行うために必要な、売上影響データの変化を特定することもできる。モデルは、売上影響データからのパラメータを入力として使用して、特定のパラメータまたは一連のパラメータが売上に及ぼす影響について予測する時系列計量経済学モデルを含んでよい。このような予測を用いて、企業は、マーケティングキャンペーンまたは他の販売戦術を修正して自社の製品の売上を改善することもできる。システムは、モデルの入力パラメータの品質を数値化して、正確なモデルを構築することができるかどうか、あるいは既存のモデルを改善することができるかどうかを判断することができる。

モデルの入力として使用されかつシステムによって評価される売上影響データは、売上に関連する、あるいは製品の売上に影響を及ぼす可能性のある任意の情報を含む。製品は、１つ以上の商品またはサービスであってよい。売上影響データの例としては、実際に上げた売上の情報、販売促進の情報、広告および他のマーケティング情報、不況またはインフレに関する情報などのマクロ経済要因などが挙げられる。

本明細書に記載される実施形態は、１つ以上の技術的態様を含む。例えば、システムは、モデルを生成するためのデータの十分性をスコアによって便利に視覚化することができる表示を生成する。したがって、実施形態は、データおよび変数が正確なモデルを生成するために十分であるかどうかを判断するタスクを実施するために、ユーザに要求される心理的および身体的労力を低減することもできる。別の技術的態様は、品質メトリックなどのデータをスコアに変換することであり、このスコアは、モデルを構築するとともに入力変数を最適化してモデルを改善するための入力変数の実行可能性を、ユーザが即座に確認することができる、簡単なスコアリングスケールを使用してよい。

２．システム
図１は、実施形態によるモデル最適化システム１００を示す。システム１００は、スコアリングモジュール１１０と、シミュレータ１２０と、モデルビルダ１３０と、最適化ツール１４０と、ユーザインタフェース１５０と、データ記憶装置１６０とを含む。システム１００は、入力変数１０１、変数関係データ１０２、品質メトリック１０３、および変数を評価してモデルを構築するためにシステム１００によって使用される他のデータを含む、売上影響データを受信する。このデータ並びにシステム１００によって生成されるデータおよびモデルは、データ記憶装置１６０に格納される。データ記憶装置１６０は、データベースまたは他の種類の記憶システムを含んでよい。データ記憶装置１６０に格納されシステム１００によって使用されるデータの少なくとも一部は、ユーザインタフェース１５０を介して受信してよい。

スコアリングモジュール１１０は、売上影響データに含まれる入力変数１０１のスコア１０５を決定する。入力変数１０１は、モデル１０６を構築するために使用される変数である。次いで、モデル１０６を使用して売上変数の値を予測してよく、売上変数は、入力変数のうちの１つ以上から計算される値を有する従属変数であってよい。入力変数１０１および入力変数を評価する品質メトリック１０３の例は、図２および図３に示され、以下においてさらに詳細に説明される。

入力変数１０１のスコア１０５を使用して、モデルを構築するとともに売上変数の予測を行うモデル１０６などのモデルの精度を改善するために、入力変数１０１を評価しかつ最適化してよい。スコア１０５は、入力品質メトリックスコアと、ソーススコアと、カテゴリスコアと、合計スコアとを含んでよい。スコアリングモジュール１１０は、入力変数１０１の品質メトリック１０３の品質メトリックスコアを決定する。これらのスコアを使用して、売上影響データおよび／またはマーケティングチャネルを提供するデータソースに関連するソーススコアを計算する。さらに品質メトリックスコアも使用して、様々な種類の入力変数のカテゴリスコアを計算する。合計スコアは、計算されたスコアから計算される。合計スコアは、地理的な地域に対する合計スコアであってよく、その地域に適用できる入力変数の品質を示す。さらに、重み付けを使用してスコアを計算してよい。変数関係データ１０２は、スコアリングに使用される重み、範囲およびスケールを含む。変数関係データ１０２は、専門家の蓄積された知識、および統計的分布を適用してスコアリングの範囲およびスケールを決定することに基づいて決定されてよい。図２〜図４に関して、スコア計算の例が提供される。

システム１００は、シミュレータ１２０をさらに含む。シミュレータ１２０は、最適化ツール１４０が入力変数を変更できるようにする。次いで、シミュレータ１２０は、修正された入力変数をスコアリングモジュール１１０に送信してスコアを再計算する。例えば、最適化ツール１４０は、地域の合計スコアが所定のしきい値を下回るかどうかを判断する。最適化ツール１４０は、特定の入力変数がモデルを生成するために十分な品質ではないと判断してよい。最適化ツール１４０は、例えば、入力変数のスコアをしきい値と比較することによって、不十分な変数を特定してよい。さらに、ユーザは、ユーザインタフェース１５０によってスコアを視覚的に見て、低いスコアを有する１つ以上の入力変数を選択して交換してよい。最適化ツール１４０は、特定された入力変数を修正することができるかどうか判断する。この判断は、不十分な変数のデータについて他に何かソースがあるかどうかを判断することを含んでよい。この判断は、他のソースを求めてデータ記憶装置１６０を検索したり、あるいはユーザから他のソースが使用できるという指示を受け取るとともにそのソースからデータを受信したりすることに基づいてよい。別のソースが使用できる場合、新たなソースからのデータを使用して、不十分な変数の品質メトリックスコアを決定し、新たなデータを使用して合計スコアを改善することができるかどうかを判断する。

％範囲品質メトリックが１である入力変数のような、低いスコアを有する「問題のある」変数が特定される。もっと高い品質を有する入力変数を得るための方法が決定されて実施される。例えば、最適化ツール１４０は、シミュレータ１２０によって実施されるシミュレーションによって、もっと高い％範囲スコアを有する変数の代替のソースを見つける必要があると判断することができる。もっと高い範囲を有するもっと高い品質の変数が得られる場合には、シミュレータ１２０およびスコアリングモジュール１１０は、変数を変更することによって合計スコアが十分に改善されるかどうかを判断する。変更によってスコアが改善される場合には、修正された問題のある変数を含む入力変数は、モデルビルダ１３０に送信される。

モデルビルダ１３０は、入力変数を使用してモデル１０６を構築する。モデルビルダ１３０は、入力データがその地域のモデルを構築するために十分であることを示すしきい値を上回る合計スコアを有する地域に使用することができるモデルを構築してよい。例えば、選択された一連の変数を所与として、統計的回帰（例えば、線形回帰）手法を使用して、モデルの係数を決定する。変数のデータ（例えば、マーケティングチャネルのコストデータ）を対応する過去の実績データに最も良く対応付ける、モデルの変数の係数が存在する。回帰法を用いてモデルの変数の係数を推定することによって、所与の入力データの計算出力を対応する出力に最も良く適合させる、多変数関数（例えば、曲線）を生成する。幾つかの実施形態では、回帰法は、モデルの変数の少なくとも一部に対して非線形回帰を実施して、このような変数（例えば、減少する利益の挙動を示す市場変数）に関連するどのような非線形挙動も説明する。

変数と売上との間の関係を判断することおよびモデルを形成する応答曲線を決定することは、２００６年７月７日に出願されたアンドリス アンブリジス（Ａｎｄｒｉｓ Ｕｍｂｌｉｊｓ）らによる「マーケティングデータのモデリング（Ｍｏｄｅｌｉｎｇ Ｍａｒｋｅｔｉｎｇ Ｄａｔａ」と題される同時係属米国特許出願第１１／４８３，４０１号にさらに説明されており、その内容全体が参照によって組み込まれる。

図２は、入力変数１０１を評価する品質メトリック１０３の例を示す。例は、％範囲２０１および２０２と、データ周期２０３と、データ更新頻度２０４とを含む。説明２１０は、各品質メトリック２０１〜２０４について説明する。他の品質メトリックを使用してよいことに留意すべきである。

スケール２０５が示されている。この例では、スケール２０５は０〜３である。スケールの値０〜３は、品質メトリックの測定値および範囲に応じてスコアリングモジュール１１０によって決定されてよい品質メトリックスコアである。範囲は、各スコアについて決定される。例えば、％範囲２０１の場合、範囲０〜２０％はスコア０に、範囲２０〜４０％はスコア１に、範囲４０〜７５％はスコア２に、範囲７５〜１００％はスコア３に位置付けられる。スコアリングモジュール１１０は、外部ソースによって提供されてデータ記憶装置１６０に格納されてよい％範囲メトリック２０１の測定値を特定する。例えば、測定値は、２０〜４０％の範囲に含まれる３０％である。したがって、３０％の測定値に対する％範囲メトリック２０１のスコアは１である。図２に、各品質メトリック２０１〜２０４についてスコアの範囲の例が示される。

この例のスケールは０〜３の簡単なスケールのため、入力変数がどの程度良いまたは悪いと考えられるかをユーザが素早く確認しやすい。しかしながら、もっと複雑なスケールを使用してよい。さらに、スケールおよび範囲は、過去のデータの専門家の分析によって決定されてよい。

図３は、地域３０１のスケール２０５の例を示す。この例の地域３０１はブラジルであり、地域３０１の合計スコア３０２は２．５４である。図３に示される合計スコア３０２および他のスコアは、０〜３などの品質メトリックに使用されているのと同じスケールを使用していることに留意されたい。

スコアリングモジュール１１０は、カテゴリスコア、入力変数スコア、ならびに入力変数の品質メトリックスコアおよび重みから、合計スコア３０２を計算する。入力変数はカテゴリ別に示される。カテゴリは、従属変数３０３、クライアントによって管理される独立変数３０４、およびクライアントによって管理されない独立外部変数３０５である。クライアントは、システム１００を使用して入力変数を評価して売上または他の情報を推定するモデルを構築することになる企業または他の組織体（ｅｎｔｉｔｙ）であってよい。

独立変数３０４はクライアントによって管理され、ＴＶ、ケーブルＴＶ、印刷物などの様々なマーケティングチャネルのマーケティング変数を含んでよい。マーケティング変数は、各マーケティングチャネル、アップリフト（ｕｐｌｉｆｔ）などに費やされる金額を含んでよい。独立外部変数３０５は、クライアントの管理外であり、全国小売店売上、クレジットカードの枚数、商店または商業アウトレットの数などを含んでよい。従属変数３０３は、独立変数によって説明および／または予測される変数である。従属変数３０３は、このモデルを用いて予測されることになる値の変数を含んでよい。従属変数の一例は、購買量である。他の例は、増加する売上、利益、顧客寿命などであってよい。各カテゴリに複数の変数が存在してよい。

スコアリングモジュール１１０は、それぞれカテゴリ３０３〜３０５のカテゴリスコア３０６〜３０８を計算する。カテゴリスコア３０６〜３０８は、それぞれカテゴリの重み３０９〜３１１および各カテゴリのソーススコアを使用して計算される。

入力変数が、各カテゴリについて示されている。例えば、売上入力変数３１２および売上１入力変数３１３が、カテゴリ３０３について示される。カテゴリ３０４は、様々なマーケティングチャネルに関連する入力変数３１４を有し、カテゴリ３０５は入力変数３１５を有する。入力変数の重み３１６〜３１８が、各カテゴリの各入力変数について示される。各カテゴリの入力変数の重みの合計は、１００に等しくてよい。例えば、売上入力変数３１２は１００％の重みを有し、売上１入力変数３１３は０％の重みを有する。本明細書に記載される重みは、専門家の分析およびデータ分析によって決定されてよい。売上１は、そのソースが信用できないと見なされるので０％を有してよい。他の要因が考慮されてよい。ソースは周知であれば示されてよいことに留意されたい。例えば、入力変数３１２および３１３は、それぞれ第１のソースおよび第２のソースによって提供されるデータを有する。入力変数３１４は、メディア機関などの外部ソースを有しても、あるいはクライアントによって提供されてよい。

入力変数スコアは、品質メトリックスコアおよび品質メトリック重みから計算される。品質メトリック３１８は各入力変数について示され、％範囲、データ周期およびデータ更新頻度を含んでよい。品質メトリックスコアについても示されており、０〜３の同じスケール上にあってよい。品質メトリックスコア３１０が、カテゴリ３０３について示されている。カテゴリ３０３には品質メトリック重み３２０も示されるが、他のカテゴリには示されていない。ただし、たとえ示されていなくても各カテゴリは品質メトリック重みを使用してよい。

図３に示され上で説明されたスコアは、以下の数式を使用して計算してよい。

ただし、ｎは、カテゴリの数である。

例えば、合計スコア３０２は、以下のようになる。
２．６４＝（２．６＊０．４５）＋（２．４４＊０．４５）＋（２．６８＊０．１）

ただし、ｘは、カテゴリの入力変数の数である。

例えば、従属変数カテゴリ３０３のカテゴリスコアは、以下のようになる。
２．６０＝（２．６０＊１．００）＋（２．２０＊０．０）

ただし、ｙは、品質メトリックの数である。

例えば、従属変数カテゴリ３０３の売上入力変数スコアは、以下のようになる。
２．６０＝（３＊０．６０）＋（２＊０．３０）＋（２＊０．１０）

システム１００を使用して、様々な地域の合計スコアを計算してよい。図４は、様々な国の合計スコア４０１の例を示す。さらに、各カテゴリ３０３〜３０５の対応するスコアおよびその重み３０９〜３１１についても示されている。全世界平均も示されている。これらの結果を見たユーザは、メキシコが悪い入力変数を有すると見なすかも知れない。メキシコの合計スコアを改善し、メキシコにもっと高い品質のモデルを構築するために、シミュレータ１２０および最適化ツール１４０を使用して入力変数を特定して修正してよい。

３．方法
図５は、実施形態によるスコアの決定方法５００を示す。スコアは、売上変数または他の従属変数の値を予測するために使用することもできる正確なモデルを構築するための、入力変数の品質を表すものである。以下に説明される方法５００および他の方法は、限定ではなく例として、図１〜図４の１つ以上に関連して説明されてよい。

ステップ５０１では、従属変数であってよい売上変数を推定するための１つ以上のモデルを構築するために必要な入力変数が特定される。例えば、図３は、独立マーケティング変数を示し、独立マーケット変数は、様々なマーケティングチャネルで費やされる金額、外部独立変数、および購買量などの従属変数を含んでよい。これらの変数のうちの１つ以上を使用して、売上変数を推定してよい。推定される変数は、購買量などの従属変数を含んでよい。例えば、各マーケティングチャネルの特定のマーケティング投資および外部独立変数の値を所与として、モデルを使用して購買量を推定してよい。利益および顧客寿命は、選択される一連の入力変数について推定されてよい売上変数の他の例である。ユーザは、変数を選択してモデルに使用することもできる。

ステップ５０２では、入力変数に対して品質メトリックが決定される。品質メトリックは、入力変数のデータの十分性を表す。データは様々な地域に対して提供されてよい。品質メトリックの例が、図２に示される。例えば、データは、入力変数に対して様々なソースから提供されてよい。データ周期の品質メトリックは、入力変数に対してデータがソースから収集された頻度を表す。１つの例では、より高い頻度で収集されるデータは、モデルの作成に対してより十分性が高いと見なされ、より高いスコアが与えられると仮定される。

スコアリングモジュール１１０は、スコアリングスケールおよびスケール上で各値に対して割り当てられる範囲に基づいて品質メトリックをスコアリングすることによって、品質メトリックを決定してよい。例えば、システム１００は、スコア０〜３を使用し、各スコアは、各品質メトリックの特定の範囲に割り当てられる。スコアの例は図３および図４に示され、各スコアに位置付けられる範囲の例は、図２に示されている。

ステップ５０３では、重みが決定される。重みは、各品質メトリックの重み、各入力変数の重み、および入力変数の各カテゴリの重みを含む。重みは、図３の様々なマーケティングチャネルに示されるような各種のソースについても決定されてよい。重み、スコアリングシステムおよび範囲は、専門家の蓄積された知識および／または過去のデータの分析に基づいて決定されてよい。

ステップ５０４では、システム１００がスコアを生成する。売上影響データ、重み、およびスコアリングスケール（例えば、０〜３）を含んでよいスコアリングシステムに基づいて、各入力変数、各カテゴリについてスコアが生成され、さらにすべての入力変数についてスコア、すなわち合計スコアが生成される。合計スコアは、図４に示されるように、地域別に提供されてよい。

図６は、実施形態による合計スコアを改善する方法６００を示す。ステップ６０１では、合計スコアがしきい値を下回るかどうかについて判断される。このスコアは、地域についての合計スコアであってよい。合計スコアがしきい値を下回る場合には、ステップ６０２で、低いスコアを有する１つ以上の入力変数が個別に特定される。しきい値は、ユーザまたは別の組織体によって決定されてよい。例えば、２のしきい値が決定され、２より低いあらゆる合計スコアがモデルを構築するには不十分であると見なされる。

ステップ６０３では、入力変数の何れかを修正することで合計スコアが改善される可能性があるかどうかについて判断される。この判断は、さらに高い品質メトリックを有する新たなソースからデータを取得することを含んでよい。他のソースが使用できないこともあり、このような例では、ステップ６０４で示されるように、入力変数および地域の合計スコアは改善されない場合もある。少なくとも１つの入力変数を修正してその地域の合計スコアを改善することができる可能性がある場合には、ステップ６０５で、変数が修正される。ステップ６０５は、さらに高い品質メトリックを提供する入力変数のデータを取得することを含んでよい。ステップ６０６では、その地域が再スコアリングされる。ステップ６０６は、修正された入力変数を使用して地域の新たなスコアを計算することを含む。次いで、方法６００を繰り返して、新たな合計スコアがしきい値を上回るかどうかを判断してよい。しきい値を上回る合計スコアを有するすべての地域について、モデルを構築して使用することによって、売上高または他の従属変数を予測してよい。

４．コンピュータ可読媒体
図７は、本明細書に記載される実施形態で使用されてよいコンピュータシステム７００を示す。コンピュータシステム７００は、サーバまたは他のコンピュータシステムにあってよいコンポーネントを含む一般的（ｇｅｎｅｒｉｃ）プラットフォームを表す。コンピュータシステム７００は、本明細書に記載される方法、機能および他のステップのうちの１つ以上を実行するプラットフォームとして使用されてよい。これらのステップは、一時的でない記憶装置であってよい１つ以上のコンピュータ可読媒体上に格納される、コンピュータ可読命令を含むソフトウェアとして具体化されてよい。さらに、図１に示されるシステム１００のコンポーネントは、ソフトウェア、ハードウェアまたはソフトウェアとハードウェアとの組み合わせであってよい。

コンピュータシステム７００は、本明細書に記載される方法、機能および他のステップの一部または全部を実施するソフトウェア命令を実施または実行してよいプロセッサ７０２を含む。プロセッサ７００からのコマンドおよびデータは、通信バス７０４を介して通信される。コンピュータシステム７００は、プロセッサ７０２のソフトウェアおよびデータが実行時に存在してよいランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのメインメモリ７０７と、不揮発性であってソフトウェアおよびデータを格納してよい二次データ記憶装置７０８とをさらに含む。メモリおよびデータ記憶装置は、コンピュータ可読媒体の例である。

コンピュータシステム７００は、キーボード、マウス、ディスプレイなどの１つ以上のＩ／Ｏ装置７１０を含んでよい。コンピュータシステム７００は、ネットワークに接続するためのネットワークインタフェース７１２を含んでよい。周知の他の電子コンポーネントがコンピュータシステム７００で追加または代用されてよいことは、当業者にとっては明らかであろう。

本明細書に記載される方法のステップのうちの１つ以上、本明細書に記載される他のステップ、および本明細書に記載されるシステムのコンポーネントのうちの１つ以上は、メモリおよび／または二次記憶装置などのコンピュータ可読媒体上に格納されるコンピュータコードとして実施され、例えば、プロセッサ、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）または他のコントローラによってコンピュータシステム上で実行されてよい。コードは、ソースコード、オブジェクトコード、実行可能コードまたは他のフォーマットのプログラム命令から成るソフトウェアプログラム（単数または複数）として存在してよい。コンピュータ可読媒体の例としては、従来のコンピュータシステムのランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ：ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ハードドライブ、およびフラッシュメモリが挙げられる。

実施形態が例を参照しながら説明されてきたが、当業者であれば、請求される実施形態の範囲から逸脱することなしに記載された実施形態に様々な変更を加えることができるであろう。例えば、モデル最適化システム１００は、一般に、例としてマーケティングモデルを最適化することに関して説明される。システム１００は、変数をスコアリングし、天気、株式市場などについて予測するためのモデルであってよい他の種類のモデルを最適化するために使用されてよい。

Claims (17)

1. モデル生成のための変数の品質を判定するためのモデル最適化システムであって、
   入力変数、前記入力変数の品質メトリック、および前記品質メトリックの重みを含む入力データを格納するためのデータ記憶装置であって、前記品質メトリックが、前記入力変数のデータの十分性を表し、前記入力データが、複数の地域について提供される、データ記憶装置と、
   プロセッサであって、
   前記入力変数の品質メトリックおよび前記品質メトリックの重みに基づいて、前記入力変数の入力変数スコアを計算し、かつ前記入力変数スコアに基づいて、各地域の合計品質スコアを計算するためのスコアリングモジュール、および
   前記計算された入力変数スコアに基づいて、前記複数の地域のうちのある地域の前記入力変数のうちの少なくとも１つが、不十分な品質のものかどうかを特定し、当該地域の合計品質スコアが、修正された入力変数を使用して改善され得るかどうかを判断するための最適化ツール、
   を実行するプロセッサと、
   を含むモデル最適化システム。
2. 前記プロセッサによって実行される、各地域のモデルを生成するモデルビルダをさらに含み、当該モデルビルダは、選択された一連の入力変数を所与として、モデルの変数の係数を決定するためのものであり、当該モデルの変数の係数は、前記入力データを、既定のしきい値を上回る合計品質スコアを有する地域の、対応する過去の実績データに最も良く対応付けるものである、請求項１に記載のモデル最適化システム。
3. 各地域の前記合計品質スコアを決定するために、前記スコアリングモジュールが、
   前記入力変数のカテゴリであってそれぞれが入力変数の種類に関連しているカテゴリを決定し、
   各カテゴリのカテゴリ重みを決定し、かつ
   前記カテゴリ重みに基づいて各地域の前記合計品質スコアを決定する、請求項１に記載のモデル最適化システム。
4. 前記カテゴリが、組織体によって管理される独立変数と、前記組織体の管理外の独立変数と、別のカテゴリの変数に依存する従属変数とを含む、請求項３に記載のモデル最適化システム。
5. モデリングのためのデータの品質を判定する方法であって、
   コンピュータの指示を実行するプロセッサにより、従属変数を推定するための入力変数であって、データ記憶装置に格納される入力変数を特定するステップと、
   前記プロセッサにより、前記入力変数のためのデータであって、複数の地域について提供されるデータの十分性を表す品質メトリックを決定するステップと、
   前記プロセッサにより、各入力変数の各品質メトリックに関する品質メトリックスコアを決定するステップと、
   前記プロセッサにより、前記各品質メトリックの品質メトリックスコアを重み付けするステップと、
   前記プロセッサにより、前記各入力変数の各品質メトリックに関する重み付けされた品質メトリックスコアに基づいて、各入力変数の入力変数スコアを計算するステップと、
   前記プロセッサにより、前記計算された入力変数スコアに基づいて複数の地域のうちの各地域の合計品質スコアを決定するステップと、
   を含む方法。
6. 前記品質メトリックスコアを決定する前記ステップが、
   前記プロセッサにより、各品質メトリックの値のスケールを決定するステップと、
   前記プロセッサにより、各品質メトリックの前記測定値を、前記スケール内の値に位置付けされる値の範囲と比較するステップと、
   前記プロセッサにより、前記比較に基づいて、各品質メトリックの前記品質メトリックスコアを決定するステップと、
   を含む、請求項５に記載の方法。
7. 各地域の合計品質スコアを決定する前記ステップが、
   前記プロセッサにより、前記入力変数のカテゴリであって、それぞれが入力変数の種類と関連するカテゴリを決定するステップと、
   前記プロセッサにより、各カテゴリのカテゴリ重みを決定するステップと、
   前記プロセッサにより、前記カテゴリ重みに基づいて、各地域の前記合計品質スコアを決定するステップと、
   を含む、請求項５に記載の方法。
8. 前記カテゴリが、組織体によって管理される独立変数と、前記組織体の管理外の独立変数と、別のカテゴリの変数に依存する従属変数とを含む、請求項７に記載の方法。
9. 各地域の合計品質スコアを決定する前記ステップが、
   前記プロセッサにより、前記入力変数の前記データのソースを決定するステップと、
   前記プロセッサにより、各カテゴリのソース重みを決定するステップと、
   前記プロセッサにより、前記ソース重みに基づいて、各地域の前記合計品質スコアを決定するステップと、
   を含む、請求項５に記載の方法。
10. 前記プロセッサにより、前記地域のうちの１つのしきい値を下回る前記決定された合計品質スコアから合計品質スコアを特定するステップと、
    前記プロセッサにより、前記品質メトリックに基づいて改善され得る前記入力変数から入力変数を特定するステップと、
    前記プロセッサにより、前記特定された入力変数を修正するステップと、
    前記プロセッサにより、前記地域の新たな合計品質スコアを決定するために、前記修正された入力変数を使用して前記地域を再スコアリングするステップと、
    前記プロセッサにより、前記新たな合計品質スコアが、前記しきい値を下回るかどうかを判断するステップと、
    をさらに含む、請求項５に記載の方法。
11. 前記プロセッサにより、前記入力変数を使用して、しきい値を上回る合計品質スコアを有する各地域のモデルを生成するステップをさらに含む、請求項５に記載の方法。
12. プロセッサによって実行される場合に、モデリングのためのデータの品質を判定する方法を実施するコンピュータ可読命令を格納する非一時的コンピュータ可読媒体であって、前記方法が、
    前記プロセッサにより、従属変数を推定するための入力変数を特定するステップと、
    前記プロセッサにより、前記入力変数のためのデータであって、複数の地域について提供されるデータの十分性を表す品質メトリックを決定するステップと、
    前記プロセッサにより、各入力変数の各品質メトリックに関する品質メトリックスコアを決定するステップと、
    前記プロセッサにより、前記各品質メトリックに関する品質メトリックスコアを重み付けするステップと、
    前記プロセッサにより、前記各入力変数の各品質メトリックに関する重み付けされた品質メトリックスコアに基づいて各入力変数の入力変数スコアを計算するステップと、
    前記プロセッサにより、前記計算された入力変数スコアに基づいて複数の地域のうちの各地域の合計品質スコアを決定するステップと、
    を含む、コンピュータ可読媒体。
13. 前記各入力変数の各品質メトリックに関する品質メトリックスコアを決定する前記ステップが、
    前記プロセッサにより、各品質メトリックの値のスケールを決定するステップと、
    前記プロセッサにより、各品質メトリックの前記測定値を、前記スケール内の値に位置付けされる値の範囲と比較するステップと、
    前記プロセッサにより、前記比較に基づいて、各品質メトリックの前記品質メトリックスコアを決定するステップと、
    を含む、請求項１２に記載のコンピュータ可読媒体。
14. 各地域の合計品質スコアを決定する前記ステップが、
    前記プロセッサにより、前記入力変数のカテゴリであって、それぞれが入力変数の種類と関連するカテゴリを決定するステップと、
    前記プロセッサにより、各カテゴリのカテゴリ重みを決定するステップと、
    前記プロセッサにより、前記カテゴリ重みに基づいて、各地域の前記合計品質スコアを決定するステップと、
    を含む、請求項１２に記載のコンピュータ可読媒体。
15. 前記カテゴリが、組織体によって管理される独立変数と、前記組織体の管理外の独立変数と、別のカテゴリの変数に依存する従属変数とを含む、請求項１４に記載のコンピュータ可読媒体。
16. 各地域の合計品質スコアを決定する前記ステップが、
    前記プロセッサにより、前記入力変数の前記データのソースを決定するステップと、
    前記プロセッサにより、各カテゴリのソース重みを決定するステップと、
    前記プロセッサにより、前記ソース重みに基づいて、各地域の前記合計品質スコアを決定するステップと、
    を含む、請求項１２に記載のコンピュータ可読媒体。
17. 前記方法が、
    前記プロセッサにより、前記地域のうちの１つのしきい値を下回る前記決定された合計品質スコアから合計品質スコアを特定するステップと、
    前記プロセッサにより、前記品質メトリックに基づいて改善され得る前記入力変数から入力変数を特定するステップと、
    前記プロセッサにより、前記特定された入力変数を修正するステップと、
    前記プロセッサにより、前記地域の新たな合計品質スコアを決定するために、前記修正された入力変数を使用して前記地域を再スコアリングするステップと、
    前記プロセッサにより、前記新たな合計品質スコアが、前記しきい値を下回るかどうかを判断するステップと、
    をさらに含む、請求項１２に記載のコンピュータ可読媒体。
    

Images