JP7670413B2 - 可視化ミラージュの表面化 - Google Patents

Description

本出願は、先に提出された（２０１９年９月１８日に出願された）米国仮特許出願第６２／９０２，２７３号に基づく実用特許出願であり、その出願日の利益は、ここに、米国特許法第１１９条（ｅ）に基づいて主張され、さらに、参照によりその全体が組み込まれる。

本発明は、概して、データの可視化に関し、より詳細には、誤解を招く可能性のある可視化を自動的に識別することに関するが、これに限定されるものではない。

組織はますます増加する量のデータを生成し、収集している。このデータは、消費者活動、製造活動、顧客サービス、サーバログなど、組織の異なる部分に関連することがある。様々な理由により、そのような組織が膨大な収集したデータを有効に活用には不便であることがある。場合によっては、データの数により、収集したデータを有効に活用してビジネスプラクティスを改善することが困難なことがある。場合によっては、組織は様々なツールを用いて、データの一部又は全ての可視化する。可視化を用いてこのデータを表わすと、組織は重要なビジネスオペレーションについての理解を改善し、主要なパフォーマンス指標を監視するのに役立ち得ることがある。しかしながら、場合によっては、可視化が正常に見える場合でも、可視化が可視化の制作者や閲覧者に誤解を招き得るミラージュ（ｍｉｒａｇｅ）含むことがある。場合によっては、ソースを判定すること、又はそれ以外の方法で、そのようなミラージュの存在、ソース、若しくは原因を分析することは、可視化を生成するために使用された基礎となるデータを過度に理解することが必要となることがある。不都合なことに、組織が、熟練したデータアナリストや専門のデータアナリストに、可視化をレビューするように指示し、可視化が閲覧者に誤解を招き得るミラージュを識別するのを助ける必要があり得る。また、場合によっては、たとえユーザが自身のミラージュ分析を実行するためのスキルや技術的な背景を有するとしても、可視化をレビュー又は検証し得るユーザが基礎となるデータにアクセスできないことがあり得る。したがって、これらの考察及び他の考察に関して、本発明は作製されている。

以下の図面を参照して、本新案の非限定的かつ非網羅的な実施形態を説明する。図面において、同様の参照番号は、特に断らない限り、様々な図面全体にわたって同様の部分を指す。説明されたイノベーションのより良い理解のために、添付の図面と関連して読まれるべき、以下の様々な実施形態の詳細な説明を参照する。

様々な実施形態が実装され得るシステム環境を示す。 クライアントコンピュータの概略的な実施形態を示す。 ネットワークコンピュータの概略的な実施形態を示す。 様々な実施形態のうちの１つ以上による、可視化ミラージュを表面化するためのシステムの論理アーキテクチャを示す。 様々な実施形態のうちの１つ以上による、可視化ミラージュを表面化するための可視化の一部分の表現を示す。 様々な実施形態のうちの１つ以上による、可視化ミラージュを表面化するための可視化の一部分の表現を示す。 住宅価格を比較する棒グラフを含む可視化の一部分を示す。 住宅価格を比較する棒グラフを含む可視化の一部分を示す。 様々な実施形態のうちの１つ以上による、評価システムの一部分の論理的表現を示す。 様々な実施形態のうちの１つ以上による、可視化ミラージュを表面化するためのユーザインターフェースの一部分の論理的表現を示す。 様々な実施形態のうちの１つ以上による、可視化ミラージュを表面化するためのプロセスの概要フローチャートを示す。 様々な実施形態のうちの１つ以上による、可視化ミラージュを発見するために可視化を評価するためのプロセスのフローチャートを示す。 様々な実施形態のうちの１つ以上による、１つ以上の可視化ミラージュを含み得る可視化を判定するためのプロセスのフローチャートを示す。 様々な実施形態のうちの１つ以上による、１つ以上の可視化ミラージュを含み得る可視化を評価するためのプロセスのフローチャートを示す。

以下、本発明を実施し得る特定の例示的な実施形態を例として示し、かつ実施形態の一部を形成する添付の図面を参照して、様々な実施形態を以下十分に説明する。しかしながら、実施形態は、多くの異なる形態で具現化されてもよく、本明細書に記載した実施形態に限定されると解釈されるべきではなく、むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、当業者に実施形態の範囲を十分に伝えるように提供されている。とりわけ、様々な実施形態は、方法、システム、媒体又はデバイスであり得る。したがって、様々な実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はソフトウェアとハードウェアの観点を組み合わせた実施形態の形態を取ってもよい。したがって、以下の詳細な説明は、限定的な意味ではとられない。

明細書及び特許請求の範囲の全体を通じて、以下の用語は、文脈が他のことを明示しない限り、本明細書において明示的に関連した意味をとる。本明細書において使用される「一実施形態において」というフレーズは、必ずしも同じ実施形態を指しているわけではないが、同じ実施形態を指してもよい。さらに、本明細書において使用される「別の実施形態において」というフレーズは、必ずしも異なる実施形態を指しているわけではないが、異なる実施形態を指してもよい。このように、以下に説明するように、本発明の範囲又は精神から逸脱することなく、様々な実施形態を容易に組み合わせてもよい。

追加的に、本明細書において使用される場合、用語「又は」は、包括的な「又は」の演算子であり、文脈が他のことを明示しない限り、用語「及び／又は」と等価である。用語「に基づく」は排他的ではなく、文脈が他のことを明示しない限り、説明していない追加的な要因に基づくことを許容する。追加的に、明細書全体を通じて、「ａ」、「ａｎ」及び「ｔｈｅ」の意味は、複数の参照を含む。「ｉｎ」の意味は、「ｉｎ」及び「ｏｎ」を含む。

例えば、実施形態において、以下の用語は、文脈が他のことを明示しない限り、対応する意味にしたがって本明細書においても使用される。

本明細書で使用される場合、「エンジン」とは、ハードウェア又はソフトウェア命令に具現化された論理を指し、命令は、Ｃ、Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ－Ｃ、ＣＯＢＯＬ、Ｊａｖａ（商標）、ＰＨＰ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ、Ｒｕｂｙ、ＶＢＳｃｒｉｐｔ、Ｃ＃などのＭｉｃｒｏｓｏｆｔ．ＮＥＴ（商標）言語などのプログラミング言語で書くことができる。エンジンは、実行可能なプログラムにコンパイルされるか、又は解釈されたプログラミング言語で書かれる。ソフトウェアエンジンは、他のエンジン又はそれ自体から呼び出し可能であってもよい。本明細書において説明されるエンジンは、他のエンジン又はアプリケーションとマージすることができる、又はサブエンジンに分割することができる１つ以上の論理モジュールを指す。エンジンは、非一時的なコンピュー可読媒体又はコンピュータ記憶デバイスに記憶され、１つ以上の汎用コンピュータによって記憶され実行され得、このようにして、エンジンを提供するように構成されている専用コンピュータを作成する。

本明細書で使用される場合、用語「データソース」は、組織のために情報を記憶又は提供するデータベース、アプリケーション、サービス、ファイルシステムなどを指す。データソースの例としては、ＲＤＢＭＳデータベース、グラフデータベース、スプレッドシート、ファイルシステム、文書管理システム、ローカル又はリモートのデータストリームなどを含んでもよい。場合によっては、データソースは、１つ以上のテーブル又はテーブルのような構造を中心に組織化される。それ以外の場合、データソースは、グラフ又はグラフのような構造として組織化される。

本明細書で使用される場合、用語「データモデル」は、基礎となるデータソースの１つ以上の部分の表現を提供する１つ以上のデータ構造を指す。場合によっては、データモデルが特定のアプリケーションのデータソースのビューを提供してもよい。データモデルは、データソースを基礎とするビュー又はインターフェースと考えられてもよい。場合によっては、データモデルは、データソース（例えば、実際にはロジカルパススルー）に直接マッピングしてもよい。また、場合によっては、データモデルは、データソースによって提供されてもよい。データモデルは、組織が、データソースからの情報を、より便利であること、より意味があること（例えば、より理論的に容易な）、より安全であることなどの方法で組織化又は提示することを可能にする。

本明細書で使用される場合、用語「データオブジェクト」は、データモデルを含む１つ以上のデータ構造を指す。場合によっては、データオブジェクトはデータモデルの一部分と考えられてもよい。データオブジェクトは、アイテムの個々のインスタンス又はアイテムのクラス若しくは種類を表してもよい。

本明細書で使用される場合、用語「パネル」は、ＧＵＩ内に定義された幾何学的形状（例えば、ｘ、ｙ、ｚ軸）を有するグラフィカルユーザインターフェース（ＧＵＩ）内の領域を指す。パネルは、ユーザに情報を表示するか、又は１つ以上の対話型制御をホストするようにアレンジされてもよい。パネルに関連する幾何学的形状又はスタイルは、動的ルールを含む設定情報を使用して定義されてもよい。また、場合によっては、ユーザは、移動、表示、非表示、再サイズ化、再順序付けなどのアクションを１つ以上のパネルで実行することが可能であってもよい。

本明細書で使用される場合、「可視化モデル」は、１つ以上のハードウェアディスプレイ上に表示される可視化において使用するのに適し得るデータモデルの１つ以上の表現を表す１つ以上のデータ構造を指す。可視化モデルは、制作者ではないユーザが利用可能であり得るスタイル又はユーザインターフェース特徴を定義してもよい。

本明細書で使用される場合、用語「表示オブジェクト」は、可視化モデルを含む１つ以上のデータ構造を指す。場合によっては、表示オブジェクトは、可視化モデルの一部分と考えられてもよい。表示オブジェクトは、可視化で表示され得るアイテムの個々のインスタンス又はアイテムの全体のクラス若しくは種類を表してもよい。いくつかの実施形態において、表示オブジェクトは、データモデルの一部分のビューを提供するため、ビューとみなされるか、又はビューと呼ばれてもよい。

本明細書中で使用される場合、用語「可視化ミラージュ」又は「ミラージュ」は、視覚的に誤解を招くようなデータの可視化における提示を指す。さらに、可視化ミラージュは、可視化のカーソルの読み取りが、データから生じる特定のメッセージをサポートするように見えるが、可視化、裏付けデータ、又は分析プロセスのより厳密な再検討が、このサポートを無効にするか、又は重大な疑問を投げかける任意の可視化であってもよい。

本明細書で使用する場合、用語「設定情報」は、規則に基づくポリシー、パターンマッチング、スクリプト（例えば、コンピュータ可読命令）などを含み得る情報を指し、これらは、構成ファイル、データベース、ユーザ入力、組み込みデフォルトなど、又はそれらの組み合わせを含む様々なソースから提供され得る。

以下では、本発明のいくつかの態様の基本的な理解を提供するために、本発明の実施形態について簡単に説明する。この簡単な説明は、広範な概観を意図したものではない。これは、キーとなる要素若しくは重要な要素を識別すること、範囲を明確にするか、又はそれ以外の方法で範囲を狭めることを意図したものではない。その目的は、いくつかの概念を単純化した形式で、後に提示されるより詳細な説明の序文として提示することである。

簡単に述べると、様々な実施形態は、本明細書で説明されるように実行するための１つ以上の命令を実行する１つ以上のプロセッサを使用して、データの可視化を管理することを対象とする。様々な実施形態のうちの１つ以上において、データソースからのデータに基づく１つ以上の可視化が提供されてもよい。

様々な実施形態のうちの１つ以上において、１つ以上の可視化に基づく１つ以上の評価モデルが提供され得、１つ以上の評価モデルが、１つ以上の可視化において１つ以上のミラージュを検出するようにアレンジされ得るように、そして１つ以上のミラージュが、１つ以上の可視化において視覚的に誤解を招くようなデータの提示であり得る。

様々な実施形態のうちの１つ以上において、１つ以上の評価モデルが用いられて、１つ以上の可視化及びデータソースからのデータに基づいて、１つ以上の評価結果を判定し得、各評価結果が、１つ以上のミラージュの検出に対応する評価スコアを含むようにする。

様々な実施形態のうちの１つ以上において、１つ以上の評価モデルを用いて、１つ以上の評価結果を判定することは、１つ以上の可視化に基づいて１つ以上の試験可視化を生成し、各試験可視化が１つ以上の評価モデルに基づいて修正されるようにする、生成することと、１つ以上の試験可視化と１つ以上の可視化との差を比較することと、比較に基づいて、１つ以上のミラージュの検出に対応する確率スコアを判定し、確率の値は比較された差の大きさに比例するようにする、判定することと、を含んでもよい。

様々な実施形態のうちの１つ以上において、１つ以上の評価モデルを用いて、１つ以上の評価結果を判定することは、１つ以上の可視化に関連するデータを評価して、欠落又は反復したレコード、スペルミス、ドリルダウンバイアス、グループ毎の異なるレコードの数、又は誤解を招くデータの選択のうちの１つ以上を判定することを含んでもよい。

様々な実施形態のうちの１つ以上において、１つ以上の評価モデルを用いて、１つ以上の評価結果を判定することは、１つ以上の可視化を評価して、不合理可視化、過剰プロット、隠れた不確実性、又はスケールの操作を含む、１つ以上のタイプのミラージュを判定することを含んでもよい。

様々な実施形態のうちの１つ以上において、１つ以上の評価モデルを用いて、１つ以上の評価結果を判定することは、データソースに含まれ得、１つ以上の可視化から除外される１つ以上の可視化に関連するデータを評価することと、評価に基づいて１つ以上の評価結果の一部分を生成することとをさらに含んでもよい。

様々な実施形態のうちの１つ以上において、１つ以上の評価結果は、評価スコアに基づいてランク付けされてもよい。

様々な実施形態のうちの１つ以上において、１つ以上の評価結果のランク付けされたリストを含むレポートが提供されてもよい。様々な実施形態のうちの１つ以上において、レポートを提供することは、１つ以上の評価モデル、１つ以上の評価結果、又は１つ以上のミラージュのうちの１つ以上に関連し得る１つ以上の他の可視化を生成することを含んでもよい。

例示的な動作環境

図１は、本発明の実施形態が実施され得る環境の一実施形態の構成要素を示す。全ての構成要素が本発明を実施するために必要とされなくてもよく、構成要素の配置及び種類の変更は、本発明の精神又は範囲から逸脱することなく行ってもよい。図示のように、図１のシステム１００は、ローカルエリアネットワーク（ＬＡＮ）／ワイドエリアネットワーク（ＷＡＮ）－（ネットワーク）１１０、無線ネットワーク１０８、クライアントコンピュータ１０２～１０５、可視化サーバコンピュータ１１６、データソースサーバコンピュータ１１８などを含む。

クライアントコンピュータ１０２～１０５の少なくとも１つの実施形態は、図２に関連して以下により詳細に説明される。一実施形態において、クライアントコンピュータ１０２～１０５の少なくとも一部は、ネットワーク１０８又は１１０などの１つ以上の有線又は無線ネットワーク上で動作してもよい。一般に、クライアントコンピュータ１０２～１０５は、情報を送受信し、様々なオンラインアクティビティを実行し、オフラインアクションを実行するために、ネットワークを介して通信することが可能である実質的に任意のコンピュータを含み得る。一実施形態において、クライアントコンピュータ１０２～１０５のうちの１つ以上は、ビジネス又は他のエンティティ内で動作し、ビジネス又は他のエンティティのために様々なサービスを実行するように構成されてもよい。例えば、クライアントコンピュータ１０２～１０５は、ウェブサーバ、ファイアウォール、クライアントアプリケーション、メディアプレーヤ、移動電話、ゲームコンソール、デスクトップコンピュータなどとして動作するように構成されてもよい。しかし、クライアントコンピュータ１０２～１０５は、これらのサービスに制約されず、例えば、他の実施形態におけるエンドユーザのコンピューティングのようにも用いられてもよい。より多く又はより少ないクライアントコンピュータ（図１に示される）が、本明細書で説明されるようなシステム内に含まれてもよく、したがって、実施形態は、用いられるクライアントコンピュータの数又はタイプによって制約されないことを認識すべきである。

クライアントコンピュータ１０２として動作するコンピュータは、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベース又はプログラマブル電子デバイス、ネットワークＰＣなどのような有線又は無線通信媒体を使用して典型的には接続するコンピュータを含んでもよい。いくつかの実施形態において、クライアントコンピュータ１０２～１０５は、ラップトップコンピュータ１０３、モバイルコンピュータ１０４、タブレットコンピュータ１０５など、別のコンピュータに接続し、情報を受信することができる実質的に任意のポータブルコンピュータを含んでもよい。しかしながら、ポータブルコンピュータは、それに限定されるものではなく、携帯電話、ディスプレイページャ、無線周波（ＲＦ）デバイス、赤外線（ＩＲ）デバイス、パーソナルデジタルアシスタント（ＰＤＡ）、ハンドヘルドコンピュータ、ウェアラブルコンピュータ、先行のコンピュータのうちの１つ以上を組み合わせた一体化デバイスなどの他のポータブルコンピュータも含んでもよい。このようにして、クライアントコンピュータ１０２～１０５は、典型的には、能力及び特徴の点で広範囲に及ぶ。さらに、クライアントコンピュータ１０２～１０５は、ブラウザ又は他のウェブベースのアプリケーションを含む様々なコンピューティングアプリケーションにアクセスしてもよい。

ウェブ対応クライアントコンピュータは、ウェブ経由で要求を送信し、応答を受信するように構成されているブラウザアプリケーションを含んでもよい。ブラウザアプリケーションは、グラフィック、テキスト、マルチメディアなどを受信し、表示するように構成され得、実質的に任意のウェブベースの言語を用いる。一実施形態において、ブラウザアプリケーションは、ＪａｖａＳｃｒｉｐｔ、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ）などか、又はそれらの組み合わせを用いて、メッセージを表示及び送信することが可能である。一実施形態において、クライアントコンピュータのユーザは、ブラウザアプリケーションを用いて、ネットワーク上（オンライン）で様々なアクティビティを実行してもよい。しかし、様々なオンラインアクティビティを実行するために、別のアプリケーションも使用してもよい。

クライアントコンピュータ１０２～１０５はまた、別のコンピュータ間でコンテンツを受信又は送信するように構成されている少なくとも１つの他のクライアントアプリケーションを含んでもよい。クライアントアプリケーションは、コンテンツなどを送信又は受信する能力などを含んでもよい。クライアントアプリケーションは、さらに、タイプ、能力、名前などを含む、自身を識別する情報を提供してもよい。一実施形態では、クライアントコンピュータ１０２～１０５は、インターネットプロトコル（ＩＰ）アドレス、電話番号、モバイル識別番号（ＭＩＮ）、電子シリアル番号（ＥＳＮ）、クライアント証明書、又は他のデバイス識別子を含む様々なメカニズムのいずれかを介して、自身を一意に識別してもよい。このような情報は、他のクライアントコンピュータ、可視化サーバコンピュータ１１６、データソースサーバコンピュータ１１８、又は他のコンピュータ間で送信される１つ以上のネットワークパケットなどで提供されてもよい。

クライアントコンピュータ１０２～１０５は、可視化サーバコンピュータ１１６、データソースサーバコンピュータ１１８などの別のコンピュータによって管理され得るエンドユーザアカウントにエンドユーザがログインすることを可能にするクライアントアプリケーションを含むようにさらに構成されてもよい。１つの非限定的な例において、このようなエンドユーザアカウントは、１つの非限定的な例において、プロジェクト管理、ソフトウェア開発、システム管理、構成管理、検索アクティビティ、ソーシャルネットワーキングアクティビティ、様々なウェブサイトの閲覧、他のユーザとの通信などを含む、１つ以上のオンラインアクティビティをエンドユーザが管理できるように構成されてもよい。また、クライアントコンピュータは、ユーザがレポート、対話型ユーザインターフェース、又は可視化サーバコンピュータ１１６、データソースサーバコンピュータ１１８によって提供される結果を表示することを可能にするようにアレンジされてもよい。

無線ネットワーク１０８は、クライアントコンピュータ１０３～１０５及びその構成要素をネットワーク１１０と結合するように構成されている。無線ネットワーク１０８は、クライアントコンピュータ１０３～１０５のためのインフラストラクチャ指向の接続を提供するために、スタンドアロンアドホックネットワークなどをさらにオーバーレイし得る様々な無線サブネットワークのいずれかを含んでもよい。このようなサブネットワークは、メッシュネットワーク、無線ＬＡＮ（ＷＬＡＮ）ネットワーク、セルラネットワークなどを含んでもよい。一実施形態において、システムは、複数の無線ネットワークを含んでもよい。

無線ネットワーク１０８は、無線ラジオリンクなどによって接続された端末、ゲートウェイ、ルータなどの自律システムをさらに含んでもよい。これらのコネクタは、自由にかつランダムに移動し、自身を任意に組織化するように構成され、無線ネットワーク１０８のトポロジが急速に変化し得るようにする。

無線ネットワーク１０８は、セルラシステムのための第２世代（２Ｇ）、第３世代（３Ｇ）、第４世代（４Ｇ）、第５世代（５Ｇ）無線アクセス、ＷＬＡＮ、無線ルータ（ＷＲ）メッシュなどを含む複数のアクセス技術をさらに用いてもよい。２Ｇ、３Ｇ、４Ｇ、５Ｇ、及び将来のアクセスネットワークなどのアクセス技術は、様々なモバイル性を有するクライアントコンピュータ１０３～１０５のようなモバイルコンピュータに対する広域カバレッジを可能にしてもよい。１つの非限定的な例において、無線ネットワーク１０８は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＧＰＲＳ（Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅｓ）、ＥＤＧＥ（Ｅｎｈａｎｃｅｄ Ｄａｔａ ＧＳＭ Ｅｎｖｉｒｏｎｍｅｎｔ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＴＤＭＡ（ｔｉｍｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓ）、ＷＣＤＭＡ（登録商標）（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの無線ネットワークアクセスを介して無線接続を可能にしてもよい。本質的に、無線ネットワーク１０８は、情報がクライアントコンピュータ１０３～１０５と別のコンピュータ、ネットワーク、クラウドベースのネットワーク、クラウドインスタンスなどとの間を移動することができる実質的に任意の無線通信メカニズムを含んでもよい。

ネットワーク１１０は、ネットワークコンピュータを、可視化サーバコンピュータ１１６、データソースサーバコンピュータ１１８、クライアントコンピュータ１０２、及びクライアントコンピュータ１０３～１０５などを含む他のコンピュータに無線ネットワーク１０８などを介して結合するように構成されている。ネットワーク１１０は、ある電子デバイスから別のデバイスへ情報を通信するために、任意の形態のコンピュータ可読媒体を用いることが可能となっている。また、ネットワーク１１０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ユニバーサルシリアルバス（ＵＳＢ）ポート、イーサネット（登録商標）ポート、他の形態のコンピュータ可読媒体、又はそれらの任意の組み合わせを介した直接接続に加えて、インターネットを含むことができる。異なるアーキテクチャ及びプロトコルに基づくものを含む、相互接続されたＬＡＮのセットでは、ルータはＬＡＮ間のリンクとして作用し、メッセージを互いに送信することを可能にする。加えて、ＬＡＮ内の通信リンクは、典型的には、ツイストワイヤ対又は同軸ケーブルを含むが、ネットワーク間の通信リンクは、アナログ電話回線、Ｔ１、Ｔ２、Ｔ３、及びＴ４を含む完全若しくは部分専用デジタル回線、又は、例えば、Ｅキャリア、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）、ＤＳＬ（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）、衛星リンクを含む無線リンク、又は当業者に既知の他の通信リンクを含む他のキャリアメカニズムを利用してもよい。さらに、通信リンクは、例えば、ＤＳ－０、ＤＳ－１、ＤＳ－２、ＤＳ－３、ＤＳ－４、ＯＣ－３、ＯＣ－１２、ＯＣ－４８などを含むが、これらに限定されない、様々なデジタルシグナリング技術のいずれかをさらに用いてもよい。さらに、リモートコンピュータ及び他の関係する電子デバイスは、モデム及び一時的な電話リンクを介してＬＡＮ又はＷＡＮのいずれかにリモートで接続され得る。一実施形態では、ネットワーク１１０は、インターネットプロトコル（ＩＰ）の情報を転送するように構成され得る。

追加的に、通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、又は他の転送メカニズムを具現化し、任意の情報非一時的な送達媒体又は一時的送達媒体を含む。例として、通信媒体は、ツイストペア、同軸ケーブル、光ファイバ、導波路、及び他の有線媒体などの有線媒体、並びに音響、ＲＦ、赤外線、及び他の無線媒体などの無線媒体を含む。

また、可視化サーバコンピュータ１１６、データソースサーバコンピュータ１１８の一実施形態が、図３と併せて以下でより詳細に説明される。図１は、可視化サーバコンピュータ１１６、データソースサーバコンピュータ１１８などを、それぞれが単一のコンピュータとして示しているが、イノベーション又は実施形態は、そのようには限定されない。例えば、可視化サーバコンピュータ１１６、データソースサーバコンピュータ１１８などの１つ以上の機能が、１つ以上の別個のネットワークコンピュータに分散してもよい。さらに、１つ以上の実施形態において、可視化サーバコンピュータ１１６、データソースサーバコンピュータ１１８は、複数のネットワークコンピュータを使用して実装されてもよい。さらに、様々な実施形態のうちの１つ以上において、可視化サーバコンピュータ１１６、データソースサーバコンピュータ１１８などは、１つ以上のクラウドネットワークにおける１つ以上のクラウドインスタンスを使用して実装されてもよい。したがって、これらのイノベーション及び実施形態は、単一の環境に限定されると解釈されるべきではなく、他の構成及び他のアーキテクチャもまた、想定されている。

例示的なクライアントコンピュータ

図２は、図示されているものよりも多く又はより少ない多くの構成要素を含み得るクライアントコンピュータ２００の一実施形態を示す。クライアントコンピュータ２００は、例えば、図１に示すモバイルコンピュータ又はクライアントコンピュータのうちの１つ以上の実施形態を表してもよい。

クライアントコンピュータ２００は、バス２２８を介してメモリ２０４と通信するプロセッサ２０２を含んでもよい。クライアントコンピュータ２００はまた、電源２３０、ネットワークインターフェース２３２、オーディオインターフェース２５６、ディスプレイ２５０、キーパッド２５２、照明器２５４、ビデオインターフェース２４２、入力／出力インターフェース２３８、触覚インターフェース２６４、グローバルポジショニングシステム（ＧＰＳ）受信機２５８、オープンエアジェスチャインターフェース２６０、温度インターフェース２６２、カメラ（複数可）２４０、プロジェクタ２４６、ポインティングデバイスインターフェース２６６、プロセッサ可読固定記憶デバイス２３４、及びプロセッサ可読リムーバブル記憶デバイス２３６を含んでもよい。クライアントコンピュータ２００は、任意選択で、基地局（図示せず）、又は別のコンピュータと直接通信してもよい。また、一実施形態において、図示されていないが、クライアントコンピュータ２００の向きを測定又は維持するために、クライアントコンピュータ２００内でジャイロスコープが用いられてもよい。

電源２３０は、クライアントコンピュータ２００に電力を提供してもよい。電力を提供するために、再充電可能又は非再充電可能なバッテリが使用されてもよい。電力はまた、バッテリを補足又は再充電するＡＣアダプタ又は電源付きドッキングクレードルなどの外部電源によって提供されてもよい。

ネットワークインターフェース２３２は、クライアントコンピュータ２００を１つ以上のネットワークに結合するための回路を含み、移動通信（ＧＳＭ）、ＣＤＭＡ、ＴＤＭＡ（ｔｉｍｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＵＤＰ、ＴＣＰ／ＩＰ、ＳＭＳ、ＭＭＳ、ＧＰＲＳ、ＷＡＰ、ＵＷＢ、ＷｉＭａｘ、ＳＩＰ／ＲＴＰ、ＧＰＲＳ、ＥＤＧＥ、ＷＣＤＭＡ、ＬＴＥ、ＵＭＴＳ、ＯＦＤＭ、ＣＤＭＡ２０００、ＥＶ－ＤＯ、ＨＳＤＰＡ、又は様々な他の無線通信プロトコルのいずれかのためのＯＳＩモデルの任意の部分を実装するプロトコル及び技術を含むが、これらに限定されない、１つ以上の通信プロトコル及び技術と共に使用するために構築されている。ネットワークインターフェース２３２は、トランシーバ、トランシーバデバイス、又はネットワークインターフェースカード（ＮＩＣ）として知られることがある。

オーディオインターフェース２５６は、人間の音声の音のようなオーディオ信号を生成及び受信するようにアレンジされてもよい。例えば、オーディオインターフェース２５６は、スピーカ及びマイクロホン（図示せず）に結合されて、他者との通信を可能にするか、又は何らかのアクションのためのオーディオ確認応答を生成する。また、オーディオインターフェース２５６におけるマイクロホンは、例えば音声認識、音に基づくタッチ検出などを使用して、クライアントコンピュータ２００への入力又は制御のために使用され得る。

ディスプレイ２５０は、液晶ディスプレイ（ＬＣＤ）、ガスプラズマ、電子インク、発光ダイオード（ＬＣＤ）、有機ＬＥＤ（ＯＬＥＤ）、又はコンピュータと共に使用され得る任意の他のタイプの反射型又は光透過型ディスプレイであってもよい。ディスプレイ２５０はまた、スタイラス又は人間の手の指などの物体から入力を受信するようにアレンジされたタッチインターフェース２４４を含んでもよく、抵抗性、容量性、表面音波（ＳＡＷ）、赤外線、レーダ、又は接触又はジェスチャを感知するための他の技術を使用してもよい。

プロジェクタ２４６は、リモートハンドヘルドプロジェクタ、又は、リモート壁又はリモートスクリーンのような他の反射物体上に画像を投影することができる一体化されたプロジェクタであってもよい。

ビデオインターフェース２４２は、静止写真、ビデオセグメント、赤外線ビデオなどのビデオ画像をキャプチャするようにアレンジされ得る。例えば、ビデオインターフェース２４２は、デジタルビデオカメラ、ウェブカメラなどに結合されてもよい。ビデオインターフェース２４２は、レンズ、画像センサ、及び他の電子機器を含んでもよい。画像センサは、相補型金属酸化物半導体集積回路（ＣＭＯＳ）、電荷結合素子（ＣＣＤ）、又は光を感知するための任意の他の集積回路を含んでもよい。

キーパッド２５２は、ユーザからの入力を受信するようにアレンジされた任意の入力デバイスを含んでもよい。例えば、キーパッド２５２は、プッシュボタンの数字ダイヤル、又はキーボードを含んでもよい。キーパッド２５２はまた、画像の選択及び送信に関連するコマンドボタンを含んでもよい。

照明器２５４は、状態表示を提供するか、又は光を提供してもよい。照明器２５４は、特定の期間にわたって、又はイベントメッセージに応答して、アクティブのままであってもよい。例えば、照明器２５４は、作動しているときに、キーパッド２５２のボタンをバックライト点灯し、クライアントコンピュータの電源が入っている間、オンのままにしてもよい。また、照明器２５４は、別のクライアントコンピュータをダイヤルするような特定のアクションが実行されるときに、これらのボタンを様々なパターンでバックライト点灯してもよい。照明器２５４はまた、クライアントコンピュータの透明又は半透明ケース内に位置決めされた光源が、アクションに応答して照明するようにしてもよい。

さらに、クライアントコンピュータ２００はまた、キー、デジタル証明書、パスワード、パスフレーズ、２因子認証情報などのセキュリティ／暗号情報を生成、記憶、又は使用するための追加の耐タンパーセーフガードを提供するためのハードウェアセキュリティモジュール（ＨＳＭ）２６８を含んでもよい。いくつかの実施形態において、ハードウェアセキュリティモジュールを用いて、１つ以上の標準的な公開キー基盤（ＰＫＩ）をサポートしてもよく、ハードウェアセキュリティモジュールを用いて、キーペアなどを生成、管理、又は記憶してもよい。いくつかの実施形態において、ＨＳＭ２６８は、スタンドアロンコンピュータであってもよく、他の場合には、ＨＳＭ２６８は、クライアントコンピュータに追加され得るハードウェアカードとしてアレンジされてもよい。

クライアントコンピュータ２００はまた、外部周辺デバイス又は他のクライアントコンピュータ及びネットワークコンピュータなどの他のコンピュータと通信するための入力／出力インターフェース２３８を含んでもよい。周辺デバイスは、オーディオヘッドセット、バーチャルリアリティヘッドセット、ディスプレイスクリーングラス、リモートスピーカシステム、リモートスピーカ及びマイクロホンシステムなどを含んでもよい。入力／出力インターフェース２３８は、ユニバーサルシリアルバス（ＵＳＢ）、赤外線、ＷｉＦｉ、ＷｉＭａｘ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの１つ以上の技術を利用してもよい。

入力／出力インターフェース２３８はまた、地理位置情報（例えば、ＧＰＳ）を判定する、電力状態を監視する（例えば、電圧センサ、電流センサ、周波数センサなど）、天気を監視する（例えば、サーモスタット、気圧計、風速計、湿度検出器、降水スケールなど）などを含んでもよい。センサは、クライアントコンピュータ２００の外部のデータを収集又は測定する１つ以上のハードウェアセンサであってもよい。

触覚インターフェース２６４は、クライアントコンピュータのユーザに触覚フィードバックを提供するようにアレンジされてもよい。例えば、触覚インターフェース２６４を用いて、コンピュータの別のユーザが呼び出しているときに、クライアントコンピュータ２００を特定の方法で振動させてもよい。温度インターフェース２６２は、温度測定入力又は温度変化出力をクライアントコンピュータ２００のユーザに提供するために使用されてもよい。オープンエアジェスチャインターフェース２６０は、例えば、単一又はステレオビデオカメラ、レーダ、ユーザが保持又は装着するコンピュータ内部のジャイロセンサなどを使用することによって、クライアントコンピュータ２００のユーザの物理的ジェスチャを感知してもよい。カメラ２４０は、クライアントコンピュータ２００のユーザの物理的な眼の動きを追跡するために使用されてもよい。

ＧＰＳトランシーバ２５８は、地球の表面上のクライアントコンピュータ２００の物理座標を判定することができ、この座標は、典型的には、緯度値及び経度値として位置を出力する。ＧＰＳトランシーバ２５８はまた、三角測量、ＡＧＰＳ（ａｓｓｉｓｔｅｄ ＧＰＳ）、Ｅ－ＯＴＤ（Ｅｎｈａｎｃｅｄ Ｏｂｓｅｒｖｅｄ Ｔｉｍｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＣＩ（Ｃｅｌｌ Ｉｄｅｎｔｉｆｉｅｒ）、ＳＡＩ（Ｓｅｒｖｉｃｅ Ａｒｅａ Ｉｄｅｎｔｉｆｉｅｒ）、ＥＴＡ（Ｅｎｈａｎｃｅｄ Ｔｉｍｉｎｇ Ａｄｖａｎｃｅ）、基地局サブシステム（ＢＳＳ）などを含むが、これらに限定されない、他のジオポジショニングメカニズムを用いて、地球の表面上のクライアントコンピュータ２００の物理的な位置をさらに判定することができる。異なる条件下では、ＧＰＳトランシーバ２５８はクライアントコンピュータ２００の物理的位置を判定することができることが理解される。しかし、１つ以上の実施形態において、クライアントコンピュータ２００は、他の構成要素を介して、クライアントコンピュータの物理的な位置を判定するために用いられ得る、例えば、メディアアクセス制御（ＭＡＣ）アドレス、ＩＰアドレスなどを含む他の情報を提供してもよい。

様々な実施形態のうちの少なくとも１つにおいて、オペレーティングシステム２０６、他のクライアントアプリケーション２２４、ウェブブラウザ２２６などのアプリケーションが、ジオロケーション情報を利用して、時間帯、言語、通貨、カレンダーフォーマットなどの１つ以上のローカル特徴を選択するように構成されてもよい。ローカル特徴は、ディスプレイオブジェクト、データモデル、データオブジェクト、ユーザインターフェース、レポート、及び内部プロセス又はデータベースで使用されてもよい。様々な実施形態のうちの少なくとも１つにおいて、ローカライズ情報を選択するために使用されるジオロケーション情報は、ＧＰＳ２５８によって提供されてもよい。また、いくつかの実施形態では、ジオロケーション情報は、無線ネットワーク１０８又はネットワーク１１１など、ネットワーク上の１つ以上のジオロケーションプロトコルを使用して提供される情報を含んでもよい。

ヒューマンインターフェース構成要素は、クライアントコンピュータ２００から物理的に分離された周辺デバイスであってもよく、クライアントコンピュータ２００へのリモート入力又はそこからの出力を可能にする。例えば、ディスプレイ２５０又はキーボード２５２などのヒューマンインターフェース構成要素を通して本明細書に説明されるようにルーティングされた情報は、代わりに、ネットワークインターフェース２３２を通してリモートに位置する適切なヒューマンインターフェース構成要素にルーティングされ得る。リモートであり得るヒューマンインターフェース周辺構成要素の例としては、オーディオデバイス、ポインティングデバイス、キーパッド、ディスプレイ、カメラ、プロジェクタなどを含んでもよいが、これらに限定されない。これらの周辺構成要素は、Ｂｌｕｅｔｏｏｔｈ、Ｚｉｇｂｅｅ（商標）などのピコネットワーク上で通信してもよい。このような周辺ヒューマンインターフェース構成要素を有するクライアントコンピュータの１つの非限定的な例は、ウェアラブルコンピュータであり、これは、壁又はユーザの手のような反射面にピコプロジェクタによって投影された画像の一部分に対するユーザのジェスチャを感知するために、別個に位置するクライアントコンピュータとリモートで通信する１つ以上のカメラと共にリモートピコプロジェクタを含んでもよい。

クライアントコンピュータは、ウェブページ、ウェブベースのメッセージ、グラフィック、テキスト、マルチメディアなどを受信及び送信するように構成されているウェブブラウザアプリケーション２２６を含んでもよい。クライアントコンピュータのブラウザアプリケーションは、無線アプリケーションプロトコルメッセージ（ＷＡＰ）などを含む実質的に任意のプログラミング言語を用いてもよい。１つ以上の実施形態において、ブラウザアプリケーションは、ＨＤＭＬ（Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＷＭＬ（Ｗｉｒｅｌｅｓｓ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＷＭＬスクリプト、ＪａｖａＳｃｒｉｐｔ、ＳＧＭＬ（Ｓｔａｎｄａｒｄ Ｇｅｎｅｒａｌｉｚｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＨＴＭＬ５などを用いることが可能となっている。

メモリ２０４は、ＲＡＭ、ＲＯＭ、又は他のタイプのメモリを含んでもよい。メモリ２０４は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶するためのコンピュータ可読記憶媒体の例を示す。メモリ２０４は、クライアントコンピュータ２００の低レベル動作を制御するためのＢＩＯＳ２０８を記憶してもよい。メモリはまた、クライアントコンピュータ２００の動作を制御するためのオペレーティングシステム２０６を記憶してもよい。この構成要素は、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（商標）などの汎用オペレーティングシステム、Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ（商標）、Ｓｙｍｂｉａｎ（商標）オペレーティングシステムなどの特殊化されたクライアントコンピュータ通信オペレーティングシステムが含み得ることが理解されよう。オペレーティングシステムは、ハードウェア構成要素の制御、又はオペレーティングシステムの動作をＪａｖａアプリケーションプログラムを介して可能にするＪａｖａ仮想マシンモジュールを含むか、又はこれとインターフェースしてもよい。

メモリ２０４は、とりわけ、アプリケーション２２０又は他のデータを記憶するためにクライアントコンピュータ２００によって利用され得る１つ以上のデータ記憶部２１０をさらに含んでもよい。例えば、データ記憶部２１０を用いて、クライアントコンピュータ２００の様々な能力を記述する情報も記憶してもよい。次いで、情報は、通信中にヘッダの一部として送信されること、要求に応じて送信されることなどを含む、様々な方法のいずれかに基づいて、別のデバイス又はコンピュータに提供されてもよい。データ記憶部２１０を用いて、アドレスブック、バディリスト、エイリアス、ユーザプロファイル情報などを含むソーシャルネットワーキング情報も記憶してもよい。データ記憶部２１０は、プロセッサ２０２などのプロセッサがアクションを実行及び実行するために使用するためのプログラムコード、データ、アルゴリズムなどをさらに含んでもよい。一実施形態において、データ記憶部２１０の少なくとも一部分はまた、非一時的なプロセッサ可読リムーバブル記憶デバイス２３６、プロセッサ可読固定記憶デバイス２３４、又はクライアントコンピュータの外部のものでさえも含むが、これらに限定されない、クライアントコンピュータ２００の別の構成要素に記憶されてもよい。

アプリケーション２２０は、クライアントコンピュータ２００によって実行されるときに、命令及びデータを送信するか、受信するか、又はそれ以外の方法で処理するコンピュータ実行可能命令を含んでもよい。アプリケーション２２０は、例えば、クライアント可視化エンジン２２２、他のクライアントアプリケーション２２４、ウェブブラウザ２２６などを含んでもよい。クライアントコンピュータは、１つ以上のサーバと通信するようにアレンジされてもよい。

アプリケーションプログラムの他の例としては、カレンダー、検索プログラム、電子メールクライアントアプリケーション、ＩＭアプリケーション、ＳＭＳアプリケーション、ＶＯＩＰ（Ｖｏｉｃｅ Ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アプリケーション、コンタクトマネージャ、タスクマネージャ、トランスコーダ、データベースプログラム、文書処理プログラム、セキュリティアプリケーション、スプレッドシートプログラム、ゲーム、検索プログラム、可視化アプリケーションなどを含む。

追加的に、１つ以上の実施形態（図示せず）において、クライアントコンピュータ２００は、ＣＰＵの代わりに、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＰＡＬ（Ｐｒｏｇｒａｍｍａｂｌｅ Ａｒｒａｙ Ｌｏｇｉｃ）など、又はそれらの組み合わせなどの組み込み論理ハードウェアを含んでもよい。組み込み論理ハードウェアデバイスは、その組み込み論理を直接実行してアクションを実行してもよい。また、１つ以上の実施形態（図示せず）において、クライアントコンピュータ２００は、ＣＰＵの代わりに１つ以上のハードウェアマイクロコントローラを含んでもよい。１つ以上の実施形態において、１つ以上のマイクロコントローラは、アクションを実行し、自身の内部メモリ及び自身の外部の入力及び出力インターフェース（例えば、ハードウェアピン又は無線トランシーバ）にアクセスして、システムオンアチップ（ＳＯＣ）などのアクションを実行するために、自身の組み込み論理を直接実行してもよい。

例示的なネットワークコンピュータ

図３は、様々な実施形態のうちの１つ以上を実装するシステムに含まれ得るネットワークコンピュータ３００の一実施形態を示す。ネットワークコンピュータ３００は、図３に示すものよりも多く又はより少ない多くの構成要素を含んでもよい。しかしながら、示された構成要素は、これらのイノベーションを実施するための例示的な実施形態を開示するのに十分である。ネットワークコンピュータ３００は、例えば、図１の可視化サーバコンピュータ１１６、データソースサーバコンピュータ１１８などのうちの少なくとも１つの実施例を表してもよい。

ネットワークコンピュータ３００のようなネットワークコンピュータは、バス３２８を介してメモリ３０４と通信し得るプロセッサ３０２を含んでもよい。いくつかの実施形態において、プロセッサ３０２は、１つ以上のハードウェアプロセッサ、又は１つ以上のプロセッサコアから構成されてもよい。場合によっては、１つ以上のプロセッサのうちの１つ以上は、本明細書で説明されているような１つ以上の特殊化されたアクションを実行するように設計された特殊化されたプロセッサであってもよい。ネットワークコンピュータ３００はまた、電源３３０、ネットワークインターフェース３３２、オーディオインターフェース３５６、ディスプレイ３５０、キーボード３５２、入力／出力インターフェース３３８、プロセッサ可読固定記憶デバイス３３４、及びプロセッサ可読リムーバブル記憶デバイス３３６を含む。電源３３０は、クライアントコンピュータ３００に電力を提供してもよい。

ネットワークインターフェース３３２は、ネットワークコンピュータ３００を１つ以上のネットワークに結合するための回路を含み、ＯＳＩモデル（Ｏｐｅｎ Ｓｙｓｔｅｍｓ Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ ｍｏｄｅｌ）、ＧＳＭ（ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＴＤＭＡ（ｔｉｍｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＵＤＰ（ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ）、ＴＣＰ／ＩＰ（ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｎｔｒｏｌ ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ）、ＳＭＳ（Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）、ＭＭＳ（Ｍｕｌｔｉｍｅｄｉａ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ）、ＧＰＲＳ（ｇｅｎｅｒａｌ ｐａｃｋｅｔ ｒａｄｉｏ ｓｅｒｖｉｃｅ）、ＷＡＰ、ＵＷＢ（ｕｌｔｒａ－ｗｉｄｅ ｂａｎｄ）、ＩＥＥＥ ８０２．１６ ＷｉＭａｘ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＳＩＰ／ＲＴＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ／Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、又は様々な他の有線及び無線通信プロトコルのいずれかの任意の部分を実装するプロトコル及び技術を含み、これらに限定されない、１つ以上の通信プロトコル及び技術と共に使用するために構築されている。ネットワークインターフェース３３２は、トランシーバ、トランシーバデバイス、又はネットワークインターフェースカード（ＮＩＣ）として知られることがある。ネットワークコンピュータ３００は、任意選択で、基地局（図示せず）、又は別のコンピュータと直接通信してもよい。

オーディオインターフェース３５６は、人間の音声の音のようなオーディオ信号を生成及び受信するようにアレンジされている。例えば、オーディオインターフェース３５６は、スピーカ及びマイクロホン（図示せず）に結合されて、他者との通信を可能にするか、又は何らかのアクションのためのオーディオ確認応答を生成する。オーディオインターフェース３５６におけるマイクロホンを、例えば音声認識を使用して、ネットワークコンピュータ３００への入力又はこれの制御に使用することもできる。

ディスプレイ３５０は、液晶ディスプレイ（ＬＣＤ）、ガスプラズマ、電子インク、発光ダイオード（ＬＣＤ）、有機ＬＥＤ（ＯＬＥＤ）、又はコンピュータと共に使用され得る任意の他のタイプの反射型又は光透過型ディスプレイであってもよい。いくつかの実施形態において、ディスプレイ３５０は、壁又は他の物体上に画像を投影することができるハンドヘルドプロジェクタ又はピコプロジェクタであってもよい。

ネットワークコンピュータ３００はまた、図３に示されていない外部デバイス又はコンピュータと通信するための入力／出力インターフェース３３８を含んでもよい。入力／出力インターフェース３３８は、ＵＳＢ（登録商標）、Ｆｉｒｅｗｉｒｅ（登録商標）、ＷｉＦｉ、ＷｉＭａｘ、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、シリアルポート、パラレルポートなどの１つ以上の有線又はワイヤレス通信技術を利用することができる。

入力／出力インターフェース３３８はまた、地理位置情報（例えば、ＧＰＳ）を判定する、電力状態を監視する（例えば、電圧センサ、電流センサ、周波数センサなど）、天気を監視する（例えば、サーモスタット、気圧計、風速計、湿度検出器、降水スケールなど）などを含んでもよい。センサは、ネットワークコンピュータ３００の外部のデータを収集又は測定する１つ以上のハードウェアセンサであってもよい。ヒューマンインターフェース構成要素は、ネットワークコンピュータ３００から物理的に分離することができ、ネットワークコンピュータ３００へのリモート入力又はそこからの出力を可能にする。例えば、ディスプレイ３５０又はキーボード３５２のようなヒューマンインターフェース構成要素を通して本明細書に説明されるようにルーティングされた情報は、代わりに、ネットワークインターフェース３３２を通して、ネットワーク上の他の場所に位置する適切なヒューマンインターフェース構成要素にルーティングされ得る。ヒューマンインターフェース構成要素は、コンピュータがコンピュータの人間ユーザから入力を受信すること、又はコンピュータに出力を送信することを可能にする任意の構成要素を含む。したがって、マウス、スタイラス、トラックボールなどのポインティングデバイスは、ポインティングデバイスインターフェース３５８を介して通信し、ユーザの入力を受信してもよい。

ＧＰＳトランシーバ３４０は、地球の表面上のネットワークコンピュータ３００の物理座標を判定することができ、この座標は、典型的には、緯度値及び経度値として位置を出力する。ＧＰＳトランシーバ３４０はまた、三角測量、ＡＧＰＳ（ａｓｓｉｓｔｅｄ ＧＰＳ）、Ｅ－ＯＴＤ（Ｅｎｈａｎｃｅｄ Ｏｂｓｅｒｖｅｄ Ｔｉｍｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＣＩ（Ｃｅｌｌ Ｉｄｅｎｔｉｆｉｅｒ）、ＳＡＩ（Ｓｅｒｖｉｃｅ Ａｒｅａ Ｉｄｅｎｔｉｆｉｅｒ）、ＥＴＡ（Ｅｎｈａｎｃｅｄ Ｔｉｍｉｎｇ Ａｄｖａｎｃｅ）、基地局サブシステム（ＢＳＳ）などを含むが、これらに限定されない、他のジオポジショニングメカニズムを用いて、地球の表面上のネットワークコンピュータ３００の物理的な位置をさらに判定することができる。異なる条件下では、ＧＰＳトランシーバ３４０はネットワークコンピュータ３００の物理的位置を判定することができることが理解される。しかし、１つ以上の実施形態において、ネットワークコンピュータ３００は、他の構成要素を介して、ネットワークコンピュータの物理的な位置を判定するために用いられ得る、例えば、メディアアクセス制御（ＭＡＣ）アドレス、ＩＰアドレスなどを含む他の情報を提供してもよい。

様々な実施形態のうちの少なくとも１つにおいて、オペレーティングシステム３０６、評価エンジン３２２、可視化エンジン３２４、モデル化エンジン３２６、他のアプリケーション３２９などのアプリケーションは、地理位置情報を用いて、時間帯、言語、通貨、通貨フォーマット、カレンダーフォーマットなどの１つ以上のローカル特徴を選択するように構成されてもよい。ローカル特徴は、ユーザインターフェース、ダッシュボード、可視化、レポート、及び内部プロセス又はデータベースで使用されてもよい。様々な実施形態のうちの少なくとも１つにおいて、ローカライズ情報を選択するために使用されるジオロケーション情報は、ＧＰＳ３４０によって提供されてもよい。また、いくつかの実施形態では、ジオロケーション情報は、無線ネットワーク１０８又はネットワーク１１１など、ネットワーク上の１つ以上のジオロケーションプロトコルを使用して提供される情報を含んでもよい。

メモリ３０４は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、又は他のタイプのメモリを含んでもよい。メモリ３０４は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶するためのコンピュータ可読記憶媒体の例を示す。メモリ３０４は、ネットワークコンピュータ３００の低レベル動作を制御するための基本入力／出力システム（ＢＩＯＳ）３０８を記憶する。メモリはまた、ネットワークコンピュータ３００の動作を制御するためのオペレーティングシステム３０６を記憶してもよい。この構成要素は、ＵＮＩＸ又はＬＩＮＵＸ（商標）のバージョンのような汎用オペレーティングシステム、又はＭｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ（登録商標）オペレーティングシステム若しくはＡｐｐｌｅ社のＯＳＸ（登録商標）オペレーティングシステムなどの特殊化されたオペレーティングシステムを含み得ることが理解されよう。オペレーティングシステムは、ハードウェア構成要素の制御又はオペレーティングシステムの動作をＪａｖａアプリケーションプログラムを介して可能にするＪａｖａ仮想マシンモジュールのような、１つ以上の仮想マシンモジュールを含むか、又はそれらの仮想マシンモジュールとインターフェースしてもよい。同様に、他のランタイム環境が含まれてもよい。

メモリ３０４は、とりわけ、アプリケーション３２０又は他のデータを記憶するためにネットワークコンピュータ３００によって利用され得る１つ以上のデータ記憶デバイス３１０をさらに含んでもよい。例えば、データ記憶デバイス３１０を用いて、ネットワークコンピュータ３００の様々な能力を記述する情報も記憶してもよい。次いで、情報は、通信中にヘッダの一部として送信されること、要求に応じて送信されることなどを含む、様々な方法のいずれかに基づいて、別のデバイス又はコンピュータに提供されてもよい。データ記憶デバイス３１０を用いて、アドレスブック、バディリスト、エイリアス、ユーザプロファイル情報などを含むソーシャルネットワーキング情報も記憶してもよい。データ記憶デバイス３１０は、プロセッサ３０２などのプロセッサが以下に説明されるアクションのようなアクションを実行及び実行するために使用するためのプログラムコード、データ、アルゴリズムなどをさらに含んでもよい。一実施形態では、データ記憶デバイス３１０の少なくとも一部分はまた、プロセッサ可読リムーバブル記憶デバイス３３６内の非一時的な媒体、プロセッサ可読固定記憶デバイス３３４、又はネットワークコンピュータ３００内の任意の他のコンピュータ可読記憶デバイス、若しくはネットワークコンピュータ３００の外部のものでさえも含むが、これらに限定されない、ネットワークコンピュータ３００の別の構成要素に記憶されてもよい。データ記憶デバイス３１０は、例えば、データモデル３１４、データソース３１６、可視化モデル３１８、評価モデル３１９などを含んでもよい。

アプリケーション３２０は、ネットワークコンピュータ３００によって実行されるときに、メッセージ（例えば、ＳＭＳ、ＭＭＳ（Ｍｕｌｔｉｍｅｄｉａ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ）、ＩＭ（Ｉｎｓｔａｎｔ Ｍｅｓｓａｇｅ）、電子メール又は他のメッセージ）、オーディオ、ビデオ、及び別のモバイルコンピュータの別のユーザとの有効な電気通信を送信するか、受信するか、又はそれ以外の方法で処理するコンピュータ実行可能命令を含んでもよい。アプリケーションプログラムの他の例としては、カレンダー、検索プログラム、電子メールクライアントアプリケーション、ＩＭアプリケーション、ＳＭＳアプリケーション、ＶＯＩＰ（Ｖｏｉｃｅ Ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アプリケーション、コンタクトマネージャ、タスクマネージャ、トランスコーダ、データベースプログラム、文書処理プログラム、セキュリティアプリケーション、スプレッドシートプログラム、ゲーム、検索プログラムなどを含む。アプリケーション３２０は、評価エンジン３２２、可視化エンジン３２４、モデル化エンジン３２６、他のアプリケーション３２９などを含み、これらは、以下に説明する実施形態のためのアクションを実行するようにアレンジされてもよい。様々な実施形態のうちの１つ以上において、１つ以上のアプリケーションは、別のアプリケーションのモジュール又は構成要素として実装されてもよい。さらに、様々な実施形態のうちの１つ以上において、アプリケーションは、オペレーティングシステム拡張、モジュール、プラグインなどとして実装されてもよい。

さらに、様々な実施形態のうちの１つ以上において、評価エンジン３２２、可視化エンジン３２４、モデル化エンジン３２６、他のアプリケーション３２９などは、クラウドベースのコンピューティング環境において動作可能であってもよい。様々な実施形態のうちの１つ以上において、これらのアプリケーション、及び管理プラットフォームを含む他のものは、クラウドベースのコンピューティング環境において管理され得る仮想マシン又は仮想サーバ内で実行してもよい。様々な実施形態のうちの１つ以上において、この文脈では、アプリケーションは、クラウドコンピューティング環境によって自動的に管理される性能及びスケーリングの考慮に応じて、クラウドベース環境内の１つの物理ネットワークコンピュータから別のものへと流れてもよい。同様に、様々な実施形態のうちの１つ以上において、評価エンジン３２２、可視化エンジン３２４、モデル化エンジン３２６、他のアプリケーション３２９に専用の仮想マシン又は仮想サーバは、自動的に提供され、コミッショニング解除されてもよい。

また、様々な実施形態のうちの１つ以上において、評価エンジン３２２、可視化エンジン３２４、モデル化エンジン３２６、他のアプリケーション３２９などは、１つ以上の特定の物理ネットワークコンピュータと結び付けられるのではなく、クラウドベースのコンピューティング環境で動作する仮想サーバに位置してもよい。

さらに、ネットワークコンピュータ３００はまた、キー、デジタル証明書、パスワード、パスフレーズ、２因子認証情報などのセキュリティ／暗号情報を生成、記憶、又は使用するための追加の耐タンパーセーフガードを提供するためのハードウェアセキュリティモジュール（ＨＳＭ）３６０を含んでもよい。いくつかの実施形態において、ハードウェアセキュリティモジュールを用いて、１つ以上の標準的な公開キー基盤（ＰＫＩ）をサポートしてもよく、ハードウェアセキュリティモジュールを用いて、キーペアなどを生成、管理、又は記憶してもよい。いくつかの実施形態において、ＨＳＭ３６０は、スタンドアロンネットワークコンピュータであってもよく、他の場合には、ＨＳＭ３６０は、クライアントコンピュータに追加され得るハードウェアカードとしてアレンジされてもよい。

追加的に、１つ以上の実施形態（図示せず）において、クライアントコンピュータ３００は、ＣＰＵの代わりに、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＰＡＬ（Ｐｒｏｇｒａｍｍａｂｌｅ Ａｒｒａｙ Ｌｏｇｉｃ）など、又はそれらの組み合わせなどの組み込み論理ハードウェアを含んでもよい。埋め込み論理ハードウェアデバイスは、その埋め込みロジックを直接実行してアクションを実行してもよい。また、１つ以上の実施形態（図示せず）において、クライアントコンピュータ２００は、ＣＰＵの代わりに１つ以上のハードウェアマイクロコントローラを含んでもよい。１つ以上の実施形態において、１つ以上のマイクロコントローラは、アクションを実行し、自身の内部メモリ及び自身の外部の入力及び出力インターフェース（例えば、ハードウェアピン又は無線トランシーバ）にアクセスして、システムオンアチップ（ＳＯＣ）などのアクションを実行するために、自身の組み込み論理を直接実行してもよい。

例示的な論理システムアーキテクチャ

図４は、様々な実施形態のうちの１つ以上による、可視化ミラージュを表面化するためのシステム４００の論理アーキテクチャを示す。様々な実施形態のうちの１つ以上において、システム４００は、モデル化エンジン４０２などの１つ以上のモデル化エンジン、可視化エンジン４０４などの１つ以上の可視化エンジン、可視化４０６などの１つ以上の可視化、データソース４１０などの１つ以上のデータソース、可視化モデル記憶部４０８などの１つ以上の可視化モデル記憶部、又は評価エンジン４１２などの１つ以上の評価エンジンを含む、様々な構成要素から構成されてもよい。

様々な実施形態のうちの１つ以上において、モデル化エンジン４０２は、ユーザが、可視化エンジン４０４に提供され得る１つ以上の可視化モデルを設計することを可能にするようにアレンジされ得る。したがって、様々な実施形態のうちの１つ以上において、可視化エンジン４０４は、可視化モデルに基づいて１つ以上の可視化を生成するようにアレンジされてもよい。

様々な実施形態のうちの１つ以上において、モデル化エンジンは、データソース４１０などの１つ以上のデータソースにアクセスするようにアレンジされてもよい。いくつかの実施形態において、モデル化エンジンは、ユーザが様々なデータソース情報、データオブジェクトなどを閲覧することを可能にするユーザインターフェースを含むようにアレンジされて、データソースに記憶された情報の可視化を生成するために使用され得る可視化モデルを設計してもよい。

したがって、いくつかの実施形態において、可視化モデルは、チャート、プロット、グラフ、表、グラフィック、スタイリング、説明テキスト、対話型要素、ユーザインターフェース特徴などを含む可視化を提供するように設計されてもよい。いくつかの実施形態において、グラフィカルユーザインターフェースがユーザに提供され得、ユーザが、対話的に可視化モデルを設計し、可視化モデルにおける様々な要素又は表示オブジェクトが、データソース４１０などの１つ以上のデータソースからのデータに関連されるようにし得る。

様々な実施形態のうちの１つ以上において、データソース４１０などのデータソースは、ローカル又はリモートに位置し得るデータベース、データストア、ファイルシステムなどのうちの１つ以上を含んでもよい。いくつかの実施形態において、データソースは、ネットワークを介して別のサービスによって提供されてもよい。いくつかの実施形態において、データソースにおけるデータをフィルタリングするか、又はそれ以外の方法でデータへの管理ビュー又は管理アクセスを提供する１つ以上の構成要素（図示せず）があってもよい。

様々な実施形態のうちの１つ以上において、可視化モデルは、可視化モデル記憶部４０８などの１つ以上のデータ記憶部に記憶されてもよい。この例では、いくつかの実施態様に対して、可視化モデル記憶部４０８は、可視化モデルを記憶、固定、又は索引付けするための１つ以上のデータベース、ファイルシステムなどを表す。

様々な実施形態のうちの１つ以上において、可視化エンジン４０４などの可視化エンジンは、ユーザに表示され得る１つ以上の可視化を生成するために、可視化モデル及びデータソースからのデータを解析するか、又はそれ以外の方法でこれらを解釈するようにアレンジされ得る。

様々な実施形態のうちの１つ以上において、評価エンジン４１２などの評価エンジンは、可視化を評価するか、又はそれ以外の方法で可視化を査定するようにアレンジされてもよい。したがって、いくつかの実施形態において、評価エンジンは、１つ以上のアクションを自動的に実行して、誤解を招く可視化をもたらす可視化における可能性のあるミラージュ又はアーチファクトを識別するようにアレンジされてもよい。いくつかの実施形態において、評価エンジンは、可視化に関連するデータソースから追加データを自動的に取り込み、評価モデルなどの統計モデルを使用してその関連性を査定するようにアレンジされてもよい。

図５Ａ及び５Ｂは、どのようにして可視化が誤解を招くことがあるかの例を示す。

図５Ａは、様々な実施形態のうちの１つ以上による、可視化ミラージュを表面化するための可視化５００の一部分の表現を示す。この例では、可視化５００は、レーダーチャートと考えられてもよい。場合によっては、レーダーチャートは、職務候補者のスキルを比較するために使用されてもよい。この例では、可視化５００は、各軸（例えば、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、及びＦ）が特定の職務スキルのスキルレベルを表す仮想的な職務候補者の職務スキルを示す。また、この例では、線５０２が軸と交差する場合、特定の職務スキルの職務候補者のスキルレベルを示す。したがって、この例では、職務候補者は、職務スキルＢ、Ｃ及びＤにおいて高いレベルのコンピテンシーを有し、職務スキルＡ、Ｆ及びＥにおいてより低いコンピテンシーを有する。

したがって、一見すると、可視化５００は、可視化の右上部分に集中しているように見えるスキルを職務候補者が有しているように見えるため、職務候補者が、集中的なスキルセットを有し得ることを示しているように思われる。

図５Ｂは、様々な実施形態のうちの１つ以上による、可視化ミラージュを表面化するための可視化５０４の一部分の表現を示す。この例では、可視化５００と同様に、可視化５０４はレーダーチャートと考えられてもよい。同様に、この例では、可視化５０４は、各軸（例えば、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、及びＦ）が特定の職務スキルのスキルレベルを表す仮想的な職務候補者の職務スキルを示す。また、この例では、線５０６が軸と交差する場合、特定の職務スキルの職務候補者のスキルレベルを示す。したがって、可視化５００と同様に、職務候補者は、職務スキルＢ、Ｃ及びＤにおいて高いレベルのコンピテンシーを有し、職務スキルＡ、Ｆ及びＥにおいてより低いコンピテンシーを有することを可視化５０４は示す。

しかし、この例では、軸Ｃと軸Ｆの可視化における位置が入れ替わっている。したがって、可視化５００とは対照的に、可視化５０４は、可視化においてより均一に分散しているように見えるスキルを職務候補者が有しているように見えるため、職務候補が、より多様な（例えば、より集中していない）スキルセットを有し得ることを示しているように思われる。

この例では、可視化５００と可視化５０４の見かけの差は、基礎となるデータが同じであり得るとしても、非常に異なっている。したがって、この例では、１つ以上の可視化ミラージュが存在し得る。

図５Ａ及び５Ｂと同様に、図６Ａ及び６Ｂは、ある点以外は合理的に見える可視化にどのようにミラージュを含まれ得るかの別の例を示す。

図６Ａは、軸６０４によって表される年カテゴリに対して、２００１年の住宅価格（軸６０２によって表される）と２００８年の住宅価格を比較する棒グラフを含む、可視化６００の一部分を示す。したがって、この例では、可視化６００の見かけは、２００１年から２００８年の価格が、棒で使用された棒の相対的なサイズのために、３００％上昇したことを示しているように見える。

図６Ｂは、軸６１４によって表される年カテゴリに対して、２００１年の住宅価格（軸６１２によって表される）と２００８年の住宅価格を比較する棒グラフを含む、可視化６１０の一部分を示す。したがって、この例では、可視化６１４の見かけは、２００１年から２００８年の価格が、棒で使用された棒の相対的なサイズのために、ほとんど上昇していないことを示しているように見える。

この例では、図６Ａと図６Ｂの視覚的な見かけは、全く異なる結論を示唆するように思われる。図６Ａは、価格が劇的に変化したことを示しているように思われるが、図６Ｂは、価格が劇的には上昇しなかったことを示しているように思われる。重要なことは、この例、並びに図５Ａ及び５Ｂに示される例において、基礎となるデータ又は可視化のタイプが類似し得るとしても、可視化が非常に異なる外見を有する可能性があるということである。このタイプのエフェクト（例えば、ミラージュ）に対抗する可視化は、ロバストな可視化とみなされてもよい。

当業者であれば、可視化モデル又は可視化エンジンが、制作者、ユーザ、又は組織の設計目標に応じて、様々な目的のために、多くの異なるタイプの可視化を生成するようにアレンジされてもよいことを理解するであろうことに留意する。ここでは、これらのイノベーションの説明を明確にするのを助けるために、可視化５００、可視化５０４、可視化６００、及び可視化６１０が非限定的な例として提示される。当業者であれば、これらの例は、本明細書におけるイノベーションを開示するのに少なくとも十分であること、及び、可視化エンジン又は可視化モデルは、多くの領域において、多くの異なる目的のために、多くの異なる可視化を生成するようにアレンジされてもよいことを理解するであろう。

図７は、様々な実施形態のうちの１つ以上による、評価システム７００の一部分の論理的表現を示す。様々な実施形態のうちの１つ以上において、システム７００は、評価エンジン７０２、評価モデル７０４、可視化モデル７０６、データソース７０８、可視化７１０、評価結果７１２などの１つ以上の構成要素を含んでもよい。いくつかの実施形態において、評価結果７１２などの評価結果は、評価スコア７１４、レポート情報７１６などの追加情報を含むようにアレンジされてもよい。

様々な実施形態のうちの１つ以上において、評価エンジン７０２は、評価モデル７０４に基づいて可視化７１０を評価するようにアレンジされてもよい。様々な実施形態のうちの１つ以上において、評価モデルは、可視化を評価するために実行され得る１つ以上のヒューリスティック査定器又は機械学習査定器を含むようにアレンジされてもよい。

本明細書において議論されているように、評価エンジンは、１つ以上の評価モデルを用いて、所与の評価モデルが可視化とどの程度うまく一致（又は分類）するかに関する１つ以上のレポートのための情報を提供するようにアレンジされてもよい。したがって、この例では、評価結果７１２は、評価スコア７１４及びレポート情報７１６などのスコアを含む。

様々な実施形態のうちの１つ以上において、評価モデルは、評価の質を表す、確率スコア、信頼スコアなどの評価スコアを提供するようにアレンジされてもよい。いくつかの実施形態において、評価エンジンは、評価モデルを実行又は適用して、所与の可視化が１つ以上の可視化ミラージュを含み得るかどうかを判定するために、可視化、可視化モデル、又はデータソースを査定するための様々なアクションを実行するようにアレンジされてもよい。

様々な実施形態のうちの１つ以上において、異なる評価モデルは、異なるスコアリング基準を用いてもよい。したがって、いくつかの実施形態において、評価エンジンは、異なる評価モデルによって提供される評価スコアを重み付け又は正規化するようにアレンジされ得る。いくつかの実施形態において、評価モデルの評価スコアを正規化又は重み付けするための特定の正規化ルール又は重み付けルールは、ローカル状態を考慮するために、設定情報を介して提供され得る。

様々な実施形態のうちの１つ以上において、潜在的なミラージュに関連するデータの１つ以上の統計的特徴を査定するために、評価モデルが設計又は調整されてもよい。したがって、様々な実施形態のうちの１つ以上において、評価エンジンは、１つ以上の評価モデルを適用して、評価中の可視化に関連するデータが、評価モデルによって標的化された統計的特徴のうちの１つ以上を有するかどうかを評価するようにアレンジされ得る。いくつかの実施形態において、評価モデルが一致するか、又はそれ以外の方法で査定されるように設計され得る統計的特徴に、可視化に関連するデータがどの程度一致するかを表すセルフグレードの形式として評価スコアを提供するようにアレンジされ得る。

したがって、様々な実施形態のうちの１つ以上において、評価エンジンは、ユーザ活動情報又はユーザフィードバックを用いて、評価レポートを修正又はカスタマイズするために用いられ得る評価モデルプロファイルを自動的に構築するようにアレンジされ得る。例えば、組織のユーザが一貫して可視化と評価結果との不一致をレポートする場合、評価エンジンは、ユーザのフィードバック情報に基づいて、組織の評価結果をランク付けするために使用される有効な評価スコアを増加又は減少させる重み付けルールを導入するようにアレンジされてもよい。

様々な実施形態のうちの１つ以上において、ユーザがミラージュ評価のための可視化を選択する場合、評価エンジンは、１つ以上の評価モデルを判定し、関連する可視化モデル又はデータソースと共に、それらを評価されている可視化に適用する。したがって、評価モデルの非限定的な例は、以下に議論される。簡潔さと明確さのために、この議論は数例に限定されるが、当業者であれば、他の又は追加の評価戦略を組み込むことができる他の評価モデルが企図されることを理解するであろう。

様々な実施形態のうちの１つ以上において、代数的可視化設計（ＡＶＤ：Ａｌｇｅｂｒａｉｃ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｄｅｓｉｇｎ）として知られている分析フレームワークの下では、可視化の基礎となるデータへの些細な変化（入力データの行順をシャッフルするなど）は、結果として生じる可視化の微妙な変化をもたらすべきであり、可視化の見かけにおける重要な変化が、裏付けデータにおける対応する重要なデータの変化の結果としてのみ生じるべきである。当業者であれば、ＡＶＤが、可能性のあるデータ変換（図示せず）にわたって効果的な可視化の特性を記述する可換性関係を介して、これらの主張を定式化することを理解するであろう。

様々な実施形態のうちの１つ以上において、ＡＶＤアサーションの失敗は、「幻覚」（図５Ａ、５Ｂ、６ａ、又は６Ｂのように、類似又は同一のデータによって裏付けられているにもかかわらず、劇的に異なるように見える可視化）及び「混乱」（劇的に異なるデータによって裏付けられているにもかかわらず、同一に見える可視化）をもたらすことがある。場合によっては、可視化が、それらの裏付けデータに対して完全に非反応的であり、単なる数字の装飾として機能し、可視化「非合理」と呼ばれるものを作成することがある。場合によっては、これらのＡＶＤの失敗が、可視化ミラージュと直接結合していることがある（脆弱、非ロバスト、又は非反応的であり得る可視化をもたらすため）。しかしながら、ＡＶＤは、評価モデルによる自動査定を可能にする、データの操作と可視化仕様の分析言語を提供する。したがって、いくつかの実施形態において、ＡＶＤは、領域知識をほとんど必要としない失敗を検出し得る試験を設計するための有用なフレームワークを提供してもよい。例えば、場合によっては、ＡＶＤに基づく評価モデルは、単に、些細な又は重要なデータの変化を引き起こし、得られる可視化における対応する変化についてチェックしてもよい。

様々な実施形態のうちの１つ以上において、評価エンジンは、個々の可視化を検証又はそれ以外の方法でこれを査定するメカニズムとしてメタモルフィックテスティングを用いるようにアレンジされてもよい。いくつかの実施形態において、評価エンジンは、メタモルフィック操作（データの変更及び設計仕様の変更）を実行し得る評価モデルを用いるようにアレンジされてもよい。したがって、いくつかの実施形態において、評価エンジンは、レンダリングされている可視化についてあまり多くを知ることなく、広範なタイプの可視化を査定することが可能であってもよい。

様々な実施形態のうちの１つ以上において、入力データの順序の変化は、レンダリングされた可視化を変化させるべきではない。したがって、いくつかの実施形態において、評価モデルは、入力行の順序に基づいてレンダリングされた画像間で異なる最大の画素数を定義する画素差分アルゴリズムなどの検出技術を用いるようにアレンジされてもよい。したがって、いくつかの実施形態において、このタイプの試験を提供する評価モデルは、過剰プロットの検出を可能にし得る。いくつかの実施形態では、全ての過剰プロットが必ずしも可視化ミラージュを示すわけではないが、ユーザにその存在を警告することは、多くの可視化タイプにわたって有用であり得ることに留意する。

いくつかの実施形態において、可視化における見かけのパターンはロバストであるべきである。すなわち、特定の関係は、軽微な変化にわたって存在し続けるべきである。したがって、１つ以上の評価モデルが、棒グラフのためのミラージュ検出器を提供することに焦点を合わせるようにアレンジされてもよい。いくつかの実施形態において、このような評価モデルは、広範なデータ分布及び複雑さにわたって、比較的パラメータのない方法で変動性を試験してもよい。いくつかの実施形態において、評価モデルは、各アグリゲートマークをそれを記述する入力タプルにリンクする後方出所の概念を作成することによって、どの入力行を修正するかを識別するようにアレンジされてもよい。したがって、評価モデルは、可視化が外れ値に依存する可能性が高いときや、少数の発散したレコードがアグリゲート間の差を推進しているときを識別することができてもよい。

様々な実施形態のうちの１つ以上において、評価モデルは、情報を要約するために一般的かつ有利に有用であり得るアグリゲートを査定するようにアレンジされ得る。しかしながら、場合によっては、アグリゲートは、異なるレコードの数、サンプリングの問題、反復したレコードなどのような、データの問題をマスクすることがある。したがって、いくつかの実施形態において、評価モデルは、潜在的に汚れたデータの文脈において、措置のロバスト性を査定するようにアレンジされ得る。いくつかの実施形態において、評価モデルは、アグリゲートを構成するレコードの最低数を定義するように構成されてもよく、他のすべてのマークを構成するレコードの数を、置き換えずにサンプリングすることを通して、その最低数まで縮小してもよい。いくつかの実施形態において、評価モデルは、可視化においてアグリゲートを探索するためにランダム化手順を用いてもよい。したがって、すべてのアグリゲートが類似したサンプルサイズを有し、このサンプルサイズが十分に大きく、極値に対して十分にロバストなアグリゲーション方法である場合、この手順は合理的に類似した可視化をもたらすはずである。したがって、いくつかの実施形態において、評価モデルは、サンプリングの問題及び異なるレコードの数に関連する他の問題によって引き起こされる変動性を検出するようにアレンジされてもよい。

図８は、様々な実施形態のうちの１つ以上による、可視化ミラージュを表面化するためのユーザインターフェース８００の一部分の論理的表現を示す。いくつかの実施形態では、ユーザインターフェース８００は、パネル８０２、パネル８０４、パネル８０６、パネル８０８、説明８１０などの１つ以上のパネルを含むようにアレンジされてもよい。

この例において、様々な実施形態のうちの１つ以上について、パネル８０２は、評価エンジンによって評価された可視化に対するミラージュ評価情報のランクリストを表示するようにアレンジされてもよい。いくつかの実施形態において、各レポート項目は、もし利用可能であれば、評価スコアなど、疑われ得るミラージュのタイプを記述する情報を含んでもよい。

同様に、いくつかの実施形態において、評価エンジンが、潜在的なミラージュを判定することができないことがある場合、パネル８０２は、その旨の叙述を表示するようにアレンジされてもよい。

様々な実施形態のうちの１つ以上において、パネル８０４は、評価エンジンによって評価された可視化に関係し得る追加の説明又は可視化を含むようにアレンジされてもよい。いくつかの実施形態では、パネル８０６などのパネルは、検出されたミラージュに関係する追加の説明情報、又はユーザにミラージュを説明するのに役立ち得る１つ以上の可視化を含んでもよい。また、いくつかの実施形態において、パネル８０８などのパネルは、評価中の可視化、又は、判定されたミラージュの効果をユーザが「見る」のに役立ち得る他の可視化を含んでもよい。例えば、パネル８０８は、検出されたミラージュの効果を示すのに役立つ１つ以上の代替的な可視化を含んでもよい。

様々な実施形態のうちの１つ以上において、評価エンジン、可視化エンジンなどは、異なる評価モデルのための特定の可視化モデル又は説明テキスト／叙述テンプレートを使用するようにアレンジされてもよい。いくつかの実施形態において、評価モデルのための可視化モデル又は説明／叙述テンプレートは、設定情報において定義されてもよい。したがって、ユーザインターフェース８００に含まれるレポート情報（例えば、説明／叙述テキスト）又は可視化は、特定の組織、ロケールなどに合わせて調整されてもよい。

様々な実施形態のうちの１つ以上において、評価エンジン又は可視化エンジンは、設定情報を介して、ユーザインターフェース８００のためのコンテンツ又はスタイリングの一部又は全てを判定するようにアレンジされてもよい。したがって、いくつかの実施形態において、パネルレイアウト、説明テキスト、テンプレート、可視化などは、ローカル状況に応じて異なるように構成され得る。

一般化された動作

図９～図１２は、様々な実施形態のうちの１つ以上による、可視化ミラージュを表面化するための一般化された動作を示す。様々な実施形態のうちの１つ以上において、図９～１２と併せて説明されるプロセス９００、１０００、１１００、及び１２００は、図３のネットワークコンピュータ３００などの単一のネットワークコンピュータ（又はネットワークモニタリングコンピュータ）上の１つ以上のプロセッサによって実装されるか、又はそれ上で実行されてもよい。他の実施形態において、これらのプロセス又はその一部分は、図３のネットワークコンピュータ３００などの複数のネットワークコンピュータによって実装されるか、又はそれら上で実行されてもよい。さらに他の実施形態では、これらのプロセス、又はその一部は、クラウドベースの環境におけるものなどの、１つ以上の仮想化されたコンピュータによって実装されてもよく、又はそれ上で実行されてもよい。しかしながら、実施形態はそれに限定されるものではなく、ネットワークコンピュータ、クライアントコンピュータなどの様々な組み合わせが利用されてもよい。さらに、様々な実施形態のうちの１つ以上において、図９～１２と併せて説明されるプロセスは、図４～８と併せて説明されるような様々な実施形態又はアーキテクチャのうちの少なくとも１つに従って、可視化ミラージュを表面化するために使用されてもよい。さらに、様々な実施形態のうちの１つ以上において、プロセス９００、１０００、１１００、及び１２００によって実行されるアクションの一部又は全部が、評価エンジン３２２、可視化エンジン３２４、モデル化エンジン３２６などによって部分的に実行されてもよい。

図９は、様々な実施形態のうちの１つ以上による、可視化ミラージュを表面化するためのプロセス９００の概要フローチャートを示す。開始ブロックの後、ブロック９０２では、様々な実施形態のうちの１つ以上において、可視化エンジンは、１つ以上の可視化モデル又はデータソースに基づいて１つ以上の可視化を生成するようにアレンジされてもよい。上述したように、可視化システムは、１つ以上のモデル化エンジン、１つ以上のデータソース、１つ以上の可視化エンジンなどを含むようにアレンジされており、１つ以上の可視化エンジンは、１つ以上の可視化モデル及び１つ以上のデータソースによって提供されるデータに基づいて可視化を生成するようにアレンジされてもよい。

ブロック９０４では、様々な実施形態のうちの１つ以上において、任意選択で、評価エンジンが、関心のあり得る１つ以上の可視化を判定するようにアレンジされてもよい。

様々な実施形態のうちの１つ以上において、ユーザ又は可視化の制作者は、ミラージュ分析のために１つ以上の可視化を選択することが可能であり得る。例えば、制作者が以前に生成された１つ以上の可視化を参照することを可能にするために、ユーザインターフェースが提供されてもよい。

同様に、様々な実施形態のうちの１つ以上において、評価エンジンは、可視化が作成される際に、可視化を自動的に評価するようにアレンジされてもよい。いくつかの実施形態において、１つ以上の可視化は、１つ以上のクラス又はタイプの可視化におけるそれらのメンバーシップに基づいて評価について判定されてもよい。

様々な実施形態のうちの１つ以上において、評価エンジンは、ミラージュに対してどの可視化を評価するかを判定するために、様々なヒューリスティック又はフィルタを適用するように構成されてもよい。したがって、いくつかの実施形態において、評価エンジンは、設定情報を介して提供される１つ以上の規則又は命令を用いて、可視化がミラージュに対して自動的に評価されるべきかどうかを判定するようにアレンジされてもよい。

いくつかの実施形態において、評価エンジンは、設定情報を介して提供される基準に基づいて、評価のための１つ以上の可視化を選択又は推奨するようにアレンジされてもよい。

ブロック９０６では、様々な実施形態のうちの１つ以上において、評価エンジンは、１つ以上の評価モデルに基づいて、関心対象の１つ以上の可視化を分析するようにアレンジされてもよい。様々な実施形態のうちの１つ以上において、評価エンジンは、１つ以上の評価モデルを実行して、１つ以上の可視化を評価して、１つ以上の可視化に隠された可視化ミラージュがあり得るかどうかを判定するようにアレンジされてもよい。

ブロック９０８では、様々な実施形態のうちの１つ以上において、評価エンジンは、もしあれば、発見されたミラージュを証明する１つ以上の可視化を含み得る１つ以上のミラージュ評価レポートを生成するようにアレンジされてもよい。上述したように、いくつかの実施形態において、評価レポートは、ユーザが、評価エンジンによって発見され得る潜在的な可視化ミラージュをレビューすることを可能にする対話型ユーザインターフェースを含んでもよい。

次に、様々な実施形態のうちの１つ以上において、制御は、呼び出しプロセスに戻されてもよい。

図１０は、様々な実施形態のうちの１つ以上による、可視化ミラージュを発見するために可視化を評価するためのプロセス１０００のフローチャートを示す。開始ブロックの後、ブロック１００２では、様々な実施形態のうちの１つ以上において、評価エンジンには、１つ以上の評価モデル及び１つ以上の可視化が提供されてもよい。上述のように、いくつかの実施形態において、１つ以上の評価モデルが、可視化ミラージュを発見するために定義されてもよい。したがって、いくつかの実施形態において、評価エンジンは、データ記憶部などから１つ以上の評価モデルを取得するように構成されてもよい。いくつかの実施形態において、評価エンジンは、設定情報を介して提供され得る規則、条件などに基づいて特定の評価モデルを判定するようにアレンジされてもよい。

ブロック１００４では、様々な実施形態のうちの１つ以上において、評価エンジンは、マーク、可視化モデル、データソースなどに基づいて１つ以上の評価モデルを評価するようにアレンジされてもよい。様々な実施形態のうちの１つ以上において、評価モデルは、可視化が１つ以上の可視化ミラージュを含み得る場合に、評価するために実行又は適用し得る、規則、条件、コンピュータ可読命令などを含んでもよく、又はそれらに関連してもよい。

判定ブロック１００６では、様々な実施形態のうちの１つ以上において、評価するためのさらなる評価モデルがあり得る場合、制御はブロック１００４にループバックしてもよく、そうでなければ、制御はブロック９０８に流れてもよい。いくつかの実施形態において、評価エンジンは、１つ以上の評価モデルを省略又はスキップすることによって、評価を早期に終了するようにアレンジされてもよい。例えば、いくつかの実施形態において、事前に評価された評価モデルが十分なミラージュ分析を提供すると考えられ得る場合、評価エンジンは、追加の評価モデルの評価を中止するように構成されてもよい。いくつかの実施形態において、１つ以上の他の評価モデルがいくつかのミラージュを識別又は除外する場合、１つ以上の評価モデルは冗長又は議論の余地があり得る。

様々な実施形態のうちの１つ以上において、評価エンジンは、評価スコアを評価モデルによって提供される評価結果に関連させるようにアレンジされてもよい。いくつかの実施形態において、評価モデルは、評価モデルが特定の可視化ミラージュに対してどれだけうまく一致するかを示す評価スコアを提供するようにアレンジされてもよい。

また、様々な実施形態のうちの１つ以上において、評価エンジンは、可視化ミラージュを識別するために用いられる各評価モデルによって提供される評価スコアと組み合わせられ得る、別の評価スコアのセットを維持するようにアレンジされてもよい。したがって、いくつかの実施形態において、発見されたミラージュに関連する全体的な評価スコアは、評価モデルによって提供されるスコアと、評価エンジンによって提供されるスコアとの組み合わせであり得る。

例えば、いくつかの実施形態において、評価エンジンによって提供される評価スコアは、評価モデルに利用できない、又は関連しない他の要因又は基準に基づいて生成されてもよい。いくつかの実施形態において、このような要素又は基準は、ユーザフィードバック、組織要件（例えば、設定情報）、組織又はコミュニティ活動に関連する測定基準などに基づいてもよい。

ブロック１００８では、様々な実施形態のうちの１つ以上において、評価エンジンは、評価モデルによって提供される結果をフィルタリング又はランク付けするようにアレンジされてもよい。様々な実施形態のうちの１つ以上において、評価モデルは、ミラージュ判定の質の自己評価を表す１つ以上の評価スコアを提供するようにアレンジされてもよい。

また、様々な実施形態のうちの１つ以上において、評価エンジンは、評価モデルによって提供される評価スコアを修正して、最終評価スコアを提供するようにアレンジされてもよい。

したがって、様々な実施形態のうちの１つ以上において、評価エンジンは、規則、条件等に基づいて１つ以上の評価モデルをフィルタ除去することに基づいて、１つ以上の判定されたミラージュを除去するようにアレンジされてもよい。例えば、いくつかの実施形態において、評価エンジンは、定義されたしきい値を下回る評価スコアに関連する１つ以上のミラージュを自動的に除外するように構成されてもよい。

また、様々な実施形態のうちの１つ以上において、可視化モデル、データソース、データ、ユーザ、組織などのうちの１つ以上のうちの他の基準又は特徴が、１つ以上の評価又はミラージュをフィルタ除去するために実行され得る条件、規則などに組み込まれてもよい。例えば、いくつかの実施形態において、フィルタは、１つ以上のユーザ役割に関連する条件を含んでもよい。したがって、例えば、フィルタは、いくつかのユーザ役割に対してより包含的であるか、又は他のユーザ役割に対してより包含的でないように構成されてもよい。したがって、この例において、評価レポートに含まれる潜在的なミラージュの数は、データ科学者の場合には増加してもよいし、通常のユーザの場合には減少してもよい。

いくつかの実施形態において、フィルタリングに使用される他の基準又は特徴は、組織の好み、ユーザの好み、ローカライズ、ユーザ入力、他の設定情報などを含む様々なソースに基づいてもよい。

同様に、様々な実施形態のうちの１つ以上において、評価エンジンは、様々な条件、規則、基準、又は特徴に基づいて、１つ以上の発見されたミラージュをランク付けするようにアレンジされてもよい。例えば、いくつかの実施形態において、発見されたミラージュ（例えば、潜在的なミラージュ）は、評価スコアなどに基づいてランク付けされてもよい。さらに、例えば、いくつかの実施形態において、１つ以上の説明は、ユーザの好み、組織の好みなどに基づいてランク付けされてもよい。

フィルタと同様に、いくつかの実施形態において、ランク付けの説明に使用される様々な条件、規則、測定基準、又は特徴は、組織の好み、ユーザの好み、ローカライズ、ユーザ入力、他の設定情報などを含む様々なソースに基づいてもよい。

ブロック１０１０では、様々な実施形態のうちの１つ以上において、評価エンジンは、ミラージュ評価レポートを生成するようにアレンジされてもよい。様々な実施形態のうちの１つ以上において、ミラージュ評価レポートは、潜在的又は発見されたミラージュのランク付けされたリスト、様々なミラージュの１つ以上の特性の説明、ミラージュが異なるコンテキスト又はビューにおいてどのように現れるかを示す可視化などを含む、様々な情報を含んでもよい。

次に、様々な実施形態のうちの１つ以上において、制御は、呼び出しプロセスに戻されてもよい。

図１１は、様々な実施形態のうちの１つ以上による、１つ以上の可視化ミラージュを含み得る可視化を判定するプロセス１１００のフローチャートを示す。開始ブロックの後、ブロック１１０２では、様々な実施形態のうちの１つ以上において、評価エンジンには、オリジナルの可視化が提供されてもよい。したがって、様々な実施形態のうちの１つ以上において、評価エンジンには、可視化モデル、１つ以上のデータモデル、１つ以上のデータソースなどに基づいて生成された可視化が提供されてもよい。

様々な実施形態のうちの１つ以上において、評価エンジンには、可視化を生成するために使用され得るモデル、データ、又は情報が提供されてもよい。

ブロック１１０４では、様々な実施形態のうちの１つ以上において、評価エンジンは、次の評価モデルを判定するようにアレンジされてもよい。上述したように、いくつかの実施形態において、所与の可視化においてミラージュを発見するために用いられ得るいくつかの異なる評価モデルがあり得る。いくつかの実施形態において、評価モデルは、任意の順序で提供され得る。しかしながら、いくつかの実施形態において、異なるタイプ又はクラスの評価モデルは、それらが一緒に又はほぼ時間内に用いられ得るようにグループ化されてもよい。例えば、いくつかの実施形態において、可視化ミラージュの判定の一部として同じ処理アクションのうちの１つ以上を必要とする１つ以上のクラスの評価モデルがあってもよい。したがって、いくつかの実施形態において、同じデータ処理のいくつかに依存し得る評価モデルは、一緒に又はほぼ時間内に実行されてもよい。

同様に、いくつかの実施形態において、２つ以上の評価モデルが、同一又は類似のタイプのミラージュに向けられてもよい。したがって、いくつかの実施形態において、評価モデルが同じタイプのミラージュに向けられる場合、より少ないリソースを消費する（又はより速い）モデルは、より多くのリソースを消費するモデルが実行される前に適用されるように順序付けされる。

また、いくつかの実施形態において、評価エンジンは、１つ以上の最近の規則に基づくシーケンス評価モデルを順序付けするようにアレンジされてもよい。いくつかの実施形態において、評価エンジンは、個々の制作者、データソース、データモデル、組織、可視化クラスなどのためのミラージュ履歴を追跡又は記録するようにアレンジされてもよい。したがって、様々な実施形態のうちの１つ以上において、ミラージュ履歴は、シーケンス評価モデルを順序付け又はソートするために考慮されてもよい。例えば、いくつかの実施形態において、特定の可視化制作者が特定のクラスのミラージュを導入した履歴を有する場合、そのようなミラージュを発見するために使用される評価モデルが最初に実行されてもよい。

しかしながら、いくつかの実施形態において、評価エンジンは、ローカルの状況又は状態を考慮するように用いられ得る設定情報を介して規則、命令などを用いるようにアレンジされてもよい。

ブロック１１０６では、様々な実施形態のうちの１つ以上において、評価エンジンは、現在の評価モデルに基づいて１つ以上の試験可視化をレンダリングするようにアレンジされてもよい。上述のように、評価モデルは、オリジナルの可視化の生成に使用されたものと同じデータに基づいて試験可視化を生成するための１つ以上の命令を含んでもよい。例えば、いくつかの実施形態において、評価モデルは、軸のスワッピング、ベースライン値の調整、アグリゲートに使用するサンプリングデータ値、異なるマークのプロット順序の変更など、又はそれらの組み合わせなど、試験可視化を生成するために用いられ得る修正された可視化モデルを生成するための規則を定義してもよい。いくつかの実施形態において、データソースからの追加フィールドを含めるか、又は置き換えて、試験可視化を生成してもよい。

ブロック１１０８では、様々な実施形態のうちの１つ以上において、評価エンジンは、オリジナルの可視化を試験可視化と比較して、オリジナルの可視化に含まれるミラージュがあり得るかどうかを判定するようにアレンジされてもよい。

様々な実施形態のうちの１つ以上において、特定の比較及び関連する基準は、与えられた評価モデルに依存してもよい。したがって、いくつかの実施形態において、上述したように、評価モデルは、比較がどのように実行され得るか、及び比較の結果がどのように解釈され得るかを判定し得る１つ以上の規則、指示、条件、パラメータなどを含み得るか、又はそれらを参照してもよい。

様々な実施形態のうちの１つ以上において、比較は、様々なマシンビジョン又は統計分析が、オリジナルの可視化を試験可視化と比較するために実行されることを可能にする平坦化画像（例えば、ビットマップなど）の生成又はレンダリングを含んでもよい。

いくつかの実施形態において、評価エンジンは、従来のマシンビジョン方法を実行して、オリジナルの可視化又は試験可視化の間の様々な差を定量化するようにアレンジされてもよい。例えば、いくつかの実施形態において、可視化がロバストである場合（例えば、ミラージュがない可視化）、データ又は可視化モデルの軽微な変化は、可視化の見かけに軽微な変化をもたらすことが期待されるべきである。同様に、多くの場合、可視化の見かけ（例えば、色、プロットの順序、向きなど）に対する実質的でない変化は、それ以外はロバストな可視化に対して、可視化の見かけに軽微な変化を生成するべきである。

判定ブロック１１１０において、様々な実施形態のうちの１つ以上において、オリジナルの可視化と１つ以上の試験可視化との間の偏り（ｄｅｖｉａｔｉｏｎ）が定義されたしきい値を超える場合、制御はブロック１１１２に流れてもよく、そうでなければ、制御は判定ブロック１１１４に流れてもよい。上述のように、評価モデルは、特定のミラージュが検出された確率又は信頼スコアを表し得る評価スコアを生成するようにアレンジされ得る。

ブロック１１１２において、様々な実施形態のうちの１つ以上において、評価エンジンは、評価スコアを含む評価情報をオリジナルの可視化に関連させるようにアレンジされてもよい。したがって、いくつかの実施形態において、関連する評価情報は、評価された可視化のユーザ又は制作者に提供されてもよい。例えば、ミラージュが検出され得る場合、ミラージュのタイプ、ミラージュの発見を可能にしたデータ又は見かけの変化などを示すレポートが生成されるか、又は１つ以上のユーザに提供されてもよい。

様々な実施形態のうちの１つ以上において、評価モデルは、判定の強度又は品質を示すことができる評価スコアなど（例えば、信頼スコア）を提供するようにアレンジされてもよい。したがって、様々な実施形態のうちの１つ以上において、評価エンジンは、オリジナルの可視化と試験可視化との間の特定の偏りではなく、評価モデルによって提供される評価スコアを用いてもよい。

判定ブロック１１１４では、様々な実施形態のうちの１つ以上において、実行するためのさらなる評価モデルがあり得る場合、制御はブロック１１０４にループバックしてもよく、そうでなければ、制御は呼び出しプロセスに戻されてもよい。

図１２は、様々な実施形態のうちの１つ以上による、１つ以上の可視化ミラージュを含み得る可視化を評価するためのプロセス１２００のフローチャートを示す。開始ブロックの後、ブロック１２０２において、様々な実施形態のうちの１つ以上において、評価エンジンには、１つ以上の評価モデル及び１つ以上の可視化を提供されてもよい。上述のように、いくつかの実施形態では、１つ以上の評価モデルが、可視化ミラージュを検出するために定義されてもよい。したがって、いくつかの実施形態において、評価エンジンは、データ記憶デバイスなどから１つ以上の評価モデルを取得するようにアレンジされてもよい。いくつかの実施形態において、評価エンジンは、設定情報を介して提供され得る規則、条件等に基づいて特定の評価モデルを判定するようにアレンジされてもよい。

様々な実施形態のうちの１つ以上において、評価エンジンは、可視化が１つ以上のミラージュに関連し得るかどうかを査定するために、異なる評価モデルのパイプラインを用いるようにアレンジされてもよい。いくつかの実施形態において、パイプラインの各段階は、最終的な可視化に寄与する情報処理の異なる段階と関連してもよい。いくつかの実施形態において、このパイプラインの各段階は、可視化ミラージュの導入を可能にしてもよい。したがって、いくつかの実施形態において、評価モデルは、パイプラインの各段階のために設計又は構成されてもよい。

ブロック１２０４において、様々な実施形態のうちの１つ以上において、評価エンジンは、データキュレーションに向けられ得る１つ以上の評価モデルを実行するようにアレンジされてもよい。したがって、様々な実施形態のうちの１つ以上において、評価モデルは、可視化を生成するために使用されるデータのキュレーションの様々な特性を査定するようにアレンジされてもよい。いくつかの実施形態では、これは、欠落又は反復したレコード、外れ値、スペルミス、ドリルダウンバイアスなど、可視化が基にし得るソースデータの様々な特徴を査定することを含んでもよい。

１つ以上の実施形態では、欠落又は反復したレコードが関心の対象となることがある。なぜなら、ユーザは、可視化に関連する各データに対して１つのエントリしかないと想定することが多いことがあるためである。しかし、場合によっては、データ入力又は統合により、不正確なアグリゲートやグルーピングをもたらし得る欠落又は反復した値をもたらすことがある。

様々な実施形態のうちの１つ以上において、多くの形態の分析は、データが類似の大きさを有し、類似のプロセスによって生成されたと想定することができるため、外れ値が関心の対象となってもよい。したがって、いくつかの実施形態において、異常値は、誤った値であろうと、予期せぬ極端な値であろうと、アグリゲーションに大きな影響を及ぼし、多くの統計的試験及び要約の背後にある想定の信憑性を損なうことがある。

様々な実施形態のうちの１つ以上において、スペルミスは、関心の対象となることがある。なぜなら、場合によっては、文字列の列が、アグリゲーションの目的のためにカテゴリーデータとして解釈されることがあるためである。したがって、いくつかの実施形態において、このように解釈される場合、タイプミス又は一貫性のないスペル及び大文字化は、偽のカテゴリを生成したり、アグリゲートクエリから重要なデータを除去したりする可能性がある。

様々な実施形態のうちの１つ以上において、ドリルダウンバイアスは、関心の対象となることがある。なぜなら、ユーザは、データが調査される順序が彼らの結論に影響を与えないであろうと想定するためである。しかし、場合によっては、最初にあまり説明的でない変数又は関連する変数についてフィルタリングすることによって、後の変数の影響の全範囲が隠されることがある。したがって、いくつかの実施形態において、これは、データの小さな部分がより大きな全体に当てはまるときに、データの小さな部分のみを扱う洞察をもたらすことがある。

ブロック１２０６において、様々な実施形態のうちの１つ以上において、評価エンジンは、データ処理又はデータ変換に向けられ得る１つ以上の評価モデルを実行するようにアレンジされてもよい。

したがって、様々な実施形態のうちの１つ以上において、評価モデルは、グループごとに異なるレコードの数の存在についてデータ処理を分析するようにアレンジされてもよい。いくつかの態様において、これらは、アグリゲートを含む特定の要約統計が、サンプルサイズに敏感であり得るため、関心の対象となることがある。しかしながら、単一の可視化マークにアグリゲートされるレコードの数は、劇的に変動してもよい。場合によっては、この不一致が感度をマスクし、マークごとの比較を妨害することがある。また、いくつかの実施形態において、異なるレベルのアグリゲーションと組み合わされる場合、それは、Ｓｉｍｐｓｏｎのパラドックスのような直観に反する結果をもたらすことがある。

様々な実施形態のうちの１つ以上において、評価モデルは、可視化において使用され得るチェリーピックされたデータの程度を判定するようにアレンジされ得る。いくつかの実施形態では、フィルタリング及びサブセットは、無関係なデータを除去する、又はユーザが関心のある特定の領域に焦点を合わせることを可能にするツールであることを意味する。しかし、このフィルタリングがあまりにも攻撃的である場合、又はユーザが一般的な傾向ではなく個々の例に焦点を当てる場合、このチェリーピッキングは、変数間の関係について誤った結論又は偏った見方を助長することがある。したがって、いくつかの実施形態において、より広範なデータセットを文脈で保持することができないと、テキサスの狙撃兵の誤謬又は他の形態のＨＡＲＫｉｎｇをもたらすことがある。

様々な実施形態のうちの１つ以上において、評価モデルは、自由度が可視化にどの程度影響し得たかを判定するようにアレンジされてもよい。いくつかの実施形態において、これは、関心の対象となることがある。なぜなら、制作者の可視化は、ユーザがデータを分析する方法において非常に柔軟性があるためである。いくつかの実施形態において、そのような「研究者の自由度」は、分析者によってなされた選択に対して非常に特異的であり得る結論を作成し、又は悪意のある意味で、分析者が事前に与えられた結論に対する最良の支持を見つけるためにパラメータ空間を探索する「ｐ－ハッキング」を助長することがある。いくつかの実施形態において、遭遇し得る関係する問題は、ユーザが非常に多くの選択を行って、たとえデータに強力な信号がない場合でも、偶然に、少なくとも１つの構成が重要に見える可能性が高いという「多重比較問題」である。

様々な実施形態のうちの１つ以上において、評価モデルは、可視化に影響し得た混乱する補定の程度を判定するようにアレンジされてもよい。いくつかの実施形態では、これは、関心の対象となることがある。なぜなら、新しい値の補定を含む、欠落又は不完全なデータを扱うための多くの戦略があるためである。したがって、いくつかの実施形態において、値がどのように補定され、次いで、これらの補定値がデータの残りの文脈においてどのように可視化されるかは、データがどのように知覚されるかに影響を与える可能性があり、これは、欠損値が可視化の前にどのように扱われるかの単なるアーチファクトであり得る偽の傾向又はグループ差を作成し得る。

ブロック１２０８において、様々な実施形態のうちの１つ以上において、評価エンジンは、可視化を評価するようにアレンジされてもよい。様々な実施形態のうちの１つ以上において、評価モデルは、可視化の見かけが１つ以上の可視化ミラージュに寄与し得るかどうかを判定するようにアレンジされ得る。

様々な実施形態のうちの１つ以上において、評価モデルは、可視化が非合理な可視化を含むかどうかを査定するようにアレンジされてもよい。いくつかの実施形態において、これらは、関心の対象となることがある。なぜなら、ユーザは、チャートのように見えるグラフィックがデータと画像との間のマッピングであることを期待するためである。場合によっては、装飾として使用されている可視化（マークがデータに関係しない）は、実際の情報と間違えられる可能性のある非情報を提示する。したがって、場合によっては、データが正確であっても、追加の正当化されていない注釈は、偽の近似線などで相関のないデータを装飾するなど、誤解を招く印象を生成する可能性がある。

様々な実施形態のうちの１つ以上において、評価モデルは、可視化が過剰プロットを含むかどうかを査定するためにアレンジされてもよい。いくつかの実施形態において、これは、関心の対象となることがある。なぜなら、ユーザは、典型的には、可視化において個々のマークを明確に識別することができることを期待し、１つの視覚的マークが単一の値又はアグリゲート値に対応することを期待するためである。しかし、場合によっては、重なっているマークが、分散における内部構造を隠したり、潜在的なデータ品質問題を偽装する可能性がある。

様々な実施形態のうちの１つ以上において、評価モデルは、可視化が隠された不確実性を含むかどうかを査定するためにアレンジされてもよい。いくつかの実施形態では、これは、関心の対象となることがある。なぜなら、不確実性リスクを含むことを示さない可視化は、情報が明確に提示されていないことを読者が気付かない場合、誤った印象及びデータの極端な不信の可能性を与えることがあるためである。場合によっては、たとえ信憑性の証拠がなくても、データが高品質であるか、又は完全であると誤って仮定する傾向もある。

様々な実施形態のうちの１つ以上において、評価モデルは、可視化がスケールの操作を含むかどうかを査定するためにアレンジされてもよい。いくつかの実施形態において、これは、関心の対象となることがある。なぜなら、可視化の軸及びスケールが、定量的情報を直接的に表すようにユーザによって推定されるためである。しかしながら、これらのスケールの操作（例えば、それらをそれらの一般的に想定される方向から反転させること、データの範囲に関してそれらを切り捨てるか又は拡張すること、非線形変換を使用すること、二重軸を使用することなどにより）は、閲覧者が、例えば、相関を誇張すること、エフェクトサイズを誇張すること、エフェクトの方向を誤って解釈することなどにより、チャート中のデータを誤って解釈することを引き起こし得る。

ブロック１２１０では、様々な実施形態のうちの１つ以上において、評価エンジンは、可視化に関連し得るリーダ効果を評価するようにアレンジされてもよい。

様々な実施形態のうちの１つ以上において、評価モデルは、可視化がベースレートバイアスを含むかどうかを査定するようにアレンジされてもよい。いくつかの実施形態では、これは関心の対象となることがある。なぜなら、ユーザは、可視化における予期しない値が信頼できる差の象徴であると想定することがあるためである。しかし、場合によっては、読者は、関連する基本レート、すなわち、見えているものを驚くべき値とする相対的な可能性、又は、分析プロセス全体の誤った発見レートを認識しないことがある。

様々な実施形態のうちの１つ以上において、評価モデルは、可視化が１つ以上のアクセス不能な可視化に依存するかどうかを評価するためにアレンジされてもよい。いくつかの実施形態では、これは、興味の対象となることがある。なぜなら、可視化の制作者は、ユーザが均一なグループであることを想定し得るためである。しかし、人によって可視化を読む方法は不均一であり、基礎となる知覚能力や、可視化の制作者によって見落とされ得る認知的背景に依存することがある。したがって、いくつかの態様において、これらの差の不十分な注意深さは、誤った通信をもたらすことがある。例えば、いくつかの実施形態に対して、色覚障害のあるユーザは、可視化の作成者が２つの色が別々であることを意図したときに、２つの色を同一と解釈することがある。

様々な実施形態のうちの１つ以上において、評価モデルは、可視化がアンカリング効果を含み得るかどうかを評価ようにアレンジされてもよい。いくつかの実施形態において、これは、関心の対象となることがある。なぜなら、初期の情報のフレーミングは、後続の判断を誘導する傾向があるためである。場合によっては、これは、読者が初期の観察に不当な修辞的重みを置くことになり、これは、その後の観察を過小評価したり、信用しなくなったりすることを引き起こすことがある。

様々な実施形態のうちの１つ以上において、評価モデルは、可視化が解釈におけるバイアスを冗長し得るかどうかを査定するためにアレンジされてもよい。いくつかの実施形態では、これは、関心の対象となることがある。なぜなら、各閲覧者は、独自の先入観、バイアス、及び認識論フレームワークで可視化に到達するためである。したがって、いくつかの実施形態において、これらのバイアスが注意深く考慮されない場合、バックファイア効果又は確認バイアスなどの様々な認知的バイアスは、閲覧者に、先入観を支持するデータ（又はデータの読み取り）のみにアンカリングさせ、見解に一致しないデータを拒絶させ、一般に、証拠の強さのより全体論的なピクチャを無視させる可能性がある。

ブロック１２１２では、様々な実施形態のうちの１つ以上において、評価エンジンは、可視化ミラージュの同じ又は他のソースに向けられ得る１つ以上の他の評価モデルを実行するようにアレンジされてもよい。

したがって、いくつかの実施形態において、評価エンジンは、１つ以上のカスタマイズされた、又はローカライズされた評価モデルの取得又はそれ以外の方法での判定を含め、ローカルの状況を考慮するように、設定情報によって提供され得る１つ以上の規則、命令、条件などを用いるようにアレンジされ得る。

次に、様々な実施形態のうちの１つ以上において、制御は、呼び出しプロセスに戻されてもよい。

各フローチャート図における各ブロック、及び各フローチャート図におけるブロックの組み合わせは、コンピュータプログラム命令によって実装され得ることが理解されよう。これらのプログラム命令は、プロセッサに提供されて、プロセッサ上で実行される命令が、各フローチャートブロック又は複数のブロックにおいて指定されたアクションを実装するための手段を作成するように、マシンを生成する。コンピュータプログラム命令は、プロセッサによって実行されて、一連の動作ステップをプロセッサによって実行させて、プロセッサ上で実行される命令が、各フローチャートブロック又は複数のブロックにおいて指定されたアクションを実装するためのステップを提供するように、コンピュータ実装プロセスを生成する。コンピュータプログラム命令はまた、各フローチャートのブロックに示される動作ステップの少なくともいくつかを並列に実行させてもよい。さらに、ステップのいくつかはまた、マルチプロセッサコンピュータシステムで発生し得るように、２つ以上のプロセッサにわたって実行され得る。追加的に、各フローチャート図における１つ以上のブロック又はブロックの組み合わせは、本発明の範囲又は精神から逸脱することなく、他のブロック又はブロックの組み合わせと同時に、又は図とは異なるシーケンスであっても実行され得る。

したがって、各フローチャート図における各ブロックは、指定されたアクションを実行するための手段の組み合わせ、指定されたアクションを実行するためのステップの組み合わせ、及び指定されたアクションを実行するためのプログラム命令手段をサポートする。各フローチャート図における各ブロック、及び各フローチャート図におけるブロックの組み合わせは、指定されたアクション又はステップを実行する特殊目的のハードウェアベースのシステム、又は特殊目的のハードウェア及びコンピュータ命令の組み合わせによって実装され得ることも理解されよう。前述の例は、限定的又は網羅的として解釈されるべきではなく、本発明の様々な実施形態のうちの少なくとも１つの実装を示すための例示的な使用事例である。

さらに、１つ以上の実施形態（図示せず）において、例示的なフローチャートにおける論理は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルアレイ論理（ＰＡＬ）など、又はそれらの組み合わせなどのＣＰＵの代わりに、組み込み論理ハードウェアデバイスを使用して実行されてもよい。組み込み論理ハードウェアデバイスは、その組み込み論理を直接実行してアクションを実行してもよい。１つ以上の実施形態において、マイクロコントローラは、それ自身の組み込み論理を実行してアクションを実行し、それ自身の内部メモリ並びにそれ自身の外部入力及び出力インターフェース（例えば、ハードウェアピン又は無線トランシーバ）にアクセスして、システムオンチップ（ＳＯＣ）などのアクションを実行するようにアレンジされてもよい。

Claims (15)

1. アクションを実行するための命令を実行する１つ以上のプロセッサを使用して、データの可視化を管理するための方法であって、前記アクションは、
   データソースからのデータに基づいた１つ以上の可視化を提供することと、
   前記１つ以上の可視化に基づいて１つ以上の評価モデルを判定することであって、前記１つ以上の評価モデルは、前記１つ以上の可視化における１つ以上のミラージュを検出するようにアレンジされており、前記１つ以上のミラージュは、前記１つ以上の可視化において視覚的に誤解を招くようなデータの提示である、ことと、
   前記１つ以上の評価モデルを用いて、前記１つ以上の可視化及び前記データソースからのデータに基づいて、１つ以上の評価結果を判定することであって、各評価結果は、前記１つ以上のミラージュの検出に対応する評価スコアを含む、ことと、
   前記評価スコアに基づいて、前記１つ以上の評価結果をランク付けすることと、
   前記１つ以上の評価結果のランク付けされたリストを含むレポートを提供することと、を含む、方法。
2. 前記１つ以上の評価モデルを用いて、前記１つ以上の評価結果を判定することは、
   前記１つ以上の可視化に基づいて１つ以上の試験可視化を生成することであって、各試験可視化は前記１つ以上の評価モデルに基づいて修正される、ことと、
   前記１つ以上の試験可視化と前記１つ以上の可視化との差を比較することと、
   前記比較に基づいて、前記１つ以上のミラージュの検出に対応する確率スコアを判定することであって、前記確率スコアは、比較された前記差の大きさに比例する、ことと、をさらに含む、請求項１に記載の方法。
3. 前記１つ以上の評価モデルを用いて、前記１つ以上の評価結果を判定することは、前記１つ以上の可視化に関連する前記データを評価して、欠落又は反復したレコード、スペルミス、ドリルダウンバイアス、グループ毎の異なるレコードの数、又は誤解を招くデータの選択のうちの１つ以上を判定することをさらに含む、請求項１に記載の方法。
4. 前記１つ以上の評価モデルを用いて、前記１つ以上の評価結果を判定することは、前記１つ以上の可視化を評価して、非合理な可視化、過剰プロット、隠れた不確実性、又はスケールの操作を含む、１つ以上のタイプのミラージュを判定することをさらに含む、請求項１に記載の方法。
5. 前記１つ以上の評価モデルを用いて、前記１つ以上の評価結果を判定することは、
   前記データソースに含まれており、前記１つ以上の可視化から除外される前記１つ以上の可視化に関連するデータを評価することと、
   前記評価に基づいて前記１つ以上の評価結果の一部分を生成することと、さらに含む、請求項１に記載の方法。
6. 前記レポートを提供することは、前記１つ以上の評価モデル、前記１つ以上の評価結果、又は前記１つ以上のミラージュのうちの１つ以上に関連する１つ以上の他の可視化を生成することをさらに含む、請求項１に記載の方法。
7. 可視化を管理するための命令を含むプロセッサ可読非一時的な記憶媒体であって、１つ以上のプロセッサによる前記命令の実行は、
   データソースのデータに基づいて１つ以上の可視化を提供することと、
   前記１つ以上の可視化に基づいて１つ以上の評価モデルを判定することであって、前記１つ以上の評価モデルは、前記１つ以上の可視化における１つ以上のミラージュを検出するようにアレンジされており、前記１つ以上のミラージュは、前記１つ以上の可視化において視覚的に誤解を招くようなデータの提示である、ことと、
   前記１つ以上の評価モデルを用いて、前記１つ以上の可視化及び前記データソースからのデータに基づいて、１つ以上の評価結果を判定することであって、各評価結果は、１つ以上のミラージュの検出に対応する評価スコアを含む、ことと、
   前記評価スコアに基づいて、前記１つ以上の評価結果をランク付けすることと、
   前記１つ以上の評価結果のランク付けされたリストを含むレポートを提供することと、を含むアクションを実行する、媒体。
8. 可視化を管理するためのシステムであって、
   ネットワークコンピュータであって、
   ネットワークを介して通信するトランシーバと、
   少なくとも命令を記憶するメモリと、
   アクションを実行する命令を実行する１つ以上のプロセッサと、を含み、前記アクションは、
   データソースのデータに基づいて１つ以上の可視化を提供することと、
   前記１つ以上の可視化に基づいて１つ以上の評価モデルを判定することであって、前記１つ以上の評価モデルは、前記１つ以上の可視化における１つ以上のミラージュを検出するようにアレンジされており、前記１つ以上のミラージュは、１つ以上の可視化において視覚的に誤解を招くようなデータの提示である、ことと、
   前記１つ以上の評価モデルを用いて、前記１つ以上の可視化及び前記データソースからのデータに基づいて、１つ以上の評価結果を判定することであって、各評価結果は、１つ以上のミラージュの検出に対応する評価スコアを含む、ことと、
   前記評価スコアに基づいて、前記１つ以上の評価結果をランク付けすることと、
   前記１つ以上の評価結果のランク付けされたリストを含むレポートを提供することと、を含むアクションを実行することと、を含む、ネットワークコンピュータと、
   クライアントコンピュータであって、
   前記ネットワークを介して通信するトランシーバと、
   少なくとも命令を記憶するメモリと、
   アクションを実行する命令を実行する１つ以上のプロセッサと、を含み、前記アクションは、
   前記レポートを受信することを含む、クライアントコンピュータと、を含む、システム。
9. 前記１つ以上の評価モデルを用いて、前記１つ以上の評価結果を判定することは、
   前記１つ以上の可視化に基づいて１つ以上の試験可視化を生成することであって、各試験可視化は前記１つ以上の評価モデルに基づいて修正される、ことと、
   前記１つ以上の試験可視化と前記１つ以上の可視化との差を比較することと、
   前記比較に基づいて、前記１つ以上のミラージュの検出に対応する確率スコアを判定することであって、前記確率スコアは、比較された前記差の大きさに比例する、ことと、をさらに含む、請求項８に記載のシステム。
10. 前記１つ以上の評価モデルを用いて、前記１つ以上の評価結果を判定することは、前記１つ以上の可視化に関連する前記データを評価して、欠落又は反復したレコード、スペルミス、ドリルダウンバイアス、グループ毎の異なるレコードの数、又は誤解を招くデータの選択のうちの１つ以上を判定することをさらに含む、請求項８に記載のシステム。
11. 前記１つ以上の評価モデルを用いて、前記１つ以上の評価結果を判定することは、前記１つ以上の可視化を評価して、非合理な可視化、過剰プロット、隠れた不確実性、又はスケールの操作を含む、１つ以上のタイプのミラージュを判定することをさらに含む、請求項８に記載のシステム。
12. 前記１つ以上の評価モデルを用いて、前記１つ以上の評価結果を判定することは、
    前記データソースに含まれており、前記１つ以上の可視化から除外される前記１つ以上の可視化に関連するデータを評価することと、
    前記評価に基づいて前記１つ以上の評価結果の一部分を生成することと、さらに含む、請求項８に記載のシステム。
13. 前記レポートを提供することは、前記１つ以上の評価モデル、前記１つ以上の評価結果、又は前記１つ以上のミラージュのうちの１つ以上に関連する１つ以上の他の可視化を生成することをさらに含む、請求項８に記載のシステム。
14. 可視化を管理するためのコンピュータであって、
    ネットワークを介して通信するトランシーバと、
    少なくとも命令を記憶するメモリと、アクションを実行する命令を実行する１つ以上のプロセッサと、前記アクションは、
    データソースのデータに基づいて１つ以上の可視化を提供することと、
    前記１つ以上の可視化に基づいて１つ以上の評価モデルを判定することであって、前記１つ以上の評価モデルは、前記１つ以上の可視化における１つ以上のミラージュを検出するようにアレンジされており、前記１つ以上のミラージュは、前記１つ以上の可視化において視覚的に誤解を招くようなデータの提示である、ことと、
    前記１つ以上の評価モデルを用いて、前記１つ以上の可視化及び前記データソースからのデータに基づいて、１つ以上の評価結果を判定することであって、各評価結果は、１つ以上のミラージュの検出に対応する評価スコアを含む、ことと、
    前記評価スコアに基づいて、前記１つ以上の評価結果をランク付けすることと、
    前記１つ以上の評価結果のランク付けされたリストを含むレポートを提供することと、を含むアクションを実行することと、を含む、コンピュータ。
15. 前記１つ以上の評価モデルを使用して、前記１つ以上の評価結果を判定することは、
    前記１つ以上の可視化に基づいて１つ以上の試験可視化を生成することであって、各試験可視化は前記１つ以上の評価モデルに基づいて修正される、ことと、
    前記１つ以上の試験可視化と前記１つ以上の可視化との差を比較することと、
    前記比較に基づいて、前記１つ以上のミラージュの検出に対応する確率スコアを判定することであって、前記確率スコアは、比較された前記差の大きさに比例する、ことと、をさらに含む、請求項１４に記載のコンピュータ。

Images