JP7790835B2 - ファイル・システム・ディレクトリ・ツリーまたはオブジェクト格納バケットに基づくカスタム・メタデータ・タグ継承 - Google Patents

Description

本開示は、一般に、改善されたデータ管理、組織化および格納に関し、より詳細には、大規模なデータベースまたは膨大なデータが処理され、格納される、データ処理および格納システムに関する。具体的には、本開示は、コンピュータ化された環境において、データおよびメタデータ、好ましくは大規模なデータおよびメタデータの集合を格納し、ソートし、組織化し、管理し、および検索するためのシステムおよび方法に関する。

電子データ・ストレージの使用が広く普及している。ネットワーク・ストレージの適応および作成され電子データの量の比較的迅速な増加により、大容量の電子データの組織化、格納および管理が必要となる。大規模コンピュータ・システムに利用可能なストレージ設備は、ユーザが、大きなデータ集合に、データを格納し、更新し、またはこれらから呼び出すことを可能にする。顕著な量のデジタル情報に対処するユーザおよび組織にとって、しばしば、効率的かつ直感的なやり方でファイルを管理および検索することが困難となる。容易に文書およびコンテンツを格納し、組織化し、検索し、見つけ出し、管理することができないことは、有意な非効率性および損失機会と理解することができる。

コンピュータ資源を有効利用するために、データは、検索プロセスを効率的にするために知的に組織化されるべきである。データは、収集されて、ファイルもしくはオブジェクトまたはその両方として格納され得る。ファイルもしくはオブジェクトまたはその両方は、典型的には、データを含み、また、メタデータを含む可能性がある。メタデータは、基本的には、データに関するデータである。メタデータは、特定のコンテンツ、データまたはデータ・セットに関連付けられるコンピュータ処理可能な形態の任意の記述または識別情報を参照する。一般的にいって、コンテンツは、コンテンツもしくはコンテンツ集合全体またはその両方の多くの特性に関連するメタデータを有するであろう。カスタム・メタデータ・タグまたは属性とも参照される、メタデータ・タグまたはメタデータ属性は、特定のメタデータに関連する、典型的にはコンピュータ処理可能な形態における任意の記述または識別情報を参照し、種々のデータ格納システムに含まれ、メタデータが関連付けられる、実際の情報またはコンテンツを指示する。ファイルは、典型的には、ファイル・システムまたはデータベースに格納され、また組織化される。バケットは、データおよびメタデータを含むオブジェクトを格納するために使用される。バケットは、例えばＩＢＭ Ｃｌｏｕｄ（登録商標）Ｏｂｊｅｃｔ Ｓｔｏｒａｇｅにおけるストレージの論理ユニットである。

多数の異なる種類のデータ構造が、データを格納し、ソートし、組織化し、管理し、検索し、見つけ出すために、データ処理および格納システムにおいて使用され得る。これらのデータ構造には、連結リスト、ハッシュ・テーブルおよびツリー構造が含まれる。ツリー構造、例えば、データ・ツリーは、順序付けられたデータ格納システムまたはデータベース内で特定の項目を見つけるために実行される操作の回数を最適化するための技術としてしばしば使用される。一般に、データ格納システムまたはデータベース内の大きなデータ集合には、ディレクトリ、バケットまたはインデックスが関連付けられ、これらは、ファイル・キャビネットの引出しおよびフォルダ上のラベルと同様に、所望の項目を含むデータベースまたはデータ格納システムの一部に検索を指示することによって検索の速度を速める。ディレクトリまたはバケットが大きい場合には、さらに検索を高速化するために、別のインデックス、ディレクトリまたはバケットがその上に構築されもよい。結果として得られた階層は、ツリーと参照される。ツリー内でデータ、ファイルおよびオブジェクトを組織化することにより、データ、ファイルまたはオブジェクトをより効率的に検索し、見つけ出すことが支援される。

ファイル、オブジェクトおよびデータは、また、メタデータを検索することによっても見つけ出され得る。データベース、特に大きなデータベースのユーザは、ファイル、オブジェクトおよびデータを検索するためにメタデータを使用する。ユーザは、カスタム・メタデータ・タグのようなメタデータがソース格納システムとは別個に格納され、ソース格納システムとは独立してメタデータを迅速かつ効率的に検索できることを望む。これは、ソース格納システムのメタデータ上の検索が遅い可能性があり、ソース格納システム上で性能上の密接な関係を有し、検索者が、メタデータを検索するために各ソース格納システムで別個に行う必要があるからである。

既存のシステムは、しかしながら、ソース格納システム上のデータとは別個にカスタム・メタデータ・タグが格納される（例えば、インラインで格納されない）ソース格納システム上のディレクトリにファイルが作成されたときに、ソース格納ファイル・システム内のディレクトリにセットされたカスタム・メタデータ・タグが継承されることを許可しない。例えば、ソース格納システムがデータとインラインでメタデータを格納し、ソース格納ファイルのディレクトリが、拡張属性内にセットされたカスタム・メタデータ・タグを有する場合、ソース格納システムのディレクトリに新しいファイルが作成されたとき、既存のシステムは、アプリケーションまたはユーザが、より高いレベルのディレクトリからカスタム・メタデータ・タグを取得し、それをディレクトリ内の新しく生成されたファイルに手動またはプログラムで適用することを要求する。既存のシステムは、また、カスタム・メタデータ・タグがソース格納システム上のデータとは別個に格納される（インラインで格納されない）バケット内にオブジェクトが生成されるとき、バケット・レベルでセットされたカスタム・メタデータ・タグが継承されることを許可しない。例えば、ソース格納システムが、データとインラインでメタデータを格納し、ソース・オブジェクト格納システムのバケットが、拡張属性にセットされたカスタム・メタデータ・タグを有する場合、既にセットされたカスタム・メタデータ・タグを有するバケット内にソース・オブジェクトが生成されるとき、ユーザまたはアプリケーションは、ソース格納システムからタグを読み取り、新しく作成されたオブジェクトにタグを適用しなければならない。

本開示の概要は、メタデータ格納システムおよびそれらのアーキテクチャ構造を含むデータ格納システムおよびデータ格納システムのアーキテクチャ構造、並びに、データ格納システムおよび別個のメタデータ格納システムに存在するデータおよびメタデータを格納し、組織化し、管理し、もしくは検索し、またはその組み合わせを行う方法の理解を助けるために与えられ、また、本開示または本発明を限定する意図を有さない。本開示は、当業者を対象とする。本開示の種々の側面および特徴は、いくつかの例では別個に使用されてもよく、または他の例では本開示の他の側面および特徴と組み合わせて使用されてもよいことが理解されるべきである。したがって、データ格納システム、メタデータ格納システム、それらのアーキテクチャ構造およびそれらの動作方法に対して、種々の変更および修正を行って異なる効果を達成することができる。

メタデータを管理するための方法、技術、処理、システムもしくはプラットフォームまたはその組み合わせが開示される。１または複数の実施形態において、メタデータ管理プラットフォーム（ＭＭＰ）に、データおよびメタデータの両方を格納するソースのデータ格納システム（ＤＳＳ）を接続するステップと、ＤＳＳからＭＭＰ上にメタデータ・レコードを走査するステップと、ＭＭＰ上のルックアップ・テーブルに、ＤＳＳ上のディレクトリおよびバケットからなるグループの少なくとも１つに対するメタデータ属性を格納するステップと、ＤＳＳの後続の走査ごとに、更新されたメタデータ属性を、ＭＭＰ上のルックアップ・テーブルに追加するステップとを含むメタデータを管理するための方法、処理もしくは技術またはその組み合わせが開示される。一側面において、ＤＳＳは、データとは別個にメタデータを格納し、メタデータ属性を、データとは別個にディレクトリまたはバケットからなるグループの少なくとも１つに格納する。１または複数の実施形態によれば、ＭＭＰは、ＤＳＳから別個で、ＤＳＳの外部となり、メタデータのみがＭＭＰに格納される。一側面において、方法は、さらに、ＤＳＳからＭＭＰ上にメタデータをすべてのファイルおよびすべてのディレクトリから走査するステップ、または、ＤＳＳからＭＭＰ上にメタデータをすべてのオブジェクトおよびすべてのバケットから走査するステップを含む。一側面において、ルックアップ・テーブルは、複数のエントリを含み、各エントリは、ディレクトリまたはバケットからなるグループのうちの少なくとも１つと、その対応するメタデータ属性とを含む。ルックアップ・テーブルに更新を加えるステップは、１または複数の新しいメタデータ属性を、ルックアップ・テーブル内で、ルックアップ・テーブル内の複数のエントリのうちの１または複数における既存のディレクトリまたは既存のバケットからなるグループの少なくとも１つに対して追加するステップを含む。さらなる側面において、ルックアップ・テーブルに更新を加えるステップは、ルックアップ・テーブルに１または複数の新しいエントリを追加するステップを含む。

方法は、任意選択で、ＭＭＰ上でファイルまたはオブジェクト・メタデータ・レコードが走査されることに応答して、ファイル・パスまたはオブジェクト・パスを検査するステップと、ファイル・パスまたはオブジェクト・パスからディレクトリまたはバケットを抽出するステップとをさらに含む。一側面において、ＭＭＰは、ファイル・パスおよびオブジェクト・パスを検査し、ディレクトリまたはバケットを抽出する。ファイル・パスまたはオブジェクト・パスからディレクトリまたはバケットを抽出することに応答して、一実施形態における方法は、ルックアップ・テーブル内で、抽出されたディレクトリまたはバケットのルックアップを実行するステップをさらに含む。抽出されたディレクトリまたはバケットがルックアップ・テーブル内のエントリにマッチすることに応答して、方法は、ルックアップ・テーブル内のマッチするエントリに関連付けられた任意のメタデータ属性をメタデータ・レコードに適用するステップと、適用されたメタデータ属性とともにメタデータ・レコードを、メタデータ属性を有するＭＭＰ内の拡張されたメタデータ・レコードとして、格納するステップをさらに含む。接続されたＤＳＳ上でファイルおよびオブジェクトからなるグループのうちの少なくとも１つが生成されることに応答して、方法は、ＤＳＳからＭＭＰへ、ファイルおよびオブジェクトからなるグループの少なくとも１つに対するメタデータを包含する通知をプッシュするステップを含んでもよい。通知がＭＭＰにプッシュされることに応答して、一側面における方法は、ファイルおよびオブジェクトからなるグループの少なくとも１つに対する作成命令としてメタデータからイベント・タイプを識別するステップをさらに含む。方法は、さらに、ＭＭＰにプッシュされたメタデータからファイル・パスおよびオブジェクト・パスからなるグループの少なくとも１つを検査するステップと、ファイル・パスおよびオブジェクト・パスからなるグループの少なくとも１つから、ＤＳＳ内で作成されたファイルおよびオブジェクトの少なくとも１つに対応するディレクトリまたはバケットを抽出するステップをさらに含んでもよい。方法は、１または複数の実施形態においては、ＭＭＰにプッシュされたメタデータからディレクトリまたはバケットを抽出することに応答して、ルックアップを実行して、抽出されたディレクトリまたはバケットがルックアップ・テーブル内のディレクトリまたはバケットにマッチするか否かを判定するステップと、抽出されたディレクトリまたはバケットがルックアップ・テーブル内のディレクトリまたはバケットにマッチすることに応答して、ルックアップ・テーブル内のマッチするディレクトリまたはバケットに対応するメタデータ属性を、メタデータ・レコードに添付して、メタデータ属性を有するＭＭＰ内の拡張されたメタデータ・レコードを形成するステップとを含む。ＭＭＰにメタデータ属性を有する拡張されたメタデータ・レコードが保存される。

回路および論理を包含するメタデータ管理プラットフォーム（ＭＭＰ）であって、ＭＭＰは、データおよびデータとは別個のメタデータを格納し、ファイル・システムのためのディレクトリおよびオブジェクト・システムのためのバケットからなるグループから選択された少なくとも１つにセットされたメタデータ属性を有するデータ格納システム（ＤＳＳ）に接続するように構成されるＭＭＰを含む、１または複数の実施形態におけるメタデータを管理するためのシステムが提供される。１または複数の実施形態においてＭＭＰは、メタデータ属性を有する拡張されたメタデータ・レコードを格納するためのデータベースと、複数のエントリを有するキャッシュ・ルックアップ・テーブルであって、各エントリは、ディレクトリおよびバケットからなるグループの少なくとも１つおよびディレクトリまたはバケットについての対応するメタデータ属性を有するキャッシュ・ルックアップ・テーブルとを含み、ＭＭＰは、ＤＳＳからメタデータ・レコードを受信し、かつ、ディレクトリまたはバケットからなるグループのうちの少なくとも１つからのメタデータ属性を、ＭＭＰ上のルックアップ・テーブルに格納するよう構成され、ＭＭＰは、ファイルのディレクトリまたはオブジェクトのバケットについてメタデータ・レコード内のファイル・パスまたはオブジェクト・パスを検査し、ルックアップ・テーブルで、マッチするディレクトリまたはバケットを有するエントリの検索を実行し、メタデータ属性を、ルックアップ・テーブル内のエントリから、メタデータ・レコードに、マッチするディレクトリまたはバケットを用いて適用し、メタデータ属性を有するＭＭＰ内の拡張されたメタデータ・レコードを作成し、拡張されたメタデータ・レコードをＭＭＰ上のデータベースに格納するよう構成される。一側面におけるＭＭＰは、さらに、ＤＳＳの走査からメタデータ・レコードを受信し、ＤＳＳの追加の走査ごとに、更新されたメタデータ属性をＭＭＰ上のルックアップ・テーブルに追加するようにさらに構成される。実施形態によるＭＭＰは、さらに、ＤＳＳ上でファイルおよびオブジェクトからなるグループのうちの少なくとも１つが生成されることに応答して、ファイルおよびオブジェクトからなるグループの少なくとも１つについてのメタデータを包含する通知を受信し、受信した通知におけるメタデータからのファイル・パスおよびオブジェクト・パスからなるグループの少なくとも１つを検査し、ファイル・パスおよびオブジェクト・パスからなるグループの少なくとも１つから、ＤＳＳで作成されたファイルおよびオブジェクトの少なくとも１つに対応するディレクトリまたはバケットを抽出し、抽出されたディレクトリまたはバケットにマッチするエントリをルックアップ・テーブルで検索するように構成される。さらなる側面におけるＭＭＰは、抽出されたディレクトリまたはバケットがルックアップ・テーブル内のディレクトリまたはバケットにマッチするか否かを判定し、抽出されたディレクトリまたはバケットがルックアップ・テーブル内の複数のエントリのうちの１つのディレクトリまたはバケットにマッチすることに応答して、マッチしたエントリから、メタデータ属性を、メタデータ・レコードに追加して、拡張されたメタデータ・レコードを形成し、拡張されたメタデータ・レコードをデータベースに保存するように構成される。

上述したおよび他の本発明の目的、特徴および利点が、添付の図面おいて示されるように、本発明の例示の実施形態の以下のより具体的な説明から明らかになるであろう。ここで、類似の参照番号は、概して、本発明の例示の実施形態の類似の部分を表す。

データ格納システム、データ組織的なおよび管理構造、メタデータ格納および管理システムおよび構造並びにデータ組織化ツリー、データ格納システムおよびメタデータ格納システムにおいてデータおよびメタデータを処理すること、ソートすることおよび組織化すること、管理することもしくは検索することまたはこれらの組み合わせを行うことの種々の側面、特徴および実施形態が、提供される図面と組み合わせて読むことにより、より良く理解されるであろう。実施形態が、データ格納システム、データ組織的なおよび管理構造、メタデータ格納および管理システム並びにデータ組織化ツリー、データ格納システムおよびメタデータ格納システムにおいてデータおよびメタデータを処理すること、ソートすることおよび組織化すること、管理することもしくは検索することまたはこれらの組み合わせを行うことの種々の側面、特徴および実施形態を説明する目的のために図面において提供されるが、しかし、特許請求の範囲は、示される正確な配置、構造、特徴、側面、アセンブリ、サブアセンブリ、システム、回路、実施形態またはデバイスに限定されるべきではなく、示される配置、構造、アセンブリ、サブアセンブリ、特徴、側面、方法、処理、回路、実施形態またはデバイスは、単独でまたは他の配置、構造、アセンブリ、サブアセンブリ、システム、特徴、側面、回路、実施形態、方法およびデバイスと組み合わせて使用されてもよい。

本開示の実施形態によるコンピューティング環境の一例を示す。 本開示の実施形態によるコンピュータ・システムを示す機能ブロック図である。 本開示の実施形態による情報およびデータ格納／管理システムの例示的なブロック図を示す。 本開示の実施形態によるデータ・ツリー構造の例示的なブロック図である。 データおよびメタデータを格納するデータ格納ファイル・システムと、別個かつ外部のメタデータ格納システムの一例である。 ストレージ・ディレクトリを有するデータ格納システムの一例である。 データおよびメタデータを格納するデータ格納オブジェクト・システムと、個別かつ外部のメタデータ格納システムの一例を示す図である。 インラインでデータおよびメタデータの両方を格納するデータ格納システムとは別個の外部メタデータ管理システムにカスタム・メタデータ・タグを含むメタデータを走査する方法を示す例示的なフローチャートである。 データ格納システムとは別個かつ外部のメタデータ管理システムにカスタム・メタデータ・タグを格納する方法を示す例示的なフローチャートである。

以下の説明は、本発明の一般的原理を説明するためになされたものであり、本明細書において特許請求される発明の概念を限定することを意図するものではない。以下の詳細な説明においては、データ格納システム、メタデータ格納および管理システム、データおよびメタデータ組織化および管理構造、データ・ツリー、データおよびメタデータを処理すること、格納すること、組織化すること、管理すること、もしくは検索することまたはその組み合わせについての理解を提供するために、数々の詳細が示されるが、しかしながら、データ格納システム、メタデータ格納システム、データおよびメタデータ組織化および管理構造、データ組織化ツリー、データおよびメタデータを処理すること、格納すること、組織化すること、管理すること、もしくは検索することまたはその組み合わせについての多種多様な実施形態が、これらの特定の詳細なしに実現されてもよく、特許請求の範囲および開示は、本明細書で詳細に説明され、また示される、実施形態、アセンブリ、サブアセンブリ、特徴、プロセス、方法、側面、特徴または詳細に限定されるべきではないことが、当業者に理解されるであろう。さらに、本明細書で説明される特定の特徴は、種々の潜在的な組み合わせおよび並び替えの各々において説明される他の特徴と組み合わせて使用されてもよい。

本明細書において明確に定義されない限り、すべての用語には、本明細書から暗に示される意味、当業者に理解される意味もしくは辞書や論文などで定義される通りのものまたはこれらの組み合わせを含む最も広い解釈が与えられるべきである。本明細書および添付の特許請求の範囲で使用されるように、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、特に明示されない限り、複数の指示対象を含み、「含む（ｃｏｍｐｒｉｓｅｓ）もしくは「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」またはその両方は、本明細書で使用される場合、述べた特徴、整数、ステップ、動作、要素もしくはコンポーネントまたはその組み合わせの存在を指定するが、１以上の他の特徴、整数、ステップ、動作、要素、コンポーネントもしくはこれらのグループまたはその組み合わせの存在または追加を排除するものではないことに留意されるべきである。

本明細書で使用されるように、用語「コンテンツ」または「データ」は、デジタル写真、デジタル化されたアナログ写真、音楽ファイル、ビデオクリップ、テキスト文書、対話プログラム、ウェブページ、ワード・プロセッサ文書、コンピュータ支援設計ファイル、ブループリント、フローチャート、インボイス、データベース・レポート、データベース・レコード、スプレッド・シート、チャート、テーブル、グラフ、ビデオゲーム・アセット、音声サンプル、トランザクション・ログ・ファイル、電子文書、他のオブジェクトなどを単に名前付けたファイルを含むがこれらに限定されない任意のコンピュータ可読データを意味する。コンテンツは、オブジェクト、ファイル、レコード、ブロックまたは他の任意の適切なフォーマットで、１または複数のデータ格納システムに組織化され、格納され、また、ファイル、オブジェクト、レコード、ディレクトリ、インデックス、ファイル・システム・ボリューム、データ・ブロック、バケット、エクステント、または他のデータ・ブロックの任意の階層または編成を含んでもよい。本明細書で使用されるように、「データ・セット」は、（１）ファイル・システムによってアドレス指定可能である、またはであった任意のファイル、（２）そのようなファイルのサブセット（例えば、データ・ブロック）、（３）バケットによってアドレス指定可能であるまたはであった任意のオブジェクト、または（４）そのようなオブジェクトのサブセットを参照してもよい。データは、構造化データ（例えば、データベース・ファイルおよびオブジェクト）、非構造化データ（例えば、文書）もしくは半構造化データまたはこれらの組み合わせを含んでもよい。具体的には、データ・セットは、ファイル、オブジェクト、ディレクトリ、バケット、ブロック、シェア、ボリューム、ボリューム内の領域、または埋め込みオブジェクトであってもよい。データ・セットは、他の埋め込まれたオブジェクトを包含する複雑なものであってもよい。例えば、ファイルまたはオブジェクトは、他のファイルまたはオブジェクトを包含するコンテナであってもよく、または、ボリュームは、次いでファイルまたはオブジェクトを含むファイルまたはオブジェクト・システムをその上に有していてもよい。システムは、複雑なオブジェクトを認識し、より細かい埋め込みオブジェクトの粒度で変更を追跡することができる。

本明細書で使用される「メタデータ」という用語は、特定のコンテンツ、データ、またはデータ・セットに関連付けられるコンピュータ処理可能な形式の任意の説明または識別する情報を参照する。一般的にいうと、コンテンツは、コンテンツもしくはコンテンツの集合全体またはそれらの両方に関係する複数の特徴に関連するメタデータを有し、これは、これらに限定されるものではないが、コンテンツの技術的な側面（フォーマット、使用バイト、作成の日付）、コンテンツが関係するワークフロー（作成者、所有者、公開者、公開の日付、著作権情報など）、コンテンツの主題（音楽または音声の効果である音声ファイルの音の特質、写真またはビデオクリップの主題、長大なテキスト文書の要約、インボイスの抜粋明細、または他のデータ交換フォーマット・ファイル）を含む。例えば、メタデータの項目は、これらに限定されるものではないが、以下の１または複数であってもよい：コンテンツ所有者（例えば、コンテンツを生成したクライアントまたはユーザ）、最終変更日時（例えば、データ・セットの最も最近の変更の時刻）、データ・セットの名前（ファイル名）、データ・セットのサイズ（データ・セットのバイトの数）、コンテンツに関する情報（特定の検索語の存在に関する指示）、ユーザ供給されたまたはカスタム・メタデータ・タグ、電子メールの宛先／差出人情報（例えば、電子メール送信者、受信者など）、作成日、ファイル・タイプ（例えば、フォーマットまたはアプリケーション・タイプ）、最後にアクセスされた時間、アプリケーション・タイプ（例えば、データ・ブロックを生成したアプリケーションのタイプ）、位置／ネットワーク（例えば、データ・セットの現在、過去または未来の位置およびデータ・ブロックへまたはデータ・ブロックからのネットワーク経路）、地理的位置（例えばＧＰＳ座標）、変更の頻度（例えばデータ・セットが変更される期間）、ビジネス・ユニット（例えば、セットを生成し、管理しまたは関連付けられるグループまたは部門）、エージング情報（例えばデータ セットが二次ストレージまたは長期ストレージに移行される期間などのスケジュール）、ブート・セクタ、パーティション・レイアウト、ファイル・フォルダ・ディレクトリ構造内のファイルの場所、ユーザ権限、所有者、グループ、アクセス制御リスト（ＡＣＬ）、システム・メタデータ（レジストリ情報など）、上記情報またはデータ・セットに関連する他の類似情報の組み合わせなど。

用語「メタデータ・タグ」または「メタデータ属性」（カスタム・メタデータ・タグまたは属性とも参照される）は、特定のメタデータに関連付けられ、種々のデータ格納システムに含まれ、それにメタデータが関連付けられる、実際の情報またはコンテンツを示す、コンピュータ処理可能な形式の任意の説明または識別する情報を参照する。メタデータ・タグは、また、メタデータ属性とも参照される。

以下の議論は、当業者には明らかな、データおよびメタデータ組織および管理構造、データ・ツリー、データおよびメタデータを処理すること、格納すること、組織化すること、管理することもしくは検索することまたはその組み合わせを含む、データ格納システムおよび情報処理システム、メタデータ格納および管理システムの従来の特徴を省略するか、または、簡潔に説明する。当業者は、データ格納システムの一般的アーキテクチャ、データ格納システムの運用もしくは格納されたデータ上の操作またはその組み合わせ、データおよびメタデータ格納システム、メタデータ格納システムの運用もしくは格納されたメタデータ上の操作またはその組み合わせ、データおよびメタデータ組織および管理構造、データ・ツリー、データ組織構造におけるデータおよびメタデータを処理すること、格納すること、組織化すること、管理することもしくは検索することまたはその組み合わせに精通していることを仮定する。番号付けされた要素は、要素が導入される図面に従って番号付けされ、典型的には後続する図面を通してその番号で参照される点に留意されたい。

データおよびメタデータの集合を格納し、組織化し、ソートし、管理し、処理し、検索するためのシステムおよび方法が開示される。１または複数の実施形態においては、ソース格納ファイル・システム（ＳＳＦ）からのメタデータを、ＳＳＦの外部である別個のメタデータ管理システムに格納するためのシステム、方法および技術が開示される。別個のメタデータ管理システムは、ＳＳＦとは独立してメタデータを検索するために使用されてもよい。実施形態においては、ＳＳＦのディレクトリ内にファイルが作成されたときにカスタム・メタデータ・タグがＳＳＦ内のディレクトリにセットされる、別個のメタデータ格納および管理システムにカスタム・メタデータ・タグを継承するためのシステム、方法、および技術が開示される。一側面においては、システム、方法および技術は、ディレクトリが、セットされたカスタム・メタデータ・タグまたは属性を有するＳＳＦのディレクトリ内に新しいファイルが生成されたときを検出し、ＳＳＦ内の新しいファイルの生成を検出することに応答して、メタデータ格納システム内の新しく生成されたファイルのカスタム・メタデータ・タグが、ＳＳＦ内のディレクトリ・レベルでセットされたカスタム・メタデータ・タグで更新される。

別の側面では、１または複数の実施形態においては、ソース・オブジェクト格納システム（ＳＯＳ）からのメタデータをＳＯＳの外部である別個のメタデータ管理システムに格納するためのシステム、方法および技術が開示される。実施形態においては、ＳＯＳのバケット内にオブジェクトが作成されたときにカスタム・メタデータ・タグがＳＯＳ内のバケット・レベルにセットされる、別個のメタデータ格納および管理システムにカスタム・メタデータ・タグを継承するためのシステム、方法、および技術が開示される。一側面においては、システム、方法および技術は、バケットが、セットされたカスタム・メタデータ・タグまたは属性を有するＳＯＳ上のバケットにオブジェクトが生成されたときを検出し、ＳＯＳ内の新しいオブジェクトの生成を検出することに応答して、メタデータ格納システム内の新しく生成されたオブジェクトのカスタム・メタデータ・タグが、ＳＯＳ内のバケット・レベルでセットされたカスタム・メタデータ・タグで更新される。

システム、方法および技術が潜在的な応用を有する環境に移ると、図１は、実施形態によるコンピュータ・ネットワーク・システムのアーキテクチャ１００を示す。図１に示すように、複数のリモート・ネットワーク１０２が、第１のリモート・ネットワーク１０４および第２のリモート・ネットワーク１０６を含んで提供される。ゲートウェイ１０１が、リモート・ネットワーク１０２および近傍ネットワーク１０８との間に結合されてもよい。本アーキテクチャ１００の文脈では、ネットワーク１０４，１０６は、それぞれ、これらに限定されるものではないが、ＬＡＮ、インターネットなどのＷＡＮ、公衆交換電話網（ＰＳＴＮ）、内部電話網を含む任意の形態をとり得る。

使用時には、ゲートウェイ１０１は、リモート・ネットワーク１０２から近傍ネットワーク１０８への引き込み点として機能する。このように、ゲートウェイ１０１は、ゲートウェイ１０１に到着するデータの所与のパケットを方向付けすことが可能なルータとして、および、所与のパケットについてゲートウェイ１０１に出入りする実際のパスを供給するスイッチとして、機能することができる。

さらに、近傍ネットワーク１０８に結合され、ゲートウェイ１０１を介してリモート・ネットワーク１０２からアクセス可能な少なくとも１つのデータ・サーバ１１４が含まれる。データ・サーバ１１４は、任意のタイプのコンピューティング・デバイス／グループウェアを含んでもよいことに留意されたい。各データ・サーバ１１４に、複数のユーザ・デバイス１１６が結合される。ユーザ・デバイス１１６も、ネットワーク１０４，１０６，１０８の１つを介して直接接続されてもよい。このようなユーザ・デバイス１１６は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、ハンドヘルド・コンピュータ、プリンタ、スマートフォンまたは任意の他の種類のロジック・デバイスを含んでもよい。なお、実施形態においては、ユーザ・デバイス１１１が、ネットワークのいずれかに直接結合されてもよいことに留意されたい。

周辺機器１２０または一連の周辺機器１２０、例えば、ファクシミリ装置、プリンタ、ネットワークもしくはローカル・ストレージ・ユニットまたはシステムまたはその組み合わせなどは、ネットワーク１０４，１０６，１０８のうちの１つまたは複数に結合されてもよい。データベースもしくは追加のコンポーネントまたはその両方が、ネットワーク１０４，１０６，１０８に結合された任意のタイプのネットワーク要素とともに利用されてもよく、統合されてもよい。本説明の文脈において、ネットワーク要素は、ネットワークの任意のコンポーネントを参照してもよい。

いくつかのアプローチによれば、本明細書で説明される方法およびシステムは、ＩＢＭ（登録商標）ｚ／ＯＳ（登録商標）環境をエミュレートするＵＮＩＸ（登録商標）システム、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）環境を仮想的にホストするＵＮＩＸ（登録商標）システム、ＩＢＭ（登録商標）ｚ／ｏｓ環境をエミュレートするＭｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）システムなどの１または複数の他のシステムをエミュレートする仮想システムもしくはシステムまたはその両方とともにもしくはその上でまたはその両方で実施することができる。この仮想化もしくはエミュレーションまたはその両方は、いくつかの実施形態においては、ＶＭＷＡＲＥ（登録商標）ソフトウェアの使用を通して拡張されてもよい。

より多くのアプローチでは、１または複数のネットワーク１０４，１０６，１０８は、一般に「クラウド」と参照されるシステムのクラスタを表してもよい。クラウド・クラウド・コンピューティングにおいては、処理能力、周辺機器、ソフトウェア、データ、サーバなどのような共有リソースが、オンデマンドの関係でクラウド内の任意のシステムに提供され、それによって、多数のコンピューティング・システムを横断したサービスのアクセスおよび配信を可能にする。クラウド・コンピューティングは、典型的には、クラウドにおいて動作するシステム間のインターネット接続を伴うが、システムを接続する他の技術がまた使用されてもよい。

図２は、実施形態による、図１のユーザ・デバイス１１６もしくはサーバ１１４またはその両方に関連する代表的なハードウェア環境を示す。この図面は、マイクロプロセッサなどの中央処理ユニット２１０と、システム・バス２１２を介して相互接続された多数の他のユニットとを有するワークステーションの例示的なハードウェア構成を示す。

図２に示すワークステーションは、ランダム・アクセス・メモリ（ＲＡＭ）２１４、リード・オンリー・メモリ（ＲＯＭ）２１６、ディスク・ストレージ・ユニット２２０のような周辺機器をバス２１２に接続するためのＩ／Ｏアダプタ２１８、キーボード２２４、マウス２２６、スピーカ２２８、マイクロフォン２３２もしくはタッチスクリーンやデジタルカメラ（図示せず）などの他のユーザインターフェース・デバイスまたはその組み合わせをバス２１２に接続するためのユーザ・インターフェース・アダプタ２２２、ワークステーションを通信ネットワーク２３５（例えば、データ処理ネットワーク）に接続するための通信アダプタ２３４と、バス２１２をディスプレイ・デバイス２３８に接続するためのディスプレイ・アダプタ２３６とを含む。

ワークステーションは、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）オペレーティング・システム（ＯＳ）、Ｍａｃ ＯＳ（登録商標）、ＵＮＩＸ（登録商標）ＯＳなどのオペレーティング・システムをその上に常駐させてもよい。好ましい実施形態は、また、上記以外のプラットフォームおよびオペレーティング・システム上で実施されてもよいことに理解されたい。好ましい実施形態は、オブジェクト指向プログラミング方法論とともに、ＸＭＬ、ＣもしくはＣ＋＋言語または他のプログラミング言語を使用して書かれてもよい。複雑なアプリケーションを開発するためにますます使用されるようになってきたオブジェクト指向プログラミング（ＯＯＰ）が使用されてもよい。

ここで、図３を参照すると、データ・ネットワーク３１０を介して接続されるネットワーク化されたデータ格納システム３２０Ａ，３２０Ｂ，…，３２０Ｎおよびクライアント・デバイス３３０Ａ，３３０Ｂ，…，３３０Ｎのセットを含む、本開示の実施形態よる情報管理システム３００の例示的なブロック図が示される。本明細書で開示される実装は、データ・ネットワーク３１０に取り付けられる格納デバイスまたはデータ格納システムの数によって限定されないことを理解されたい。さらに、データ・ネットワーク３１０に取り付けられる格納デバイスまたはデータ格納システムは、通信プロトコル、ストレージ環境、物理的位置などによって限定されないことにも理解されたい。

実施形態においては、各データ格納システム３２０Ａ，３２０Ｂ，…，３２０Ｎは、格納サブシステム３２１および格納デバイス３２２を含んでもよい。格納サブシステム３２１は、ＩＢＭ（登録商標）Ｅｎｔｅｒｐｒｉｓｅ Ｓｔｏｒａｇｅ Ｓｅｒｖｅｒ（登録商標）（ＩＢＭおよびＥｎｔｅｒｐｒｉｓｅ Ｓｔｏｒａｇｅ Ｓｅｒｖｅｒは、ＩＢＭの登録商標である。）のような、ストレージ・サーバまたはエンタープライズ・ストレージ・サーバを含んでもよい。格納デバイス３２２は、ダイレクト・アクセス・ストレージ・デバイス（ＤＡＳＤ）、ジャスト・バンチ・オブ・ディスク（ＪＢＯＤ）、リダンダント・アレイ・オブ・インデペンデント・ディスク（ＲＡＩＤ）、仮想化デバイス、テープ・ストレージ、光ディスク・ストレージまたは他のデータ格納システムのような、当該技術分野で知られている格納システムを含んでもよい。格納デバイス３２２は、オブジェクト・ストレージ、ファイル・ストレージもしくはブロック・ストレージまたはその組み合わせとして組織化されたコンテンツを含んでもよい。特定の実施形態においては、複数のストレージ・サブシステムが１つのストレージ・サブシステム３２１および格納デバイス３２２に実装されてもよく、または、１つのストレージ・サブシステムが、取り付けられた格納デバイスを有する１または複数のストレージ・サブシステムで実装されてもよい。

実施形態においては、格納システム３２０Ａ，３２０Ｂ，…，３２０Ｎのコンテンツに対応するメタデータが収集され、格納される。メタデータは、格納され、組織化され、保護され、管理され、操作され、移動され、分析され、もしくは処理され、またはその組み合わせがなされてもよい。格納システム３２０Ａ，３２０Ｂ，…，３２０Ｎのコンテンツに洞察を提供する他の種類の情報が格納されてもよい。

特定の実施形態においては、クライアント・デバイス３３０Ａ，３３０Ｂ，…，３３０Ｎは、複数のコンポーネントを有する汎用コンピュータであってもよい。これらのコンポーネントは、中央処理ユニット（ＣＰＵ）、メイン・メモリ、Ｉ／Ｏデバイス、およびデータ格納デバイス（例えば、フラッシュメモリ、ハードドライブなど）を含んでもよい。メイン・メモリは、システム・バスまたはローカル・メモリ・バスを介してＣＰＵに結合されてもよい。メイン・メモリは、実行時にメイン・メモリに格納されるデータもしくはプログラム情報またはその両方へのＣＰＵアクセスを提供するために使用されてもよい。典型的には、メイン・メモリは、ランダム・アクセス・メモリ（ＲＡＭ）回路で構成される。ＣＰＵおよびメイン・メモリを有するコンピュータ・システムは、しばしば、ホスト・システムとも参照される。クライアント・デバイス３３０Ａ，３３０Ｂ，…，３３０Ｎは、その上にインストールされ、１または複数のファイル・システムおよび他のアプリケーションをサポートまたはホストし得る、少なくとも１つのオペレーティング・システム（例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）、Ｍａｃ（登録商標）ＯＳ Ｘ（登録商標）、ｉＯＳ（登録商標）、ＩＢＭ（登録商標）ｚ／ＯＳ（登録商標）、ＬＩＮＵＸ（登録商標）、他のＵＮＩＸ（登録商標）ベースのオペレーティング・システムなど）を有してもよい。

データ格納システム３２０Ａ，３２０Ｂ，…，３２０Ｎおよびクライアント・デバイス３３０Ａ，３３０Ｂ，…，３３０Ｎは、ネットワーク・ファイル・システム（ＮＦＳ）またはコモン・インターネット・ファイル・システム（ＣＩＦＳ）プロトコルのような良く知られたプロトコルに従って通信して、データ格納システム３２０Ａ，３２０Ｂ，…，３２０Ｎに格納されるコンテンツが、あたかもクライアント・システム３３０Ａ，３３０Ｂ，…，３３０Ｎにローカルに格納されているかのようにユーザもしくはアプリケーション・プログラムまたはその両方に見えるようにする。典型的な動作モードにおいては、クライアント・デバイス３３０Ａ，３３０Ｂ，…，３３０Ｎは、ＮＦＳまたはＣＩＦＳリクエストなどの１または複数の入出力コマンドを、コンピュータ・ネットワーク３１０越しに、データ格納システム３２０Ａ，３２０Ｂ，…，３２０Ｎに送信し、データ格納システム３２０Ａ，３２０Ｂ，…，３２０Ｎは、その返答として、要求されたコンテンツを包含するＮＦＳ応答またはＣＩＦＳ応答を、ネットワーク３１０越しに各クライアント・デバイス３３０Ａ，３３０Ｂ，…，３３０Ｎに発行する。

クライアント・デバイス３３０Ａ，３３０Ｂ，…，３３０Ｎは、１または複数のデータ格納システム３２０Ａ，３２０Ｂ，…，３２０Ｎ上でコンテンツを生成し、操作する１または複数のアプリケーションを（内部的にもしくは外部的にまたはその両方で）実行してもよい。アプリケーションは、概して、組織（または複数の関連組織）の運用を容易にし、限定することなく、メール・サーバ・アプリケーション（例えば、Ｍｉｃｒｏｓｏｆｔ Ｅｘｃｈａｎｇｅ Ｓｅｒｖｅｒ（登録商標））、ファイル・サーバ・アプリケーション、メール・クライアント・アプリケーション（例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｅｘｃｈａｎｇｅ Ｃｌｉｅｎｔ）、データベース・アプリケーション（例えば、ＳＱＬ、Ｏｒａｃｌｅ（登録商標）、ＳＡＰ（登録商標）、Ｌｏｔｕｓ Ｎｏｔｅｓ（登録商標）データベース）、ワード・プロセッサ・アプリケーション（例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｏｒｄ）、スプレッドシート・アプリケーション、金融アプリケーション、プレゼンテーション・アプリケーション、ブラウザ・アプリケーション、モバイル・アプリケーション、エンターテイメント・アプリケーションなどを含んでもよい。アプリケーションは、ＮＦＳまたはＣＩＦＳなどのネットワーク・ファイル・システム・プロトコルを使用して、データ格納システム３２０Ａ，３２０Ｂ，…，３２０Ｎへアクセス（例えば、読み出しおよび書き込み）する能力を有してもよい。

図示のように、データ格納システム３２０Ａ，３２０Ｂ，…，３２０Ｎと、クライアント・デバイス３３０Ａ，３３０Ｂ，…，３３０Ｎと、情報管理システム３００内の他のコンポーネントとは、通信ネットワーク３１０を介して互いに接続可能である。通信ネットワーク３１０は、インターネット、ワイド・エリア・ネットワーク（ＷＡＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、ストレージ・エリア・ネットワーク（ＳＡＮ）、ファイバチャネル接続、スモール・コンピュータ・システム・インターフェース（ＳＣＳＩ）接続、仮想プライベート・ネットワーク（ＶＰＮ）、トークン・リングまたはＴＣＰ／ＩＰベースのネットワーク、イントラネット・ネットワーク、ポイント・ツー・ポイント・リンク、セルラ・ネットワーク、無線データ伝送システム、双方向ケーブル・システム、対話型キオスク・ネットワーク、衛星ネットワーク、ブロードバンド・ネットワーク、ベースバンド・ネットワーク、ニューラル・ネットワーク、メッシュ・ネットワーク、アドホック・ネットワーク、他の適切な有線、無線、または部分的に有線／無線のコンピュータまたは電気通信ネットワーク、これらの組み合わせなどを含む、１以上のネットワークまたは他の接続タイプを含んでもよい。いくつかの場合における通信ネットワーク３１０は、例えば、クラウド・サービス・プロバイダＡＰＩ、仮想マシン管理ＡＰＩおよびホストされたサービス・プロバイダＡＰＩを含むアプリケーション・プログラミング・インターフェース（ＡＰＩ）を含んでもよい。

データ格納システムにおいて（およびメタデータ格納システムにおいて）データおよびメタデータを格納し、ソートし、組織化し、および、管理するために、多数の異なる種類の構造が使用される。ツリー構造は、大きなデータおよび情報の集合の組織化およびそれに格納された特定のアイテムの見つけ出す能力を最適化するために使用される１つの技術である。データ（メタデータを含む）およびそのインデックスまたはディレクトリを組織化するための多数の種々のツリー構造が存在する。Ｂツリーは、データ格納システムに格納されるデータを組織化するためのツリーの一例である。Ｂツリーは、ソート済みデータを保持し、対数時間で、検索、順次アクセス、挿入および削除を可能にする自己平衡ツリーデータ構造である。Ｂツリーは、ルート・ノード、内部ノードおよびリーフ・ノードを有する。ルートは、リーフ・ノードまたは内部ノードのいずれかであってもよい。Ｂツリー内のノードは、２つより多い子を有してもよい。Ｂツリーのオーダーまたは分岐係数「ｄ」は、ツリー内の容量（子ノードの数）を測定する。図４は、ルート・ノード４１０、内部ノード４２０およびリーフ４５０を有するＢツリー４００の例を示す。ツリー４００内のノードは、ポインタまたは参照４３０およびリンク４６０によって接続されたものとして示される。ツリーの最下位レベル４７０は、ノードを包含するファイルまたはオブジェクトであるリーフ・ノード４５０であり、内部ノード４２０およびルート４１０を含むツリー４００の上位レベルまたはトップ部分４４０は、ファイルまたはオブジェクトのいずれも含まず、リーフ・ノード４５０に対するディレクトリまたはバケット（またはインデックス）である。

図５を参照すると、ソース・データ格納システム（ＤＳＳ）５１０およびメタデータ管理プラットフォーム（ＭＭＰ）５３０とも参照されるメタデータ管理システム５３０を有する、メタデータを管理するためのシステム５００の実施形態が例示される。メタデータ格納管理システム５３０は、ソース・データ格納システム５１０の外部かつ別個である。ソース・データ格納システム５１０は、ソース格納ファイル・システム（ＳＳＦ）５１０であり、データ５１２（例えば、データファイル）およびメタデータ５１４の両方を含み、図６に示すように、ファイル・ディレクトリ５１６を有する。ファイル・ディレクトリ５１６は、１または複数の実施形態において、アクティブまたはセットされたカスタム・メタデータ・タグまたはメタデータ属性５１８を有する。実施形態においては、カスタム・メタデータ・タグ５１８は、ＳＳＦ５１０上のデータ５１２（例えば、ファイル）とは別個に格納される。すなわち、カスタム・メタデータ・タグ５１８は、ＳＳＦ５１０上でデータ（ファイル）５１２とインラインで格納されない。

メタデータ管理システム５３０は、メタデータ・レコード５４０と、ルックアップ・テーブル５５０と、拡張メタデータ・レコード５７０を包含するデータベース５６０とを含む。システム５００は、ＳＳＦ上のディレクトリにファイルが作成されたときに、ソース・ファイル・システム内のディレクトリ・レベルでセットされたカスタム・メタデータ・タグが、別個のメタデータ管理システム５３０内の新しく作成されたメタデータ・ファイルにより承継、例えば、新しく作成されたメタデータ・ファイルに適用されることを可能とする。システム５００は、例えば、ＳＳＦ上で、カスタム・メタデータ・タグがデータとは別個に格納される、カスタム・メタデータ・タグがデータにインラインで格納されない１または複数の実施形態において、この能力を有する。メタデータ管理システム５３０は、好ましくは、各ファイル・システムについてルックアップ・テーブル５５０を保持する。メタデータ・ルックアップ・テーブル５５０は、好ましくは、キャッシュ構造であり、ファイル・システム・ディレクトリを識別するディレクトリ・カラム５５２と、対応するディレクトリに対するカスタム・メタデータ属性またはカスタム・メタデータ・タグ５１８を識別するカスタム・メタデータ属性またはメタデータ・タグ・カラム５５４とを有する。各行またはエントリ５５６は、単一のディレクトリおよびその関連付けられるカスタム・メタデータ属性またはタグに対応する。ルックアップ・テーブル５５０は、外部メタデータのインデックスと同じシステム上、例えばＭＭＰ５３０上に常駐する。

動作において、接続がＳＳＦ５１０とメタデータ管理プラットフォーム（ＭＭＰ）５３０との間で確立される。ＭＭＰ５３０は、取り付けられたＳＳＦ５１０の走査を開始し、ＳＳＦ５１０のファイルおよびディレクトリからシステム・メタデータを捕捉する。１または複数の実施形態において、ＳＳＦ５１０の走査は、ＳＳＦ５１０内のすべてのファイルおよびディレクトリのメタデータを補足し、メタデータ・レコード５４０を生成する。ＳＳＦ５１０上のディレクトリ内のカスタム・メタデータ属性またはタグは、走査によって捕捉され、ＭＭＰ５３０上のルックアップ・テーブル５５０内に保存（キャッシュされ）される。ＳＳＦファイルおよびディレクトリからのソース・メタデータを捕捉するためのＳＳＦ５１０の走査は、オンデマンドで開始され、スケジュールまたは反復ベースで繰り返すようにセットアップされ、例えば、最後の走査以来ＳＳＦに付加されたデータのボリュームまたは量といったトリガ・イベントに従って開始されるようにセットアップされる。各後続の走査ごとに、ルックアップ・テーブル５５０は、リフレッシュされ、更新される。ＳＳＦ５１０内の既存のディレクトリに追加される任意の新しいカスタム・メタデータ・タグまたは属性５１８も、ＭＭＰ５３０内のルックアップ・テーブル５５０に追加される。最後の走査以来ＳＳＦ５１０に追加された任意の新しいディレクトリおよびそれらに関連するカスタム・メタデータ・タグまたは属性５１８が、ＭＭＰ５３０内のルックアップ・テーブル５５０に追加される。

ＳＳＦ５１０の走査の間、ファイルが取り込まれると、ＭＭＰ５３０は、１または複数の実施形態においては、メタデータ・レコード５４０内のファイル・パスを検査し、ファイルのディレクトリを取得する。一側面において、ＭＭＰ５３０は、ルックアップ・テーブル５５０内で、ファイル・パスから得られたファイルのディレクトリのルックアップを実行する。ルックアップ・テーブル５５０でマッチ（ヒット）がある場合、例えば、ルックアップが成功した場合、次いで、ルックアップ・テーブル５５０内のマッチするディレクトリに関連付けられた任意のカスタム・メタデータ・タグまたは属性が、データベース５６０にインデックス付けされるべきメタデータ・レコード５４０に添付される。添付されたカスタム・メタデータ・タグを有するメタデータ・レコード５４０は、拡張メタデータ・レコード５７０であり、拡張メタデータ・レコード５７０は、ＭＭＰ５３０上のデータベース５６０にインデックス付けされる。ルックアップ・テーブル５５０内でのファイルのディレクトリの不成功のルックアップは、ディレクトリ・カスタム・メタデータ・タグ５１８が、ＭＭＰ５３０によってまだ走査されておらず、ＭＭＰ５３０上のルックアップ・テーブル５５０に捕捉されていないことを示す。

レコード取り込み中のルックアップまたは検索が不成功であり、情報がルックアップ・テーブル５５０にインデックス付けされていないので、ディレクトリがルックアップ・テーブル５５０に関連するエントリを有さないことを意味する場合、調整ポリシーが実行されてもよい。ルックアップ・テーブル５５０に行が追加されると、カスタム・メタデータ・タグとマッチするディレクトリを有するメタデータ管理システムのインデックス内のレコードのサブセットが、更新されるであろう。調整ポリシーは、ディレクトリのエントリが新しいメタデータで更新され、メタデータ管理システム５３０内で既にインデックス付けされたディレクトリ内のこれらのファイルにカスタム・メタデータ・タグの更新が適用される場合にもまた実行されてもよい。ルックアップ・テーブル５５０内の行または行のセットに対する更新が行われると、更新されたメタデータ・タグとマッチするディレクトリを有するメタデータ管理システムのインデックス内のレコード５７０のサブセットが更新されるであろう。

一側面では、ＭＭＰ５３０に接続され、または、取り付けられているＳＳＦ５１０内でファイルが作成されると、ＳＳＦ５１０は、ＳＳＦ５１０からＭＭＰ５３０へＳＳＦメタデータ５８０を包含する通知をプッシュする。ＭＭＰ５３０は、生成されたファイルとしてＭＭＰ５３０にプッシュされたメタデータ５８０からイベント・タイプを識別する。メタデータ・レコード５８０内のファイル・パスは、ファイルのディレクトリを抽出するために検査され、ＭＭＰ５３０は、メタデータ５８０から抽出されたディレクトリについてルックアップ・テーブル５５０内でのルックアップ（検索）を実行する。抽出されたディレクトリの検索がルックアップ・テーブル内で成功した場合、例えば、ルックアップ・テーブル５５０にマッチ（ヒット）するエントリがある場合、次いで、ルックアップ・テーブル５５０から、マッチするディレクトリに関連付けられた任意のカスタム・メタデータ・タグまたは属性が、メタデータ・レコードに添付されて、拡張メタデータ・レコード５７０が形成され、拡張メタデータ・レコード５７０は、ＭＭＰ５３０内のデータベース５６０にインデックス付けされて、格納される。

図７を参照すると、ソース・データ格納システム７１０およびメタデータ管理プラットフォーム（ＭＭＰ）７３０とも参照されるメタデータ管理システム７３０を有する、メタデータを管理するためのシステム７００の一実施形態が例示される。メタデータ格納管理システム７３０は、ソース・データ格納システム７１０の外部かつ別個のものである。図７におけるソース・データ格納システム７１０は、ソース格納オブジェクト・システム（ＳＯＳ）７１０であり、データ７１２（例えばオブジェクト）およびメタデータ７１４の両方を包含し、図６に示すようにバケット７１６を有する。１または複数の実施形態において、バケット７１６は、アクティブまたはセットされたカスタム・メタデータ・タグまたは属性７１８を有する（図６）。実施形態においては、カスタム・メタデータ・タグ７１８は、ＳＯＳ７１０上にデータ７１２（例えば、オブジェクト）から別個に格納される。すなわち、カスタム・メタデータ・タグ７１８は、ＳＯＳ７１０上でデータ（オブジェクト）７１２とインラインで格納されない。

メタデータ管理システム７３０は、メタデータ・レコード７４０と、ルックアップ・テーブル７５０と、拡張メタデータ・レコード７７０を含むデータベース７６０とを含む。システム７００は、オブジェクトがＳＯＳのバケット内に生成されたときに、ソース格納オブジェクト・システム（ＳＯＳ）内のバケット・レベルにセットされたカスタム・メタデータ・タグが、別個のメタデータ管理システム５３０内の新たに生成されたメタデータ・レコードに承継、例えば、新しく作成されたメタデータ・レコードに適用されることを可能とする。システム７００は、ＳＯＳ上で、カスタム・メタデータ・タグがデータ（オブジェクト）にインラインで格納されない、例えば、カスタム・メタデータ・タグは、データとは別個に格納される、１または複数の実施形態においてこの能力を有する。メタデータ管理システム７３０は、好ましくは、オブジェクト・システムごとにルックアップ・テーブル７５０を保持する。メタデータ・ルックアップ・テーブル７５０は、好ましくは、キャッシュ構造であり、オブジェクト・システム・バケットを識別するバケット・カラム７５２と、対応するバケットに対するカスタム・メタデータ属性またはカスタム・メタデータ・タグ７１８を識別するカスタム・メタデータ属性またはタグ・カラム７５４とを有する。各行またはエントリ７５６は、単一のバケットおよびその関連するカスタム・メタデータ属性またはタグに対応する。ルックアップ・テーブル７５０は、外部メタデータのインデックスと同じシステム上、例えばメモリ管理システムまたはプラットフォーム７３０上にある。

動作においては、接続が、ＳＯＳ７１０とメタデータ管理プラットフォーム（ＭＭＰ）７３０との間で確立される。ＭＭＰ７３０は、取り付けられたＳＯＳ７１０の走査を開始し、ＳＯＳ７１０のオブジェクトおよびバケットからシステム・メタデータを捕捉する。１または複数の実施形態において、ＳＯＳ７１０の走査は、ＳＯＳ７１０内のすべてのオブジェクトおよびバケットについてのメタデータを補足し、メタデータ・レコード７４０を生成する。ＳＯＳ７１０上のディレクトリ内のカスタム・メタデータ属性またはタグは、走査によって捕捉され、ＭＭＰ７３０上のルックアップ・テーブル７５０に保存（キャッシュ）される。ＳＯＳオブジェクトおよびバケットからＳＯＳメタデータを捕捉するためのＳＯＳ７１０の走査は、オンデマンドで開始され、スケジュールされたまたは反復ベースで繰り返されるようにセットアップされ、または、開始イベント、例えば、最後の走査以来ＳＯＳに付加されたデータのボリュームまたは量といったトリガ・イベントに従って開始されるようにセットアップされる。各後続の走査ごとに、ルックアップ・テーブル７５０が、リフレッシュされ、更新される。ＳＯＳ７１０内の既存のバケットに追加された新しいカスタム・メタデータ・タグまたは属性７１８は、ＭＭＰ７３０内のルックアップ・テーブル７５０に追加される。最後の走査以来ＳＯＳ７１０に追加された任意の新たなバケットおよびその関連するカスタム・メタデータ・タグまたは属性７１８は、ＭＭＰ７３０内のルックアップ・テーブル７５０に追加されるであろう。

ＳＯＳ７１０の走査の間、オブジェクトが取り込まれると、１以上の実施形態において、ＭＭＰ７３０は、メタデータ・レコード７４０内のオブジェクト・パスを検査し、オブジェクトのバケットを取得または抽出する。一側面において、ＭＭＰ７３０は、ルックアップ・テーブル７５０内でオブジェクトのバケットのルックアップを実行する。ルックアップ・テーブル７５０にマッチ（ヒット）があった場合、例えば、ルックアップに成功した場合、次いで、ルックアップ・テーブル７５０においてマッチするバケットに関連付けられた任意のカスタム・メタデータ・タグまたは属性が、メタデータ・レコード７４０に添付される。添付されたカスタム・メタデータ・タグを有するメタデータ・レコード７４０は、拡張メタデータ・レコード７７０であり、拡張メタデータ・レコード７７０は、好ましくは、ＭＭＰ７３０上のデータベース７６０にインデックス付けされ、格納される。ルックアップ・テーブル７５０内でのファイルのバケットの不成功のルックアップは、バケット・カスタム・メタデータ・タグ７１８がＭＭＰ７３０により未だ走査されておらず、ＭＭＰ７３０上のルックアップ・テーブル７５０内に捕捉されていないことを示す。

レコード取り込み中のルックアップまたは検索が不成功であり、情報がルックアップ・テーブル５５０にインデックス付けされていないので、バケットがルックアップ・テーブル５５０において関連するエントリを有さないことを意味する場合、調整ポリシーが実行されてもよい。ルックアップ・テーブル５５０に行が追加されると、カスタム・メタデータ・タグとマッチするバケットを有するメタデータ管理システムのインデックス内のレコードのサブセットが更新されるであろう。調整ポリシーは、バケットリのエントリが新しいメタデータで更新され、メタデータ管理システム５３０内に既にインデックス付けされたバケット内のこれらのオブジェクトにカスタム・メタデータ・タグの更新が適用される場合に実行されてもよい。ルックアップ・テーブル５５０内の行または行のセットに対する更新が行われると、更新されたメタデータ・タグとマッチするバケットを有するメタデータ管理システムのインデックス内のレコード５７０のサブセットが更新されるであろう。

一側面では、ＭＭＰ７３０に接続され、または、取り付けられているＳＯＳ７１０内でオブジェクトが作成されると、ＳＯＳ７１０は、ＳＯＳ７１０からＭＭＰ７３０へメタデータ７８０を包含する通知をプッシュする。ＭＭＰ７３０は、生成されたファイルとしてＭＭＰ７３０にプッシュされたメタデータからイベント・タイプを識別する。メタデータ・レコード７８０内のファイル・パスが、バケットを抽出するために検査され、ＭＭＰ７３０は、メタデータ７８０から抽出されたオブジェクトのバケットについてルックアップ・テーブル７５０内でルックアップ（検索）を実行する。抽出されたバケットのルックアップ・テーブル内での検索が成功した場合、例えば、ルックアップ・テーブル７５０内にマッチ（ヒット）するエントリがある場合、次いで、ルックアップ・テーブル７５０からのマッチするバケットに関連付けられた任意のカスタム・メタデータ・タグまたは属性が、メタデータ・レコードに添付されて、拡張メタデータ・レコード７７０が形成され、この拡張メタデータ・レコード７７０は、ＭＭＰ７３０内のデータベース７６０にインデックス付けされて、格納される。

１または複数の実施形態において、システムおよび方法は、ユーザの介入または支援なしに、セットされたカスタム・メタデータ属性またはタグを有するディレクトリまたはバケット内にファイルまたはオブジェクトが生成されたときを検出し、カスタム・メタデータ属性またはタグを、インデックス外部メタデータ格納および管理システム内の新たに生成されたファイルまたはオブジェクトに添付する。

ここで、図８を参照すると、種々の実施形態による例示的なフローチャートは、ソース・データ格納システム（ＤＳＳ）から別個で外部のメタデータ格納および管理システムにメタデータを複製または走査し、好ましくは、メタデータ格納システムにおいて、新しく作成されたメタデータ・レコードに任意のカスタム・メタデータ・タグまたは属性を添付する方法を説明し、記述する。図８に示した方法８００が、便宜上説明されているが、本開示を一連のまたは多数のまたはその両方のステップを含むものとして限定する意図はなく、プロセスは、一連のステップとして実行される必要はなく、もしくは、ステップは、図８に関連して示され、説明された順序で実行される必要はなく、またはその両方ではなく、しかし、プロセスは、統合されてもよく、もしくは、１または複数のステップが一緒に同時に実行されてもよく、もしくは、その両方であってもよく、あるいは、ステップは、特に指示されない限り、開示された順序で、または別の順序で実行されてもよいことを理解されたい。

方法８００おける８０２では、接続がソース・データ格納システム（ＤＳＳ）とメタデータ管理プラットフォームまたはシステムとの間で確立される。好ましくは、メタデータ管理プラットフォーム（ＭＭＰ）によるＤＳＳの走査は、８０４で、ＳＳＦのファイルまたはオブジェクトもしくはディレクトリまたはバケットまたはその両方からＭＭＰへメタデータを捕捉する。ＤＳＳの走査は、好ましくは、ソース格納ファイル・システム（ＳＳＦ）内のすべてのファイルおよびディレクトリ、または、ソース格納オブジェクト・システム（ＳＯＳ）内のすべてのオブジェクトおよびバケットについてメタデータを捕捉する。ＭＭＰ上に捕捉されたメタデータは、メタデータ・レコードを作成し、もしくは形成し、またはその両方を行う。ＭＭＰによるＤＳＳ上のディレクトリまたはバケットの走査は、ＤＳＳ上のディレクトリまたはバケットにセットされた任意のカスタム・メタデータ・タグまたは属性を捕捉する。８０６でＤＳＳディレクトリまたはバケットの走査によって捕捉されたカスタム・メタデータ・タグまたは属性は、ＭＭＰ上のルックアップ・テーブルに格納される。１または複数の実施形態において、ルックアップ・テーブルは、ディレクトリまたはバケット・カラムと、カスタム・メタデータ属性またはタグ・カラムとを含む。一実施形態においては、ＭＭＰは、そのメタデータが外部ＭＭＰに保存される各データ・システムについてルックアップ・テーブルを有し、かつ保持する。

一側面においては、ＤＳＳの各後続の走査について、８０８で、ＤＳＳ内の新しいまたは既存のディレクトリまたはバケットに対するカスタム・メタデータ・タグまたは属性に対する任意の更新が、ルックアップ・テーブルに追加される。例えば、後続の走査中に、ＤＳＳ内の既存のディレクトリまたはバケットに新しいカスタム・メタデータ・タグまたは属性が追加される場合、新しいタグがそのディレクトリまたはバケットについてルックアップ・テーブルに追加される。さらなる例として、後続の走査中に、新しいディレクトリまたはバケットがＤＳＳに追加される場合、新しいディレクトリまたはバケット（およびその対応するカスタム・メタデータ・タグまたは属性）がルックアップ・テーブルに追加される。８１０においては、ＤＳＳからのファイルまたはオブジェクトがＭＭＰに取り込まれると、ＭＭＰは、メタデータ・レコード内のファイル・パスまたはオブジェクト・パスを検査して、ファイルのディレクトリまたはオブジェクトのバケットを取得または抽出し、抽出されたファイルのディレクトリまたはオブジェクトのバケットを用いて、マッチするディレクトリまたはバケットについてルックアップ・テーブル内でルックアップまたは検索を実行する。８１５においては、ルックアップ・テーブル内の検索が成功したか否かが判定される。言い換えると、８１５においては、ルックアップ・テーブル内にヒットまたはマッチするディレクトリまたはバケットが存在するか否かが判定される。ルックアップ・テーブル内の検索が成功した場合（８１５：ＹＥＳ）、次いで、８２０において、ルックアップ・テーブルからのマッチするディレクトリまたはバケットに関連する任意のカスタム・メタデータ・タグまたは属性がメタデータ・レコードに添付され、拡張メタデータ・レコードが形成される。８２０においては、拡張メタデータ・レコードもまた、ＭＭＰ上のデータベースにインデックス付けされ、格納される。１または複数の実施形態においては、カスタム・メタデータ・タグが、ＤＳＳは独立してＭＭＰ内の拡張メタデータ・レコードを検索するために用いられ得る。

メタデータ・ファイルまたはオブジェクト・パスから得られたディレクトリまたはバケットに対するルックアップ・テーブル内の探索が不成功である場合（８１５：ＮＯ）、それは、カスタム・メタデータ属性が、未だ走査されず、ルックアップ・テーブル内に捕捉されていないことを意味する。このシナリオでは、実施形態においては、ルックアップ・テーブル内のサーチが不成功である場合、８２５において、調整ポリシーが実行または実施されてもよい。一側面では、実施される調整ポリシーは、ルックアップ・テーブルに行を追加してもよく、さらなる側面では、カスタム・メタデータ・タグとマッチするディレクトリまたはバケットを有するＭＭＰのインデックス内のレコードのサブセットを更新してもよい。ディレクトリまたはバケットのエントリが新しいメタデータで更新される場合に、代替または追加の調整ポリシーが実施され、カスタム・メタデータ・タグへの更新が、ＭＭＰデータベースにおいて既にインデックス付けされ、格納されたバケット内のディレクトリまたはオブジェクト内のこれらの関連ファイルに適用されるようにしてもよい。ルックアップ・テーブル内の行または行のセットへの更新がなされると、マッチするディレクトリまたはバケットを有するＭＭＰデータベースにインデックス化され、保存されたレコードのサブセットは、特段の指示がない限り、更新されたカスタム・メタデータ・タグで更新されるであろう。

ここで、図９を参照すると、種々の実施形態による例示的なフローチャートは、カスタム・メタデータ・タグまたは属性セットを有するソース・データ格納システム（ＤＳＳ）のディレクトリまたはバケットにファイルまたはオブジェクトが作成されたときに、カスタム・メタデータ・タグまたは属性を、外部メタデータ・データベースにインデックス付けされ、格納された新たに作成されたファイルまたはオブジェクトに適用する方法を示し、説明する。図９に示した方法９００が、便宜上説明されるが、本開示を一連のまたは多数のまたはその両方のステップを含むものとして限定する意図はなく、プロセスは、一連のステップとして実行される必要はなく、もしくは、ステップは、図９に関連して示され、説明された順序で実行される必要はなく、またはその両方ではなく、しかし、プロセスは、統合されてもよく、もしくは、１または複数のステップが一緒に同時に実行されてもよく、もしくは、その両方であってもよく、あるいは、ステップは、開示された順序で、または別の順序で実行されてもよいことを理解されたい。

方法９００においては、ファイルまたはオブジェクトが、外部メタデータ管理プラットフォーム（ＭＭＰ）に接続されるソース・データ格納システム（ＤＳＳ）において生成されると、９０５において、ＤＳＳは、ＤＳＳのメタデータを包含する通知をＭＭＰにプッシュする。１または複数の実施形態において、ＤＳＳは、ディレクトリまたはバケットにセットされたカスタム・メタデータ・タグまたは属性を有し、１または複数の実施形態において、カスタム・メタデータ・タグまたは属性は、ＤＳＳ上でデータにインラインで格納されない。９１０においては、ＭＭＰは、ファイルまたはオブジェクト作成命令としてＭＭＰにプッシュされたメタデータからイベント・タイプを識別する。メタデータ・レコードのファイル・パスまたはオブジェクト・パスが、９１５において、好ましくはＭＭＰによって検査され、ディレクトリまたはバケット情報／識別情報を取得または抽出する。抽出されたディレクトリまたはバケットを用いて、ＭＭＰは、９２０において、マッチするディレクトリまたはバケットについてルックアップ・テーブル内でルックアップまたは検索を実行する。抽出されたディレクトリまたはバケットのルックアップがルックアップ・テーブル内のエントリとマッチする場合、例えば、ルックアップ・テーブルにヒットがある場合、次いで、９２５において、マッチするディレクトリまたはバケットに関連付けられた任意のカスタム・メタデータ・タグまたは属性が、メタデータ・レコードに添付または適用され、拡張メタデータ・レコードを形成する。９３０においては、拡張メタデータ・レコードが、ＭＭＰデータベースにインデックス付けされ、格納される。１または複数の実施形態においては、カスタム・メタデータ・タグが、ＤＳＳとは独立してＭＭＰ内で拡張メタデータ・レコードを探索し、見つけ出すために用いられ得る。

上述の例示的な実施形態は、好ましくは、プロセッサのユニットおよび回路のようなハードウェアにおいて実装されるが、例示的な実施形態の種々の側面は、ソフトウェアにおいても同様に実装され得る。例えば、図８および図９のフローチャートの各ブロックおよびフローチャート図のブロックの組み合わせが、コンピュータ・プログラム命令によって実装されてもよいことが理解されるであろう。これらのコンピュータ・プログラム命令は、プロセッサまたは他のプログラム可能なデータ処理装置に提供されて、プロセッサまたは他のプログラム可能なデータ処理装置上で実行される命令が、フローチャートのブロックまたは複数のブロックで特定される機能を実行するための手段を生成するようにマシンを生成することができる。これらのコンピュータ・プログラム命令は、プロセッサまたは他のプログラム可能なデータ処理装置を特定のやり方で機能させるよう指示することができるコンピュータ可読メモリまたはストレージ媒体に格納され、コンピュータ可読メモリまたはストレージ媒体に格納された命令が、フローチャートのブロックまたは複数のブロックで特定される機能を実行する命令手段を含む製品を生成するようにしてもよい。

１または複数の実施形態においては、コンピュータ・プログラム製品が開示される。コンピュータ・プログラム製品は、１または複数のコンピュータ可読媒体上で具現化されてもよく、実行されるとプロセッサに（ａ）データ格納システム（ＤＳＳ）からメタデータ管理プラットフォーム（ＭＭＰ）へメタデータ・レコードを受信し、（ｂ）ディレクトリまたはバケットからなるグループの少なくとも１つからのメタデータ属性をＭＭＰ上のルックアップ・テーブル内に格納し、（ｃ）ファイルのディレクトリまたはオブジェクトのバケットについてメタデータ・レコード内のファイル・パスまたはオブジェクト・パスを検査し、（ｄ）マッチするディレクトリまたはバケットを有するエントリをルックアップ・テーブル内で検索を行い、（ｅ）メタデータ属性を、マッチするディレクトリまたはバケットを有するルックアップ・テーブルのエントリからのメタデータ・レコードに適用して、メタデータ属性を有する拡張メタデータ・レコードを作成し、（ｆ）ＭＭＰ上のデータベースに拡張メタデータ・レコードを保存するようにさせるプログラミング命令を含む。命令が、プロセッサに、述べられた順序または代替の順序で動作させてもよく、代替または追加の命令を含んでもよいことが理解されるであろう。

１または複数の側面におけるコンピュータ・プログラム製品は、実行されるとプロセッサに、ＤＳＳの走査からメタデータ・レコードを受信し、ＤＳＳの追加の走査ごとに、更新されたメタデータ属性をＭＭＰ上のルックアップ・テーブルに追加するようにさせるプログラミング命令をさらに含む。さらなる実施形態においては、コンピュータ・プログラム製品は、加えて、または、代替的に、実行されるとプロセッサに、ＤＳＳ上でファイルおよびオブジェクトからなるグループのうちの少なくとも１つが生成されることに応答して、ファイルおよびオブジェクトからなるグループの少なくとも１つについてのメタデータを包含する通知を受信し、受信した通知におけるメタデータからのファイル・パスおよびオブジェクト・パスからなるグループの少なくとも１つを検査し、ファイル・パスおよびオブジェクト・パスからなるグループの少なくとも１つから、ＤＳＳで作成されたファイルおよびオブジェクトの少なくとも１つに対応するディレクトリまたはバケットを抽出し、抽出されたディレクトリまたはバケットにマッチするエントリをルックアップ・テーブルで検索するようにさせるプログラミング命令をさらに含む。任意選択で、１または複数の実施形態においては、コンピュータ・プログラム製品は、実行されるとプロセッサに、抽出されたディレクトリまたはバケットがルックアップ・テーブル内のディレクトリまたはバケットにマッチするか否かを判定し、抽出されたディレクトリまたはバケットがルックアップ・テーブル内の複数のエントリのうちの１つのディレクトリまたはバケットにマッチすることに応答して、マッチしたエントリからのメタデータ属性を、メタデータ・レコードに添付して、拡張されたメタデータ・レコードを形成し、拡張されたメタデータ・レコードをデータベースに保存するようにさせるプログラミング命令をさらに含む。

したがって、フローチャート図のブロックは、特定される機能を実行するための手段、特定の機能を実行するためのステップの組み合わせ、および、特定の機能を実行するためのプログラム命令手段の組み合わせをサポートする。フローチャート図の各ブロックおよびフローチャート図の複数のブロックの組み合わせは、特定の機能またはステップを実行する特定目的のハードウェアベースのコンピュータ・システムによって実装されてもよいし、または、特定目的ハードウェアおよびコンピュータ命令の組み合わせによって実装されてもよいことも理解されるであろう。

例えば、ＩＢＭ Ｃｌｏｕｄ（登録商標）Ｏｂｊｅｃｔ Ｓｔｏｒａｇｅ、ＯｐｅｎＳｔａｃｋ（登録商標）ＳｗｉｆｔおよびＡｍａｚｏｎ Ｓ３（登録商標）を含むバケット内にオブジェクトを格納する多数の異なるデータ格納システムが存在する。オブジェクト・ストレージについては、例えば、Ａｍａｚｏｎ Ｓ３（登録商標）およびＯｐｅｎＳｔａｃｋ（登録商標）Ｓｗｉｆｔの場合、ＰＵＴまたはＡＰＩコールが、バケット内の新たに生成されたオブジェクトを検出するために使用されるであろう。例えば、オブジェクト・ストレージについて、Ｓｐｅｃｔｒｕｍ（登録商標）Ｄｉｓｃｏｖｅｒメタデータ・プラットフォームは、ソース・オブジェクト格納システム（ＳＯＳ）から別個かつ外部であり、ＰＵＴまたはＰＯＳＴ ＲＥＳＴ ＡＰＩコールが、バケット内にオブジェクトを生成する。１または複数の実施形態においては、本開示のメタデータ・プラットフォーム、ＰＵＴまたはＰＯＳＴ ＲＥＳＴ ＡＰＩコールが使用され、オブジェクト・バケットからのカスタム・メタデータ・タグが、メタデータ格納システムまたはＭＭＰ（データベース）内のオブジェクトに追加される。Ａｍａｚｏｎ Ｓ３（登録商標）を用いる実施形態においては、メタデータ格納プラットフォーム（ＭＭＰ）は、格納対象システム（ＳＯＳ）によってバケット内にオブジェクトを作成するために使用されるＰＵＴまたはＰＯＳＴ ＡＰＩコールが通知され、ＭＭＰは、オブジェクト・バケットからのカスタム・メタデータ・タグをＭＭＰデータベース内のオブジェクトに適用するであろう。ＯｐｅｎＳｔａｃｋ（登録商標）Ｓｗｉｆｔを用いる別の実施形態においては、メタデータ格納プラットフォーム（ＭＭＰ）は、格納オブジェクト・システム（ＳＯＳ）によってバケット内にオブジェクトを作成するために使用されるＰＵＴまたはＰＯＳＴ ＡＰＩコールが通知され、メタデータ格納プラットフォーム（ＭＭＰ）は、オブジェクト・バケットからのカスタム・メタデータ・タグをメタデータ格納システム（ＭＭＰ）データベース内のオブジェクトに適用する。ファイル・システムのための別の実施形態においては、ソース・データ格納ファイル・システム内の仮想ファイル・システム（ＶＦＳ）層が、作成コマンドを検出し、メタデータ管理プラットフォーム（ＭＭＰ）に作成コマンドを通知するであろう。例えば、Ｓｐｅｃｔｒｕｍ（登録商標）Ｄｉｓｃｏｖｅｒでは、ソース・データ格納ファイル・システム内のＶＦＳ層は、作成コマンドを検出し、ソース・データ格納ファイル・システムから分離されたメタデータ格納システム（Ｓｐｅｃｔｒｕｍ（登録商標）Ｄｉｓｃｏｖｅｒインスタンス）に作成コマンドを通知し、これは、実施形態において、上述した１または複数の実施形態に従ってカスタム・メタデータ・タグがメタデータ・レコードに適用される。

本開示の１または複数の実施形態は、システム、方法もしくはコンピュータ・プログラム製品またはその組み合わせであってもよい。コンピュータ・プログラム製品は、プロセッサに本開示の側面を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読ストレージ媒体（または複数の媒体）を含んでもよい。

コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用するための命令を保持し格納する有形のデバイスであってよい。コンピュータ可読ストレージ媒体は、例えば、これに限定されるものではないが、電子的格納デバイス、磁気格納デバイス、光学格納デバイス、電磁気格納デバイス、半導体格納デバイスまたは上記の任意の適切な組み合わせであってよい。コンピュータ可読ストレージ媒体のより具体的な例示の例示列挙としては、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、消去可能プログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・オンリー・メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリースティック、フロッピー（登録商標）ディスク、パンチカードまたは記録された命令を有する溝内の隆起構造のような機械的エンコードされたデバイス、および上記の任意の適切な組み合わせが含まれる。コンピュータ可読ストレージ媒体は、本明細書で使用されるように、電波、自由伝搬する電磁波、導波路または他の伝送媒体を伝搬する電磁波（たとえば、ファイバ光ケーブルを通過する光パルス）または、ワイヤを通して伝送される電気信号のような、それ自体が一時的な信号として解釈されるものではない。

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピュータ／処理デバイスに、または、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークもしくは無線ネットワークまたはこれらの組み合わせといったネットワークを介して外部コンピュータまたは外部格納デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータもしくはエッジサーバまたはこれらの組み合わせを含んでもよい。各コンピュータ／処理デバイスにおけるネットワーク・アダプタ・カードまたはネットワーク・インタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体に格納するために転送する。

本開示の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、１以上のプログラミング言語の任意の組み合わせで書かれたソース・コードあるいはオブジェクト・コードであってよく、１以上のプログラミング言語は、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋またはこれらに類するもなどのオブジェクト指向言語、Ｃプログラミング言語または類似のプログラミング言語などの従来型の手続型言語を含む。コンピュータ可読プログラム命令は、スタンド・アローンのソフトウェア・パッケージとして、全体としてユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上かつ部分的に遠隔のコンピュータ上で、または、完全に遠隔のコンピュータまたはサーバ上で実行されてもよい。後者のシナリオでは、遠隔のコンピュータは、ユーザのコンピュータに、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じて接続されてもよく、あるいは接続は、（例えば、インターネット・サービス・プロバイダを用いてインターネットを通じて）外部コンピュータになされてもよい。いくつかの実施形態においては、電気的回路は、本開示の側面を実行するために、コンピュータ可読プログラム命令の状態情報を利用して、電気的回路を個別化することによって、コンピュータ可読プログラム命令を実行してもよく、この電気的回路は、例えば、プログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む。

本開示の側面は、本開示において、本発明の実施形態に従った方法、装置（システム）およびコンピュータ・プログラム製品のフローチャート図もしくはブロック図またはその両方を参照しながら、説明される。フローチャート図もしくはブロック図またはその両方の各ブロック、および、フローチャート図もしくはブロック図またはその両方における複数のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装されてもよいことが理解されよう。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、特定用途向けコンピュータのプロセッサまたは他のプログラマブル・データ処理装置に提供され、コンピュータのプロセッサまたは他のプログラマブル・データ処理装置を介して実行される命令が、フローチャート図もしくはブロックまたはその両方のブロックまたは複数のブロックにおいて特定される機能／作用を実装するための手段を作成するように、マシンを生成する。これらのコンピュータ可読プログラム命令は、また、コンピュータ、プログラマブル・データ処理装置もしくは他のデバイスまたはこれらの組み合わせに特定のやり方で機能するよう指示できるコンピュータ可読ストレージ媒体に格納され、それに格納された命令を有するコンピュータ可読ストレージ媒体に、フローチャートもしくはブロックまたはその両方のブロックまたは複数のブロックで特定される機能／作用の側面を実装する命令を含む製品が含まれるようにする。

コンピュータ可読プログラム命令は、また、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにロードされ、コンピュータ、他のプログラマブル・データ処理装置または他のデバイス上で一連の動作ステップを実行させて、コンピュータ、他のプログラマブル・データ処理装置または他のデバイス上で実行される命令が、フローチャートもしくはブロックまたはその両方のブロックまたは複数のブロックで特定される機能／作用の側面を実装するように、コンピュータ実装処理を生成することもできる。

図面におけるフローチャートおよびブロック図は、本開示の種々の実施形態に従ったシステム、方法およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能性および動作を示す。この点に関して、フローチャートまたはブロック図の各ブロックは、特定の論理機能を実装するための１以上の実行可能な命令を含む、モジュール、セグメントまたは命令の一部を表す可能性がある。いくつかの代替の実装では、ブロックにおいて言及された機能は、図面に示された順序から外れて生じる可能性がある。例えば、連続して示される２つのブロックは、実質的に同時に、実行されてもよく、あるいは、複数のブロックは、関与する機能性に応じて逆の順序で実行されてもよい。ブロック図もしくはフローチャート図またはその両方の各ブロックおよびブロック図もしくはフローチャート図またはその両方の複数のブロックの組み合わせが、特定の機能または作用を実行し、または、特別な目的のハードウェアおよびコンピュータ命令の組み合わせを実施する、特定目的ハードウェアベースのシステムによって実装されてもよいことに留意されたい。

さらに、種々の実施形態によるシステムは、プロセッサと、プロセッサに統合されもしくはプロセッサにより実行可能とされ、またはその両方であるロジックとを含み、ロジックは、本明細書で記述した処理ステップのうちの１つまたは複数を実行するように構成される。統合されているとは、プロセッサが、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのハードウェア・ロジックとしてそれに埋め込まれたロジックを有するということを意味する。プロセッサによって実行可能であることは、ロジックがハードウェア・ロジックであること、ファームウェア、オペレーティング・システムの一部、アプリケーション・プログラムの一部などソフトウェア・ロジックであること、および、ハードウェアと、プロセッサによってアクセス可能であり、プロセッサによる実行によりいくつかの機能をプロセッサに実行させるソフトウェア・ロジックとのいくつかの組み合わせであることを意味する。ソフトウェア・ロジックは、当該技術分野で既知のように、任意のメモリ・タイプのローカルもしくはリモートまたはその両方のメモリ上に格納されてもよい。ソフトウェア・プロセッサ・モジュール、もしくは、ＡＳＩＣ，ＦＰＧＡ、中央処理装置（ＣＰＵ）、集積回路（ＩＣ）、グラフィックス処理ユニット（ＧＰＵ）などのハードウェア・プロセッサ、またはその組み合わせのような、当該技術分野で既知の任意のプロセッサを用いてもよい。

以下の特許請求の範囲における、対応する構造、材料、動作および全てのミーンズまたはステップ・プラス・ファンクション要素の均等物は、明確に特許請求されるように、他の特許請求された要素と組み合わせで機能を実行するための任意の構造、材料または動作を含むことが意図される。本開示の実施形態の説明は、例示および説明のために提示されたが、しかし、網羅的であることも、開示される形態における実施形態に限定されることを意図するものではない。当業者によれば、本開示の範囲および精神から逸脱することなく、多くの修正および変更が明らかであろう。本開示の原理および実際的な応用を最もよく説明するために、また、当業者が、企図される特定の使用に適した種々な変更を伴う種々の実施形態の開示を理解することを可能にするために、実施形態および実施例が、選択され説明された。

本明細書で説明されるプログラムは、本開示の特定の実施形態においてそれらが実装されるアプリケーションに基づいて特定される。しかしながら、本明細書における特定のプログラム命名は、単なる便宜上使用されるものであり、従って、本開示は、そのような命名法によって特定され、もしくは暗に示される特定のアプリケーションにのみ使用することに限定されるべきではないことが理解されるべきである。

上述したシステムもしくは方法またはその両方の種々の特徴が、任意の方法で組み合わせて、上述した説明から複数の組み合わせを作成することができることは明らかであろう。

さらに、本開示の実施形態は、顧客の代わりにオンデマンドでサービスを提供するためにデプロイされるサービスの形態で提供されてもよいことが理解されるであろう。

本開示の種々の実施形態の説明が、説明のために提示されたが、しかしながら、網羅的であること、または、開示される実施形態に限定されることを意図するものではない。説明される実施形態の範囲および精神を逸脱することなく、多くの変更および変形が当業者にとって明らかであろう。本明細書で使用される用語は、実施形態の原理、実際の応用または市場で発見される技術に対する技術的改善を最もよく説明するために、あるいは、他の当業者が、本明細書で開示される実施形態を理解できるように選ばれたものである。

Claims (17)

1. メタデータを管理する方法であって、プロセッサが、
   ルックアップ・テーブルを有するメタデータ管理プラットフォーム（ＭＭＰ）に、データおよびメタデータの両方を格納するソースのデータ格納システム（ＤＳＳ）を接続するステップであって、前記ＤＳＳは、前記データとは別個にメタデータを格納し、前記データとは別個にディレクトリまたはバケットにメタデータ属性を格納している、前記接続するステップと、
   前記ＤＳＳ上を走査し、前記ＤＳＳ内のディレクトリまたはバケットについてメタデータを捕捉し、第１のメタデータ・レコードとして前記ＭＭＰ上に格納するステップと、
   前記ＭＭＰ上の前記ルックアップ・テーブルに、前記走査で捕捉された、前記第１のメタデータ・レコードにかかる前記ＤＳＳ上のディレクトリまたはバケットと、対応するメタデータ属性とを対応付けて格納するステップと
   を実行し、前記方法は、さらに、前記プロセッサが、
   前記ＤＳＳ内のファイルまたはオブジェクトについて取り込まれたメタデータである第２のメタデータ・レコードから抽出される前記ファイルのディレクトリまたは前記オブジェクトのバケットが前記ルックアップ・テーブル内のエントリにマッチすることに応答して、前記ルックアップ・テーブル内のマッチする前記エントリに関連付けられたメタデータ属性を前記第２のメタデータ・レコードに適用するステップ
   を実行する、方法。
2. 前記方法は、さらに、
   前記走査に後続する前記ＤＳＳの後続の走査ごとに、前記後続の走査で捕捉された前記ＤＳＳ上の新しいまたは既存のディレクトリまたはバケットについてのメタデータ属性に関する更新に応答して、前記更新にかかるメタデータ属性を、前記ＭＭＰ上の前記ルックアップ・テーブルに追加するステップ
   を含む、請求項１に記載の方法。
3. 前記ＭＭＰは、前記ＤＳＳとは別個であり、前記ＤＳＳの外部となり、メタデータのみが前記ＭＭＰに格納される、請求項２に記載の方法。
4. 前記プロセッサが、
   前記ＤＳＳ上のすべてのファイルおよびすべてのディレクトリを走査し、前記すべてのファイルおよびすべてのディレクトリについてメタデータを捕捉するステップ、または、前記ＤＳＳ上のすべてのオブジェクトおよびすべてのバケットを走査し、前記すべてのオブジェクトおよびすべてのバケットについてメタデータを捕捉するステップ
   をさらに実行する、請求項２に記載の方法。
5. 前記ルックアップ・テーブルは、複数のエントリを含み、各エントリは、ディレクトリまたはバケットと、その対応するメタデータ属性とを含む、請求項２に記載の方法。
6. 前記追加するステップは、前記後続の走査で捕捉された前記ＤＳＳ上の既存のディレクトリまたはバケットについてのメタデータ属性に関する更新に応答して、前記更新にかかる１または複数の新しいメタデータ属性を、前記ルックアップ・テーブル内で、前記ルックアップ・テーブル内の複数のエントリのうちの１または複数における既存のディレクトリまたは既存のバケットに対して追加するステップを含む、請求項５に記載の方法。
7. 前記追加するステップは、前記後続の走査で捕捉された前記ＤＳＳ上の新しいディレクトリまたはバケットについてのメタデータ属性に関する更新に応答して、前記ルックアップ・テーブルに、前記更新にかかる１または複数の新しいメタデータ属性を含む１または複数の新しいエントリを追加するステップを含む、請求項５に記載の方法。
8. 前記プロセッサが、
   前記ＭＭＰ上で前記ファイルまたは前記オブジェクトに対応する前記第２のメタデータ・レコードが格納されることに応答して、前記第２のメタデータ・レコード内のファイル・パスまたはオブジェクト・パスを検査するステップと、
   前記ファイル・パスまたはオブジェクト・パスからディレクトリまたはバケットを抽出するステップと
   をさらに実行する、請求項２に記載の方法。
9. 前記ＭＭＰは、前記ファイル・パスまたはオブジェクト・パスを検査し、前記ファイルのディレクトリまたは前記オブジェクトのバケットを抽出する、請求項８に記載の方法。
10. 前記プロセッサが、
    前記ファイル・パスまたはオブジェクト・パスからディレクトリまたはバケットを抽出することに応答して、前記ルックアップ・テーブル内で、抽出された前記ディレクトリまたはバケットのルックアップを実行するステップ
    をさらに実行し、前記ルックアップにより、前記ルックアップ・テーブル内のエントリにマッチするか否かが判定される、請求項８に記載の方法。
11. 前記プロセッサが、
    適用された前記メタデータ属性とともに前記第２のメタデータ・レコードを、前記メタデータ属性を有する前記ＭＭＰ内の拡張されたメタデータ・レコードとして、格納するステップ
    をさらに実行する、請求項２に記載の方法。
12. 前記プロセッサが、前記対応付けて格納するステップの後に、
    接続された前記ＤＳＳ上で新たなファイルまたはオブジェクトが生成されることに応答して前記ＤＳＳからプッシュされる、前記新たなファイルまたはオブジェクトについての新たなメタデータを包含する通知を受信するステップと、
    前記ＭＭＰにプッシュされた前記新たなメタデータ内のファイル・パスまたはオブジェクト・パスを検査するステップと、
    前記新たなメタデータ内の前記ファイル・パスまたはオブジェクト・パスから、前記ＤＳＳ内で作成された前記新たなファイルまたはオブジェクトに対応するディレクトリまたはバケットを抽出するステップと、
    前記ＭＭＰにプッシュされた前記新たなメタデータから前記新たなファイルまたはオブジェクトに対応するディレクトリまたはバケットを抽出することに応答して、ルックアップを実行して、抽出された前記ディレクトリまたはバケットが前記ルックアップ・テーブル内のディレクトリまたはバケットにマッチするか否かを判定するステップと、
    抽出された前記ディレクトリまたはバケットが前記ルックアップ・テーブル内のディレクトリまたはバケットにマッチすることに応答して、前記ルックアップ・テーブル内のマッチする前記ディレクトリまたはバケットに対応する前記メタデータ属性を、前記新たなメタデータに対応するメタデータ・レコードに添付して、メタデータ属性を有する前記ＭＭＰ内の拡張されたメタデータ・レコードを形成するステップと
    をさらに実行する、請求項２に記載の方法。
13. 前記プロセッサが、
    前記ＭＭＰにメタデータ属性を有する拡張された前記メタデータ・レコードを保存するステップ
    をさらに実行する、請求項１２に記載の方法。
14. メタデータを管理するためのシステムであって、
    回路および論理を包含するメタデータ管理プラットフォーム（ＭＭＰ）であって、前記ＭＭＰは、データ格納システム（ＤＳＳ）に接続するように構成され、前記ＤＳＳは、データおよび前記データとは別個のメタデータを格納し、ファイル・システムのためのディレクトリまたはオブジェクト・システムのためのバケットにセットされたメタデータ属性を有し、前記ＭＭＰは、
    メタデータ属性を有する拡張されたメタデータ・レコードを格納するためのデータベースと、
    複数のエントリを有するキャッシュ・ルックアップ・テーブルであって、各エントリは、ディレクトリまたはバケットおよび前記ディレクトリまたはバケットについての対応するメタデータ属性を有するキャッシュ・ルックアップ・テーブルと
    を含み、前記ＭＭＰは、前記ＤＳＳから、前記ＤＳＳ内のファイルまたはオブジェクトおよびディレクトリまたはバケットについてのメタデータを受信し、かつ、受信した前記メタデータにかかるディレクトリまたはバケットからのメタデータ属性を、前記ＭＭＰ上の前記ルックアップ・テーブルに、受信した前記メタデータにかかるディレクトリまたはバケットと対応付けて格納するよう構成され、
    前記ＭＭＰは、前記ファイルまたはオブジェクトのディレクトリまたはバケットについて、前記ファイルまたはオブジェクトについての受信した前記メタデータ内のファイル・パスまたはオブジェクト・パスを検査し、前記ルックアップ・テーブルで、マッチするディレクトリまたはバケットを有するエントリの検索を実行し、前記ルックアップ・テーブル内のマッチする前記エントリに関連付けられたメタデータ属性を、受信した前記メタデータに適用し、前記メタデータ属性を有するＭＭＰ内の拡張されたメタデータ・レコードを作成し、拡張された前記メタデータ・レコードを前記ＭＭＰ上の前記データベースに格納するよう構成される、システム。
15. 前記ＭＭＰは、前記ＤＳＳから走査に応じたメタデータを受信し、前記ＤＳＳの前記走査に後続する後続の走査ごとに、前記後続の走査で捕捉された前記ＤＳＳ上の新しいまたは既存のディレクトリまたはバケットについてのメタデータ属性に関する更新に応答して、前記更新にかかるメタデータ属性を前記ＭＭＰ上の前記ルックアップ・テーブルに追加するようにさらに構成される、請求項１４に記載のシステム。
16. 前記ＭＭＰは、さらに、
    前記ＤＳＳ上で新たなファイルまたはオブジェクトが生成されることに応答して、前記新たなファイルまたはオブジェクトについての新たなメタデータを包含する通知を受信し、
    受信した前記通知における前記新たなメタデータ内のファイル・パスまたはオブジェクト・パスを検査し、
    受信した前記通知についての前記ファイル・パスまたはオブジェクト・パスから、前記ＤＳＳで作成された前記新たなファイルまたはオブジェクトに対応するディレクトリまたはバケットを抽出し、
    受信した前記通知について抽出された前記ディレクトリまたはバケットにマッチするエントリを前記ルックアップ・テーブルで検索する
    ように構成される、請求項１４に記載のシステム。
17. 前記ＭＭＰは、さらに、
    受信した前記通知についての抽出された前記ディレクトリまたはバケットが前記ルックアップ・テーブル内のディレクトリまたはバケットにマッチするか否かを判定し、
    受信した前記通知についての抽出された前記ディレクトリまたはバケットが前記ルックアップ・テーブル内の前記複数のエントリのうちの１つのディレクトリまたはバケットにマッチすることに応答して、前記ルックアップ・テーブル内のマッチする前記エントリに関連付けられたメタデータ属性を、前記新たなメタデータに追加して、拡張された新たなメタデータ・レコードを形成し、
    拡張された前記新たなメタデータ・レコードを前記データベースに保存する
    ように構成される、請求項１６に記載のシステム。