JP7665672B2 - データ処理システム、データ処理方法、及びデータ処理プログラム - Google Patents

Description

本発明は、データソースのデータをデータ格納先に登録する技術に関する。

現場等で生成されたデータをデータベース等のデータ格納先に登録し、データ格納先に格納されたデータを用いて可視化、分析等の処理が行われている。

例えば、生成されたデータを受け取って、データ登録先に登録する処理を実行する処理装置において、データが到着するたびに逐次的にデータをデータ登録先に登録する処理を行うようにすると、データ登録先への登録処理におけるオーバヘッドが大きくなる。このため、処理装置の性能（例えば、バッファのサイズ等）によっては、データ登録先への登録処理の影響により、到着したデータをバッファに格納できないデータ損失（データロスト）が発生する虞がある。

これに対して、例えば、所定の時間（溜め込み時間）内に到着したデータを集約してデータ登録先に登録するようにして、データ登録先への登録処理の効率を向上してデータロストを防ぐ技術が知られている。

しかしながら、溜め込み時間が長すぎると、データ登録先へのデータの格納に長期間を要し、データ登録先のデータを利活用するデータ利活用先での処理におけるリアルタイム性が損なわれてしまう虞がある。

例えば、特許文献１には、時間的制約があって管理が厳しいストリームデータを処理する技術として、ストリームデータと、非ストリームデータを処理する装置において、パラメータを備えたリクエストに対して２種類の待ち行列と、パラメータによってリクエスト実行順番を計画する処理と、待ち行列をスキャンし最適なリクエストを実行する処理を持つことによりリクエスト実行順番を処理が最適化されるようにリアルタイムに切り替える技術が開示されている。

特開２００１－１４２６４９号公報

上記したように、溜め込み時間が長すぎると、データ登録先へのデータの格納に長期間を要し、データ登録先のデータを利活用するデータ利活用先での処理におけるリアルタイム性が損なわれてしまう虞があるが、溜め込み時間をどのように設定するについての技術は知られていない。

本発明は、上記事情に鑑みなされたものであり、その目的は、データ登録先へ登録するデータの溜め込み時間を容易且つ適切に設定することのできる技術を提供することにある。

上記目的を達成するため、一観点に係るデータ処理システムは、データを受け取ってバッファに格納し、前記バッファに格納したデータを所定のデータ格納先へ出力する処理を実行するデータ処理システムであって、前記データ処理システムは、１以上のプロセッサを含み、前記プロセッサは、前記データ格納先のデータを参照する参照周期を受け付け、前記バッファに格納されたデータを前記データ格納先へ出力するまで溜め込んでおく時間である溜め込み時間を、前記バッファへの格納対象となるデータを前記バッファへ格納できないデータ損失の有無に基づいて、前記参照周期以内の時間に決定し、決定された前記溜め込み時間に従って、前記バッファのデータを前記データ格納先に出力する。

本発明によれば、データ登録先へ登録するデータの溜め込み時間を容易且つ適切に設定することができる。

図１は、第１実施形態に係る情報処理システムの全体構成図である。 図２は、第１実施形態に係るリスト表の構成図である。 図３は、第１実施形態に係る設定画面の構成図である。 図４は、第１実施形態に係る溜め込み時間設定処理のフローチャートである。 図５は、第１実施形態に係るリスト表の状態の一例を示す図である。 図６は、第１実施形態に係るリスト表の状態の他の例を示す図である。 図７は、第１実施形態に係るデータ処理システムのハードウェア構成図である。 図８は、第２実施形態に係るデータ処理システムの機能構成図である。 図９は、第２実施形態に係るリスト表の構成図である。 図１０は、第２実施形態に係る溜め込み時間設定処理のフローチャートである。 図１１は、変形例にかかるデータ処理システムの構成図である。

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、第１実施形態に係る情報処理システムの全体構成図である。

情報処理システム１０は、データソースデバイス１１と、データ処理システム２０と、データ蓄積装置１２と、データ利活用装置１３とを含む。データソースデバイス１１と、データ処理システム２０とは、ネットワーク１５を介して接続されている。

データソースデバイス１１は、データ蓄積装置１２に蓄積するデータのソースとなるデバイスである。データソースデバイス１１は、例えば、各種状態を検出するセンサを含んでもよい。データソースデバイス１１は、データ処理システム２０に逐次データを送信する。

データ蓄積装置１２は、データ格納先の一例であり、例えば、データベースであり、データソースデバイス１１のデータを利用可能に蓄積する。

データ利活用装置１３は、データ蓄積装置１２に蓄積されたデータを参照して、各種処理を実行する。例えば、データ利活用装置１３は、処理に必要なデータを所定の参照周期（例えば、５秒）で参照して処理を実行する。

データ処理システム２０は、データソースデバイス１１から送信されるデータをデータ蓄積装置１２に格納する処理を実行する。

データ処理システム２０は、データ受付部２１と、データ出力部２２と、溜め込み時間決定処理部２３とを含む。データ受付部２１は、データソースデバイス１１から送信されたデータ（格納対象データ）を受け付けてバッファに格納する処理を行う。データ出力部２２は、データを送信するまでに溜め込んでおく時間（溜め込み時間）の設定に従ってバッファに格納されたデータをデータ蓄積装置１２に送信する。

溜め込み時間決定処理部２３は、データ出力部２２におけるデータの溜め込み時間を決定する溜め込み時間決定処理（図４参照）を実行する機能部であり、処理部３０と、設定部４０とを含む。

設定部４０は、優先度設定部４１と、テストデータ設定部４２と、再設定部４３とを含む。優先度設定部４１は、後述する設定画面１００（図３参照）への設定に従って、パラメータ調整部３３に溜め込み時間決定処理における優先度を設定する。テストデータ設定部４２は、設定画面１００への設定に従って、テストデータ生成部３４により生成するテストデータの設定を行う。再設定部４３は、溜め込み時間の再設定が設定されている場合に、溜め込み時間決定処理を再度実行させる処理を行う。

処理部３０は、ロス検出部３１と、スループット検出部３２と、パラメータ調整部３３と、テストデータ生成部３４と、を含む。ロス検出部３１は、データ受付部２１によるデータソースデバイス１１からのデータをバッファに格納できないデータロスの発生を検出する。スループット検出部３２は、データ出力部２２によるデータ蓄積装置１２へのデータの格納におけるスループットを検出する。パラメータ調整部３３は、データ出力部２２におけるパラメータ（データの溜め込み時間）を調整するための溜め込み時間決定処理を実行する。テストデータ生成部３４は、テストデータの設定に従って溜め込み時間設定処理に使用するテストデータを生成してデータ受付部２１に渡す処理を行う。

次に、溜め込み時間決定処理において、生成されるリスト表について説明する。

図２は、第１実施形態に係るリスト表の構成図である。

リスト表５０は、溜め込み時間設定処理におけるテストで使用した溜め込み時間（候補溜め込み時間）毎のエントリを含む。リスト表５０のエントリは、溜め込み時間５１と、スループット値５２と、データロス有／無５３とのフィールドを含む。溜め込み時間５１には、エントリに対応する候補溜め込み時間が格納される。スループット値５２には、エントリに対応する候補溜め込み時間とした場合のデータ出力部２２によるスループットが格納される。データロス有／無５３には、エントリに対応する候補溜め込み時間とした場合におけるデータ受付部２１でのデータロスの発生の有無が格納される。

次に、設定画面１００について説明する。

図３は、第１実施形態に係る設定画面の構成図である。

設定画面１００は、溜め込み時間決定処理に必要な各種情報を設定するとともに、溜め込み時間決定処理による実行結果を表示するための画面であり、データ処理プログラムを実行する後述するプロセッサ８１により、例えば、データ処理システム２０に接続されたディスプレイ等の表示装置や、データ処理システム２０にネットワークを介して接続された情報処理装置の表示装置に表示される。

設定画面１００は、優先度設定領域１１０と、テストデータ設定領域１２０と、自動再設定領域１３０と、テスト開始ボタン１４０と、実行結果領域１５０とを含む。

優先度設定領域１１０は、優先度ボタン表示領域１１１と、参照周期設定領域１１２とを含む。優先度ボタン表示領域１１１は、溜め込み時間を設定するための優先度の設定を行う領域であり、データソースデバイス１１から送信されるデータの損失の回避（データ損失回避）を優先するのか、又はデータ利活用装置におけるデータを使用するアプリケーションの性能（アプリ側性能）を優先するのかを選択するためのラジオボタンが表示される。参照周期設定領域１１２は、アプリ側性能を優先する場合のアプリケーションにおけるデータ蓄積装置のデータに対する参照周期を設定する領域である。

テストデータ設定領域１２０は、テストデータ生成量設定領域１２１と、テストデータサイズ設定領域１２２とを含む。テストデータ生成量設定領域１２１は、データソースデバイス１１から到達するデータを模擬するテストデータの単位時間当たりのデータの数（件数）を設定する領域である。テストデータサイズ設定領域１２２は、テストデータのサイズを設定する領域である。

自動再設定領域１３０は、溜め込み時間を自動で再設定するか否かを設定するラジオボタンが表示される領域である。

テスト開始ボタン１４０は、テストデータを利用しての溜め込み時間設定処理を開始させる指示を行うボタンであり、テスト開始ボタン１４０が押下されると、溜め込み時間設定処理が開始される。

実行結果領域１５０は、溜め込み時間表示領域１５１と、スループット値表示領域１５２とを含む。溜め込み時間表示領域１５１は、溜め込み時間設定処理により設定された溜め込み時間を表示する領域である。スループット値表示領域１５２は、溜め込み時間設定処理により設定された溜め込み時間とした場合におけるデータ蓄積装置１２にデータを格納する際のスループットの値が表示される領域である。

次に、データ処理システム２０による処理動作について説明する。

図４は、第１実施形態に係る溜め込み時間設定処理のフローチャートである。

溜め込み時間設定処理は、例えば、設定画面１００において、テスト開始ボタン１４０が押下された場合、又はパラメータ調整部３３に自動再設定が設定され、決定した溜め込み時間を用いて処理を開始した後に、ロス検出部３１によりデータロスが所定の頻度以上発生したことを検出した場合に実行される。

まず、設定部４０は、設定画面１００に設定された各種要件を取得し、取得した要件に従って処理部３０の設定を行う（Ｓ１１）。具体的には、優先度設定部４１は、設定画面１００に設定された優先度をパラメータ調整部３３に設定し、テストデータ設定部４２は、設定画面に設定されたテストデータの要件をテストデータ生成部３４に設定し、再設定部４３は、設定画面１００に自動再設定が設定されている場合には、パラメータ調整部３３に自動再設定を設定する。

次いで、パラメータ調整部３３は、アプリ側性能を優先として設定されているか否かを判定する（Ｓ１２）。

この結果、アプリ側性能を優先として設定されている場合（Ｓ１２：Ｙｅｓ）には、パラメータ調整部３３は、データ出力部２２における溜め込み時間を設定画面のデータ参照周期に設定し（Ｓ１３）、処理をステップＳ１５に進める。

一方、アプリ側性能を優先として設定されていない場合（Ｓ１２：Ｎｏ）には、パラメータ調整部３３は、データ出力部２２における溜め込み時間を０秒に設定し（Ｓ１４）、処理をステップＳ１５に進める。

ステップＳ１５では、パラメータ調整部３３は、テストデータ生成部３４にテストデータの設定内容に従ってテストデータの生成を開始させる。

次いで、パラメータ調整部３３は、テストデータ生成部３４に一定時間テストデータを生成させてデータ受付部２１に送信させる（Ｓ１６）。これにより、データ受付部２１は送信されたデータを受け付けてバッファに格納する処理を実行し、データ出力部２２は設定された溜め込み時間に従ってバッファのデータをデータ蓄積装置１２に出力する処理を実行することとなる。

このようにデータ受付部２１及びデータ出力部２２が処理を行っている際には、ロス検出部３１は、データ受付部２１におけるデータロスの発生の有無を検出してパラメータ調整部３３に通知し、スループット検出部３２は、データ出力部２２によるスループットを検出してパラメータ調整部３３に通知する。

次いで、パラメータ調整部３３は、テストデータを使ってのテスト結果、すなわち、設定されている溜め込み時間、スループット、データロスの有無の情報をリスト表５０に登録する（Ｓ１７）。

次いで、パラメータ調整部３３は、アプリ側性能を優先として設定されているか否かを判定し（Ｓ１８）、アプリ側性能を優先として設定されている場合（Ｓ１８：Ｙｅｓ）には、処理をステップＳ１９に進める一方、アプリ側性能を優先として設定されていない場合（Ｓ１８：Ｎｏ）には、処理をステップＳ２０に進める。

ステップＳ１９では、パラメータ調整部３３は、溜め込み時間が０以下を満たしているか否かを判定し、満たしている場合（Ｓ１９：Ｙｅｓ）には、リスト表５０からデータロスがない溜め込み時間の中のいずれかを、実際に使用する溜め込み時間と決定してデータ出力部２２に設定し（Ｓ２２）、処理を終了する。ここで、実際に使用する溜め込み時間としては、アプリ側性能を優先として設定されている場合には、例えば、最短の溜め込み時間としてもよく、データロスがない溜め込み時間がない場合には、最長の溜め込み時間（参照周期と同じ時間）としてもよい。また、パラメータ調整部３３は、決定した溜め込み時間を設定画面１００の実行結果領域１５０に表示させるようにしてもよい。

一方、溜め込み時間が０以下を満たしていない場合（Ｓ１９：Ｎｏ）には、パラメータ調整部３３は、処理をステップＳ２１に進める。

ステップＳ２０では、パラメータ調整部３３は、データロスが発生したか否かを判定し、データロスが発生していない場合（Ｓ２０：Ｎｏ）には、処理をステップＳ２２に進める一方、データロスが発生している場合（Ｓ２０：Ｙｅｓ）には、データ出力部２２に設定されている溜め込み時間を加算（例えば、＋１）して設定をし（Ｓ２３）、処理をステップＳ１５に進める。

ステップＳ２１では、パラメータ調整部３３は、データロスが発生したか否かを判定し、データロスが発生していない場合（Ｓ２１：Ｎｏ）には、データ出力部２２に設定されている溜め込み時間を減算（例えば、－１）して設定をし（Ｓ２４）、処理をステップＳ１５に進める一方、データロスが発生している場合（Ｓ２１：Ｙｅｓ）には、処理をステップＳ２２に進める。

次に、溜め込み時間設定処理が行われた場合のリスト表のいくつかの例と、それぞれの場合に決定される溜め込み時間について図２，図５，図６を参照して説明する。図５は、第１実施形態に係るリスト表の状態の一例を示す図であり、図６は、第１実施形態に係るリスト表の状態の他の例を示す図である。

図２のリスト表は、アプリ側性能を優先する設定がされ、参照時間が７秒に設定されている場合の例であり、図５のリスト表は、アプリ側性能を優先する設定がされ、参照時間が２秒に設定されている場合の例であり、図６のリスト表は、アプリ側性能を優先する設定がされていない場合、すなわち、データ損失回避を優先する設定がされている場合の例である。

アプリ側性能を優先する設定がされ、参照時間が７秒に設定されている場合には、溜め込み時間設定処理により、図２に示すように、溜め込み時間が参照時間の７秒からデータロスが発生した時間である４秒までのエントリがリスト表５０に格納される。この場合には、例えば、データロスが発生していない最短の溜め込み時間である５秒が使用する溜め込み時間として決定される。これにより、データロスを発生させることなく、データ利活用装置１３での参照時間以下の溜め込み時間でデータ蓄積装置１２にデータを格納することができ、データ利活用装置１３でのリアルタイム性を適切に維持することができる。

また、アプリ側性能を優先する設定がされ、参照時間が２秒に設定されている場合には、溜め込み時間設定処理により、図５に示すように、溜め込み時間が参照時間の２秒から処理が開始されるが、データロスが発生するので、溜め込み時間が２秒のエントリのみがリスト表５０に格納される。この場合には、参照時間と同じ時間である２秒が使用する溜め込み時間として決定される。これにより、データロスは発生してしまうが、データ利活用装置１３での参照時間と同じ溜め込み時間でデータ蓄積装置１２にデータを格納することができ、データ利活用装置１３でのリアルタイム性を損なうことを抑制することができる。

また、アプリ側性能を優先する設定がされていない場合には、溜め込み時間設定処理により、図６に示すように、溜め込み時間が０秒から処理が開始され、データロスが発生しなくなる時間である５秒までのエントリがリスト表５０に格納される。この場合には、データロスが発生していない最短の時間である５秒が使用する溜め込み時間として決定される。これにより、データロスを発生させることなくデータ蓄積装置１２にデータを格納することができる。

次にデータ処理システム２０のハードウェア構成の一例について説明する。

図７は、第１実施形態に係るデータ処理システムのハードウェア構成図である。

データ処理システム２０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や汎用サーバ等のコンピュータであり、プロセッサ８１と、主記憶装置８２と、副記憶装置８３と、ネットワークインターフェース（ＮＷ ＩＦ）８４と、を含む。

ＮＷ ＩＦ８４は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、ネットワーク１５等を介して、他の装置（データソースデバイス１１、データ蓄積装置１２等）と通信する。

プロセッサ８１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、主記憶装置８２及び／又は副記憶装置８３に格納されているプログラムに従って各種処理を実行する。

主記憶装置８２は、例えば、ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）であり、プロセッサ８１で実行されるプログラムや、必要な情報（例えば、リスト表５０）を記憶する。また、主記憶装置８２は、例えば、データソースデバイス１１から受信したデータのバッファとして使用されてもよい。

副記憶装置８３は、例えば、ハードディスクやフラッシュメモリなどであり、プロセッサ８１で実行されるプログラムや、プロセッサ８１に利用されるデータを記憶する。本実施形態では、副記憶装置８３は、溜め込み時間決定処理を実行するデータ処理プログラムを記憶する。

本実施形態では、例えば、データ処理プログラムをプロセッサ８１が実行することにより、データ受付部２１、データ出力部２２、処理部３０、及び設定部４０が構成される。

次に、第２実施形態に係るデータ処理システムについて説明する。

図８は、第２実施形態に係るデータ処理システムの機能構成図である。なお、図８において、第１実施形態に係るデータ処理システム２０と同様な部分には、同一符号を付すこととする。

第２実施形態に係るデータ処理システム２０Ａは、処理部３０に代えて処理部３０Ａを備える。処理部３０Ａは、処理部３０に対して、新たにシェーピング部３５を備えるとともに、パラメータ調整部３３に代えてパラメータ調整部３３Ａを備えている。

シェーピング部３５は、所定の透過率に従って、入力されるデータを間引く間引き処理（シェーピング処理）を行う。シェーピング部３５は、通常時には、データソースデバイス１１から受信したデータに対してシェーピング処理を行ったデータ（格納対象データ）をデータ受付部２１に入力し、テスト時（溜め込み時間決定処理時）においては、テストデータ生成部３４により生成されたデータについてシェーピング処理を行ったデータ（格納対象データ）をデータ受付部２１に入力する。

パラメータ調整部３３Ａは、パラメータ調整部３３による溜め込み時間設定処理に対して、シェーピング部３５に設定する透過率を調整する処理を加えた溜め込み時間設定処理（図１０参照）を実行する。

次に、溜め込み時間決定処理において、生成されるリスト表について説明する。

図９は、第２実施形態に係るリスト表の構成図である。なお、図２に示すリスト表５０と同様な部分には同一の符号を付している。

リスト表６０は、テストに使用した溜め込み時間（候補溜め込み時間）毎のエントリを含む。リスト表６０のエントリは、溜め込み時間５１と、スループット値５２と、データロス有／無５３と、データ透過率５４とのフィールドを含む。データ透過率５４には、入力されたデータをシェーピング部３５がシェーピング処理をしてデータ受付部２１に入力させる割合（データ透過率）が格納される。

次に、データ処理システム２０Ａによる処理動作について説明する。

図１０は、第２実施形態に係る溜め込み時間設定処理のフローチャートである。なお、図４に示す第１実施形態に係る溜め込み時間設定処理と同様な処理ステップには、同一の符号を付し、重複する説明を省略する場合がある。

ステップＳ１３を行った後、パラメータ調整部３３Ａは、探索フラグをＯＦＦに設定し（Ｓ３１）、シェーピング部３５のデータ透過率を１００％に設定し（Ｓ３２）、溜め込み時間固定フラグをＯＦＦに設定し（Ｓ３３）、処理をステップＳ１５に進める。ここで、探索フラグは、データロスが発生していない溜め込み時間を検出したか否かを示し、溜め込み時間固定フラグは、溜め込み時間を変更するか否かを示す。

ステップＳ２１において、データロスが発生していない場合（Ｓ２１：Ｎｏ）には、処理をステップＳ３４に進める一方、データロスが発生している場合（Ｓ２１：Ｙｅｓ）には、処理をステップＳ３５に進める。

ステップＳ３４では、パラメータ調整部３３Ａは、溜め込み時間固定フラグがＯＦＦか否かを判定する。溜め込み時間固定フラグがＯＦＦでない場合（Ｓ３４：Ｎｏ）には、パラメータ調整部３３Ａは、溜め込み時間を変更しないことを意味しているので、処理をステップＳ２２に進める。

一方、溜め込み時間固定フラグがＯＦＦである場合（Ｓ３４：Ｙｅｓ）には、パラメータ調整部３３Ａは、データ出力部２２に設定されている溜め込み時間を減算（例えば、－１）して設定をし（Ｓ３６）、探索フラグをＯＮに設定し（Ｓ３７）、処理をステップＳ１５に進める。

ステップＳ３５では、パラメータ調整部３３Ａは、探索フラグがＯＦＦか否かを判定する。この結果、探索フラグがＯＦＦでない場合（Ｓ３５：Ｎｏ）には、データロスが発生しなかった溜め込み時間を既に探索していることを意味しているので、パラメータ調整部３３Ａは、処理をステップＳ２２に進める。

一方、探索フラグがＯＦＦである場合（Ｓ３５：Ｙｅｓ）には、パラメータ調整部３３Ａは、溜め込み時間が参照周期と同じ場合においてデータロスが発生し、データ透過率を変更しないとデータロスの発生を防ぐことができないことを意味しているので、パラメータ調整部３３Ａは、溜め込み時間固定フラグをＯＮに設定し（Ｓ３８）、データ透過率を減算（例えば、－１０％）してシェーピング部３５に設定し（Ｓ３９）、処理をステップＳ１５に進める。

次に、溜め込み時間設定処理が行われた場合のリスト表の例と、その場合に決定される溜め込み時間及びデータ透過率について図９を参照して説明する。

図９のリスト表は、アプリ側性能を優先する設定がされ、参照時間が２秒に設定されている場合の例である。

アプリ側性能を優先する設定がされ、参照時間が２秒に設定されている場合には、溜め込み時間設定処理により、図９に示すように、溜め込み時間が参照時間の２秒のみのエントリがリスト表６０に格納される。そして、データ透過率５４には、データロスが発生しなくなるまで減算されたデータ透過率（図９の例では、５０％）が格納される。この場合には、参照時間と同じ溜め込み時間である２秒が使用する溜め込み時間として決定され、シェーピング部３５は、データ透過率が５０％に設定される。これにより、溜め込み時間を参照時間としつつ、データロスが発生しないデータ透過率として、データ蓄積装置１２にデータを格納することができる。この場合には、データソースデバイス１１からのデータの一部は、シェーピングされてしまうが、シェーピングされた後の最新のデータについては、参照時間毎にデータ蓄積装置１２に格納することができるので、データ利活用装置１３でのリアルタイム性を適切に維持することができる。

次に、変形例に係るデータ処理システムについて説明する。

図１１は、変形例に係るデータ処理システムの構成図である。なお、図１に示すデータ処理システムと同様な機能部については、同一の符号を付している。

変形例に係るデータ処理システム２０Ｂは、ネットワーク７５を介して接続されたゲートウェイ７１とサーバ７０とを含む。

ゲートウェイ７１は、データ受付部７２と、データ出力部７３と、テストデータ生成部７４とを含む。

データ受付部７２は、データソースデバイス１１から送信されたデータを受け付けてゲートウェイ１内のバッファ（第１バッファ）に格納する処理を行う。データ出力部７３は、データを送信するまでに溜め込んでおく時間（溜め込み時間）の設定に従ってバッファに格納されたデータをサーバ７０に送信する。テストデータ生成部７４は、テストデータの設定に従ってテストデータを生成してデータ受付部７２に渡す処理を行う。

サーバ７０は、データ受付部２１と、データ出力部２２と、処理部３０Ｂと、設定部４０とを含む。なお、データ受付部２１は、データソースデバイス１１ではなく、ゲートウェイ７１から送信されたデータを受け付けてバッファ（第２バッファ）に格納する処理を行う。

処理部３０Ｂは、ロス検出部３１Ｂと、スループット検出部３２Ｂと、パラメータ調整部３３Ｂとを含む。ロス検出部３１Ｂは、データ受付部２１及びデータ受付部７２による入力されたデータをバッファに格納できないデータロスの発生を検出する。スループット検出部３２Ｂは、データ出力部２２及びデータ出力部７３によるデータ出力におけるスループットを検出する。パラメータ調整部３３Ｂは、データ出力部２２及びデータ出力部７３のそれぞれにおけるパラメータ（データの溜め込み時間）を調整するための溜め込み時間決定処理を実行する。なお、溜め込み時間決定処理は、図４に示す溜め込み時間決定処理と同様な処理を、ゲートウェイ７１と、サーバ７０とのそれぞれについて行う。

このデータ処理システム２０Ｂによると、ゲートウェイ７１からサーバ７０へ出力されるデータについての溜め込み時間も適切に決定することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。

例えば、上記実施形態では、溜め込み時間設定処理において、テストデータを入力して溜め込み時間を決定するようにしていたが、本発明はこれに限られず、例えば、データソースデバイスからの実際のデータを入力して溜め込み時間を決定するようにしもよい。

また、上記実施形態において、プロセッサが行っていた処理の一部又は全部を、専用のハードウェア回路で行うようにしてもよい。また、上記実施形態におけるプログラムは、プログラムソースからインストールされてよい。プログラムソースは、プログラム配布サーバ又は記録メディア（例えば可搬型の記録メディア）であってもよい。

１０…情報処理システム、１１…データソースデバイス、１２…データ蓄積装置、１３…データ利活用装置、２０，２０Ａ，２０Ｂ…データ処理システム、２１…データ受付部、２２…データ出力部、２３…溜め込み時間決定処理部、３０…処理部、３１…ロス検出部、３２…スループット検出部、３３…パラメータ調整部、３４…テストデータ生成部、４０…設定部、４１…優先度設定部、４２…テストデータ設定部、４３…再設定部

Claims (14)

1. データを受け取ってバッファに格納し、前記バッファに格納したデータを所定のデータ格納先へ出力する処理を実行するデータ処理システムであって、
   前記データ処理システムは、１以上のプロセッサを含み、
   前記プロセッサは、
   前記データ格納先のデータを参照する参照周期を受け付け、
   前記バッファに格納されたデータを前記データ格納先へ出力するまで溜め込んでおく時間である溜め込み時間を、前記バッファへの格納対象となるデータを前記バッファへ格納できないデータ損失の有無に基づいて、前記参照周期以内の時間に決定し、
   決定された前記溜め込み時間に従って、前記バッファのデータを前記データ格納先に出力する
   データ処理システム。
2. 前記プロセッサは、
   前記参照周期以内の１以上の時間を前記溜め込み時間の候補である候補溜め込み時間とした場合における、前記バッファへデータを格納できないデータ損失の発生の有無を検出し、
   前記データ損失が発生しなかった前記候補溜め込み時間を、前記溜め込み時間に決定する
   請求項１に記載のデータ処理システム。
3. 前記プロセッサは、
   複数の前記候補溜め込み時間の中の前記データ損失が発生しなかった最短の候補溜め込み時間を、前記溜め込み時間に決定する
   請求項２に記載のデータ処理システム。
4. 前記プロセッサは、
   前記参照周期と同じ値から徐々に減算していくことにより、複数の候補溜め込み時間を逐次決定し、前記バッファへデータを格納できないデータ損失の発生の有無を検出していくことにより、前記データ損失が発生しなかった最短の前記候補溜め込み時間を探索する
   請求項３に記載のデータ処理システム。
5. 前記プロセッサは、
   前記参照周期と同じ時間である溜め込み時間において、前記データ損失が発生した場合には、前記参照周期と同じ時間を前記溜め込み時間に決定する
   請求項１に記載のデータ処理システム。
6. 前記プロセッサは、
   入力されたデータの内の前記バッファへの格納対象とするデータの割合を示すデータ透過率に従って、前記入力されたデータを間引く間引き処理を実行して、前記間引き処理後のデータを前記バッファに格納し、
   前記データ透過率を変えた場合における、前記バッファへの格納対象となるデータを前記バッファへ格納できないデータ損失の発生の有無を検出し、
   前記データ損失が発生しない場合の前記データ透過率を、以降に使用するデータ透過率に決定する
   請求項５に記載のデータ処理システム。
7. 前記プロセッサは、
   入力されるデータとして用いるテストデータの設定を受け付け、
   前記設定に従ったテストデータを生成して前記入力されるデータとして用いる
   請求項１に記載のデータ処理システム。
8. 前記データ処理システムは、
   ゲートウェイと、前記ゲートウェイとネットワークを介して接続されたサーバとを備え、
   前記バッファは、前記ゲートウェイの第１バッファと、前記サーバの第２バッファとを含み、
   前記プロセッサは、前記サーバのプロセッサを含み、
   前記ゲートウェイは、入力されたデータを受け取って前記第１バッファに格納し、前記第１バッファに格納したデータを前記サーバに出力する処理を実行し、
   前記サーバのプロセッサは、前記ゲートウェイからデータを受け取って前記第２バッファに格納し、前記第２バッファに格納したデータを前記データ格納先に出力する処理を実行し、
   前記サーバのプロセッサは、
   前記第１バッファに格納されたデータを前記サーバへ出力するまで溜め込んでおく時間である第１溜め込み時間を、前記第１バッファへの格納対象となるデータを前記第１バッファへ格納できないデータ損失の有無に基づいて、前記参照周期以内の時間に決定し、
   前記第２バッファに格納されたデータを前記データ格納先へ出力するまで溜め込んでおく時間である第２溜め込み時間を、前記第２バッファへの格納対象となるデータを前記第２バッファへ格納できないデータ損失の有無に基づいて、前記参照周期以内の時間に決定する
   請求項１に記載のデータ処理システム。
9. 前記プロセッサは、
   データ損失回避を優先する指示を受け付け、
   データ損失回避を優先する指示を受け付けた場合に、データ損失回避を優先する設定されている場合における前記バッファに格納されたデータを前記データ格納先へ出力するまで溜め込んでおく時間である損失回避時溜め込み時間を、複数の時間を前記損失回避時溜め込み時間の候補である候補損失回避時溜め込み時間とした場合における、前記バッファへデータを格納できないデータ損失が発生しなかった候補損失回避時溜め込み時間の内の最長の候補損失回避時溜め込み時間に決定し、
   データ損失回避を優先する設定がされている場合には、決定した前記損失回避時溜め込み時間に従って、前記バッファのデータを前記データ格納先に出力する
   請求項１に記載のデータ処理システム。
10. 前記プロセッサは、
    所定のデータソースからの実際のデータを用いて、前記バッファへの格納対象となるデータを前記バッファへ格納できないデータ損失の有無を検出する
    請求項１に記載のデータ処理システム。
11. 前記プロセッサは、
    前記データ損失の発生が所定の条件を満たした場合に、前記溜め込み時間を再決定する処理を行う
    請求項１０に記載のデータ処理システム。
12. 前記プロセッサは、
    決定された前記溜め込み時間を表示させる
    請求項１に記載のデータ処理システム。
13. データを受け取ってバッファに格納し、前記バッファに格納したデータを所定のデータ格納先へ出力する処理を実行するデータ処理システムによるデータ処理方法であって、
    前記データ処理システムは、
    前記データ格納先のデータを参照する参照周期を受け付け、
    前記バッファに格納されたデータを前記データ格納先へ出力するまで溜め込んでおく時間である溜め込み時間を、前記バッファへの格納対象となるデータを前記バッファへ格納できないデータ損失の有無に基づいて、前記参照周期以内の時間に決定し、
    決定された前記溜め込み時間に従って、前記バッファのデータを前記データ格納先に出力する
    データ処理方法。
14. データを受け取ってバッファに格納し、前記バッファに格納したデータを所定のデータ格納先へ出力する処理をコンピュータに実行させるデータ処理プログラムであって、
    前記コンピュータに、
    前記データ格納先のデータを参照する参照周期を受け付けさせ
    前記バッファに格納されたデータを前記データ格納先へ出力するまで溜め込んでおく時間である溜め込み時間を、前記バッファへの格納対象となるデータを前記バッファへ格納できないデータ損失の有無に基づいて、前記参照周期以内の時間に決定させ、
    決定された前記溜め込み時間に従って、前記バッファのデータを前記データ格納先に出力させる
    データ処理プログラム。