JP7514785B2 - ソフトウェア性能検証システム、およびソフトウェア性能検証方法 - Google Patents

Description

本発明は、ソフトウェア性能検証システム、およびソフトウェア性能検証方法に関する。

特許文献１には、ソフトウェアの性能を予測するソフトウェア性能予測システムに関して記載されている。ソフトウェア性能予測システムは、複数の端末からソフトウェアの開発に伴う初期ソースコードもしくは変更ソースコードの入力を受け付け、受け付けたソースコードをソースコード情報としてデータベースに登録し、変更ソースコードによるソフトウェアの性能を登録済のソースコード情報に含まれる旧ソースコードによるソフトウェアの性能と比較することにより新旧ソースコードの性能の低減比率を算出し、性能の低減比率が所定の値を超えるか否かを判定し、性能低減比率が所定の値を超えると外部に判定結果を通知する。

特許文献２には、システム開発における性能ボトルネックを予測するシステム分析装置に関して記載されている。システム分析装置は、開発システム設計情報に類似した過去システム設計情報を類似システム検出結果として検出し、開発システム設計情報に含まれる開発システム機能部品と類似する過去システム機能部品を類似機能検索結果として検索し、開発システム要件、過去システム要件、開発システム機能部品、過去システム機能部品、および過去のシステムの過去システム測定結果を用いて、開発システム機能部品および過去システム機能部品が性能情報と結びついたシステム部品性能情報を取得し、類似システム検出結果とシステム部品性能情報から性能ボトルネックとなるシステム機能部品を検出する。

特開２０１２－２３４４４８号公報 特開２０２０－１４９６８１号公報

ソフトウェアの開発に際しては、ソフトウェアに実装されるべき機能に関する要件（以下、「機能要件」と称する。）と、ソフトウェアが満たすべき性能に関する要件（以下、「性能要件」と称する。）とを満たす必要がある。このうち機能要件を満たすか否かについては、ソフトウェア開発の各段階において開発者がソースコードに基づき確認することが可能であるが、性能要件についてはソースコードのレベルでは判断することが難しい。また、いわゆる性能解析ツール（プロファイラ）を用いて行われるソフトウェアの性能検証は、開発工程の後期において、実行コードの生成（コンパイル（compile）、ビルド（build）等）に必要なソースコードやデータが出揃わなければ行うことができないため、当該検証により性能要件を満たさないことが発覚した場合は手戻り工数が大きく、生産効率に与える影響が大きい。また、ソフトウェアの性能検証に際しては、様々な実行状況を想定したテストケースを設定し、各テストケースについて多量のテストデータを用意する必要があるため準備工数が大きい。

特許文献１では、変更ソースコードによるソフトウェアの性能を、登録済のソースコード情報に含まれる旧ソースコードによるソフトウェアの性能と比較している。しかし、上記比較を行うために変更ソースコードをコンパイルしビルドする必要があり、そのために
必要なソースコードやデータが出揃うまで性能を検証することができない。また、同文献に記載の技術は、インタプリタ型の言語のように、コンパイルが不要なプログラム言語については想定していない。また、同文献では、新旧ソースコードの性能の低減比率を求めているが、そのためには、変更前後の夫々についてテストデータを準備する必要がある。

特許文献２は、開発システムの設計情報と過去システム設計情報とを比較、即ち設計情報のレベルで比較することにより、システム設計の効率化を図るものであり、具体的なコードレベルでの性能問題の検証については想定しておらず、同文献に記載の技術はソフトウェアの開発時における性能の検証にかかる負荷軽減を目的とするものではない。

本発明は、このような背景に鑑みてなされたものであり、ソフトウェアの性能の検証を効率よく行うことが可能な、ソフトウェア性能検証システム、およびソフトウェア性能検証方法を提供することを目的とする。

上記目的を達成するための本発明の一つは、ソフトウェア性能検証システムであって、情報処理装置を用いて構成され、ソフトウェアを構成するプログラムのコードを記憶する記憶部と、前記コードの一部である部分コードを抽出する部分コード抽出部と、前記部分コードに基づく特徴量ベクトルを生成する特徴量ベクトル生成部と、学習用の前記部分コードの前記特徴量ベクトルと、当該部分コードに基づき実現されるソフトウェアを実行することにより取得される、スループット、レスポンスタイム、及びリソース使用量のうちの少なくともいずれかの指標により表された前記ソフトウェアの性能を示す情報である性能情報と、を含む学習データにより学習した機械学習モデルである性能検証モデルを生成する学習処理部と、前記性能検証モデルに、検証対象の前記部分コードを入力することにより得られる出力に基づく情報を当該部分コードの検証結果として生成する性能検証処理部と、を備える。

その他、本願が開示する課題、およびその解決方法は、発明を実施するための形態の欄、および図面により明らかにされる。

本発明によれば、ソフトウェアの性能の検証を効率よく行うことができる。

性能検証システムの概略的な構成を示すシステムフロー図である。 部分コード抽出処理の例を説明する図である。 部分コード抽出処理の例を説明するフローチャートである。 部分コード抽出処理の他の例を説明する図である。 部分コード抽出処理の他の例を説明するフローチャートである。 特徴量ベクトル生成処理の例を説明する図である。 特徴量ベクトル生成処理の例を説明するフローチャートである。 特徴量ベクトル生成処理の他の例を説明する図である。 単語辞書生成処理を説明するフローチャートである。 特徴量ベクトル化処理を説明するフローチャートである。 性能検証モデルの学習方法の例を説明する図である。 性能検証モデルの学習方法の例を説明するフローチャートである。 性能検証モデルの学習方法の他の例を説明する図である。 性能検証モデルの学習方法の他の例を説明するフローチャートである。 性能検証システムの適用例を説明する図である。 性能検証システムの適用例における処理を説明するフローチャートである。 性能検証システムの他の適用例を説明する図である。 性能検証システムの他の適用例における処理を説明するフローチャートである。 性能検証システム等の構成に用いる情報処理装置の一例である。

以下、実施形態について図面を参照しつつ説明する。尚、以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略もしくは簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。とくに限定しない限り、各構成要素は単数でも複数でも構わない。また、以下の説明において、同一または類似の構成について同一の符号を付して重複した説明を省略することがある。また、以下の説明において、符号の前に付した「Ｓ」の文字は処理ステップを意味する。

図１は、一実施形態として説明する情報処理システムであるソフトウェア性能検証システム（以下、「性能検証システム１」と略記する。）の概略的な構成を示すシステムフロー図である。性能検証システム１は、ソフトウェアの開発や保守に際して生成される、所定のプログラミング言語によって記述されているソースコード等のプログラムコード（以下、「コード」と称する。）を機械学習モデル（以下、「性能検証モデル２１６」と称する。）に入力することによりソフトウェアの性能を検証する。上記性能を表す指標として、例えば、スループット(throughput)、レスポンスタイム(response time)、リソース使
用量（resource usage）がある。

性能検証モデル２１６は、例えば、既存のコードの記述に当該コードの性能を示す情報（以下、「性能情報」と称する。）をラベル（正解データ）として対応づけた学習データ（訓練データ）を用いて学習（訓練）される。

検証対象のコードの記述言語は必ずしも限定されず、標準的な能力を有するプログラマが解釈可能な言語であればよい。また、上記コードに基づく実行コードの生成方式は必ずしも限定されず、例えば、実行コードの生成に際しコンパイル（compile）やビルド（build）（リンク（link）、メイク（make）等という場合もある。）が要求されるコンパイラ言語でもよいし、逐次実行型のインタプリタ言語のいずれでもよい。

また、上記コードの種類は必ずしも限定されず、例えば、Ｗｅｂページ記述言語、スクリプト言語、サーバサイドで動作するアプリケーションの記述言語、オペレーシングシステム等のシステム記述言語、組み込み（Embeded）ソフトウェアの記述言語、バッチ処理
の記述言語のいずれでもよい。

また、検証対象のコードは、開発時に新規に作成されたコードでもよいし、保守時に更新もしくは追加されたコードでもよい。また、上記コードは、ソフトウェア開発技術者等のユーザがスタンドアロン型の開発環境で記述するものでもよいし、複数の情報処理装置が通信ネットワークを介して接続するリポジトリ環境を用いて行われる共同開発環境において生成されるものでもよい。

尚、以下では、一例として、検証の対象となるコードがコンパイラ言語のソースコードである場合を例として説明する。

性能検証モデル２１６の種類は必ずしも限定されないが、例えば、二値分類（Binary classification）や多クラス分類（Multi-class classification）を行うモデルが想定さ
れる。性能検証モデル２１６の実現に用いる機械学習の仕組みとして、例えば、ＤＮＮ（Deep Neural Network）、サポートベクターマシン（SVM:Support Vector Machine）、決
定木（decision tree）、ｋ近傍法（k-means）がある。性能検証モデル２１６は、例えば
、特徴量と各特徴量の重みの情報（パラメータ）を含んだ行列により表現される。

学習データの生成に用いる既存のコードは、例えば、検証対象のコードによって実現される情報処理システム（以下、「検証対象システム」と称する。）と機能や構成が類似する既存の他の情報処理システム（以下、「既存類似システム」と称する。）に用いられているコード（以下、「既存コード」と称する。）である。尚、検証対象システムと既存類似システムの機能や構成の類似性は、例えば、各システムの適用分野、各システムの実現方式、各システムを構成するソフトウェアの実行環境、各システムを利用するユーザの種類、開発に用いたプログラム言語の共通性等に基づき判断する。

学習データの生成に用いる既存コードに対応づけるラベルとしては、例えば、既存コードに基づく実行コードについて本番環境やテスト環境で取得される実行ログから取得される情報、上記実行コードについて行われた実行テストやシミュレーションの結果から取得される情報を用いる。また、例えば、既存類似システムに精通する者等が設定した性能情報をラベルとして用いてもよい。

図１に示すように、性能検証システム１は、性能検証部１００およびモデル学習部２００の各機能を備える。このうち性能検証部１００は、検証対象のソースコードについて、性能検証モデル２１６を用いて性能検証を行う。また、性能検証部１００は、既存コードに基づく学習データの生成と、生成した学習データを用いた性能検証モデル２１６の学習を行う。

同図に示すように、性能検証部１００は、部分コード抽出部１２０、特徴量ベクトル生成部１３０、および性能検証処理部１４０を有する。

このうち部分コード抽出部１２０は、ソースコード群（検証対象）１１１から、検証対象メソッドリスト１１２の各メソッドに対応する記述（以下、「部分コード（検証対象）」と称する。）を抽出し、抽出した各部分コード（検証対象）を部分コード群（検証対象）１１３として出力する。検証対象メソッドリスト１１２は、検証対象とするメソッド名の一覧であり、例えば、ユーザによってその内容が設定される。

特徴量ベクトル生成部１３０は、部分コード群（検証対象）１１３の各部分コード（検証対象）を特徴量ベクトルに変換し、変換した特徴量ベクトルを特徴量ベクトル群（検証対象）１１４として出力する。

性能検証処理部１４０は、特徴量ベクトル群（検証対象）１１４の各特徴量ベクトルを性能検証モデル２１６に入力し、当該入力について性能検証モデル２１６が出力する性能情報に基づく情報を検証結果１１５として生成する。性能検証処理部１４０は、検証結果１１５を、例えば、ユーザインタフェースを介してユーザに提供する。

同図に示すように、モデル学習部２００は、部分コード抽出部２２０、特徴量ベクトル生成部２３０、学習データ生成部２４０、および学習処理部２５０を有する。

このうち部分コード抽出部２２０は、性能検証モデル２１６の学習に用いるソースコード（以下、「ソースコード群（学習用）２１１」と称する。）からコード（以下、「部分コード（学習用）」と称する。）を抽出し、抽出した部分コード（学習用）を部分コード群（学習用）２１３として出力する。

特徴量ベクトル生成部２３０は、部分コード群（学習用）２１３の部分コード（学習用）を特徴量ベクトルに変換し、変換した特徴量ベクトルを特徴量ベクトル群（学習用）２
１４として出力する。

学習データ生成部２４０は、特徴量ベクトル群（検証対象）１１４の各特徴量ベクトルに性能ラベル２１２の対応するラベルを付与することにより１つ以上の学習データ（特徴量ベクトルとラベルの組）を生成し、生成した各学習データを学習データ群２１５として出力する。

学習処理部２５０は、学習データ群２１５の各学習データの特徴量ベクトルを性能検証モデル２１６に入力し、入力した特徴量ベクトルについての性能検証モデル２１６の出力と、入力した特徴量ベクトルに対応づけられているラベルとの差分を用いて性能検証モデル２１６のパラメータを調節することにより、性能検証モデル２１６を学習する。

続いて、図１に示した各機能について詳述する。

図２Ａは、図１に示した部分コード抽出部１２０または部分コード抽出部２２０以下、これらを「部分コード抽出部」と総称する。）が、ソースコード群（検証対象）１１１またはソースコード群（学習用）２１１（以下、これらを「ソースコード群」と総称する。）から、部分コード（検証対象）または部分コード（学習用）（以下、これらを「部分コード」と総称する。）を抽出する処理の一例（以下、「部分コード抽出処理Ｓ３００」と称する。）である。本例では、部分コード抽出部は、ソースコード群から、メソッドを単位として部分コードを抽出する。

尚、部分コード抽出部１２０は、ソースコード群（検証対象）１１１から、例えば、検証対象メソッドリスト１１２の各メソッドに対応するメソッドの記述を部分コード（検証対象）として抽出する。また、部分コード抽出部２２０は、例えば、ソースコード群（学習用）２１１に含まれている各メソッドの記述を部分コード（学習用）として抽出する。

図２Ｂは、部分コード抽出処理Ｓ３００を説明するフローチャートである。部分コード抽出部は、まず、ソースコード群からソースコードを取得する（Ｓ３１１）。続いて、部分コード抽出部は、取得したソースコードから部分コードを抽出する（Ｓ３１２）。

図３Ａは、部分コード抽出処理Ｓ３００の他の例（以下、「部分コード抽出処理Ｓ４００」と称する。）を説明する図である。この例では、部分コード抽出部は、ソースコード群（例えば、１つのアプリケーションシステムのようにある１つの情報処理システムを構成しているソースコード群）から、あるメソッドの記述と当該メソッドと呼び出し関係を有するメソッド群（以下、「関連メソッド群」と称する。）の記述とを含むコードを部分コードとして抽出する。

同図に示すように、部分コード抽出部は、まず、ソースコード群から各メソッドの呼び出し関係を表すグラフを生成し、生成したグラフに基づきあるメソッドの記述と当該メソッドの関連メソッド群の記述とを含むコードを部分コードとして抽出する。

尚、部分コード抽出部１２０は、ソースコード群（検証対象）１１１から、検証対象メソッドリスト１１２のメソッドについて、当該メソッドの記述と当該メソッドの関連メソッド群の記述とを含むコードを部分コード（検証対象）として抽出する。また、部分コード抽出部２２０は、例えば、ソースコード群（学習用）２１１に含まれているメソッドについて、当該メソッドの記述と当該メソッドの関連メソッド群の記述とを含むコードを部分コード（学習用）として抽出する。

図３Ｂは、部分コード抽出処理Ｓ４００を説明するフローチャートである。同図に示す
ように、まず、部分コード抽出部は、ソースコード群からソースコードを取得する（Ｓ４１１）。続いて、部分コード抽出部は、取得したソースコードに基づきメソッド間の呼び出し関係を表すグラフを生成する（Ｓ４１２）。続いて、部分コード抽出部は、ソースコードに含まれているメソッドについて、当該メソッドの記述と当該メソッドの関連メソッド群の記述とを含むコードを部分コードとして抽出する（Ｓ４１３）。

図４Ａは、図１に示した特徴量ベクトル生成部１３０または特徴量ベクトル生成部２３０（以下、これらを「特徴量ベクトル生成部」と総称する。）が、部分コード（検証対象）または部分コード（学習用）（以下、これらを「部分コード」と総称する。）を特徴量ベクトルに変換する処理の一例（以下、「特徴量ベクトル生成処理Ｓ５００」と称する。）を説明する図である。この例では、特徴量ベクトル生成部は、部分コードの特徴を表すメトリクス値に基づき特徴量ベクトルを生成する。メトリクス値は、例えば、部分コードにおける、行数、ループ文の出現回数、ループ文の最大階層数、条件分岐文の出現回数、条件分岐文の最大階層数、用いられている変数の数、呼び出しメソッドの数、呼び出しメソッドの行数、呼び出しメソッドのループ文の出現回数、呼び出しメソッドのループ文の最大階層数、呼び出しメソッドの条件分岐文の出現回数、呼び出しメソッドの条件分岐文の最大階層数、呼び出しメソッドの変数数である。特徴量ベクトル生成部は、これらのメトリクス値を要素とするベクトルを特徴量ベクトルとして生成する。

このように部分コードのメトリクス値を用いて特徴量ベクトルを生成することで、部分コードのメトリクス値を特徴として捉えた特徴量ベクトルを生成することができ、部分コードのメトリクス値の違いに基づく性能検証を行うことができる。

図４Ｂは、特徴量ベクトル生成処理Ｓ５００を説明するフローチャートである。特徴量ベクトル生成部は、まず、部分コード群から部分コードを取得する（Ｓ５１１）。続いて、特徴量ベクトル生成部は、取得した各部分コードのメトリクス値を求める（Ｓ５１２）。続いて、特徴量ベクトル生成部は、各部分コードについて、夫々のメトリクス値を要素とするベクトルを特徴量ベクトルとして生成する（Ｓ５１３）。

図５Ａは、特徴量ベクトル生成処理Ｓ５００の他の例（以下、「特徴量ベクトル生成処理Ｓ６００」と称する。）を説明する図である。この例では、特徴量ベクトル生成部は、共通形式で表記された単語に符号を対応づけた情報からなる単語辞書に基づき特徴量ベクトルを生成する。

具体的には、特徴量ベクトル生成部は、ソースコード群（例えば、１つのアプリケーションシステムのようにある１つの情報処理システムを構成しているソースコード群）から抽出された部分コード群に記述されている単語（メソッド名（関数名）、変数型、変数名、データ型、記憶クラス指定子等）を共通形式の表記に変換し、各表記に異なる符号を対応づけたものを単語辞書として生成する。同図の例では、特徴量ベクトル生成部は、部分コード群に記述されている、記憶クラス指定子「static」を「Static」に、データ型「void」を「Void」に、メソッド名「loadData」を「mth#A」に変換し、各表記に夫々、符号
「１」、「２」、「３」、「４」を対応づけた単語辞書を生成している。

続いて、特徴量ベクトル生成部は、特徴量ベクトルへの変換対象の部分コードについて、当該部分コードに含まれている単語を共通形式の表記に変換し、変換した表記に対応する符号を単語辞書から取得し、取得した各符号を要素とするベクトルを特徴量ベクトルとして生成する。同図では、変換対象の部分コードに含まれている各単語の共通形式の表記「Static」、「Void」、「mth#A」に対応する符号「１」、「２」、「３」の各要素を当
該部分コードにおける夫々の出現順に並べて得られるベクトルを特徴量ベクトルとして生成している。

このように部分コードに記述されている単語の組み合わせに基づき特徴量ベクトルを生成することで、例えば、部分コードの構造を特徴として捉えた特徴量ベクトルを生成することができ、部分コードの構造の違いに基づく性能検証を行うことができる。

図５Ｂは、特徴量ベクトル生成処理Ｓ６００において、特徴量ベクトル生成部が、部分コード群から単語辞書を生成する処理（以下、「単語辞書生成処理Ｓ６１０」と称する。）を説明するフローチャートである。まず、特徴量ベクトル生成部は、部分コード群の部分コードについて前処理（コメント文等の不要な記述の削除等）を行う（Ｓ６１１）。続いて、特徴量ベクトル生成部は、前処理後の部分コードに記述されている単語を共通形式の表記に変換する（Ｓ６１２）。続いて、特徴量ベクトル生成部は、変換後の部分コードから共通形式で表記された単語を抽出し（Ｓ６１３）、抽出した共通形式の各単語に符号を対応づけて単語辞書を生成する（Ｓ６１４）。

図５Ｃは、特徴量ベクトル生成処理Ｓ６００において、特徴量ベクトル生成部が、変換対象の部分コードを、単語辞書を参照して特徴量ベクトルに変換する処理（以下、「特徴量ベクトル化処理」と称する。）を説明するフローチャートである。まず、特徴量ベクトル生成部は、変換対象の部分コードを取得し、取得した部分コードについて前処理（コメント文等の不要な記述の削除等）を行う（Ｓ６２１）。続いて、特徴量ベクトル生成部は、取得した部分コードに記述されている単語を共通形式の表記に変換する（Ｓ６２２）。続いて、特徴量ベクトル生成部は、変換後の部分コードから共通形式で表記された単語を抽出し（Ｓ６２３）、単語辞書を参照して抽出した各単語を符号に変換し、変換した各符号を出現順に並べて得られるベクトルを特徴量ベクトルとして生成する（Ｓ６２４）。

図６Ａは、図１に示した学習処理部２５０が、学習データ群２１５の学習データを用いて性能検証モデル２１６を学習する処理の一例（以下、「学習処理Ｓ７００」と称する。）を説明する図である。この例は、性能検証モデル２１６が２値分類モデルであり、性能検証モデル２１６が部分コードの性能を示す単一の指標を出力する場合である。性能検証モデル２１６として２値分類モデルを用いることで、例えば、性能が基準を満たしているか否かを検証することができる。尚、本例では、上記指標が、部分コードに基づき実現される処理の性能に問題がある確率を示す値である場合を例として説明する。

この例では、学習処理部２５０は、学習データ（特徴量ベクトルとラベルの組）における特徴量ベクトルを性能検証モデル２１６に入力し、当該入力について性能検証モデル２１６が出力する値（本例では「０．３」）と当該学習データのラベル（本例では「０．０」）との差分に基づき性能検証モデル２１６のパラメータを調整する。

図６Ｂは、学習処理Ｓ７００を説明するフローチャートである。学習処理部２５０は、まず、学習データ群２１５からが学習データを取得し、取得した学習データの特徴量ベクトルを性能検証モデル２１６に入力する（Ｓ７１１）。続いて、学習処理部２５０は、性能検証モデル２１６の出力と当該学習データのラベルとの差分を求める（Ｓ７１２）。続いて、学習処理部２５０は、求めた差分に基づき性能検証モデル２１６のパラメータを更新する（Ｓ７１３）。

図７Ａは、図１に示した学習処理部２５０が、学習データ群２１５を用いて性能検証モデル２１６を学習する処理の他の例（以下、「学習処理Ｓ８００」と称する。）を説明する図である。この例は、性能検証モデル２１６が多クラス分類モデルであり、性能検証モデル２１６が部分コードの性能を示す複数の指標（夫々異なる観点に基づく複数の指標）を出力する場合である。性能検証モデル２１６として多クラス分類モデルを用いることで、例えば、異なる複数の観点（例えば、ループ数やメモリ操作回数等）から性能が基準を
満たしているか否かを検証することができる。

この例では、学習処理部２５０は、学習データ（特徴量ベクトルとラベルの組）における特徴量ベクトルを性能検証モデル２１６に入力し、当該入力について性能検証モデル２１６が出力する観点ごとの値（本例では「ループ多数：０．３」、「メモリ操作多数：０．３」）と当該学習データのラベル（本例では「ループ多数発生：１」、「メモリ操作多数発生：０））との差分に基づき性能検証モデル２１６のパラメータを調整する。

図７Ｂは、学習処理Ｓ８００の一例を説明するフローチャートである。学習処理部２５０は、まず、学習データ群２１５からが学習データを取得し、取得した学習データの特徴量ベクトルを性能検証モデル２１６に入力する（Ｓ８１１）。続いて、学習処理部２５０は、観点ごとに、性能検証モデル２１６の出力と当該学習データのラベルとの差分を求める（Ｓ８１２）。続いて、学習処理部２５０は、求めた差分に基づき性能検証モデル２１６のパラメータを更新する（Ｓ８１３）。

以上に説明したように、本実施形態の性能検証システム１は、ソースコードから部分コードを抽出し、抽出した部分コードを特徴量ベクトルに変換し、変換した特徴量ベクトルを性能検証モデル２１６に入力することによりソースコードの性能（部分コードを含むソースコードの実行コードの性能）を検証する。このように、性能検証システム１は、ソースコードに基づき性能を検証するので、例えば、実行コードを生成する前であってもソースコードの性能を検証することができる。そのため、例えば、開発者等のユーザは、ソースコードを記述しつつ、当該ソースコードの実行コードが実行された場合における性能を随時検証することができ、実行コードを生成した後に検証する場合に比べて手戻りの発生が少なくなる。また、ソースコードに潜在する、性能のボトルネックとなるようなコードを早期に発見することができる。また、性能検証システム１は、ソースコードに基づき性能を検証するので、テストケースの設定やテストデータを準備する必要がない。また、性能検証システム１は、インタプリタ型の言語のように、コンパイルが不要なプログラム言語についても適用することができる。このように、本実施形態の性能検証システム１によれば、ソフトウェアの開発時や保守時におけるソフトウェアの性能の検証にかかる負荷を大きく軽減することができ、システムの開発や保守を効率よく行うことができる。

続いて、性能検証システム１の適用例（応用例）について説明する。

図８Ａは、性能検証システム１の適用例を示す図である。この例では、ソフトウェアの開発や保守を行うユーザが、ユーザ装置２（情報処理装置）を利用してソースコードを作成し、ユーザ装置２は、性能検証部１００に対してユーザが作成したソースコードの検証要求を送信する。性能検証部１００は、上記検証要求を受信し、上記ソースコードについて検証結果１１５を生成し、生成した検証結果１１５をユーザ装置２に送信する。

性能検証システム１をこのような態様で利用することで、ユーザは、例えば、ユーザ装置２において動作する統合開発環境（IDE :Integrated Development Environment）を利
用して開発や保守の対象となるソースコードを記述しつつ、当該ソースコードの性能検証を簡便かつ迅速に行うことができる。そのため、ユーザは、ソースコードの性能を随時確認しつつ開発作業や保守作業を進めることができ、性能要求を満たした質の高いソフトウェアを効率よく作成することができる。

図８Ｂは、図８Ａに示した適用例においてユーザ装置２と性能検証部１００が行う処理を説明するフローチャートである。まず、ユーザ装置２から、ソースコード（ソースコード群（検証対象）１１１と検証対象メソッドリスト１１２）が付帯する検証要求が性能検証部１００に送信される（Ｓ９１１）。性能検証部１００は、受信したソースコードに基
づき検証結果１１５を生成し（Ｓ９１２）、生成した検証結果１１５をユーザ装置２に送信する（Ｓ９１３）。ユーザ装置２は、検証結果１１５を受信すると、その内容をユーザに提示する（Ｓ９１４）。

図９Ａは、性能検証システム１の他の適用例を示す図である。この例は、共同開発環境６０を利用し複数のユーザが共同してソフトウェアの開発や保守を行う場合である。共同開発環境６０は、夫々異なるユーザが操作する複数のユーザ装置２と通信可能に接続し、開発や保守の対象となるソースコード群６２をリポジトリ６１に管理している。

共同開発環境６０は、性能検証部１００と通信可能に接続している。共同開発環境６０は、ユーザ装置２からソースコードおよび当該ソースコードの登録要求を受信すると、受信したソースコードとともにその検証要求を性能検証部１００に送信する。性能検証部１００は、上記検証要求を受信し、上記ソースコードについて検証結果１１５を生成し、生成した検証結果１１５を共同開発環境６０に送信する。

共同開発環境６０は、受信した検証結果１１５が示す性能が予め設定された性能要件を満たしていれば、当該更新済のソースコードをリポジトリ６１に登録する。一方、共同開発環境６０は、受信した検証結果１１５が示す性能が予め設定された性能要件を満たしていなければ、当該更新済のソースコードのリポジトリ６１への登録は行わず、当該ソースコードが性能要件を満たしていない旨の通知をユーザ装置２に送信する。

性能検証システム１をこのような態様で利用した場合、共同開発環境６０のリポジトリ６１には性能要件を満たしたソースコード群６２のみが管理され、ソフトウェアの品質を恒常的に確保することができる。

図９Ｂは、図９Ａに示した適用例においてユーザ装置２、共同開発環境６０、および性能検証部１００が行う処理を説明するフローチャートである。共同開発環境６０は、ユーザ装置２からソースコード（ソースコード群（検証対象）１１１と検証対象メソッドリスト１１２）が付帯する登録要求の受信を監視しており（Ｓ１０１１：ＮＯ）、登録要求を受信すると（Ｓ１０１１：ＹＥＳ）、受信したソースコードとともに当該ソースコードの検証要求を性能検証部１００に送信する（Ｓ１０１２）。性能検証部１００は、ソースコードおよび検証要求を受信すると、受信したソースコードについて検証結果１１５を生成し、生成した検証結果１１５を共同開発環境６０に送信する（Ｓ１０１３）。共同開発環境６０は、検証結果１１５を受信すると（Ｓ１０１４）、検証結果１１５が示す性能が予め設定された性能要件を満たしているか否かを判定する（Ｓ１０１５）。検証結果１１５が示す性能が予め設定された性能要件を満たしていない場合（Ｓ１０１５：ＮＯ）、共同開発環境６０は、Ｓ１０１１で受信したソースコードが性能要件を満たしておらずリポジトリに登録できない旨の通知（登録不許可通知）をユーザ装置２に送信し（Ｓ１０２１）、その後、処理はＳ１０１１に戻る。一方、検証結果１１５が示す性能が予め設定された性能要件を満たしている場合（Ｓ１０１５：ＹＥＳ）、共同開発環境６０は、Ｓ１０１１で受信したソースコードをリポジトリに登録するとともに、当該ソースコードの登録完了通知をユーザ装置２に送信する（Ｓ１０１６）。その後、処理はＳ１０１１に戻る。

図１０は、以上に説明した性能検証システム１、ユーザ装置２、および共同開発環境６０の実現に用いる情報処理装置（コンピュータ）の一例である。例示する情報処理装置１０は、プロセッサ１０１、主記憶装置１０２、補助記憶装置１０３、入力装置１０４、出力装置１０５、および通信装置１０６を備える。

尚、例示する情報処理装置１０は、その全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて
提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、情報処理装置１０によって提供される機能の全部または一部は、例えば、クラウドシステムがＡＰＩ（Application Program Interface）等を介して提供するサービスによって実現して
もよい。また、１つの情報処理装置１０を、例えば、性能検証システム１、ユーザ装置２、および共同開発環境６０のうちの２つ以上が共用する構成としてもよい。

同図において、プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、
ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＡＩ（Artificial Intelligence）チップ等を用いて構成されている。

主記憶装置１０２は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（Non Volatile RAM））等である。

補助記憶装置１０３は、例えば、ＳＳＤ（Solid State Drive）、ハードディスクドラ
イブ、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等）、ストレージシステム、ＩＣカード、ＳＤカードや光学式記録媒体等の記録媒体の読取／書込装置、クラウドサーバの記憶領域等である。補助記憶装置１０３には、記録媒体の読取装置や通信装置１０６を介してプログラムやデータを読み込むことができる。補助記憶装置１０３に格納（記憶）されているプログラムやデータは主記憶装置１０２に随時読み込まれる。

入力装置１０４は、外部からの入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、ペン入力方式のタブレット、音声入力装置等である。

出力装置１０５は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置１０５は、例えば、上記の各種情報を可視化する表示装置（液晶モニタ、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、上記の各種情報を音声化する装置（音声出力装置（スピーカ等））、上記の各種情報を文字化する装置（印字装置等）である。尚、例えば、情報処理装置１０が通信装置１０６を介して他の装置との間で情報の入力や出力を行う構成としてもよい。

入力装置１０４および出力装置１０５は、ユーザとの間で情報の受け付けや情報の提示を行うユーザインタフェースを構成する。

通信装置１０６（通信部）は、他の装置との間の通信を実現する装置である。通信装置１０６は、通信ネットワーク（制御系ネットワーク５０、情報／制御系ネットワーク５１、情報系ネットワーク５２）を介して他の装置との間の通信を実現する、有線方式または無線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢモジュール等である。

情報処理装置１０には、例えば、オペレーティングシステム、ファイルシステム、ＤＢＭＳ（DataBase Management System）（リレーショナルデータベース、ＮｏＳＱＬ等）、ＫＶＳ（Key-Value Store）、その他の各種のソフトウェア（入力装置１０４と出力装置
１０５によりＧＵＩ（Graphical User Interface）等によるユーザインタフェースを実現するソフトウェア、ミドルウェア、各種のアプリケーション等）が導入されていてもよい。

性能検証システム１、ユーザ装置２、および共同開発環境６０が備える機能は、例えば、プロセッサ１０１が、主記憶装置１０２に格納されているプログラムを読み出して実行することにより、もしくは、情報処理装置１０のハードウェア（ＦＰＧＡ、ＡＳＩＣ、ＡＩチップ等）によって実現される。また、性能検証システム１、ユーザ装置２、および共同開発環境６０が記憶する各種のデータは、主記憶装置１０２や補助記憶装置１０３（記憶部）に記憶される。

また、性能検証システム１の各種の機能の全部又は一部は、例えば、テキストデータマイニング等の公知の各種データマイニング手法、公知の各種処理手法（形態素解析、構文解析、意味解析、文脈解析、特徴量抽出、単語分散表現、固有表現抽出、テキスト分類、系列ラベリング）、公知の各種機械学習手法（深層学習（ＤＮＮ（Deep Neural Network
）、ＲＮＮ（Recurrent Neural Network）等）を用いて実現してもよい。

以上、本発明の一実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成の一部について、他の構成の追加や削除、置換をすることが可能である。

例えば、前述した部分コードの抽出方法のバリエーション（図２Ａ，図３Ａ）、前述した特徴量ベクトルの生成方法のバリエーション（図４Ａ，図５Ａ）、モデルの学習方法のバリエーション（図６Ａ，図７Ａ）を多様に組み合わせることにより、様々な実施形態を想定することができる。

また、以上の実施形態では、「メソッド」と単位としてコードから部分コードを抽出する場合を例示したが、例えば、「関数」や「クラス」等の他の種類の処理ブロックを単位としてコードから部分コードを抽出するようにしてもよい。また、例えば、ユーザが設定した抽出方法に従ってコードから部分コードを抽出するようにしてもよい。

また、上記の各構成、機能部、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、
ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、以上に説明した各情報処理装置の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、これらの装置が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。

また、前述した各種のデータを格納するデータベースの構成（スキーマ（Schema）等）は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。

１ 性能検証システム、２ ユーザ装置、６０ 共同開発環境、６１ リポジトリ、６２
ソースコード群、１００ 性能検証部、１１１ ソースコード群（検証対象）、１１２
検証対象メソッドリスト、１１３ 部分コード群（検証対象）、１１４ 特徴量ベクトル群（検証対象）、１１５ 検証結果、１２０ 部分コード抽出部、１３０ 特徴量ベク
トル生成部、１４０ 性能検証処理部、２００ モデル学習部、２１１ ソースコード群（学習用）、２１２ 性能ラベル、２１３ 部分コード群（学習用）、２１４ 特徴量ベクトル群（学習用）、２１５ 学習データ群、２１６ 性能検証モデル、２２０ 部分コード抽出部、２３０ 特徴量ベクトル生成部、２４０ 学習データ生成部、２５０ 学習処理部、Ｓ３００ 部分コード抽出処理、Ｓ４００ 部分コード抽出処理、Ｓ５００ 特徴量ベクトル生成処理、Ｓ６１０ 単語辞書生成処理、Ｓ６２０ 特徴量ベクトル化処理、Ｓ７１０ 学習処理、Ｓ８１０ 学習処理

Claims (10)

1. 情報処理装置を用いて構成され、
   ソフトウェアを構成するプログラムのコードを記憶する記憶部と、
   前記コードの一部である部分コードを抽出する部分コード抽出部と、
   前記部分コードに基づく特徴量ベクトルを生成する特徴量ベクトル生成部と、
   学習用の前記部分コードの前記特徴量ベクトルと、当該部分コードに基づき実現されるソフトウェアを実行することにより取得される、スループット、レスポンスタイム、及びリソース使用量のうちの少なくともいずれかの指標により表された前記ソフトウェアの性能を示す情報である性能情報と、を含む学習データにより学習した機械学習モデルである性能検証モデルを生成する学習処理部と、
   前記性能検証モデルに、検証対象の前記部分コードを入力することにより得られる出力に基づく情報を当該部分コードの検証結果として生成する性能検証処理部と、
   を備える、ソフトウェア性能検証システム。
2. 請求項１に記載のソフトウェア性能検証システムであって、
   前記コードはメソッドの記述を含み、
   前記部分コード抽出部は、前記コードからメソッドを単位として前記部分コードを抽出する、
   ソフトウェア性能検証システム。
3. 請求項１に記載のソフトウェア性能検証システムであって、
   前記コードはメソッドの記述を含み、
   前記部分コード抽出部は、一のメソッドの記述と、当該メソッドと呼び出し関係を有する他のメソッドの記述とを含む記述を、前記部分コードとして抽出する、
   ソフトウェア性能検証システム。
4. 請求項１に記載のソフトウェア性能検証システムであって、
   前記特徴量ベクトル生成部は、前記部分コードから取得されるメトリクス値を要素とするベクトルを前記特徴量ベクトルとして生成する、
   ソフトウェア性能検証システム。
5. 請求項１に記載のソフトウェア性能検証システムであって、
   前記記憶部は、前記ソフトウェアを記述しているコードに用いられている単語を共通形式に変換して得られる表記と、前記表記の夫々について設定された値とを対応づけた情報を含む単語辞書を記憶し、
   前記特徴量ベクトル生成部は、前記部分コードに含まれている単語を共通形式の表記に変換し、前記単語辞書から前記単語の前記表記に対応する値を取得し、取得した値を要素とするベクトルを前記特徴量ベクトルとして生成する、
   ソフトウェア性能検証システム。
6. 請求項１に記載のソフトウェア性能検証システムであって、
   前記性能検証モデルは、前記部分コードに基づき実現される処理の性能に問題がある確率を出力する、
   ソフトウェア性能検証システム。
7. 請求項１に記載のソフトウェア性能検証システムであって、
   前記性能検証モデルは、前記部分コードに基づき実現される処理の性能を示す、夫々異なる観点に基づく複数の指標を出力する、
   ソフトウェア性能検証システム。
8. 請求項２に記載のソフトウェア性能検証システムであって、
   前記コードの指定と前記コードに記述されている所定のメソッドの指定をユーザから受け付けるユーザインタフェースを備え、
   前記部分コード抽出部は、ユーザが指定した前記コードの前記所定のメソッドの記述を前記部分コードとして抽出する、
   ソフトウェア性能検証システム。
9. 請求項１に記載のソフトウェア性能検証システムであって、
   複数のユーザによって共同開発されている前記コードをリポジトリに管理し、前記コードの前記リポジトリへの登録可否を前記検証結果に応じて判定する、共同開発環境と通信する通信部を更に備え、
   前記通信部が前記共同開発環境から前記コードの検証要求を受信すると、
   前記部分コード抽出部が、前記コードから前記部分コードを抽出し、
   前記特徴量ベクトル生成部が、前記部分コードに基づく特徴量ベクトルを生成し、
   前記性能検証処理部は、前記部分コードの前記特徴量ベクトルを前記性能検証モデルに入力して前記検証結果を生成し、前記検証結果を前記共同開発環境に送信する、
   ソフトウェア性能検証システム。
10. 情報処理装置が、
    ソフトウェアを構成するプログラムのコードを記憶するステップと、
    前記コードの一部である部分コードを抽出するステップと、
    前記部分コードに基づく特徴量ベクトルを生成するステップと、
    学習用の前記部分コードの前記特徴量ベクトルと、当該部分コードに基づき実現されるソフトウェアを実行することにより取得される、スループット、レスポンスタイム、及びリソース使用量のうちの少なくともいずれかの指標により表された前記ソフトウェアの性能を示す情報である性能情報と、を含む学習データにより学習した機械学習モデルである性能検証モデルを生成するステップと、
    前記性能検証モデルに、検証対象の前記部分コードを入力することにより得られる出力に基づく情報を当該部分コードの検証結果として生成するステップと、
    を実行する、ソフトウェア性能検証方法。

Images