JPH0628040B2 - ソフトウェア品質自動評価方法 - Google Patents
ソフトウェア品質自動評価方法Info
- Publication number
- JPH0628040B2 JPH0628040B2 JP59279659A JP27965984A JPH0628040B2 JP H0628040 B2 JPH0628040 B2 JP H0628040B2 JP 59279659 A JP59279659 A JP 59279659A JP 27965984 A JP27965984 A JP 27965984A JP H0628040 B2 JPH0628040 B2 JP H0628040B2
- Authority
- JP
- Japan
- Prior art keywords
- test
- quality
- software
- bugs
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Prevention of errors by analysis, debugging or testing of software
- G06F11/3668—Testing of software
- G06F11/3696—Methods or tools to render software testable
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明はソフトウェア（プログラム）の品質評価方法に
係り、特にソフトウェアの品質をテストで摘出されるバ
グ件数の推移により自動的に評価する方法に関する。
係り、特にソフトウェアの品質をテストで摘出されるバ
グ件数の推移により自動的に評価する方法に関する。
ソフトウェアには、設計技術を駆使しても、人間の不注
意等によりバグがランダムに潜在する。従来、このよう
なソフトウェアの品質評価法としては、例えば電子通信
学会論文誌７４１５Vol.５７−ＤNo.５に坂田一志氏が
“ソフトウェアの生産管理における予測技法を定式化−
静的な予測および故障率推移モデル−”と題して論じて
いる。他には、例えば情報処理学会第２５回（昭和５７
年度後期）全国大会において、宮下洋一氏が“ソフトウ
ェアエラーダイナミクス”（１Ｅ−１）と題して、ま
た、吉田征氏ほからが“ソフトウェア品質の目標管理”
（１Ｅ−８）と題してそれぞれ発表している。しかし、
これらはテストで摘出されるバグの累積状態を成長曲線
にあてはめて残バグ件数を推定したり、あるいは、品質
の目標値管理については、開発段階と提供後のバグ件数
といった大雑把な区別で行うというものであり、ソフト
ウェアの異常品質の早期発見、正確な把握等の面で不十
分である。
意等によりバグがランダムに潜在する。従来、このよう
なソフトウェアの品質評価法としては、例えば電子通信
学会論文誌７４１５Vol.５７−ＤNo.５に坂田一志氏が
“ソフトウェアの生産管理における予測技法を定式化−
静的な予測および故障率推移モデル−”と題して論じて
いる。他には、例えば情報処理学会第２５回（昭和５７
年度後期）全国大会において、宮下洋一氏が“ソフトウ
ェアエラーダイナミクス”（１Ｅ−１）と題して、ま
た、吉田征氏ほからが“ソフトウェア品質の目標管理”
（１Ｅ−８）と題してそれぞれ発表している。しかし、
これらはテストで摘出されるバグの累積状態を成長曲線
にあてはめて残バグ件数を推定したり、あるいは、品質
の目標値管理については、開発段階と提供後のバグ件数
といった大雑把な区別で行うというものであり、ソフト
ウェアの異常品質の早期発見、正確な把握等の面で不十
分である。
本発明の目的は、ソフトウェアの品質評価を自動的に行
い、異常品質の早期発見、正確な把握等を可能とするソ
フトウェア品質自動評価方法を提供することにある。
い、異常品質の早期発見、正確な把握等を可能とするソ
フトウェア品質自動評価方法を提供することにある。
通常、ソフトウェアのテスト（チェック）は何回か繰り
返し行われるが、毎回およそ同数レベルの項目数をラン
ダムに確認すると考えられる。このことから、何回か繰
り返されるテストにおいて摘出されるバグ件数の推移は
減衰型をとるのが正常と考えられる。これは次のように
して説明できる。前提として、 (1)総ステートメント数をＭo、初期潜在バグ件数をＢo
（Ｂo＜Ｍo）、第ｋ番目のテストで実行するステートメ
ント数をＮk（Ｎk＜Ｍo）、第ｋ番目のテストを実行す
るときの潜在バグ件数をＢk、バグ摘出確率をＰkとす
る。
返し行われるが、毎回およそ同数レベルの項目数をラン
ダムに確認すると考えられる。このことから、何回か繰
り返されるテストにおいて摘出されるバグ件数の推移は
減衰型をとるのが正常と考えられる。これは次のように
して説明できる。前提として、 (1)総ステートメント数をＭo、初期潜在バグ件数をＢo
（Ｂo＜Ｍo）、第ｋ番目のテストで実行するステートメ
ント数をＮk（Ｎk＜Ｍo）、第ｋ番目のテストを実行す
るときの潜在バグ件数をＢk、バグ摘出確率をＰkとす
る。
(2)第ｋ番目のテストで実行したある任意のステートメ
ントが不良ステートメントである確率ＰkはＢk／Ｍoで
与えられるとする。
ントが不良ステートメントである確率ＰkはＢk／Ｍoで
与えられるとする。
(3)不良ステートメントはその場で修正され、修正によ
る作込みバグは非常に少ないものとする。
る作込みバグは非常に少ないものとする。
いま、Ｎ≒Ｎk（ｋ＝１，２，…）と仮定すると、バグ
摘出確率Ｐk、バグ摘出件数Ｎ・Ｐk、残存バグ件数Ｂk
は、 で表わされる。ｋ＝１，２，３，…のときの(1)，(2)お
よび(3)式の推移を表にまとめると第７図のようにな
り、また、バグ摘出確率と残存バグ件数の同様の推移を
グラフで示すと第８図のようになり、テストを重ねるこ
とにより指数的に減少していることが分かる。
摘出確率Ｐk、バグ摘出件数Ｎ・Ｐk、残存バグ件数Ｂk
は、 で表わされる。ｋ＝１，２，３，…のときの(1)，(2)お
よび(3)式の推移を表にまとめると第７図のようにな
り、また、バグ摘出確率と残存バグ件数の同様の推移を
グラフで示すと第８図のようになり、テストを重ねるこ
とにより指数的に減少していることが分かる。
本発明は、何回か繰り返えされるテストにおいて、摘出
バグ件数の推移が減衰型であればソフトウェアの設計品
質もテスト方法も正常で、それ以外の型は異常という考
えに基づき、減衰の目標件数、目標評価値等を経験値等
から与え、それと実績値との比較及び実績評価値自体の
推移状態により自動的にソフトウェアの品質を評価する
ものである。
バグ件数の推移が減衰型であればソフトウェアの設計品
質もテスト方法も正常で、それ以外の型は異常という考
えに基づき、減衰の目標件数、目標評価値等を経験値等
から与え、それと実績値との比較及び実績評価値自体の
推移状態により自動的にソフトウェアの品質を評価する
ものである。
第１図は本発明が適用されるシステム構成の全体ブロッ
ク図を示す。第１図において、テスト装置１０は本発明
の中心をなすもので、ＣＰＵ、ＲＯＭ、ＲＡＭ等からな
る通常のミニコンピュータなどが用いられ、ソフトウェ
ア（プログラム）の品質評価を自動的に行う機能を有し
ている。テスト装置１０でテストするソフトウェアはフ
ロッピィディスク３０に格納されている。キーボード２
０はテスト装置１０に対する所望の動作指示やデータ等
を入力するのに使用される。また、テスト装置１０での
処理結果はディスプレイ装置４０あるいはプリンタ装置
５０に出力される。
ク図を示す。第１図において、テスト装置１０は本発明
の中心をなすもので、ＣＰＵ、ＲＯＭ、ＲＡＭ等からな
る通常のミニコンピュータなどが用いられ、ソフトウェ
ア（プログラム）の品質評価を自動的に行う機能を有し
ている。テスト装置１０でテストするソフトウェアはフ
ロッピィディスク３０に格納されている。キーボード２
０はテスト装置１０に対する所望の動作指示やデータ等
を入力するのに使用される。また、テスト装置１０での
処理結果はディスプレイ装置４０あるいはプリンタ装置
５０に出力される。
第２図にテスト装置１０での本発明にかかわる処理フロ
ーを示す。テスト装置１０は、フロッピィディスク３０
に格納されている被テストプログラムを読み出してテス
トし、バグを摘出する（ステップ１０１）。テスト装置
１０のＲＡＭ内に用意されたテーブルには、プログラム
毎の各テスト工程単位の摘出バグ目標件数がキーボード
２０よりあらかじめ読み込まれており、テストの結果、
該テーブル内に実際に摘出されたバグ件数（実績件数）
があらたに読み込まれる。
ーを示す。テスト装置１０は、フロッピィディスク３０
に格納されている被テストプログラムを読み出してテス
トし、バグを摘出する（ステップ１０１）。テスト装置
１０のＲＡＭ内に用意されたテーブルには、プログラム
毎の各テスト工程単位の摘出バグ目標件数がキーボード
２０よりあらかじめ読み込まれており、テストの結果、
該テーブル内に実際に摘出されたバグ件数（実績件数）
があらたに読み込まれる。
次に、このＲＡＭのテーブル内に読み込まれたプログラ
ム毎／テスト工程単位の摘出バグデータ（目標件数、実
績件数）から評価処理を行うプログラムのデータを抽出
し、目標および実績のそれぞれのデータをテスト工程毎
に出力形式および計算可能形式に変換する（ステップ１
０２）。
ム毎／テスト工程単位の摘出バグデータ（目標件数、実
績件数）から評価処理を行うプログラムのデータを抽出
し、目標および実績のそれぞれのデータをテスト工程毎
に出力形式および計算可能形式に変換する（ステップ１
０２）。
次に、各テスト工程での摘出バグの目標件数と実績件数
を比較して不良摘出予実績評価基準に基づき評価を行う
（ステップ１０３）。第３図は不良摘出予実績評価基準
の一例を示したもので、「○」は良、「△」はやゝ良、
「×」は不良を示す。なお、ａ＝不良摘出実績／目標値
×１００で表わす。
を比較して不良摘出予実績評価基準に基づき評価を行う
（ステップ１０３）。第３図は不良摘出予実績評価基準
の一例を示したもので、「○」は良、「△」はやゝ良、
「×」は不良を示す。なお、ａ＝不良摘出実績／目標値
×１００で表わす。
次に、各テスト工程単位に、当該工程までの各テスト工
程の不良摘出実績と品質推移評価算出係数との積を加算
し、当該工程の品質推移評価値を算出する（ステップ１
０４）。品質推移評価算出係数は、評価工程毎にその係
数の重付けが変わるものとする。第４図は該品質推移評
価算出係数の一例を示す。
程の不良摘出実績と品質推移評価算出係数との積を加算
し、当該工程の品質推移評価値を算出する（ステップ１
０４）。品質推移評価算出係数は、評価工程毎にその係
数の重付けが変わるものとする。第４図は該品質推移評
価算出係数の一例を示す。
次に、ステップ１０４で算出した評価値を一つ前のテス
ト工程の推移評価値と比較して、品質推移評価基準に基
づき評価を行う（ステップ１０５）。第４図で示したよ
うに、品質推移評価値はテスト工程毎のバグ摘出件数の
減少率が大きい程良い（低い）値になるように算出して
いる。第５図は品質推移評価基準の一例を示したもので
ある。なお、ｅ＝当該工程の評価値／一つ前の工程の評
価値×１００で表わす。
ト工程の推移評価値と比較して、品質推移評価基準に基
づき評価を行う（ステップ１０５）。第４図で示したよ
うに、品質推移評価値はテスト工程毎のバグ摘出件数の
減少率が大きい程良い（低い）値になるように算出して
いる。第５図は品質推移評価基準の一例を示したもので
ある。なお、ｅ＝当該工程の評価値／一つ前の工程の評
価値×１００で表わす。
次に、評価結果を例えばグラフの形でディスプレイ装置
４０に表示し（ステップ１０６）、また、そのリストを
ハードコピーとして必要な場合は（ステップ１０７）、
プリンタ装置５０を使用してハードコピーを出力する
（ステップ１０８）。
４０に表示し（ステップ１０６）、また、そのリストを
ハードコピーとして必要な場合は（ステップ１０７）、
プリンタ装置５０を使用してハードコピーを出力する
（ステップ１０８）。
第６図に本発明による処理の具体例を示す。これはプロ
グラムのステップ数が２５ｋ、テストは５工程の例であ
る。
グラムのステップ数が２５ｋ、テストは５工程の例であ
る。
経験値により摘出バグ件数の目標値はｋステップ当り１
２件（絶対件数で３０１件）を与え、減衰型を考慮して
テスト工程の配分は、１工程目が１６３件、２工程目が
８０件、３工程目が４０件、４工程目が１３件、５工程
目は５件と設定されている。実績は、１工程目が８７
件、２工程目が６０件、３工程目が３４件と減衰してお
り（４工程と５工程は０）設計品質・テスト方法とも正
常と考えられるが、予実績評価としては１工程目、２工
程目、３工程目はいずれも「△」（第３図参照）となっ
ている。又、減衰係数の目標値は経験値と期待値を加味
して摘出バグ件数が後工程で半減する割合を設定してお
り（第４図参照）、実績評価値は摘出バグ件数と減数係
数の積で表わす。評価工程が２工程目の場合は評価値が
８７×０、５（１工程目）と６０×１（２工程目）の和
となり、推移評価は「×」（第５図参照）となってい
る。評価工程が３工程目の場合は評価値が８７×０、２
５（１工程目）と６０×０、５（２工程目）と３４×１
（３工程目）の和となり、推移評価は「○」となり、前
述の予実績評価を考慮しても、３工程時点では設計品質
・テスト方法ともにほゞ正常と判定できる。
２件（絶対件数で３０１件）を与え、減衰型を考慮して
テスト工程の配分は、１工程目が１６３件、２工程目が
８０件、３工程目が４０件、４工程目が１３件、５工程
目は５件と設定されている。実績は、１工程目が８７
件、２工程目が６０件、３工程目が３４件と減衰してお
り（４工程と５工程は０）設計品質・テスト方法とも正
常と考えられるが、予実績評価としては１工程目、２工
程目、３工程目はいずれも「△」（第３図参照）となっ
ている。又、減衰係数の目標値は経験値と期待値を加味
して摘出バグ件数が後工程で半減する割合を設定してお
り（第４図参照）、実績評価値は摘出バグ件数と減数係
数の積で表わす。評価工程が２工程目の場合は評価値が
８７×０、５（１工程目）と６０×１（２工程目）の和
となり、推移評価は「×」（第５図参照）となってい
る。評価工程が３工程目の場合は評価値が８７×０、２
５（１工程目）と６０×０、５（２工程目）と３４×１
（３工程目）の和となり、推移評価は「○」となり、前
述の予実績評価を考慮しても、３工程時点では設計品質
・テスト方法ともにほゞ正常と判定できる。
第６図の例によれば、１工程目では予実績評価が「△」
なので、担当設計は摘出バグ内容とテスト（チェック）
方法を検討し、その結果に基いて２工程でのバグ摘出方
針をたて、テスト項目・工数・時間等の追加を行い、１
工程での摘出不足を補う努力をする。２工程目でも予実
績評価が「△」なので同様の検討を行うが、さらに推移
評価が「×」なので、設計品質が悪いモジュールについ
ても見直しを行い、品質向上に努力する。このようにし
て設計品質・テスト方法の評価が自動的に分り易く表示
され、早期テスト工程でのバグ摘出促進に効果がある。
なので、担当設計は摘出バグ内容とテスト（チェック）
方法を検討し、その結果に基いて２工程でのバグ摘出方
針をたて、テスト項目・工数・時間等の追加を行い、１
工程での摘出不足を補う努力をする。２工程目でも予実
績評価が「△」なので同様の検討を行うが、さらに推移
評価が「×」なので、設計品質が悪いモジュールについ
ても見直しを行い、品質向上に努力する。このようにし
て設計品質・テスト方法の評価が自動的に分り易く表示
され、早期テスト工程でのバグ摘出促進に効果がある。
本発明によれば、ソフトウェアについてテスト工程にお
ける摘出バグ件数の推移の型に基き設計品質・テストの
やり方の異常検知ができるので、テスト工程の早期に対
策を講じて低品質出荷・納期遅延の防止に効果がある。
ける摘出バグ件数の推移の型に基き設計品質・テストの
やり方の異常検知ができるので、テスト工程の早期に対
策を講じて低品質出荷・納期遅延の防止に効果がある。
第１図は本発明が適用されるテストシステムの全体ブロ
ック図、第２図は本発明の処理フロー例を示す図、第３
図は不良摘出予実績評価基準の一例を示す図、第４図は
評価値算出係数の一例を示す図、第５図は品質の推移評
価基準の一例を示す図、第６図は本発明による具体例を
示す図、第７図及び第８図はバグ摘出推移が減衰型をと
ることを説明する図である。 １０…テスト装置、２０…キーボード、３０…フロッピ
ィディスク、４０…ディスプレイ装置、５０…プリンタ
装置。
ック図、第２図は本発明の処理フロー例を示す図、第３
図は不良摘出予実績評価基準の一例を示す図、第４図は
評価値算出係数の一例を示す図、第５図は品質の推移評
価基準の一例を示す図、第６図は本発明による具体例を
示す図、第７図及び第８図はバグ摘出推移が減衰型をと
ることを説明する図である。 １０…テスト装置、２０…キーボード、３０…フロッピ
ィディスク、４０…ディスプレイ装置、５０…プリンタ
装置。
Claims (1)
- 【請求項１】ソフトウェアを複数回繰り返しテストして
ソフトウェアの品質の評価を自動的に行う方法であっ
て、 ソフトウェアの各テスト工程ごとの摘出バグの目標件数
をメモリに格納しておくとともに、 ソフトウェアの各テスト工程でのバグを摘出し、該摘出
バグの実績件数を前記メモリに格納するステップと、 各テスト工程ごとに、前記メモリに格納された摘出バグ
の実積件数と目標件数とを比較して当該テスト工程を評
価するステップと、 各テスト工程単位に、当該テスト工程に至るまでの各テ
スト工程における摘出バグの実積件数を各テスト工程ご
とに重み付けを変えて加算し、当該テスト工程の品質推
移評価値を算出するステップと、 前記当該テスト工程の品質推移評価値と一つ前のテスト
工程の品質推移評価値とを比較して、当該テスト工程で
のソフトウェアの品質を評価するステップとを 有することを特徴とするソフトウェア品質自動評価方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP59279659A JPH0628040B2 (ja) | 1984-12-29 | 1984-12-29 | ソフトウェア品質自動評価方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP59279659A JPH0628040B2 (ja) | 1984-12-29 | 1984-12-29 | ソフトウェア品質自動評価方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS61160152A JPS61160152A (ja) | 1986-07-19 |
| JPH0628040B2 true JPH0628040B2 (ja) | 1994-04-13 |
Family
ID=17614065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP59279659A Expired - Fee Related JPH0628040B2 (ja) | 1984-12-29 | 1984-12-29 | ソフトウェア品質自動評価方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0628040B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12236235B2 (en) | 2022-04-28 | 2025-02-25 | 17Live Japan Inc. | System and method for evaluating software development |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4658185B2 (ja) * | 2008-12-17 | 2011-03-23 | 株式会社日本総合研究所 | 開発管理システム、開発管理プログラム、および開発管理プログラムを記録した記録媒体 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59116863A (ja) * | 1982-12-22 | 1984-07-05 | Fujitsu Ltd | 新規作成プログラムの残留障害数自動測定方式 |
-
1984
- 1984-12-29 JP JP59279659A patent/JPH0628040B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12236235B2 (en) | 2022-04-28 | 2025-02-25 | 17Live Japan Inc. | System and method for evaluating software development |
Also Published As
| Publication number | Publication date |
|---|---|
| JPS61160152A (ja) | 1986-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lazic et al. | Cost effective software test metrics | |
| US8397104B2 (en) | Creation of test plans | |
| CN112905435B (zh) | 基于大数据的工作量评估方法、装置、设备及存储介质 | |
| US20140033174A1 (en) | Software bug predicting | |
| EP4075281A1 (en) | Ann-based program test method and test system, and application | |
| CN111752833A (zh) | 一种软件质量体系准出方法、装置、服务器及存储介质 | |
| US20050204241A1 (en) | Method and device for analyzing software error | |
| CN115964361B (zh) | 一种数据增强方法、系统、设备及计算机可读存储介质 | |
| CN118227434A (zh) | 分析应用性能的方法、装置、计算机设备及存储介质 | |
| CN119179642A (zh) | 一种代码测试方法、装置及电子设备 | |
| CN111143209A (zh) | 分层压力测试方法、装置、电子设备及存储介质 | |
| CN116881117A (zh) | 测试用例覆盖率评估方法、装置、计算机设备和存储介质 | |
| CN118116105A (zh) | 确定在飞行器中产生性能缺陷的故障的发生概率的方法 | |
| JPH0628040B2 (ja) | ソフトウェア品質自動評価方法 | |
| CN120407363A (zh) | 硬件运行偏差定位方法、装置、设备及存储介质 | |
| Kadry | A new proposed technique to improve software regression testing cost | |
| CN119443883A (zh) | 评估项目管理效率的方法、装置、计算机设备及存储介质 | |
| CN116862433A (zh) | 一种软件项目智能管理方法与系统 | |
| US20230366927A1 (en) | Dice testing method | |
| KR102195608B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 오브젝트 반려율을 활용한 자동 반려 방법 | |
| CN115495348A (zh) | 一种软件评估方法及系统 | |
| US7571428B2 (en) | Reliability contracts | |
| CN106656684A (zh) | 一种网格资源可靠性监控方法及装置 | |
| Chaudhary et al. | Stochastic software reliability growth modelling with fault introduction and change point | |
| CN117194267B (zh) | 一种基于云平台的软件质量评级系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |