品質リスクの分析

ALM Octaneの品質リスクの分析は、製品内で品質リスクの高い領域を特定するのに役立つことを目的としています。

このトピックの内容:

概要

品質リスクのインサイトは、問題のある領域を特定できるように定量化可能な数値を提示します。リスクの高い領域を特定したら、リソースを集中して、それらの領域でさらにテストを実装できます。

リスクスコアは、選択したリリースの選択したタイムラインに基づいています。ALM Octaneは、すべてのアプリケーションモジュールノード内からリスクベースラインを計算します。次に、問題のあるノードをベースラインと比較し、リスクインデックスを計算します。

トップに戻る

リスク要因

次の表に、ALM Octaneが項目のリスクが高いかどうかを判断するために分析する要素を示します。

以下のリスク要因に加えて、ALM Octaneは、アプリケーションモジュールのビジネスへの影響もモジュールの品質リスクスコアの一部と見なします。詳細については、ビジネスへの影響を参照してください。

リスク要因	詳細	例
コードの変更	この領域で最近コードが変更され、多くのコミットがありました。リスクの高いコミットは、製品のリスクレベルに影響を与える可能性があります。詳細については、リスクのあるコミットとリスクのあるフィーチャーの特定を参照してください。	このリリースのコミットの20%は、この領域で実行されました。 この領域で実行されるコミットの50%はリスクの高いコミットであり、これはエラーが発生しやすい領域であり、不具合のリスクが高いことを示しています。
テストカバレッジ	選択した期間中、エリアは十分にテストされていませんでした。これは、変更が導入されたため、その領域をカバーするすべてのテストの中で実行されたテストの割合が低いことによって示されます。	この領域をカバーする70%のテスト (自動および手動) は実行されませんでした (～%30のカバレッジ)。 この領域の自動化カバレッジは25%でした。 この領域の手動テストの5%のみが実行されました。
高い失敗率	特定の領域で手動テストの失敗率が高く、不安定で品質の低い領域を示している可能性があります。テストの失敗が多い場合は、問題または不具合が見つかったことを示している可能性があります。	手動実行の30%が失敗しました。

トップに戻る

品質リスク分析のメリット

ALM Octane品質リスク分析を使用すると、製品内で品質リスクの高い領域を特定できます。識別されると、QAチームは、これらの高リスク領域にテスト作業を集中させ、リスクを軽減できます。これにより、テストチームはテスト戦略の効率を高め、本番環境への不具合の漏洩を最小限に抑えることができます。

リリースを計画するとき、開発リーダーとQAのステークホルダーは、次の質問に対処する必要があります。

• テスト戦略をどのように定義する必要がありますか？
• どの領域が高品質のリスクにさらされていますか？
• ビジネスに大きな影響を与える不具合を検出する可能性が高いのはどこでしょうか。
• 現在のスプリントまたはリリース中にテストをどこに集中させる必要がありますか？

• 比較的質の高い領域をテストしないことで、どうすれば時間を節約できますか？

ALM Octaneの品質リスクインサイトページは、アプリケーションモジュールのリスクの定量化されたメトリックを提供することにより、これらの質問に答えるのに役立ちます。

アプリケーションモジュールツリーの色分けされた星のアイコンは、リスクレベルを即座に可視化します。赤は重大なリスク、オレンジは高リスク、黄色は中リスク、緑は低リスクを示します。

トップに戻る

分析の解釈

品質リスクインサイトを開くには、品質モジュールで、左側のペインからアプリケーションモジュールを選択し、リスクタブを選択します。

品質リスクのインサイトページは、次の3つのペインで構成されています。

• 左ペイン: リスク指標付きのアプリケーションモジュールツリー

• 中央のペイン: 品質リスクの指標とメトリック

• 右ペイン: リスクが最も高い上位10のアプリケーションモジュール

左側のペインには、アプリケーションモジュールツリーが表示されます。ALM Octaneは、リスクレベルを示す色付きのリスク指標を割り当てます。

リスクレベルと指標は、ノードの全体的なスコアによって決定されます。次の表は、リスクレベルを定義しています。

リスクレベル	色	指標	リスクスコア
低	緑		0.1- 3.9
中	黄		4.0 - 4.9
高	オレンジ		5.0 - 6.9
致命的	赤		7.0 - 10.0

中央のペイン: 品質リスクの指標とメトリック

中央のペインには、全体的なリスクスコアと、スコアの計算に使用されたメトリックが一覧表示されます。全体的なスコアが高いほど、リスクが高くなります。

品質リスクメトリックは、問題のある領域にドリルダウンできるようにする定量化可能な数値です。メトリックは次のセクションに分かれています。

セクション名	選択したアプリケーションモジュールノードの要素
コードの変更とリスクのあるコミット	製品内の他のアプリケーションモジュールと比較したコミットの総数。一般に、コミットが多いほど、リスクは高くなります。 リスクのあるコミットの割合 (リスクのあるコミット /コミットの総数)。
手動テストのカバレッジと失敗率	アプリケーションモジュールを対象とするすべての手動テストのうち、実行された手動テストの割合。 失敗した手動テスト実行の割合 (失敗した手動実行 /合計手動実行)。
自動テストカバレッジ	現在のフィルターに関連する、このアプリケーションモジュールを対象とするすべてのテストのうち、リリースタイムライン中に実行された自動テストの割合。

右ペイン: リスクが最も高い上位10のアプリケーションモジュール

右側の [インサイト] ペインには、選択したアプリケーションモジュールの子アプリケーションが、リスクスコアの上位10件とともに一覧表示されます。

品質リスクスコアは、アプリケーションモジュールのコード変更やテストカバレッジなど、中央のペインに表示されるデータに基づいて、数時間ごとに自動的に計算されます。スコアが高いほど、リスクは高くなります。

スコアは、選択したタイムラインでモジュールのリスクを計算する品質リスク式によって決定されます。式には、コードの変更、リスクのあるコミット、テストの実行回数など、中央のペインに表示される要素が含まれます。

ペインには、重大 (赤) 、高 (オレンジ) 、および中 (黄色) のリスク項目のみが表示されます。低い (緑の) リスクのみが見つかった場合、それらは表示されません。

トップに戻る

ビジネスへの影響

アプリケーションモジュールの品質リスクを計算するときは、ビジネス上の決定に従って正しいビジネスへの影響を割り当てることが重要です。多くのコード変更とカバレッジの低さのためにリスクが高いアプリケーションモジュールがあるが、ビジネスへの影響が小さい場合、品質リスクスコアは低下します。または、コードの変更がほとんどないがビジネスへの影響が大きいアプリケーションモジュールがある場合は、品質リスクスコアが高くなります。

製品のビジネスアナリスト、QAリード、または同様のステークホルダーは、各アプリケーションモジュールのビジネスへの影響フィールドに値を割り当てて、ビジネスの優先順位を示す必要があります。ALM Octaneは、品質リスクのスコアと指標の計算にビジネスへの影響の値を使用します。

ビジネスへの影響の値を設定するには、詳細タブを開き、ドロップダウンリストから値を選択します。新しいアプリケーションモジュールの場合、新しく作成された共有スペースの場合、ビジネスへの影響フィールドは必須です。

品質リスクは、2つの主要な要因に基づいています。隠れた不具合の確率の計算されたスコアとビジネスへの影響です。次の表は、ビジネスへの影響設定が品質リスクスコアに与える影響を示しています。

ビジネスインパクトフィールドの選択	品質リスクスコアへの影響
低	隠れた不具合の可能性が高い場合でも、スコアを下げます。
影響なし	品質リスクスコアには影響しません。
中	品質リスクスコアがわずかに増加します。
高	品質リスクスコアを適度に増加させます。
致命的	品質リスクスコアを大幅に向上させます。

トップに戻る

品質リスク計算を設定する

アプリケーションモジュールツリーを構築してテストを実行した後、ALM Octaneはリスク分析のインサイトを生成できます。

品質リスクの計算を有効にするには:

1. ALM Octaneがリスクスコアを計算する前に、ビジネスアナリストがアプリケーションモジュールのノードでビジネスへの影響フィールドを設定していることを確認してください。設定されていない場合、リスクは、特定の領域で不具合を検出する可能性が高いことを示すメトリックに従ってのみ計算されます。詳細については、ビジネスへの影響を参照してください。

2. 品質モジュールの下のリスクページを選択します。
3. 左側のペインで、品質リスク設定ボタンをクリックします。
4. 品質リスク指標を表示トグルは標準設定で有効になっており、ALM Octaneに品質リスク指標を計算するように指示します。インサイトが自分に関係がない場合は、リスク計算を無効にすることができます。
5. リリースドロップダウンから、値を計算するリリースを選択します。

6. [フィルター] セクションで、計算に含めるテストの種類またはレベルを選択します。リリースの品質に影響を与え、リリース時に関連したテストのみを含める必要があります。今後のリリースに関連するアプリケーションモジュールに新しいテストが追加された場合は、スコアに影響を与えないように、それらを除外することを検討する必要があります。

   次の例は、分析の精度を高めるのに役立つ可能性のある一般的なフィルターのいくつかを示しています。

   • 自動テスト: テストレベルをシステムテストおよび機能テストレベルに設定しますが、ユニットテストは除外します。
   • 手動テスト: テストタイプをエンドツーエンド、サニティ、およびリグレッションに設定しますが、受け入れテストは除外します。

   注:  

   • テストのフィルターは、ユーザーごとではなく、リリースごとに設定されます。これらのフィルターを設定するには、[アプリケーションモジュール] カテゴリで品質リスクの設定権限が必要です。標準設定では、ワークスペース管理者のみがこの権限を持っています。

   • プログラムフィルターはリスク計算に適用されません。

7. [OK] をクリックします。ALM Octaneがリスクスコアの計算を開始します。

アプリケーションモジュールのルートノードを選択して、そのすべてのアプリケーションモジュールの品質リスクスコアとメトリックを表示します。メトリックは一緒に平均化され、全体的な品質リスクスコアが得られます。

トップ10リストには、中リスクおよび高リスクのモジュールのみが表示されます。

トップに戻る

テスト戦略を調整する

リスクインデックスとスコアに基づいて、より効果的なテスト戦略を考案できるようになりました。推奨される戦略には次のものがあります。

• 問題のある領域のテストカバレッジを増やします。

• リスクの高い領域に集中し、リスクの低い領域での作業を最小限に抑えます。

• 不具合の数が多かった理由を理解します。

• テストの失敗率が高かった理由を特定します。

トップに戻る

参照情報:

• 品質管理
• ALM Octaneのインサイト