問題があるテストの特定

問題があるテストとは、確実に成功するとは限らないテストを指します。これには、テストが繰り返しまたはランダムに失敗する場合、連続してスキップされる場合、成功した後で突然失敗する場合などがあります。ALM Octaneでは、問題があるテストを強調表示し、調査が必要な状態であることを示します。

• 自動テスト実行の [問題] フィールドは、このテストで発生している問題の種類を示します。たとえば、連続的に失敗、振動、連続的にスキップなどがあります。

• 問題があるテストウィジェットを実行すると、確実には成功していないテスト実行の内訳が、問題のタイプ別に表示されます。問題のタイプのカラムをクリックすると、それに関連するテスト実行が表示されます。

ウィジェットは、ダッシュボードとパイプラインの概要で利用できます。

次の表は、ALM Octaneが問題として分類するテスト実行結果のパターンを示しています。

問題	定義
連続的に失敗	最後に実行した8回のうち、すべてが失敗した。
振動	最後に実行した8回のうち、成功/失敗のステータスが4回以上変動した。 つまり、実行失敗の後の実行成功、またはその逆が4回以上発生した。
リグレッション	過去に2回以上成功したテストが失敗している。 最後に実行した4回以上のうち、2回以上成功した後、1回失敗した。
連続的にスキップ	最後に行った8回のパイプライン実行で、テストがスキップされた。
不安定	テストがランダムに失敗している。 最後の50回のテスト実行で、5回以上合格した後、1回失敗し、再び成功した場合などです。

例: テスト実行結果パターン

次の例は、さまざまなテスト実行結果パターンがどのように分類されるかを示しています。これらの例では、P =成功、F =失敗、S =スキップされています。

• FSFFFSFFFF: 連続的に失敗

• FFFFFFFFFFS: 問題なし (スキップで終了)

• PFPPSPFPP: 振動 (4回変動)

• PFPPFPPSS: 問題なし (スキップで終了)

• PPPF: リグレッション

• PPFFFSFFF: リグレッション

• SSSSSSSS: 連続的にスキップ

• SSFSSSSS: 問題なし (8回すべてがスキップされているわけではない)

参照情報:

• テストの分析
• 自動テスト実行結果の分析