自動テスト実行結果の分析

自動テスト実行後に、テストレベル、パイプラインレベル、またはテスト実行レベルでその結果を分析します。

分析内容

テスト結果 (成功または失敗) を検証する際には、次のように多くの検証するべき点があります。

失敗の根本的原因に関する詳細。
特定の実行が失敗したパイプライン実行/ビルドに関する詳細。
過去の実行履歴。実行履歴では、テストが失敗したタイミング、頻度、原因を調べ、失敗の原因が常に同じ問題か、または別の原因があるのかを確認します。
エラーメッセージとタイプ。

トップに戻る

テスト実行の失敗の検証

バックログ、チームバックログまたは品質モジュールで、[テスト] タブを選択します。

ヒント: パイプラインの最新の実行からスキップまたは削除された自動テストを除外するには、[最新のパイプライン実行] タグを選択します。画面には、手動テスト、実行可能な自動テスト、パイプラインの最新の実行の一部として実行された自動テストが表示されます。

新規のパイプライン実行が進行中の場合、以前のパイプライン実行で実行された一部のテストも含まれます。
特定の自動テストのIDをクリックします。
[実行] タブを選択します。このタブには、テストが実行された各環境設定につき、1件のテスト実行エンティティが含まれます。各エンティティには、これらの環境設定で実行された直前のテストに関する詳細情報、および過去の実行に関する基本情報が含まれています。

ヒント: 失敗した実行の履歴がテストにあるかどうかを確認するには、テスト実行グリッドで、[問題] カラムを追加します。詳細については、問題があるテストの特定を参照してください。
特定の失敗したテスト実行のIDをクリックします。
[詳細] タブで次の操作を実行します。
1. [ビルドステータス] アイコンの上にカーソルを置くと、実行が失敗したビルドとその詳細が表示されます。これには、ビルドが失敗した日時、成功したテストの数、失敗したテストの数、対応が必要なテストの数などがあります。テストが1つでも失敗すると、ビルド全体が失敗とみなされます。
2. 担当者をチェックして、この失敗したテストの調査担当者を確認します。
  
  テストの調査担当者を割り当てると、この割り当てはその後の失敗したテストの実行にも適用されます。テストに合格すると、その割り当てはクリアされます。
  
  ヒント: 割り当てた担当者に電子メール通知を送信するには、パイプライン実行の [テスト] タブで担当者を割り当てます。詳細については、テストの失敗分析の展開を参照してください。
3. [テストツールレポート] ボタンをクリックすると、テストを実行したテストツールでレポートが生成されている場合、そのレポートにアクセスできます。
4. ビルドレポートを開くまたはテスト実行レポートを開くをクリックして、CIサーバーまたは別の場所に保存されているレポートを開きます。
  
  このリンクは、パイプラインステップでそのようなリンク用にテンプレートが設定されている場合に提供されます。詳細については、パイプラインのステップのラベル付けと設定を参照してください。
5. [パイプラインリンク] をクリックすると、パイプラインとそのパイプラインの特定の実行 (#でマークされている) に移動します。
  
  ヒント: [パイプラインリンク] カラムをグリッドに追加するには、[カラムの選択] ボタンを使用します。
[エラー情報] セクションでは、エラーメッセージ、エラータイプ、エラーの詳細が表示されます。[エラー情報] フィールドには、テスト実行が失敗しないとデータが表示されません。エラーの詳細が途中で途切れている場合は、[すべての詳細の表示] をクリックすると新しいタブが開き、全体が表示されます。

テストが失敗すると、失敗の原因 (スタックトレース) がサーバーに送信されます。これにより、ALM Octaneユーザーは原因をすぐに確認できます。
[詳細] タブの右上で、[<ソース>で表示] をクリックすると、CIサーバーのテスト結果が表示されます。
[前回の実行] タブで次の操作を実行します。
1. テスト実行の履歴とそれに関連するビルドの失敗とエラー情報が表示されます。これには、メッセージ、例外、スタックトレースなどがあります。
2. 失敗やエラーの条件を指定することにより、実行履歴にフィルターを適用できます。たとえば、実行ステータスによるフィルターを適用し、失敗した実行のみを表示することにより、問題のある実行をすぐに特定でき、修正することが可能になります。また、期間、ビルドステータス、エラーメッセージの文字列、例外、スタックトレースをフィルター条件に指定することも可能です。
3. 前の実行のツールヒントを表示し、[テストツールレポート] リンクをクリックすると、この実行で外部システムのレポートが生成されている場合、そのレポートにアクセスできます。
4. [パイプラインリンク] をクリックすると、パイプライン実行 (#でマークされている) とそのパイプラインに移動します。
[不具合のレポート] をクリックして、この実行に基づく不具合を作成できます。