テストスイートの計画と実行

テストスイートを作成したら、その実行方法を計画します。このトピックでは、テストスイートを計画および実行する方法について説明します。

このトピックの内容:

テストスイート実行の計画

実行するテストスイートを準備します。各テストに所有者と環境を割り当てます。

テストスイートの実行プロセスは、次の手順に従います。

テストスイートの実行を計画するには:

1. [テスト] タブで、テストスイートをクリックします。

2. テストスイートの計画タブで、実行するテストを管理します。

   1. ツールバーボタンを使用して、新規または既存のテストを追加します。

      ヒント: たとえば、異なる環境で同じテストを実行する場合は、同じテストを複数回追加できます。

   2. 不要なテストを削除します。テストのチェックボックスを選択し、詳細 > 削除を選択します。

   3. 次の実行に含めるカラムのトグルを使用して、次の実行に含めるテストを指定します。標準設定では、すべてのテストが実行するように設定されています。

      注: テストIDの横にあるチェックボックスは、テストを実行するかどうかを示していません。これらのチェックボックスをオンにすると、エクスポート、削除、レポートなどの他のフィーチャーに適用されます。

   4. テストをドラッグして、実行する順序を設定します。リストの一番上または一番下にテストを送信するには、テストを右クリックして、最高ランクまたは最低ランクを選択します。
   5. 計画されたスイート実行にテストを追加するには、テストを右クリックして、スイート実行に追加を選択します。[スイート実行に追加] ダイアログボックスで、テストを追加するスイート実行を選択し、追加して閉じるをクリックします。すでに存在するランを追加することもできます。(これは、手動テストと自動テストの両方で使用できます。)

3. 計画タブで、スイート実行の計画をクリックします。[スイート実行の計画] ダイアログボックスでは、スイートの属性を定義できます。

   ヒント: 同じプランを複数のテストスイートに適用するには、テストスイートを選択し、スイート実行の計画をクリックします。

4. テストするリリースを選択します。リリースを選択した後、マイルストーンまたはスプリントを選択できますが、それらはさまざまな機能を果たします。

   • マイルストーン。マイルストーンを選択すると、実行がマイルストーンの品質ステータスに寄与することを意味します。一意の最後の実行が作成され、リリースと同様に、カバレッジと追跡の目的でマイルストーンに割り当てられます。

   • スプリント。スプリントを選択すると、実行がスプリントの時間枠内に実行されるように計画されていることを意味します。スプリントには独自の実行結果がないため、スプリントで最後の実行をフィルタリングすると、後のスプリントでオーバーライドされなかった実行のみが返されます。スプリントに基づいて完全な実行ステータスと進行状況レポートを表示するには、ダッシュボードウィジェットで [最終実行] を使用する代わりに、テスト実行履歴 (手動)項目タイプを使用します。

   ALM Octaneは、スイート内のテストのすべてのテスト実行にこれらの値を割り当てます。

   ヒント: ALM Octaneは、ユーザー定義フィールドがテストスイート実行エンティティとそのテスト実行エンティティの両方で同じ名前とタイプを持っている場合、ユーザー定義フィールドの値も割り当てます。これは、COPY_RUN_SUITE_UDFS_TO_RUNS構成パラメーターがtrueに設定されている場合に使用できます。

5. (オプション) プログラムを使用している場合は、プログラムを選択してスイートに関連付けることができます。スイート内のすべての実行にこのプログラムが割り当てられ、各実行の履歴に追加されます。詳細については、プログラム (Enterpriseエディション)を参照してください。

6. すべてのテストスイートの実行で使用される標準設定環境および標準設定実行者を指定します。テストスイートの実行の環境および実行者フィールドは標準設定値を継承します。標準設定実行者フィールドが空のままの場合、テスト実行はどのユーザーにも割り当てられません。計画された各テスト実行をユーザーに手動で割り当てる必要があります。

   データアクセス: テストが標準設定のテスターのロールの範囲外のデータカテゴリに属している場合、実行は標準設定のユーザーに割り当てられません。認定されたユーザーにテスト実行を手動で割り当てます。詳細については、データアクセス (Enterpriseエディション)を参照してください。

   注: テストスイートの計画後に標準設定環境フィールドと標準設定実行者フィールドを変更すると、既存の実行は引き続き元の標準設定値を継承します。変更は、新しい実行にのみ影響します。

7. 所有者は、次のいずれかのモジュールからテストを実行します。

   自分の作業モジュール	ALM Octaneは、割り当て済みの各実行に、スイート実行の名前と各テストへのリンクを含むラベルを表示します。 テストを選択し、自分の作業モジュールの右側のペインで [スイートの実行] をクリックすると、テスト実行が開始します。 ヒント: スイート内のテストがすべて同じユーザーに割り当てられている場合、自分の作業にスイート実行として表示されます。スイートを選択し、右側のペインで [スイートの実行] ボタンをクリックします。
   チームバックログまたは品質モジュールから	スイート実行の [詳細] タブで、[実行] ボタン をクリックします。 スイート全体を実行していて、割り当てられていないテストがある場合は、割り当て済みのテストと割り当てられていないテストを一緒に実行するか、テストスイート内のテストをすべて実行するかを示します。

8. 必要に応じて、テストスイート情報をExcelにエクスポートします。エクスポートにより、UDF (ユーザー定義フィールド) と次の組み込みフィールドを除くすべてのフィールドがCSVファイルに保存されます。作成者、バックログカバレッジ、BDD仕様、ビルド、コンポーネント、カバーされる自動テスト、カバーされる手動テスト、カバーされる要件、データテーブル、外部テストID、フラグルール、フラグ、フォロー済み、自分の作業内、ドラフト、最新バージョン、手動、所有者、品質ストーリー、およびテストレベル。
9. [スイート実行の計画] ボックスで、[計画] をクリックします。ALM Octaneによりスイート実行が作成され、スイートのテスト用にテスト実行が作成されます。このテスト実行は、自分の作業モジュールの所有者の項目リストに表示されます。

トップに戻る

テストスイートの実行

テストスイートは、一連のテスト実行として実行されます。

テストスイートを実行するには、次の手順を実行します。

1. テストスイートで、スイートの実行をクリックします。[<テストスイート名>の実行] ダイアログが開きます。

2. 設定を確認し、実行をクリックします。[マニュアルランナー] ウィンドウが開きます。詳細については、手動テストとGherkinテストの実行を参照してください。

   テストスイートのステータスは、テストの実行ステータスに応じて自動的に更新されます。

   注: テストスイートの最終ステータスは、ALM Octaneのビジネスルールロジックに従います。ビジネスルールは順番に実行され、最終的なステータスは最後のルールによって決定されます。たとえば、テストスイートのテストがスキップまたは成功の場合、最初の組み込みビジネスルールはテストスイートのステータスを成功に設定します。ただし、任意のスキップされたテストを検索することを基準とする後続のルールは、テストスイートのステータスをスキップにリセットします。ビジネスルールとその順序は、管理者によって設定されます。詳細については、ビジネスルールを参照してください。

トップに戻る

スイート実行の管理

スイート実行の実行タブでは、ランクやその他の属性を変更することでランを管理できます。右クリックメニューを使用して、項目を自分の作業に追加するか、電子メールとして送信します。

スイートの実行を管理するには:

1. [スイート実行] タブを選択します。すべてのスイート実行が一覧表示されます。

2. スイート実行をクリックします。ALM Octaneは、実行タブを開き、実行のリストを表示します。

3. 実行のステータスを変更するには、詳細タブのネイティブステータスを変更し、保存をクリックします。たとえば、実行が以前にブロックされていた場合、そのステータスを計画済みに変更できます。

4. スイート実行の一部としてテストを2回実行する場合は、テストを選択して重複実行をクリックして、実行のコピーを作成します。実行を最初からやり直す場合は、実行を複製し、コピーのステータスが計画済み(これが標準設定) に設定されていることを確認して、古いものを削除します。

5. 実行を目的の場所にドラッグして、実行をランク付けおよび並べ替えます。

   現在実行中の実行の順序を変更することはできません。

   ヒント: 実行結果が切り替わらないように、実行結果はスイート実行に表示される順序と同じである必要があります。したがって、テストを並行して実行しないことをお勧めします。

6. テストの割り当てまたは環境を変更する必要がある場合は、実行者および環境カラムの値を変更します。担当者は、自分の作業領域内で通知を受け取ります。

   注: [環境] は、情報ラベルです。ALM Octaneは、テストを実行する環境の選択や検出は行いません。

7. テストの割り当てがすべて完了すると、[実行] タブに更新されたリストが表示されます。スマートリストビューを以下に示します。

   

トップに戻る

スイート実行結果の表示

スイートテストを実行すると、ALM Octaneは実行結果を1つのレポートにまとめます。

スイート実行結果を表示するには、次の手順を実行します。

1. テストスイートで [スイート実行] タブをクリックします。

2. スイート実行のリストで、表示するスイート実行のリンクをクリックします。

3. スイート実行インスタンスで、[実行] タブをクリックします。テスト実行がすべて一覧表示されます。

4. スイート実行で、[レポート] タブをクリックします。スイート実行レポートが表示されます。

   

    

5. 表示方法ボックス (右上) で、結果の表示方法を選択します。テストはテストごとの結果を表示し、順序は実行順に結果を表示します。

   スクロールまたはリンクをクリックすると、スイート内の個々のテストと、各テスト内のステップが表示されます。

   レポートページでは、テスト実行が作成された時点での各テストのフェーズも示されます。

トップに戻る

スイート実行に関する追加情報を表示

自動テストの場合、スイート実行 >実行タブの右側のペインに追加情報が表示されます。

• プレビュータブには、テスト実行に関する一般的な情報が表示されます。名前、説明、リリースの割り当て、およびコメント。
• レポートタブは、実行が実行された後のテスト実行レポートを提供します。エラーがある場合は、関連するスタックトレース情報が表示されます。

• テストランナータブには、関連するテストランナーの詳細が表示されます。フレームワーク、CIサーバー、ジョブ名、およびビルド番号。テストランナーをクリックして、関連するテスト実行をフィルタリングします。

  スイートを実行すると、テストランナーのステータスが [初期化中]、[進行中]、および [完了] に変わります。ツールバーの更新ボタンをクリックして、ステータスの変更を確認します。このタブには、テストランナーの実行ログにアクセスするためのリンクもあります。

  テストランナーの設定の詳細については、テストフレームワークでの自動テスト実行のトリガーを参照してください。

トップに戻る

参照情報:

• 手動テストとGherkinテストの実行
• テストスイートの作成