自動テストのフロー (パイプライン)
このフローでは、CIサーバーパイプラインを使用して、自動テスト実行結果をALM Octaneに持ち込んで、プロダクトの全体的な分析に含める方法について説明します。
概要
自動テストも負荷テスト、パフォーマンステストと同様に外部テストツールで管理されます。これらの自動テストを実行するようにCIサーバーを設定してから、ALM Octaneを設定してこれらの結果を収集できます。これにより、アプリケーションの品質とカバレッジの全体像を確認できます。
このトピックでは、Jenkins CIサーバーの操作について説明しますが、他のCIサーバーでも同様のセットアップを作成できます。
- テストを実行するように自動ツールを設定します。
- 実行をトリガーするようにCIサーバーを設定し、結果 (JUNit、NUnitなど) をCIサーバーに公開します。
- ALM Octaneプラグインを使用して、CIサーバとALM Octaneを統合します。
- テストを実行するパイプラインを設定して実行します。
- ALM Octaneプラグインは結果を収集し、ALM Octaneに送信します。
注: UFT Oneテストを使用している場合は、パイプラインを使用せずにUFT Oneとの直接的な統合をセットアップできます。詳細については、UFT One統合のセットアップを参照してください。
テストツール環境の準備
テストツールをインストールしたマシンの準備を行います。これにより、自動テストにアクセスして実行できます。
テスト実行をトリガーするJenkinsサーバーのセットアップ
テストはCIサーバー経由で実行されますが、完全なCIシステムを設定する必要はありません。Micro Focus自動テストをJenkinsで実行し、実行結果をALM Octaneに送信するために必要なのは、以下の手順のみです。
他の自動テストツールの場合は、そのツールに必要な内容をJenkins上でセットアップします。テストを実行するジョブがテスト実行結果をJenkinsに公開するようにしてください。
Micro Focus自動テストのためのJenkinsのセットアップ:
-
Jenkinsサーバーをインストールします。
-
アプリケーション自動化ツールプラグインをインストールします。
このプラグインにより、以下の処理が可能になります。
-
UFT OneやLoadRunner Enterpriseテストなどの自動化テストを実行するために特別に設計されたJenkinsジョブを実行します。
-
ALM Octaneの要件に合わせて、テスト実行結果を準備します。
-
結果をALM Octaneに送信し、全体的な品質分析の結果として表示できます。
このプラグインのダウンロード、インストール、設定の詳細については、アプリケーション自動化ツール wikiページを参照してください。
注: LoadRunner Enterpriseテストをサポートするには、バージョン5.2以降のプラグインを使用してください。
-
-
パイプラインで実行されるUFT Oneテストの場合:
-
テストを見つけることができるようにJenkinsを設定します。テストがALMに保存されている場合は、ALMの場所を指定します。SCMリポジトリにある場合は、UFT OneマシンのJenkinsワークスペースにテストをチェックアウトします。
- UFT OneマシンをJenkins上の実行ノードとして定義します。詳細については、アプリケーション自動化ツールのwikiページ実行ノードに関する項を参照してください。
-
テストツールを使用してテストを実行するJenkinsジョブのセットアップ
自動テストを実行し、結果を公開するJenkinsプロジェクトを作成します。
LoadRunner Cloudテストの場合は、LoadRunner Cloudヘルプセンターの説明に従ってテストを実行するJenkinsをセットアップします。ビルド後のアクションを [Publish JUnit test result report] に追加します。
UFT OneまたはLoadRunner Enterpriseテストの場合、アプリケーション自動化ツールwikiページの指示に従って次の手順を実行します。
-
フリースタイルのソフトウェアプロジェクトを構築し、テストを実行するビルドステップを追加します。
-
関連するビルド後のアクションを追加して、テスト結果を公開します。これにより、ALM Octaneに認識される形式で結果が確実に送信されます。
[Report archive mode] で、テストレポートを常にアーカイブするように選択します。
その他のセットアップ要件
-
UFT Oneテストの場合は、実行ノードとして定義したマシン上でのみプロジェクトを実行するように制限します。
-
LoadRunner Enterpriseテストの場合、LoadRunner Enterpriseマシンへの接続を設定します。
Jenkinsジョブを含むパイプラインをALM Octaneで作成
自動テストの実行結果をALM Octaneに送信するには、テストを実行するJenkinsジョブがパイプライン実行に含まれている必要があります。
パイプラインは、ALM OctaneまたはJenkinsプロジェクトから作成します。
ALM Octaneから
パイプラインの作成と設定を参照してください。
Jenkinsから
詳細については、JenkinsでのALM Octaneパイプラインの作成と設定を参照してください
パイプラインの実行
パイプラインを実行すると、結果がALM Octaneに送信されます。
パイプラインを実行するには、次のいずれかの操作を行います。
-
ALM Octaneパイプラインモジュールで、パイプラインを選択し、[パイプラインの実行] ボタンをクリックします。
-
Jenkinsで、自分で作成したビルドプロジェクトを手動で起動します。
-
Jenkinsで、あらかじめ決められた時間に実行されるようにビルドプロジェクトをスケジュールします。
パイプラインとテストの実行が終了すると、プラグインによってテスト結果がALM Octaneに送信されます。
ALM Octaneは、受け取ったテスト結果に基づいて、自動テストエンティティとテスト実行エンティティを作成します。関連する自動テストがすでに存在する場合、結果はそのテストに関連付けられます。詳細については、自動テストエンティティの作成を参照してください。
テスト割り当てルールを使用して、結果をALM Octaneエンティティに結びつける
ALM Octaneで自動テストをアプリケーションモジュールとバックログ項目に割り当てると、コンテキスト内でテスト結果を表示できます。これらのテスト結果を使用して、リリースとプロダクトの進行状況と品質を分析できます。
自動テストに所有者を割り当てると、問題をすばやく解決するのに役立ちます。テスト実行の失敗時にテスト所有者に通知するようにパイプラインを設定することができます。
詳細については、アプリケーションモジュールとバックログ項目へのテストの割り当てを参照してください。
テスト結果の分析
テスト実行結果は、パイプライン実行と自動テスト実行で利用できます。
特定のテスト実行を開いて、詳細な結果を得ます。テストツールで提供される詳細レポートを開くには、テスト実行の右上隅にある [テストツールレポート] をクリックします。
注: LoadRunner Enterpriseから詳細レポートが提供されるのは、成功したテストの場合のみです。
パイプライン実行結果は、パイプラインモジュールで確認します。詳細については、パイプラインの実行を参照してください。
バックログ項目およびアプリケーションモジュールにテストを割り当てた場合、結果はリリースおよびプロダクトの追跡ダッシュボードウィジェットに含められます。
参照情報: