AI ベースのテスト

Mobile、Web、Windows ベースの SAP GUI のテスト

このトピックでは、OpenText Functional Testing の人工知能（AI）機能をテストで使用して、人間が行うのと同じようにオブジェクトを識別する方法について説明します。これにより、オブジェクトの実装に関係なく、異なるプラットフォームとバージョンで同じテストを実行できるようになります。

AI ベースのテストの概要

OpenText Functional Testing の AI オブジェクト検出を使用すると、テストで人間が行うのと同じ方法で、テストがテスト対象のアプリケーションを操作できます。OpenText Functional Testing は AI を使用して、さまざまな画像、コンテキスト、そして時にはテキストにも基づいて、オブジェクトを視覚的に識別します。

たとえば、OpenText Functional Testing の AI は、さまざまなタイプの検索フィールド、ユーザ・プロファイル領域、入力フィールド、ボタン、ショッピング・カートを識別できます。

AI ベースのオブジェクトの認識には、次のような利点があります。 

編集が簡単

テスト・スクリプトがより直感的です。
複数の環境のテスト

テストがテクノロジに依存しません。背後でどのようなテクノロジが使用されているかに関わらず、オブジェクトを視覚的に識別できます。
テストの復元性

テストの保守が容易になります。オブジェクトの場所、フレームワーク、または形状が変わっても、オブジェクトの見た目が似ているか、オブジェクトの目的が明確であれば、テスト・スクリプトが使用できなくなることはありません。

AI オブジェクト検出サービス

OpenText Functional Testing の AI オブジェクト検出を提供する AI オブジェクト検出サービスは計算量が多くなります。AI オブジェクト検出を活用して最適なパフォーマンスを実現するには、処理能力の高いコンピュータを使用することをお勧めします。推奨されるシステム要件については、サポート・マトリクスを参照してください。

OpenText Functional Testing の AI オブジェクト検出サービスは、さまざまなソースで実行および使用できます。このサービスは、OpenText Functional Testing コンピュータでのローカル実行、リモートでの実行、ネットワーク内の指定マシンでの実行、クラウド上での実行が可能です。標準設定では、ローカルの AI オブジェクト検出サービスが使用されます。

必要に応じて、リモート AI オブジェクト検出サービスまたは AI オブジェクト検出クラウド・サービスの使用を選択できます。

  • リモート AI オブジェクト検出サービスを処理能力の高い 1 台のコンピュータで使用すれば、処理能力の低い複数の OpenText Functional Testing コンピュータで AI 機能を利用できます。詳細については、リモート AI オブジェクト検出サービス の使用を参照してください。

  • AI オブジェクト検出クラウド・サービスを使用すれば、リソースのローカルな使用量を減らし、最新の AI サポートを受けることができます。詳細については、AI オブジェクト検出クラウド・サービス の使用を参照してください。

    注: AI オブジェクト検出クラウド・サービスは、OpenText Functional Testing で、要望に応じてテクニカル・プレビューとして提供されます。標準設定の OpenText Functional Testing では利用できません。詳細については、アカウント・チームに連絡し、AIODCloudService@opentext.com まで電子メールをお送りください。

AI オブジェクト・モデル

OpenText Functional Testing の AI オブジェクト検出は、組み込みの AI オブジェクト・モデルを使用して、OpenText Functional Testing がアプリケーションを学習し、テスト・オブジェクトを識別するのを支援します。

更新された AI オブジェクト・モデルでは、パフォーマンス、精度、および識別能力を向上させることができます。新しいモデルが利用できるようになったら、ダウンロードして AI ベースのテストに使用できます。詳細については、ローカル AI オブジェクト・モデルの更新を参照してください。

先頭に戻る

前提条件

OpenText Functional Testing の AI オブジェクト検出を使用するには、インストールして有効にする必要があります。OpenText Functional Testing のインストールは、標準設定では OpenText Functional Testing の AI オブジェクト検出をインストールして有効にするように設定されています。

AI オブジェクト検出がインストールされていない場合（［オプション］ダイアログ・ボックスに ［GUI テスト］＞［AI オブジェクト検出］表示枠が表示されない場合）は、次のいずれかを実行します。 

  • OpenText Functional Testing のインストールを実行し、［変更］を選択して、［AIオブジェクト検出］オプションを選択します。［カスタム セットアップ］画面を参照してください。

  • OpenText Functional Testing のサイレント・インストールを実行し、ADDLOCAL パラメータを使用して AI オブジェクト検出を有効にします。特定の機能を含めるを参照してください。

インストール後に AI オブジェクト検出を有効または無効にするには、［ツール］＞［オプション］＞［GUI テスト］＞［AIオブジェクト検出］＞［AIオブジェクト検出の有効化］オプションを使用します。

テスト・ソリューションを準備し、Web、モバイル、または SAP GUI for Windows アプリケーションのテストを作成します。

テストで使用する AI オブジェクトの識別を開始するには、引き続き次のいずれかのタスクを実行します。

先頭に戻る

アプリケーションのオブジェクトの検査

AI オブジェクト検査を使用して、テスト・ステップで使用できるアプリケーションのオブジェクトを識別します。

以下の手順では、テスト用にアプリケーションを準備する方法、AI を使用してアプリケーション内のオブジェクトを識別する方法、識別に関するフィードバックを OpenText に送信する方法（希望する場合）について説明します。

前提条件

モバイル・デバイスでアプリケーションをテストする場合

  1. Mobile Add-in がインストールおよびロードされていることを確認します。

    モバイル・デバイスで Web アプリケーションをテストするには、Web Add-in もインストールおよびロードされていることを確認してください。

  2. Digital Lab に接続し、テストするモバイル・デバイスとアプリケーションを開きます。詳細については、リモート・アクセス・ウィンドウのオープンを参照してください。
デスクトップ Web アプリケーションをテストする場合

  1. Web Add-in がインストールおよびロードされていることを確認します。

  2. ブラウザに OpenText UFT Agent 拡張機能が設定されていることを確認します。詳細については、特定のブラウザでの Web アプリのテストを参照してください。

  3. アプリケーションを開きます。

    最良の識別結果を得るには、次の手順を実行します。

    • ブラウザ・ウィンドウを最大化して、ズーム・レベルを 100% に設定します。

    • すべてのテキストとアプリケーションを 100% で表示するように、Windows の表示設定を設定します。

    • ブラウザに Web ページ以外のバナーが表示されていないことを確認します。

対応ブラウザ：Chrome、Edge、Firefox、Internet Explorer

Headless Chrome もサポートされています。Headless Chrome でのテストの実行の準備を参照してください。

その他のヘッドレス・ブラウザには対応していません。

SAP GUI for Windows アプリケーションをテストする場合

  1. SAP GUI for Windows のサポートの有効化の説明に従って、次のタスクを実行してください。

    1. SAP GUI Scripting をインストールします。

    2. サーバ側で SAP GUI Scripting を有効にします。

    3. クライアント側で SAP GUI Scripting を有効にします。

  2. SAP Solutions Add-in がインストールおよびロードされていることを確認します。

  3. アプリケーションを開きます。

    最適な識別結果を得るために、Windows のディスプレイ設定ですべてのテキストとアプリを 100% で表示するように設定します。

注：SAP GUI for Windows アプリケーションの AI ベースのテストは、Classic テーマと Signature テーマで正式にサポートされています。

単一オブジェクトを識別するには

［オブジェクト スパイ］または［オブジェクト認識センター］では、モバイル・アプリケーション、Web アプリケーション、または SAP GUI for Windows アプリケーションでオブジェクトをスパイすると、OpenText Functional Testing は同じオブジェクトを表すために使用できる AI オブジェクトも表示します。

単一オブジェクトをスパイする場合 アプリケーションでオブジェクトをクリックすると、クリックしたオブジェクトのみを対象として AI オブジェクトが提案されます。AI オブジェクトは、スパイに表示される階層内の他のオブジェクトを対象として提案されることはありません。

OIC を使用して複数のオブジェクトをスパイする場合

AI オブジェクトの提案は、スパイ対象の各オブジェクトの編集ビューで利用できます。編集ビューを開くには、スパイ対象のオブジェクトのリストで、オブジェクトにカーソルを合わせて、［編集］ボタンをクリックします。

すべてのオブジェクトを識別するには

  1. ［AI オブジェクト検査］ウィンドウを開いて、アプリケーションを検査し、その中のすべての AI オブジェクトを検出します。

    このウィンドウを開くには、次のいずれかを実行します。 

    • ［AI］＞［AIオブジェクト検査］を選択します。

    • ［AIオブジェクト検査］ツールバー・ボタンをクリックします。

    • オブジェクト・スパイまたはオブジェクト認識センターで、［検査］をクリックします。

      ヒント：このボタンは、［AI 自動検査］オプションが有効になっている場合に使用できます。

  2. モバイル・アプリケーションが表示されている Web アプリケーション、SAP GUI for Windows アプリケーション、またはリモート・アクセス・ウィンドウをクリックします。サポートされていないコンテキストをクリックするか、Esc を押すと、［アプリケーションの選択］ボタンが表示され、もう一度クリックするように求められます。

    注: スパイ対象の階層の最上位オブジェクトとして Web ブラウザ、モバイル・デバイス、または SAPGUISession テスト・オブジェクトを使用して検査を開始した場合は、このステップをスキップできます。OpenText Functional Testing は、そのテスト・オブジェクトを自動的に検査対象として選択します。

    ［ライブアプリケーション］タブにアプリケーションの現在の画面が表示され、検出されたすべてのオブジェクトが強調表示されます。

  3. ［視覚要素］、［テキスト］、またはその両方のどれを表示するか決定します。これにより、OpenText Functional Testing で視覚的に検出されたオブジェクト、アプリケーション内のテキスト領域、またはその両方が表示されます。

  4. （テクノロジ・プレビュー）テーブルなどのコンテナ・オブジェクトがアプリケーションに含まれているときに、テーブル内の下位レベルのオブジェクトを検査する場合は、［コンテナ］スイッチをオンにして再検査を開始します。（スイッチ名はバージョンによって異なる場合があります）。

    注: テーブル・セル・オブジェクトは、ABBYY OCR を使用して識別されます。

    TableCell オブジェクトを識別するには、OpenText Functional Testing に ABBYY OCR エンジン機能がインストールされている必要があります。

  5. AI オブジェクトを識別した後、AI ベースのステップのテストへの追加を行うことができます。

OpenText Functional Testing での AI ベースのテストについて、今後のデザインへのご協力のお願い

［検出機能に関して、何かご要望があればお知らせください。］をクリックして、フィードバック・ツールを開き、オブジェクトの検出に関するフィードバックを OpenText に送信します。詳細については、AI オブジェクト認識のフィードバックの送信を参照してください。

先頭に戻る

アプリケーションのモックアップ内でのオブジェクトの検査

AI オブジェクト・モックアップ検査を使用して、アプリケーションのモックアップを検査し、テストで使用するオブジェクトを識別します。これにより、アプリケーションが完全に開発される前でも、テストを設計および準備できます。

前提条件

AI オブジェクト・モックアップ検査では、実行できる状態のアプリケーションは必要ありません。代わりに、.jpg、.jpeg、または .png 形式の画像を含むローカル・フォルダを作成します。

アプリケーションのモックアップの検査

  1. OpenText Functional Testing タイトル・バーで、［AI］＞［AIオブジェクトモックアップ検査］をクリックします。

  2. ［AIオブジェクト検査］ウィンドウの［モックアップ画像］タブで、検査コンテキストを選択し、［フォルダの参照］をクリックして、画像が含まれるフォルダを選択します。

    検査コンテキスト：［非モバイル］/［モバイル］

    ［AIオブジェクト検査］ウィンドウは、標準設定で、ファイル名順に最初に表示される画像を検査し、識別されたすべての視覚要素を強調表示します。

  3. ［視覚要素］、［テキスト］、またはその両方のどれを表示するか決定します。これにより、OpenText Functional Testing で視覚的に検出されたオブジェクト、アプリケーション内のテキスト領域、またはその両方が表示されます。

  4. （テクノロジ・プレビュー）テーブルなどのコンテナ・オブジェクトがアプリケーションに含まれているときに、テーブル内の下位レベルのオブジェクトを検査する場合は、［コンテナ］スイッチをオンにして再検査を開始します。（スイッチ名はバージョンによって異なる場合があります）。

    注: テーブル・セル・オブジェクトは、ABBYY OCR を使用して識別されます。

    TableCell オブジェクトを識別するには、OpenText Functional Testing に ABBYY OCR エンジン機能がインストールされている必要があります。

  5. ［非モバイル］または［モバイル］を選択して、AI オブジェクト検査コンテキスト・タイプを変更するかどうかを決定します。

  6. フォルダ・アイコンの近くにある下矢印をクリックして、別のフォルダを選択するか、現在のフォルダと同期するか、または現在のフォルダを開きます。

  7. フォルダ内のすべての画像を表示するには、上部の下矢印をクリックして画像ギャラリーを表示します。ギャラリーでは、次のことが可能です。

    • フォルダ内の画像間を矢印で移動します。

    • ［検索］ボタンをクリックして、特定の画像を検索します。

    • 画像を［グリッドビュー］または［行ビュー］のどちらで表示するか選択します。

    • ［名前］または［日付］を選択して、ファイル名または変更時刻の順に画像を並べ替えます。

  8. AI オブジェクトを識別した後、AI ベースのステップのテストへの追加を行うことができます。

OpenText Functional Testing での AI ベースのテストについて、今後のデザインへのご協力のお願い

［検出機能に関して、何かご要望があればお知らせください。］をクリックして、フィードバック・ツールを開き、オブジェクトの認識に関するフィードバックを OpenText に送信します。詳細については、AI オブジェクト認識のフィードバックの送信を参照してください。

先頭に戻る

AI ベースのステップのテストへの追加

テストに AI ベースのステップを追加するには、次の手順を実行します。

  • AI コンテキストの設定

  • テスト・ステップの追加

  • テストへのチェックポイントの追加（オプション）

詳細については、AI ベースのステップのテストへの追加を参照してください。

先頭に戻る

次のアプリケーション・ページ / 画面の検査

アプリケーションの 1 つのページまたは画面に対してテスト・ステップの作成が終了し、別のページまたは画面で作業を続行する場合は、次の手順に従います。

次のアプリケーション・ページ / 画面を検査するには

  1. ［コンテキスト］の近くにある下向き矢印をクリックし、［検査されたアプリケーションに移動］を選択して、アプリケーション内の目的の場所に移動します。

  2. ［AIオブジェクト検査］ウィンドウで、［再検査］をクリックして、新しいアプリケーション・ページまたは画面をロードし、再検査します。

    • 再ロードせずに［AIオブジェクト検査］ウィンドウからステップを実行しようとすると、OpenText Functional Testing は前のページの検査に基づいてそのステップを実行するため、エラーが発生するか、新しいページで操作が実行されます。

    • 複数のリモート・アクセス・ウィンドウまたはブラウザ・ウィンドウが開いている場合、検査セッションは 1 つのウィンドウとのみやり取りします。

    • コンピュータ上で開いている他のブラウザ・ウィンドウまたはモバイル・デバイスを検査するように切り替えることができます。［コンテキスト］の近くにある下矢印をクリックし、［AIオブジェクト検査］ウィンドウで［別のアプリケーションを選択］を選択します。

    • アプリケーションでステップを実行して、アプリケーションの検査準備をする必要がある場合は、［再検査の遅延］を使用できます。

      ［再検査の遅延］の近くにある下矢印をクリックして、必要な遅延を設定します。

      ［移動］をクリックしてカウントダウンを開始し、アプリケーションを開き、ホバーやメニュー・クリックなどのステップを実行して、アプリケーションを検査する状態にします。

      遅延タイマが時間切れになると、アプリケーションが再検査されます。

  3. 新しいページまたは画面からテストにステップを追加します。

ヒント: ネットワーク速度が遅いときは、遅延をより大きな値に設定することが必要な場合もあります。

先頭に戻る

AI ベースのテストの実行

アプリケーションの検査とテスト・ステップの作成が済んだら、OpenText Functional Testing の他のテストを実行する場合と同じように AI ベースのテストを実行します。テストの実行/デバッグを参照してください。

これは実装の詳細に基づいたものではないため、異なるオペレーティング・システムやバージョンで同じテストを実行することができます。

先頭に戻る

テクノロジ・ベースのテストの AI ベースのテストへの変換

AI Transformation Assistant は、既存のテストのプロパティ・ベースのテスト・ステップを AI ベースのテスト・ステップに変換するのに役立ちます。

  1. アシスタントを有効にします。

    ［ツール］＞［オプション］＞［GUI テスト］＞［AI］＞［一般］で、［実行結果をAIオブジェクトの提案に置き換える］を選択します。

  2. テストを実行します。

    テスト・ステップがアプリケーションに対して実行され、実行レポートには、テスト実行の結果ではなく AI オブジェクトの提案が格納されます。各ステップには、テクノロジ・ベースのテスト・ステップを AI ベースのテスト・ステップに変換するための提案が含まれています。

    注: AI Transformation Assistant は、テーブルまたはカレンダ・オブジェクト内のオブジェクト階層をチェックしません。AITable または AICalendar コンテナを提案することもありません。

  3. テスト・ステップを変更します（AI 変換）。

    既存のステップを提案された AI オブジェクト・ステップで置き換えて、より柔軟でプラットフォームに依存しないテストを作成します。

先頭に戻る

トラブルシューティング

AI テキストを識別するには、Windows の mediaserver.exe サービスが実行されている必要があります。そうしないと、次の問題が発生する可能性があります。

  • AI オブジェクト検査のテキストで識別によってオブジェクトを見つけることができない。
  • テストの実行時に、すべての FindText および FindTextBlock ステップが、AITextObject を返すことができない。
  • エラー・メッセージによって、メディア・サーバ OCR サービスの呼び出し中にエラーが発生したことが示される

解決策： 

Windows サービス・マネージャを開いて、mediaserver.exe が実行されていることを確認します。実行されていない場合は、このサービスを手動で開始してください。

先頭に戻る

その他の参照項目：