UFT One での AI ベースのテスト

Mobile,Web,Windows ベースの SAP GUI のテスト

このトピックでは,UFT One の人工知能(AI)機能をテストで使用して,人間が行うのと同じようにオブジェクトを識別する方法について説明します。これにより,オブジェクトの実装に関係なく,異なるプラットフォームとバージョンで同じテストを実行できるようになります。

AI ベースのテストの概要

UFT One の AI 機能を使用すると,テストで人間が行うのと同じ方法で,テストがテスト対象のアプリケーションを操作できます。UFT One は AI を使用して,さまざまな画像,コンテキスト,そして時にはテキストにも基づいて,オブジェクトを視覚的に識別します。

たとえば,UFT One の AI は,さまざまなタイプの検索フィールド,ユーザ・プロファイル領域,入力フィールド,ボタン,ショッピング・カートを識別できます。

AI ベースのオブジェクトの認識には,次のような利点があります。 

編集が簡単

テスト・スクリプトがより直感的です。

複数の環境のテスト

テストがテクノロジに依存しません。背後でどのようなテクノロジが使用されているかに関わらず,オブジェクトを視覚的に識別できます。

テストの復元性

テストの保守が容易になります。オブジェクトの場所,フレームワーク,または形状が変わっても,オブジェクトの見た目が似ているか,オブジェクトの目的が明確であれば,テスト・スクリプトが使用できなくなることはありません。

AI オブジェクト検出サービス

UFT One の AI 機能を提供する AI オブジェクト検出(AIOD)サービスは計算量が多くなります。AI 機能を活用して最適なパフォーマンスを実現するには,処理能力の高いコンピュータを使用することをお勧めします。推奨されるシステム要件については,サポート・マトリクスを参照してください。

UFT OneAI オブジェクト検出サービスは,さまざまなソースで実行および使用できます。このサービスは,UFT One コンピュータでのローカル実行,リモートでの実行,ネットワーク内の指定マシンでの実行,クラウド上での実行が可能です。標準設定では,ローカルの AI オブジェクト検出サービスが使用されます。

必要に応じて,リモート AIOD サービスまたは AIOD クラウド・サービスの使用を選択できます。

  • リモート AIOD サービスを処理能力の高い 1 台のコンピュータで使用すれば,処理能力の低い複数の UFT One コンピュータで AI 機能を利用できます。詳細については,リモート AI オブジェクト検出サービス の使用を参照してください。

  • AIOD クラウド・サービスを使用すれば,リソースのローカル使用量を減らし,最新の AI サポートを受けることができます。詳細については,AI オブジェクト検出クラウド・サービス の使用を参照してください。

    注: AIOD クラウド・サービスは,UFT One バージョン 2022 以降で,要望に応じてテクニカル・プレビューとして提供されます。標準設定の UFT One では利用できません。詳細については,アカウント・チームに連絡し,mfine@opentext.com まで電子メールをお送りください。

先頭に戻る

前提条件

UFT One の AI 機能を使用するには,AI 機能をインストールして有効にする必要があります。UFT One のインストールは,標準設定では UFT One の AI 機能をインストールして有効にするように設定されています。

AI 機能がインストールされていない場合([オプション]ダイアログ・ボックスに [GUI テスト]>[AI]表示枠が表示されない場合)は,次のいずれかを実行します。 

インストール後に AI 機能を有効または無効にするには,[ツール]>[オプション]>[GUI テスト]>[AI]>[AIの有効化]オプションを使用します。

テスト・ソリューションを準備し,Web,モバイル,または SAP GUI for Windows アプリケーションのテストを作成します。

テストで使用する AI オブジェクトの識別を開始するには,引き続き次のいずれかのタスクを実行します。

先頭に戻る

アプリケーションのオブジェクトの検査

AI 検査を使用して,テスト・ステップで使用できるアプリケーションのオブジェクトを識別します。

以下の手順では,テスト用にアプリケーションを準備する方法,AI を使用してアプリケーション内のオブジェクトを識別する方法,識別に関するフィードバックを Micro Focus に送信する方法(希望する場合)について説明します。

前提条件

モバイル・デバイスでアプリケーションをテストする場合
  1. Mobile Add-in がインストールおよびロードされていることを確認します。

    モバイル・デバイスで Web アプリケーションをテストするには,Web Add-in もインストールおよびロードされていることを確認してください。

  2. Digital Lab(UFT Mobile) に接続し,テストするモバイル・デバイスとアプリケーションを開きます。詳細については,手動によるリモート・アクセス・ウィンドウとアプリケーションのオープンを参照してください。

デスクトップ Web アプリケーションをテストする場合
  1. Web Add-in がインストールおよびロードされていることを確認します。

  2. ブラウザに UFT 拡張機能が設定されていることを確認します。詳細については,特定のブラウザでの Web アプリのテストを参照してください。

  3. アプリケーションを開きます。

    最良の識別結果を得るには,次の手順を実行します。

    • ブラウザ・ウィンドウを最大化して,ズーム・レベルを 100% に設定します。
    • すべてのテキストとアプリケーションを 100% で表示するように,Windows の表示設定を設定します。

    • ブラウザに Web ページ以外のバナーが表示されていないことを確認します。

対応ブラウザ:Chrome,Chromium ベースの Edge,Firefox,Internet Explorer

ヘッドレス・ブラウザには対応していません。

SAP GUI for Windows アプリケーションをテストする場合

UFT One バージョン 2022 以降)

  1. SAP GUI for Windows のサポートの有効化の説明に従って,次のタスクを実行してください。

    1. SAP GUI Scripting をインストールします。

    2. サーバ側で SAP GUI Scripting を有効にします。

    3. クライアント側で SAP GUI Scripting を有効にします。

  2. SAP Solutions Add-in がインストールおよびロードされていることを確認します。

  3. アプリケーションを開きます。

注:SAP GUI for Windows アプリケーションの AI ベースのテストは,Classic テーマと Signature テーマで正式にサポートされています。

単一オブジェクトを識別するには

オブジェクト スパイ]または[オブジェクト認識センター]では,モバイル・アプリケーション,Web アプリケーション,または SAP GUI for Windows アプリケーションでオブジェクトをスパイすると,UFT One は同じオブジェクトを表すために使用できる AI オブジェクトも表示します。

単一オブジェクトをスパイする場合 アプリケーションでオブジェクトをクリックすると,クリックしたオブジェクトのみを対象として AI オブジェクトが提案されます。AI オブジェクトは,スパイに表示される階層内の他のオブジェクトを対象として提案されることはありません。

OIC を使用して複数のオブジェクトをスパイする場合

AI オブジェクトの提案は,スパイ対象の各オブジェクトの編集ビューで利用できます。編集ビューを開くには,スパイ対象のオブジェクトのリストで,オブジェクトにカーソルを合わせて,[編集ボタンをクリックします。

すべてのオブジェクトを識別するには

  1. AI検査]ウィンドウを開いて,アプリケーションを検査し,その中のすべての AI オブジェクトを検出します。

    このウィンドウを開くには,次のいずれかを実行します。 

    • [AI]>[AI識別]を選択します。

    • AI識別ツールバー・ボタンをクリックします。

      ヒント:使用しているバージョンによって,ボタンの外観が異なる場合があります。

    • オブジェクト・スパイまたはオブジェクト認識センターで,[検査]をクリックします。

      ヒント:このボタンは,[AI自動検査]オプションが有効になっている場合に使用できます。

  2. モバイル・アプリケーションが表示されている Web アプリケーション,SAP GUI for Windows アプリケーション,またはリモート・アクセス・ウィンドウをクリックします。サポートされていないコンテキストをクリックするか,Esc を押すと,[アプリケーションの選択]ボタンが表示され,もう一度クリックするように求められます。

    注: スパイ対象の階層の最上位オブジェクトとして Web ブラウザ,モバイル・デバイス,または SAPGUISession テスト・オブジェクトを使用して検査を開始した場合は,このステップをスキップできます。UFT One は,そのテスト・オブジェクトを自動的に検査対象として選択します。

    ライブアプリケーション]タブにアプリケーションの現在の画面が表示され,検出されたすべてのオブジェクトが強調表示されます。

  3. 視覚要素],[テキスト],またはその両方のどれを表示するか決定します。これにより,UFT One で視覚的に検出されたオブジェクト,アプリケーション内のテキスト領域,またはその両方が表示されます。
  4. (テクノロジ・プレビュー)テーブルなどのコンテナ・オブジェクトがアプリケーションに含まれているときに,テーブル内の下位レベルのオブジェクトを検査する場合は,[コンテナ]のトグルをオンにして再検査を開始します。(スイッチ名はバージョンによって異なる場合があります)。

    注: テーブル・セル・オブジェクトは,ABBYY OCR を使用して識別されます。

    UFT One バージョン 2021 R1 以降:TableCell オブジェクトを識別するには,UFT One に ABBYY OCR エンジン機能がインストールされている必要があります。

  5. AI オブジェクトを識別した後,AI ベースのステップのテストへの追加を行うことができます。

UFT One での AI ベースのテストについて,今後のデザインへのご協力のお願い

識別機能の改善にご協力ください。]をクリックして,フィードバック・ツールを開き,オブジェクトの検出に関するフィードバックを Micro Focus に送信します。詳細については,AI ベースのテストのフィードバック・ツールを参照してください。

先頭に戻る

アプリケーションのモックアップ内でのオブジェクトの検査

AI モックアップ識別を使用して,アプリケーションのモックアップを検査し,テストで使用するオブジェクトを識別します。これにより,アプリケーションが完全に開発される前でも,テストを設計および準備できます。

前提条件

AI モックアップ識別では,実行できる状態のアプリケーションは必要ありません。代わりに,.jpg,.jpeg,または .png 形式の画像を含むローカル・フォルダを作成します。

アプリケーションのモックアップの検査

  1. UFT One ツールバーで,[AI識別]ボタンの近くにある下矢印をクリックし,[AIモックアップ識別]を選択します。

  2. [AI検査]ウィンドウの[モックアップ画像]タブで,検査コンテキストを選択し,[フォルダの参照]をクリックして,画像が含まれるフォルダを選択します。

    検査コンテキスト:UFT One バージョンに応じて,[非モバイル]/[モバイル]か[Web]/[モバイル]があります。

    [AI検査]ウィンドウは,標準設定で,ファイル名順に最初に表示される画像を検査し,識別されたすべての視覚要素を強調表示します。

  3. 視覚要素],[テキスト],またはその両方のどれを表示するか決定します。これにより,UFT One で視覚的に検出されたオブジェクト,アプリケーション内のテキスト領域,またはその両方が表示されます。

  4. (テクノロジ・プレビュー)テーブルなどのコンテナ・オブジェクトがアプリケーションに含まれているときに,テーブル内の下位レベルのオブジェクトを検査する場合は,[コンテナ]のトグルをオンにして再検査を開始します。(スイッチ名はバージョンによって異なる場合があります)。

    注: テーブル・セル・オブジェクトは,ABBYY OCR を使用して識別されます。

    UFT One バージョン 2021 R1 以降:TableCell オブジェクトを識別するには,UFT One に ABBYY OCR エンジン機能がインストールされている必要があります。

  5. 非モバイル]または[モバイル]を選択して,AI 識別コンテキストタイプを変更するかどうかを決定します。

  6. フォルダ・アイコンの近くにある下矢印をクリックして,別のフォルダを選択するか,現在のフォルダと同期するか,または現在のフォルダを開きます。

  7. フォルダ内のすべての画像を表示するには,上部の下矢印をクリックして画像ギャラリーを表示します。ギャラリーでは,次のことが可能です。

    • フォルダ内の画像間を矢印で移動します。

    • 検索ボタンをクリックして,特定の画像を検索します。

    • 画像を[グリッドビューまたは[行ビュー]のどちらで表示するか選択します。

    • 名前]または[日付]を選択して,ファイル名または変更時刻の順に画像を並べ替えます。

  8. AI オブジェクトを識別した後,AI ベースのステップのテストへの追加を行うことができます。

UFT One での AI ベースのテストについて,今後のデザインへのご協力のお願い

識別機能の改善にご協力ください。]をクリックして,フィードバック・ツールを開き,オブジェクトの認識に関するフィードバックを Micro Focus に送信します。詳細については,AI ベースのテストのフィードバック・ツールを参照してください。

先頭に戻る

AI ベースのステップのテストへの追加

テストに AI ベースのステップを追加するには,次の手順を実行します。

  • AI コンテキストの設定

  • テスト・ステップの追加

  • テストへのチェックポイントの追加(オプション)

詳細については,AI ベースのステップのテストへの追加を参照してください。

先頭に戻る

次のアプリケーション・ページ / 画面の検査

アプリケーションの 1 つのページまたは画面に対してテスト・ステップの作成が終了し,別のページまたは画面で作業を続行する場合は,次の手順に従います。

次のアプリケーション・ページ / 画面を検査するには

  1. コンテキストの近くにある下向き矢印をクリックし,[検査されたアプリケーションに移動を選択して,アプリケーション内の目的の場所に移動します。

  2. [AI検査]ウィンドウで,[再検査をクリックして,新しいアプリケーション・ページまたは画面をロードし,再検査します。

    • 再ロードせずに[AI検査]ウィンドウからステップを実行しようとすると,UFT One は前のページの検査に基づいてそのステップを実行するため,エラーが発生するか,新しいページで操作が実行されます。

    • 複数のリモート・アクセス・ウィンドウまたはブラウザ・ウィンドウが開いている場合,検査セッションは 1 つのウィンドウとのみやり取りします。

    • コンピュータ上で開いている他のブラウザ・ウィンドウまたはモバイル・デバイスを検査するように切り替えることができます。[コンテキストの近くにある下矢印をクリックし,[AI検査]ウィンドウで[別のアプリケーションを選択を選択します。

    • アプリケーションでステップを実行して,アプリケーションの検査準備をする必要がある場合は,[再検査の遅延]を使用できます。

      再検査の遅延の近くにある下矢印をクリックして,必要な遅延を設定します。

      移動]をクリックしてカウントダウンを開始し,アプリケーションを開き,ホバーやメニュー・クリックなどのステップを実行して,アプリケーションを検査する状態にします。

      遅延タイマが時間切れになると,アプリケーションが再検査されます。

  3. 新しいページまたは画面からテストにステップを追加します。

ヒント: ネットワーク速度が遅いときは,遅延をより大きな値に設定することが必要な場合もあります。

先頭に戻る

AI ベースのテストの実行

アプリケーションの検査とテスト・ステップの作成が済んだら,UFT One の他のテストを実行する場合と同じように AI ベースのテストを実行します。テストの実行/デバッグを参照してください。

これは実装の詳細に基づいたものではないため,異なるオペレーティング・システムやバージョンで同じテストを実行することができます。

先頭に戻る

テクノロジ・ベースのテストの AI ベースのテストへの変換

AI Transformation Assistant は,既存のテストのプロパティ・ベースのテスト・ステップを AI ベースのテスト・ステップに変換するのに役立ちます。

  1. アシスタントを有効にします。

    [ツール]>[オプション]>[GUI テスト]>[AI]>[一般]で,[実行結果をAIオブジェクトの提案に置き換える]を選択します。

  2. テストを実行します。

    テスト・ステップがアプリケーションに対して実行され,実行レポートには,テスト実行の結果ではなく AI オブジェクトの提案が格納されます。各ステップには,テクノロジ・ベースのテスト・ステップを AI ベースのテスト・ステップに変換するための提案が含まれています。

    注: AI Transformation Assistant は,テーブルまたはカレンダ・オブジェクト内のオブジェクト階層をチェックしません。AITable または AICalendar コンテナを提案することもありません。

  3. テスト・ステップを変更します(AI 変換)。

    既存のステップを提案された AI オブジェクト・ステップで置き換えて,より柔軟でプラットフォームに依存しないテストを作成します。

先頭に戻る

トラブルシューティング

AI テキストを識別するには,Windows の mediaserver.exe サービスが実行されている必要があります。そうしないと,次の問題が発生する可能性があります。

  • AI 検査のテキストで識別によってオブジェクトを見つけることができない。
  • テストの実行時に,すべての FindText および FindTextBlock ステップが,AITextObject を返すことができない。
  • エラー・メッセージによって,メディア・サーバ OCR サービスの呼び出し中にエラーが発生したことが示される

解決策: 

Windows サービス・マネージャを開いて,mediaserver.exe が実行されていることを確認します。実行されていない場合は,このサービスを手動で開始してください。

先頭に戻る

その他の参照項目: