UFT One 中基于 AI 的测试

GUI 仅限 UFT Mobile 和 Web 测试

本主题描述如何安装和使用 UFT One 的人工智能 (AI) 功能，以采用与人一样的方式标识对象。这样，无论对象的实现如何，您都可以在不同的平台和版本上运行相同的测试。

UFT One 基于 AI 的测试支持

下表介绍了每个 UFT One 版本中提供的基于 AI 的测试支持级别。

UFT One 版本移动应用程序桌面版 Web
15.0支持不支持
15.0.1支持技术预览
15.0.2支持支持

返回页首

基于 AI 的测试概述

通过 UFT One 的 AI 功能，您的测试可以采用与人一样的方式与您正在测试的应用程序进行交互。UFT One 根据各种各样的图像、上下文以及 (有时是) 文本，使用 AI 在视觉上标识对象。

例如，UFT One AI 可以标识多种形式的搜索字段、用户个人资料区域、输入字段、按钮、购物车等。

基于 AI 的对象标识的一些优点如下: 

1.测试脚本更直观。

2.测试与技术无关，无论幕后使用的 UI 技术细节如何，都可以在视觉上标识对象。

3.测试更易于维护，因为更改位置、UI 框架甚至形状的对象不会破坏测试脚本，只要对象在视觉上保持相似或目的明确即可。

返回页首

安装 UFT One 的 AI 功能

要使用 UFT One 的 AI 功能，您必须安装并启用它们。

先决条件

在安装 AI 功能之前，请确保已安装以下工具: 

  • 64 位操作系统

  • Microsoft Visual C++ 2013 Redistributable

  • 所需的 Windows 功能 (取决于您的 Windows 操作系统):

    1. 在“控制面板”中，选择“程序和功能”>“启用或关闭 Windows 功能”。

    2. 在“Windows 功能”窗口中，打开“媒体功能”。

    3. 重新启动计算机以使更改生效。

    1.在“控制面板”中，选择“程序和功能”>“启用或关闭 Windows 功能”。

    2.在“服务器管理器”窗口的右窗格中，单击“添加功能”。

    3.在“添加功能向导”窗口中，打开“桌面体验”。

    4.单击“安装”。

    5.重新启动计算机以使您的更改生效。

    1.在“控制面板”中，选择“程序和功能”>“启用或关闭 Windows 功能”。

    2.在“添加角色和功能向导”窗口中，单击“下一步”，直到到达“功能”选项卡。

    3.打开“媒体基础”。

    4.单击“安装”。

    5.重新启动计算机以使您的更改生效。

    有关启用 Windows 功能的最新说明，请参阅 Microsoft 文档。

安装 UFT One 的 AI 功能

根据您使用的 UFT One 版本，展开以下部分之一: 

当您运行 UFT One 安装程序时，默认情况下会在要包含在安装中的功能列表中选择“AI 功能”。如果您在首次安装 UFT One 时取消选择了此项，请再次运行安装程序以修改安装并选择“AI 功能”以进行安装。

或者，运行 UFT One 静默安装，并使用 ADDLOCAL 参数指定 AI 功能以进行安装。有关详细信息，请参阅用于安装单个 UFT One 功能的静默命令。

注释: 如果先前已安装 UFT AI 功能 15.0.1 或更早版本，则此安装将删除较旧的版本。

安装后，默认情况下会启用 AI 功能。如果需要禁用它们，请打开“工具”>“选项”>“GUI 测试”>“AI”，然后清除“AI 激活”选项。

安装 UFT One 后，运行单独的 UFT AI 功能安装程序。

使用随 UFT One 版本提供的 AI 功能版本。

  • 对于 UFT One 15.0，安装 UFT One AI 功能 2.0 版

  • 对于 UFT One 15.0.1，安装 UFT One AI 功能 15.0.1 版

您可以使用安装向导手动运行安装，也可以从命令行静默运行安装。

手动安装静默安装

从 UFT One DVD，运行 AI\setup.exe 安装文件，然后按照屏幕上的说明进行操作。

当选择要安装的功能时，仅需要选择“AI 引擎”。

msiexec /qn /i "<UFT DVD>\AI\AI_Installer.msi" ADDLOCAL="AI_Services"

启用 UFT One 的 AI 功能

  1. 打开“选项”对话框，进入“GUI 测试”选项卡的“AI”窗格 (“工具”>“选项”>“GUI 测试”>“AI”)。
  2. 选择“AI 激活”选项。
  3. 重新启动 UFT One。

如果使用“选项”对话框中的“生成脚本”选项，则脚本中将包括“AI 激活”选项。有关详细信息，请参阅常规窗格 (选项对话框> GUI 测试选项卡) 。

如果修改了此选项的值，在生成的脚本中添加一条语句，以重新启动 UFT One。有关详细信息，请参阅UFT One 自动化对象模型参考的“选项对象”>“AI 属性”部分。

注释: “AI 无代码测试”不属于 UFT One。它是一个独立的工具，使您可以进行 AI 无代码测试。安装 AI 无代码测试需要满足其他先决条件。请参阅 AI 无代码测试帮助中心。

返回页首

检查您的应用程序中的对象

使用 AI 检查来标识应用程序中可在测试步骤中使用的对象。

先决条件

如果要在移动设备上测试应用程序如果要测试桌面 Web 应用程序

  1. 确保已安装并加载移动插件。

    要在移动设备上测试 Web 应用程序，请确保已安装并加载 Web 插件。

  2. 连接到 UFT Mobile，打开您的移动设备和要测试的应用程序。有关详细信息，请参阅手动打开远程访问窗口和应用程序。

  1. 确保已安装并加载 Web 插件。

  2. 打开应用程序。

    为了获得最佳标识结果:

    • 最大化浏览器窗口并将缩放级别设置为 100％。
    • 设置 Windows 显示设置，以 100％ 显示所有文本和应用程序。
    • 确保除了您的网页外，浏览器中没有显示横幅。

支持的浏览器: Chrome、基于 Chromium 的 Edge、Firefox、Internet Explorer。

不支持无头浏览器。

检查您的应用程序

从对象侦测器中访问 AI 侦测器:

  1. 在 UFT One 中，单击“对象侦测器” 工具栏按钮以打开“对象侦测器”。

  2. 在“对象侦测器”中，单击“AI 侦测器”。

  3. 在远程访问窗口中单击您的移动应用程序。

    侦测器的 AI 标识视图显示应用程序的图像，并突出显示所有检测到的对象。

  4. 您可以在“按对象”和“按文本”模式之间切换，以查看 UFT One 可视检测到的对象或应用程序中的文本区域。

在“对象侦测器”或“对象标识中心”中，当您侦测移动应用程序或 Web 应用程序中的对象时，UFT One 还提供了可用于表示同一对象的 AI 对象。

侦测单个对象时在应用程序中单击对象后，仅建议您单击的对象使用 AI 对象。不建议显示在侦测器层次结构中的任何其他对象使用 AI 对象。

使用 OIC (15.0.2 或更高版本) 侦测多个对象时

每个受侦测对象的编辑视图中都提供了 AI 对象建议。要打开编辑视图，请将鼠标悬停在受侦测对象列表中的对象上，然后单击“编辑” 按钮。

将 AI 对象拖动到测试中，以创建对该对象执行操作的步骤。

要关闭 AI 建议，请在“对象侦测器”窗口或“对象标识中心”设置中关闭“AI 自动检查”。

提示: 此设置在后续的侦测会话和后续的 UFT One 会话中一直有效，直到您再次将其打开。

  1. 打开“AI 标识视图”窗口以检查您的应用程序并检查其中的所有 AI 对象。

    要打开该窗口，请执行以下某项操作: 

    • 单击“AI 标识” 工具栏按钮。

      提示: 按钮外观可能会有所不同，具体取决于您使用的版本。

    • 在“对象侦测器”或“对象标识中心”中，单击“检查”。

      提示: 启用“AI 自动检查”选项时，此按钮可用。

  2. 在 Web 应用程序中单击，或在显示您的移动应用程序的远程访问窗口中单击。

    注释: 如果将 Web 浏览器或移动设备作为侦测层次结构中的顶级对象开始检查，则可以跳过此步骤。UFT One 自动选择该浏览器或设备进行检查。

    AI 标识视图显示应用程序的图像，突出显示所有检测到的对象。

  3. 您可以决定是显示“可视元素”以查看 UFT One 可视检测到的对象，还是显示“文本”以查看应用程序中的文本区域。

在 UFT One 中帮助设计基于 AI 的测试的未来

单击“检测功能如何?请帮助我们加以改进”以打开反馈工具并向 Micro Focus 发送有关对象检测的反馈。有关详细信息，请参阅基于 AI 的测试反馈工具。

返回页首

检查对象的应用程序模型

在 UFT One 15.0.2 及更高版本上受支持

使用 AI 模型标识来检查应用程序模型并标识您可以在测试中使用的对象。这样，您甚至可以在应用程序完全开发之前就可以更早地准备测试并设计测试。

先决条件

AI 模型标识不需要 Web 或移动应用程序。相反，您需要从本地文件夹加载 .jpg、.jpeg 或 .png 格式的图像。

检查应用程序模型

  1. 在 UFT One 工具栏上，单击“AI 标识”按钮 旁的向下箭头，并选择“AI 模型标识”。

  2. 在打开的对话框中，选择包含图像的文件夹，选择“Web”或“移动”作为 AI 标识上下文，然后单击“打开”。

    AI 模型标识视图按文件名加载文件夹中的所有图像，并创建一个图像库。

    AI 模型标识视图检查按文件名顺序最先出现的图像，默认情况下突出显示所有已标识的可视元素。

  3. 要管理文件夹中的图像，请在图像库中编辑设置:

    • 选择“文件名”或“修改时间”以按文件名或修改时间对图像进行排序。
    • 如果更改了图像，请单击“刷新”以刷新图像。
    • 单击“选择不同文件夹”以选择要检查的其他图像文件夹。

  4. 为了实现最佳标识，请在检查页面上编辑设置:

    • 选择“可视元素”或“文本”以显示 UFT One 可视标识的对象或文本区域。
    • 选择“Web”或“移动”以再次更改您的 AI 标识上下文。

在 UFT One 中帮助设计基于 AI 的测试的未来

单击“检测功能如何?请帮助我们加以改进”以打开反馈工具并向 Micro Focus 发送有关对象标识的反馈。有关详细信息，请参阅基于 AI 的测试反馈工具。

返回页首

(可选) 验证对从组合框中选择的支持

在 UFT One 15.0.1 及更高版本上受支持

从组合框中选择项是一项复杂操作。仅当 UFT One 也可以将 AI 标识的组合框标识为 WebList 或 MobileDropDown 时，UFT One 才可以对此类组合框执行 Select 操作。

当使用 AI 检查应用程序中的对象时，如果 UFT One 标识一个组合框，则它在对象上显示一个“验证”图标。单击此图标可检查 UFT One 是否可以在将此类步骤添加到测试之前在此对象上运行 Select 操作。

UFT One 依靠组合框的相对位置来验证对象。如果在检查网页后调整浏览器的大小并更改对象位置，则验证将失败。

提示: 尝试多次验证。根据各种环境条件，即使验证失败，UFT One 仍可以在后续尝试中找到所需的对象。

返回页首

将基于 AI 的步骤添加到测试中

设置 AI 上下文

在测试中运行任何基于 AI 的步骤之前，必须设置使用 AI 的上下文。在测试中添加类似以下内容的语句: 

AIUtil.SetContext Device("device")

UFT One 15.0: 上下文必须是对象存储库中存在的移动设备测试对象。

UFT One 15.0.1 及更高版本: AI 上下文可以是以下任意一种: 

  • 存储在对象存储库中的移动设备测试对象。

  • 存储在对象存储库中或使用描述性编程进行描述的 Web 浏览器测试对象。

    Web 浏览器可以在桌面或移动设备上运行，可以手动打开，也可以从“录制和运行设置”中打开。

注释: UFT One 必须能够在整个测试运行中标识上下文对象。如有必要，使用其他 SetContext 步骤为上下文选择其他对象。

添加测试步骤

可使用以下某种方式将基于 AI 的步骤添加到测试中:

  • 将标识的对象或文本从“对象侦测器”、“对象标识中心”、“AI 标识视图”或“AI 模型标识视图”窗口拖放到测试中。

    为每个对象添加的步骤包括用于唯一标识它的任何信息，例如关联的文本或对象在屏幕上的相对位置。请参阅将文本与对象相关联和通过相对位置标识对象。

    注释: 避免添加带有错误标识的对象的步骤。例如，如果将按钮标识为文本框，或者将复选标记标识为按钮，则此类对象可能标识不一致，在后续的测试运行中会失败。

  • 使用 AI 录制可在您的测试编辑器中自动创建基于 AI 的测试步骤。有关详细信息，请参阅录制基于 AI 的测试。

  • 使用 AIUtil 对象编辑测试。

    接下来，使用 AIUtil 对象按类型和/或文本来标识控件，并在对象上执行操作，例如单击、键入或搜索。

    有关详细信息，请参阅《UFT One 对象模型参考》中的基于 AI 的测试。

示例:  

下面的示例单击移动设备上的设置控件，然后在相应的字段中键入用户名。两种控件均使用 AI 进行可视标识。

接下来，Log In 文本位于屏幕上并被单击。

登录后，此示例单击 "ON" 按钮。由于应用程序包含一些类似的按钮，因此该示例指定要单击的按钮是顶部的第三个按钮。

AIUtil.SetContext Device("device") 'Set the context for AI
AIUtil("settings").Click
AIUtil("input", "USER NAME").Type "admin"
AIUtil.FindTextBlock("Log In").Click
AIUtil("button", "ON", "FromTop", 3).Click

提示: UFT One 生成使用 FindTextBlock的 的步骤，因为侦测器可以标识完整的文本块。创建您自己的步骤时，请考虑使用 FindText 方法，该方法将与您提供的文本匹配，即使它只是较大文本块的一部分。

将检查点添加到测试中 (可选)

在 UFT One 15.0.2 及更高版本上受支持

您可以添加不同类型的检查点，检查对象是否存在或其状态。

在测试中手动输入检查点步骤，或将其添加到 AI 录制会话中。有关详细信息，请参阅在录制期间添加检查点。

检查点方法描述条件

AIObject.CheckExists 或 AITextObject.CheckExists

检查应用程序中对象是否存在或缺失。

指定运行此步骤时是否希望对象存在。
AIObject.CheckState

检查可以设为“关”或“开”的对象的状态，例如复选框、开关或单选按钮。

指定对象的预期状态。

如果应用程序符合期望，则检查点通过。否则，将在运行结果中报告步骤失败。

返回页首

检查下一个应用程序页面/屏幕

当您为应用程序中的一个页面或屏幕创建完测试步骤并想要继续进行另一页面或屏幕上的测试时，请导航至应用程序本身中所需的位置。然后，在“AI 标识视图”窗口中，单击“刷新”以加载新的应用程序屏幕并重新检查。

  • 使用移动应用程序时，请直接在设备上或使用远程访问窗口导航到应用程序中的正确位置。

  • 如果打开了多个远程访问窗口或浏览器窗口，则检查会话仅与一个窗口交互。

    UFT One 15.0.1 或更高版本: 您可以切换以检查计算机上打开的其他浏览器窗口或移动设备。在“AI 标识视图”窗口中单击“选择”，然后选择其他浏览器或设备。

接下来，将页面或屏幕上的步骤添加到测试中。

返回页首

运行基于 AI 的测试

在检查您的应用程序并创建测试步骤之后，请像运行任何其他 UFT One 测试一样运行基于 AI 的测试。请参阅运行/调试测试。

可以在不同的操作系统和版本上运行相同的测试，因为它不基于实现细节。

返回页首

将基于技术的测试转换为基于 AI 的测试

AI 转换助手可以帮助您将现有测试中基于属性的测试步骤转换为基于 AI 的测试步骤:

  1. 启用助手。

    在“工具”>“选项”>“GUI 测试”>“AI”中，选择“将运行结果替换为 AI 对象建议”。

  2. 运行测试。

    测试步骤在应用程序上执行，运行报告包含 AI 对象建议而不是测试运行的结果。每个步骤都包含将基于技术的测试步骤转换为基于 AI 的测试步骤的建议。

  3. 修改测试步骤 (AI 转换)。

    将现有步骤替换为建议的 AI 对象步骤，以创建更具弹性且与平台无关的测试。

返回页首

疑难解答

AI 文本标识要求 Windows mediaserver.exe 服务正在运行。否则，可能发生以下情况:

  • AI 检查无法按文本查找对象
  • 运行测试时，所有 FindText 和 FindTextBlock 步骤均无法返回 AITextObject
  • 错误消息表明在调用媒体服务器 OCR 服务时发生错误。

解决方案:  

打开 Windows 服务管理器，确保 mediaserver.exe 正在运行。否则，请手动启动该服务。

返回页首

另请参见: