UFT One 中基于 AI 的测试

移动、Web 和基于 Windows 的 SAP GUI 测试

本主题解释如何在测试中使用 UFT One 的人工智能 (AI) 功能，以采用与人一样的方式标识对象。这样，无论对象的实现如何，您都可以在不同的平台和版本上运行相同的测试。

基于 AI 的测试概述

通过 UFT One 的 AI 对象检测，您的测试可以采用与人一样的方式与您正在测试的应用程序进行交互。UFT One 根据各种各样的图像、上下文以及 (有时是) 文本，使用 AI 在视觉上标识对象。

例如，UFT One AI 可以标识多种类型的搜索字段、用户个人资料区域、输入字段、按钮以及购物车。

基于 AI 的对象标识的一些优点如下: 

更易于编辑

测试脚本更直观。
测试多个环境

测试与技术无关，无论幕后使用的技术细节如何，都可以在视觉上标识对象。
测试弹性

测试更易于维护，因为更改位置、框架甚至形状的对象不会破坏测试脚本，只要对象在视觉上保持相似或目的明确即可。

AI 对象检测服务

提供 UFT One 的“AI 对象检测”的 AI 对象检测服务是计算密集型服务。建议您使用功能强大的计算机，以从 AI 对象检测中受益并实现最佳性能。有关推荐的系统要求，请参阅支持矩阵。

UFT One 的 AI 对象检测服务可以在不同的源上运行以及从中使用。该服务可以在您的 UFT One 计算机上本地运行，也可以在您网络中的指定计算机上或在云端远程运行。默认使用本地 AI 对象检测服务。

您可以根据需要选择使用远程 AI 对象检测服务或 AI 对象检测云服务:

  • 在一台功能强大的计算机上使用远程 AI 对象检测服务，让它为多台功能较弱的 UFT One 计算机提供 AI 功能。有关详细信息，请参阅使用 远程 AI 对象检测服务。

  • 使用 AI 对象检测云服务可减少本地资源的使用并获取最新的 AI 支持。有关详细信息，请参阅使用 AI 对象检测云服务。

    备注: AI 对象检测云服务可根据要求在 UFT One 中作为技术预览提供。该服务未在 UFT One 中直接提供。要了解更多信息，请联系您的客户团队并发送电子邮件至 AIODCloudService@opentext.com。

AI 对象模型

UFT One 的 AI 对象检测使用包含的 AI 对象模型来辅助 UFT One 识别您的应用程序和标识测试对象。

更新的 AI 对象模型可以提高性能、准确性和标识能力。当新模型可用时，您可以下载它们并将其用于基于 AI 的测试。有关详细信息，请参阅更新本地 AI 对象模型。

返回页首

先决条件

要使用 UFT One 的 AI 对象检测，必须安装并启用 AI 对象检测。默认情况下，UFT One 的安装已设置为安装并启用 UFT One 的 AI 对象检测。

如果未安装 AI 对象检测 (“选项”对话框未显示“GUI 测试”>“AI 对象检测”窗格)，请执行以下操作之一: 

要在安装后启用或禁用 AI 对象检测，请使用“工具”>“选项”>“GUI 测试”>“AI 对象检测”>“启用 AI 对象检测”选项。

准备您的测试解决方案并为 Web 应用程序、移动应用程序或 SAP GUI for Windows 应用程序创建测试。

要开始标识要在测试中使用的 AI 对象，请继续执行以下任务之一:

返回页首

检查您的应用程序中的对象

使用 AI 对象检查来标识应用程序中可在测试步骤中使用的对象。

以下说明描述了如何为您的应用程序做好测试准备、如何使用 AI 标识应用程序中的对象，以及如何发送有关标识的 OpenText 反馈 (如果您愿意)。

先决条件

如果要在移动设备上测试应用程序

  1. 确保已安装并加载移动插件。

    要在移动设备上测试 Web 应用程序，请确保还安装并加载了 Web 插件。

  2. 连接到 Digital Lab，打开您的移动设备和要测试的应用程序。有关详细信息，请参阅手动打开远程访问窗口和应用程序。
如果要测试桌面 Web 应用程序

  1. 确保已安装并加载 Web 插件。

  2. 确保您的浏览器设置了 UFT 扩展。有关详细信息，请参阅 在特定的浏览器中测试 Web 应用程序。

  3. 打开应用程序。

    为了获得最佳标识结果:

    • 最大化浏览器窗口并将缩放级别设置为 100%。

    • 设置 Windows 显示设置，以 100％ 显示所有文本和应用程序。

    • 确保除了您的网页外，浏览器中没有显示横幅。

支持的浏览器: Chrome、Edge、Firefox、Internet Explorer。

支持将 Headless Chrome 作为技术预览。请参阅准备在 Headless Chrome 上运行测试。

不支持其他无头浏览器。

如果您正在测试 SAP GUI for Windows 应用程序

  1. 确保按照启用对 SAP GUI for Windows 的支持中所述执行以下任务。

    1. 安装 SAP GUI 脚本。

    2. 在服务器端启用 SAP GUI 脚本。

    3. 在客户端启用 SAP GUI 脚本。

  2. 确保已安装并加载 SAP 解决方案插件。

  3. 打开应用程序。

    为获得最佳标识结果，请将 Windows 显示设置设为以 100% 显示所有文本和应用程序。

注: 基于 AI 的 SAP GUI for Windows 应用程序测试在 Classic 和 Signature 主题上得到官方支持。

标识单个对象

在“对象侦测器”或“对象标识中心”中，当您侦测移动应用程序、Web 应用程序或 SAP GUI for Windows 应用程序中的对象时，UFT One 还提供了可用于表示同一对象的 AI 对象。

侦测单个对象时 在应用程序中单击对象后，仅建议您单击的对象使用 AI 对象。不建议侦测器层次结构中显示的任何其他对象使用 AI 对象。

使用 OIC 侦测多个对象时

每个受侦测对象的“编辑”视图中都提供了 AI 对象建议。要打开编辑视图，请将鼠标悬停在受侦测对象列表中的对象上，然后单击“编辑” 按钮。

标识所有对象

  1. 打开“AI 对象检查”窗口以检查您的应用程序并检测其中的所有 AI 对象。

    要打开该窗口，请执行以下某项操作: 

    • 选择“AI”>“AI 对象检查”。

    • 单击“AI 对象检查” 工具栏按钮。

    • 在“对象侦测器”或“对象标识中心”中，单击“检查”。

      提示: 启用“AI 自动检查”选项时，此按钮可用。

  2. 单击 Web 应用程序或 SAP GUI for Windows 应用程序，或单击显示您的移动应用程序的远程访问窗口。如果您单击不受支持的上下文或按 Esc，则会出现“选择应用程序”按钮以提示您再次单击。

    备注: 如果将 Web 浏览器、移动设备或 SAPGUISession 测试对象作为侦测层次结构中的顶级对象开始检查，则可以跳过此步骤。UFT One 自动选择该测试对象进行检查。

    “实时应用程序”选项卡显示应用程序的当前屏幕，高亮显示所有检测到的对象。

  3. 您可以决定显示“可视元素”和/或“文本”，查看 UFT One 可视检测到的对象和/或应用程序中的文本区域。

  4. (技术预览) 如果您的应用程序包含容器对象 (例如表) 并且您想要检查表内的较低级别对象，请打开“容器”以启动重新检查。(开关名称可能因版本而异。)

    备注: 表单元格对象使用 ABBYY OCR 进行标识。

    要标识 TableCell 对象，您必须在 UFT One 中安装 ABBYY OCR 引擎功能。

  5. 标识 AI 对象后，可以将基于 AI 的步骤添加到测试中。

在 UFT One 中帮助设计基于 AI 的测试的未来

单击“检测功能如何?帮助我们改进”以打开反馈工具并向 OpenText 发送有关对象检测的反馈。有关详细信息，请参阅发送 AI 对象标识反馈。

返回页首

检查对象的应用程序模型

使用 AI 对象模型检查来检查应用程序模型并标识要在测试中使用的对象。这使您能够在应用程序完全开发之前设计和准备您的测试。

先决条件

AI 对象模型检查不需要准备就绪的应用程序，而是创建一个本地文件夹，其中包含 .jpg、.jpeg 或 .png 格式的图像。

检查应用程序模型

  1. 在 UFT One 标题栏中，单击“AI”>“AI 对象模型检查”。

  2. 在“AI 对象检查”窗口的“模型图像”选项卡中，选择检查上下文，然后单击“浏览文件夹”以选择包含图像的文件夹。

    检查上下文: 非移动/移动

    “AI 对象检查”窗口检查按文件名顺序最先出现的图像，默认情况下高亮显示所有已标识的可视元素。

  3. 您可以决定显示“可视元素”和/或“文本”，查看 UFT One 可视检测到的对象和/或应用程序中的文本区域。

  4. (技术预览) 如果您的应用程序包含容器对象 (例如表) 并且您想要检查表内的较低级别对象，请打开“容器”以启动重新检查。(开关名称可能因版本而异。)

    备注: 表单元格对象使用 ABBYY OCR 进行标识。

    要标识 TableCell 对象，您必须在 UFT One 中安装 ABBYY OCR 引擎功能。

  5. 通过选择“非移动”或“移动”来决定是否更改 AI 对象检查上下文类型。

  6. 单击文件夹图标 旁的向下箭头选择其他文件夹，与当前文件夹同步或打开当前文件夹。

  7. 要查看文件夹中的所有图像，请单击顶部的向下箭头以显示图像库。在该库中，您可以:

    • 使用箭头在文件夹中的图像之间导航。

    • 单击“搜索” 按钮搜索特定图像。

    • 选择是在“网格视图” 还是在“行视图”中查看图像。

    • 选择“名称”或“日期”以按文件名或修改时间对图像进行排序。

  8. 标识 AI 对象后，可以将基于 AI 的步骤添加到测试中。

在 UFT One 中帮助设计基于 AI 的测试的未来

单击“检测功能如何?请帮助我们加以改进。”以打开反馈工具并向 OpenText 发送有关对象标识的反馈。有关详细信息，请参阅发送 AI 对象标识反馈。

返回页首

将基于 AI 的步骤添加到测试中

要将基于 AI 的步骤添加到测试中:

  • 设置 AI 上下文

  • 添加测试步骤

  • 将检查点添加到测试中 (可选)

有关详细信息，请参阅将基于 AI 的步骤添加到测试中。

返回页首

检查下一个应用程序页面/屏幕

当您为应用程序中的一个页面或屏幕创建完测试步骤并想要继续进行另一页面或屏幕上的测试时，按照如下步骤操作:

检查下一个应用程序页面/屏幕

  1. 单击“上下文” 旁的向下箭头，选择“转至已检查的应用程序”，然后导航到应用程序中的所需位置。

  2. 在“AI 对象检查”窗口中，单击“重新检查” 以加载新的应用程序页面或屏幕并重新检查它。

    • 如果您不从“AI 对象检查”窗口重新加载并尝试运行某步骤，则 UFT One 根据上一页的检查运行该步骤，将导致错误或在新页面上执行操作。

    • 如果打开了多个远程访问窗口或浏览器窗口，则检查会话仅与一个窗口交互。

    • 您可以切换以检查计算机上打开的其他浏览器窗口或移动设备。单击“上下文” 旁的向下箭头，然后在“AI 对象检查”窗口中选择“选择其他应用程序”。

    • 如果您需要对应用程序执行步骤以准备检查，则可以使用“已延迟重新检查”。

      单击“已延迟重新检查” 旁的向下箭头并设置所需的延迟。

      单击“执行”开始倒计时，打开应用程序，然后执行悬停或单击菜单等步骤，使应用程序进入您要检查的状态。

      当延迟计时器到期时，重新检查应用程序。

  3. 将新页面或屏幕中的步骤添加到您的测试中。

提示: 如果您的网络速度较慢，则可能需要将延迟设置为较大的值。

返回页首

运行基于 AI 的测试

在检查您的应用程序并创建测试步骤之后，请像运行任何其他 UFT One 测试一样运行基于 AI 的测试。请参阅运行/调试测试。

可以在不同的操作系统和版本上运行相同的测试，因为它不基于实现细节。

返回页首

将基于技术的测试转换为基于 AI 的测试

AI 转换助手可以帮助您将现有测试中基于属性的测试步骤转换为基于 AI 的测试步骤:

  1. 启用助手。

    在“工具”>“选项”>“GUI 测试”>“AI”>“常规”中，选择“将运行结果替换为 AI 对象建议”。

  2. 运行测试。

    测试步骤在应用程序上执行，运行报告包含 AI 对象建议而不是测试运行的结果。每个步骤都包含将基于技术的测试步骤转换为基于 AI 的测试步骤的建议。

    备注: AI 转换助手不检查表或日历对象内部的对象层次结构，也不建议使用 AITable 或 AICalendar 容器。

  3. 修改测试步骤 (AI 转换)。

    将现有步骤替换为建议的 AI 对象步骤，以创建更具弹性且与平台无关的测试。

返回页首

疑难解答

AI 文本标识要求 Windows mediaserver.exe 服务正在运行。否则，可能发生以下情况:

  • AI 对象检查无法“按文本”查找对象。
  • 运行测试时，所有 FindText 和 FindTextBlock 步骤均无法返回 AITextObject。
  • 错误消息表明在调用媒体服务器 OCR 服务时发生错误。

解决方案： 

打开 Windows 服务管理器，确保 mediaserver.exe 正在运行。否则，请手动启动该服务。

返回页首

另请参见: