固定的测试集
将测试集固定到基线会将该集中的测试与基线中存储的版本相关联。
将测试集固定到基线时:
- 仅运行指定的基线中存储的测试版本
- 从固定的测试集中删除不属于基线的测试
- 从固定的测试集中删除所有测试运行
- 仅当将测试添加到固定的测试集时,才可以选择基线中包括的测试
清除固定的测试集时:
- 测试集中的测试与“测试计划”模块中的最新测试版本相关联
- 删除该测试集中的所有测试运行
为什么此操作非常有用?
在特定版本测试的开发与运行之间存在时间间隔的测试环境中,将测试集固定到基线非常有用。当一个团队在当前稳定版本上运行测试时,另一个团队可能已经用将来版本的测试更新测试计划模块。将测试集固定到基线可帮助确保测试集执行期间运行正确的测试版本。
运行测试的团队通过从测试计划树中选择并添加测试,在测试实验室模块中创建测试集。但是,由于测试的开发与执行之间存在时间间隔,测试计划树可能已包括与应用程序的将来版本相关的测试 —— 新测试或具有新步骤的已更新测试。如果运行测试的最新版本,则测试将失败。通过将测试集固定到与特定版本关联的基线,测试者可以确保从测试集中删除不属于正在测试的版本的测试或测试步骤。
固定对于使用函数库的自动功能测试尤其有用。如果特定函数库包括在多个测试(例如测试 3 到测试 100)中,但是功能仍处于开发中,则运行测试 3 到测试 100 的非固定版本会导致这些测试全部失败。
Example:
测试工程师 Jack 正在设计测试来检查 Mercury Tours 网站的航班预订功能。在测试计划模块中,他创建包含两个步骤(步骤 1 和步骤 2)的 BookFlight 测试。
在下一阶段中,开发团队开始向航班预订功能添加更多功能。为了测试此新功能,Jack 必须使用另外两个步骤(步骤 3 和步骤 4)更新 BookFlight 测试。在更新测试之前,Jack 创建了基线(基线 1)。在基线 1 中,BookFlight 仅包含步骤 1 和 2。Jack 然后继续使用另外两个步骤更新测试。包含 4 个步骤的测试将保存在基线 2 中。
同时,QA 测试者 Alice 正在测试不包括新功能的网站早期版本,因为开发团队仍在开发新功能。她在测试实验室模块中创建的测试集包括 Jack 已更新的 BookFlight 测试。如果她运行包含步骤 3 和 4 的最新 Bookflight 测试,则测试将失败。为了确保运行正确的测试版本,Alice 在运行测试之前将 Bookflight 固定到基线 1。这会从测试中删除步骤 3 和 4。