跳至主要内容

重试

简介​

测试重试是一种在测试失败时自动重新运行测试的方法。当测试不稳定并间歇性失败时，这很有用。测试重试在配置文件中配置。

失败​

Playwright Test 在工作进程中运行测试。这些进程是操作系统进程，独立运行，由测试运行器协调。所有工作进程都具有相同的环境，并且每个工作进程都会启动自己的浏览器。

请考虑以下代码片段

import { test } from '@playwright/test';

test.describe('suite', () => {
  test.beforeAll(async () => { /* ... */ });
  test('first good', async ({ page }) => { /* ... */ });
  test('second flaky', async ({ page }) => { /* ... */ });
  test('third good', async ({ page }) => { /* ... */ });
  test.afterAll(async () => { /* ... */ });
});

当**所有测试都通过**时，它们将按顺序在同一工作进程中运行。

  • 工作进程启动
    • beforeAll 钩子运行
    • first good 通过
    • second flaky 通过
    • third good 通过
    • afterAll 钩子运行

如果**任何测试失败**，Playwright Test 将丢弃整个工作进程及其浏览器，并启动一个新的工作进程。测试将在新工作进程中继续，从下一个测试开始。

  • 工作进程 #1 启动
    • beforeAll 钩子运行
    • first good 通过
    • second flaky 失败
    • afterAll 钩子运行
  • 工作进程 #2 启动
    • beforeAll 钩子再次运行
    • third good 通过
    • afterAll 钩子运行

如果**启用重试**，第二个工作进程将通过重试失败的测试来启动，并从那里继续。

  • 工作进程 #1 启动
    • beforeAll 钩子运行
    • first good 通过
    • second flaky 失败
    • afterAll 钩子运行
  • 工作进程 #2 启动
    • beforeAll 钩子再次运行
    • second flaky 被重试并通过
    • third good 通过
    • afterAll 钩子运行

此方案对于独立测试非常有效，并保证失败的测试不会影响正常的测试。

重试​

Playwright 支持**测试重试**。启用后，失败的测试将多次重试，直到它们通过，或者达到最大重试次数。默认情况下，失败的测试不会重试。

# Give failing tests 3 retry attempts
npx playwright test --retries=3

您可以在配置文件中配置重试

playwright.config.ts
import { defineConfig } from '@playwright/test';

export default defineConfig({
  // Give failing tests 3 retry attempts
  retries: 3,
});

Playwright Test 将对测试进行如下分类

  • "passed" - 在第一次运行时通过的测试；
  • "flaky" - 在第一次运行时失败，但在重试时通过的测试；
  • "failed" - 在第一次运行时失败，并且所有重试都失败的测试。
Running 3 tests using 1 worker

  ✓ example.spec.ts:4:2 › first passes (438ms)
  x example.spec.ts:5:2 › second flaky (691ms)
  ✓ example.spec.ts:5:2 › second flaky (522ms)
  ✓ example.spec.ts:6:2 › third passes (932ms)

  1 flaky
    example.spec.ts:5:2 › second flaky
  2 passed (4s)

您可以使用testInfo.retry在运行时检测重试，它可用于任何测试、钩子或夹具。以下是一个在重试之前清除某些服务器端状态的示例。

import { test, expect } from '@playwright/test';

test('my test', async ({ page }, testInfo) => {
  if (testInfo.retry)
    await cleanSomeCachesOnTheServer();
  // ...
});

您可以使用test.describe.configure()为特定组的测试或单个文件指定重试。

import { test, expect } from '@playwright/test';

test.describe(() => {
  // All tests in this describe group will get 2 retry attempts.
  test.describe.configure({ retries: 2 });

  test('test 1', async ({ page }) => {
    // ...
  });

  test('test 2', async ({ page }) => {
    // ...
  });
});

串行模式​

使用test.describe.serial()对依赖性测试进行分组，以确保它们始终一起运行并按顺序运行。如果其中一个测试失败，则跳过所有后续测试。组中的所有测试将一起重试。

请考虑以下使用test.describe.serial的代码片段

import { test } from '@playwright/test';

test.describe.configure({ mode: 'serial' });

test.beforeAll(async () => { /* ... */ });
test('first good', async ({ page }) => { /* ... */ });
test('second flaky', async ({ page }) => { /* ... */ });
test('third good', async ({ page }) => { /* ... */ });

在不使用重试的情况下运行时，失败之后的所有测试都将被跳过

  • 工作进程 #1
    • beforeAll 钩子运行
    • first good 通过
    • second flaky 失败
    • third good 完全被跳过

在使用重试的情况下运行时，所有测试将一起重试

  • 工作进程 #1
    • beforeAll 钩子运行
    • first good 通过
    • second flaky 失败
    • third good 被跳过
  • 工作进程 #2
    • beforeAll 钩子再次运行
    • first good 再次通过
    • second flaky 通过
    • third good 通过
注意

通常最好使您的测试相互隔离，以便可以有效地独立运行和重试。

在测试之间重用单个页面​

Playwright Test 为每个测试创建一个隔离的Page 对象。但是，如果您想在多个测试之间重用单个Page 对象，您可以在test.beforeAll() 中创建它，并在test.afterAll() 中关闭它。

example.spec.ts
import { test, type Page } from '@playwright/test';

test.describe.configure({ mode: 'serial' });

let page: Page;

test.beforeAll(async ({ browser }) => {
  page = await browser.newPage();
});

test.afterAll(async () => {
  await page.close();
});

test('runs first', async () => {
  await page.goto('https://playwright.net.cn/');
});

test('runs second', async () => {
  await page.getByText('Get Started').click();
});