01-cargo bench

译文 · 基于 The Cargo Book

cargo-bench(1)

原文链接: https://doc.rust-lang.org/cargo/commands/cargo-bench.html

名称

cargo-bench — 执行包的基准测试

大纲

cargo bench [options] [benchname] [-- bench-options]

描述

编译并执行基准测试。

基准测试过滤参数 benchname 以及两个短划线（--）之后的所有参数都会传给基准测试二进制，进而传给 libtest（rustc 内置的单元测试与微基准测试框架）。若同时向 Cargo 与二进制传参，则 -- 之后的参数传给二进制，之前的传给 Cargo。关于 libtest 参数的详情，请参见 cargo bench -- --help 的输出，以及 rustc 手册中关于测试工作原理的章节： https://doc.rust-lang.org/rustc/tests/index.html。

例如，以下命令仅运行名为 foo 的基准测试（并跳过如 foobar 等名称相似的其他基准测试）：

cargo bench -- foo --exact

基准测试使用 rustc 的 --test 选项构建，通过将你的代码与 libtest 链接来创建特殊可执行文件。该可执行文件会自动运行所有标注了 #[bench] 属性的函数。Cargo 向测试框架传递 --bench 标志，告知其仅运行基准测试，无论框架是 libtest 还是自定义框架。

可通过在目标清单设置中将 harness = false 来禁用 libtest 框架，此时你的代码需要提供自己的 main 函数来处理基准测试的运行。

注意： #[bench] 属性 目前不稳定，仅在 nightly 通道 可用。 crates.io 上有一些包可帮助在 stable 通道上运行基准测试，例如 Criterion。

默认情况下，cargo bench 使用 bench 配置文件，它会启用优化并禁用调试信息。若需要调试基准测试，可使用 --profile=dev 命令行选项切换到 dev 配置文件，然后在调试器中运行启用了调试的基准测试。

基准测试的工作目录

每个基准测试的工作目录都设为该基准测试所属包的根目录。 将基准测试的工作目录设为包的根目录，使基准测试能够使用相对路径可靠地访问包的文件，而无论从何处执行 cargo bench。

选项

基准测试选项

--no-run

编译但不运行基准测试。

--no-fail-fast

无论失败与否都运行所有基准测试。若不带此标志，Cargo 会在第一个可执行文件失败后退出。Rust 测试框架会运行可执行文件内的全部基准测试直至完成；此标志仅作用于整个可执行文件。

包选择

默认情况下，若未给出包选择选项，所选包取决于所选清单文件（若未给出 --manifest-path，则基于当前工作目录）。若清单是工作空间根，则选择该工作空间的默认成员；否则仅选择清单所定义的包。

工作空间的默认成员可通过根清单中的 workspace.default-members 键显式设置。若未设置，虚拟工作空间将包含所有工作空间成员（等价于传入 --workspace），非虚拟工作空间将仅包含根 crate 本身。

-p spec…

--package spec…

Benchmark only the specified packages. SPEC 格式见 cargo-pkgid(1)。 此标志可指定多次，并支持常见的 Unix glob 模式，如 *、? 和 []。不过，为避免 shell 在 Cargo 处理之前意外展开 glob 模式，必须用单引号或双引号括住每个模式。

--workspace

对工作空间中的所有成员运行基准测试。

--all

--workspace 的已弃用别名。

--exclude SPEC…

排除指定的包。必须与 --workspace 标志一起使用。 此标志可指定多次，并支持常见的 Unix glob 模式，如 *、? 和 []。不过，为避免 shell 在 Cargo 处理之前意外展开 glob 模式，必须用单引号或双引号括住每个模式。

目标选择

若未给出目标选择选项，cargo bench 将构建所选包的以下目标：

• lib — 用于与二进制和基准测试链接
• bins（仅当构建基准测试目标且所需特性可用时）
• 作为基准测试的 lib
• 作为基准测试的 bins
• 基准测试目标

可通过在清单设置中为目标设置 bench 标志来更改默认行为。将示例设为 bench = true 会将该示例作为基准测试构建并运行，用 libtest 框架替换示例的 main 函数。

将目标设为 bench = false 会停止默认对它们进行基准测试。按名称选取目标的目标选择选项（如 --example foo）会忽略 bench 标志，并始终对给定目标运行基准测试。

参见配置目标 了解更多关于各目标设置的信息。

若选择对集成测试或基准测试做基准测试，则会自动构建二进制目标。这样集成测试可以执行该二进制以演练并测试其行为。 在构建并运行集成测试时会设置 CARGO_BIN_EXE_<name> 环境变量， 以便测试可使用 env 宏 或 var 函数 定位可执行文件。

传入目标选择标志将仅对指定目标运行基准测试。

注意：--bin、--example、--test 和 --bench 标志也支持常见的 Unix glob 模式，如 *、? 和 []。不过，为避免 shell 在 Cargo 处理之前意外展开 glob 模式，必须用单引号或双引号括住每个 glob 模式。

--lib

对包的库运行基准测试。

--bin name…

对指定的二进制目标运行基准测试。 此标志可指定多次，并支持常见的 Unix glob 模式。

--bins

对所有二进制目标运行基准测试。

--example name…

对指定的示例运行基准测试。 此标志可指定多次，并支持常见的 Unix glob 模式。

--examples

对所有示例目标运行基准测试。

--test name…

对指定的集成测试运行基准测试。 此标志可指定多次，并支持常见的 Unix glob 模式。

--tests

对所有在清单中设置了 test = true 标志的目标运行基准测试。默认包括作为单元测试构建的库与二进制目标，以及集成测试。请注意这也会构建任何所需依赖，因此 lib 目标可能会被构建两次（一次作为单元测试，一次作为二进制、集成测试等的依赖）。可通过在目标的清单设置中设置 test 标志来启用或禁用目标。

--bench name…

对指定的基准测试运行基准测试。 此标志可指定多次，并支持常见的 Unix glob 模式。

--benches

对所有在清单中设置了 bench = true 标志的目标运行基准测试。默认包括作为基准测试构建的库与二进制目标，以及 bench 目标。请注意这也会构建任何所需依赖，因此 lib 目标可能会被构建两次（一次作为基准测试，一次作为二进制、基准测试等的依赖）。可通过在目标的清单设置中设置 bench 标志来启用或禁用目标。

--all-targets

对所有目标运行基准测试。等价于指定 --lib --bins --tests --benches --examples。

特性选择

特性标志用于控制启用哪些特性（feature）。若未给出特性选项，则为每个所选包激活 default 特性。

参见特性文档 了解更多详情。

-F features

--features features

要激活的特性列表，以空格或逗号分隔。工作空间成员的特性可用 package-name/feature-name 语法启用。此标志可指定多次，将启用所有指定的特性。

--all-features

激活所有所选包的全部可用特性。

--no-default-features

不激活所选包的 default 特性。

编译选项

--target triple

Benchmark for the specified target architecture. Flag may be specified multiple times. The default is the host architecture. triple 的一般格式为 <arch><sub>-<vendor>-<sys>-<abi>。

可能的值：

• rustc --print target-list 中任何受支持的目标。
• "host-tuple"，内部会替换为主机目标。若你在交叉编译某些 crate，又不想把主机机器指定为目标（例如可能由多台主机协作的共享项目中的 xtask），这会特别有用。
• 自定义目标规范的路径。更多信息见 自定义目标查找路径。

也可通过 build.target 配置值 指定。

注意：指定此标志会使 Cargo 以不同模式运行，目标产物会放在单独目录中。详情见 构建缓存文档。

--profile name

使用给定的配置文件运行基准测试。 关于配置文件的更多详情见参考文档。

--timings

输出每次编译耗时信息，并跟踪一段时间内的并发信息。

构建结束时会将 cargo-timing.html 文件写入 target/cargo-timings 目录。还会写入一份文件名带时间戳的额外报告，便于查看先前运行。 这些报告仅供人阅读，不提供机器可读的耗时数据。

输出选项

--target-dir directory

所有生成产物与中间文件的目录。也可通过 CARGO_TARGET_DIR 环境变量或 build.target-dir 配置值 指定。 默认为工作空间根目录下的 target。

显示选项

默认情况下，Rust 测试框架会隐藏基准测试执行的输出以保持结果可读。可通过向基准测试二进制传递 --no-capture 来恢复输出（例如用于调试）：

cargo bench -- --no-capture

-v

--verbose

使用详细输出。可指定两次以获得「非常详细」的输出，其中包括依赖警告与构建脚本输出等额外信息。 也可通过 term.verbose 配置值 指定。

-q

--quiet

不打印 cargo 日志消息。 也可通过 term.quiet 配置值 指定。

--color when

控制何时使用彩色输出。有效值：

• auto （默认）： 自动检测终端是否支持颜色。
• always: 始终显示颜色。
• never: 从不显示颜色。

也可通过 term.color 配置值 指定。

--message-format fmt

诊断消息的输出格式。可指定多次，由逗号分隔的值组成。有效值：

• human （默认）： 以人类可读的文本格式显示。与 short 和 json 冲突。
• short: 发出更短的人类可读文本消息。与 human 和 json 冲突。
• json: 向 stdout 发出 JSON 消息。详情见 参考文档。 与 human 和 short 冲突。
• json-diagnostic-short: 确保 JSON 消息的 rendered 字段包含 rustc 的「short」渲染。不能与 human 或 short 一起使用。
• json-diagnostic-rendered-ansi: 确保 JSON 消息的 rendered 字段包含嵌入的 ANSI 颜色代码，以遵循 rustc 的默认配色方案。不能与 human 或 short 一起使用。
• json-render-diagnostics: 指示 Cargo 不要在打印的 JSON 消息中包含 rustc 诊断，而是由 Cargo 自身渲染来自 rustc 的 JSON 诊断。Cargo 自己的 JSON 诊断以及来自 rustc 的其他内容仍会发出。不能与 human 或 short 一起使用。

Manifest 选项

--manifest-path path

Cargo.toml 文件的路径。默认情况下，Cargo 会在当前目录或其任意父目录中搜索 Cargo.toml。

--ignore-rust-version

忽略包中的 rust-version 规范。

--locked

断言使用与生成现有 Cargo.lock 文件时完全相同的依赖与版本。出现以下任一情况时，Cargo 将以错误退出：

• 缺少锁文件。
• 由于依赖解析不同，Cargo 试图更改锁文件。

可用于需要确定性构建的环境，例如 CI 流水线。

--offline

禁止 Cargo 因任何原因访问网络。若未指定此标志，当 Cargo 需要访问网络而网络不可用时会以错误停止。指定此标志后，Cargo 会在可能的情况下尝试在无网络时继续。

注意：这可能导致与在线模式不同的依赖解析结果。Cargo 将仅使用本地已下载的 crate，即使本地索引副本表明可能有更新版本。 可先使用 cargo-fetch(1) 命令下载依赖再离线使用。

也可通过 net.offline 配置值 指定。

--frozen

等价于同时指定 --locked 与 --offline。

通用选项

+toolchain

若 Cargo 通过 rustup 安装，且传给 cargo 的第一个参数以 + 开头，则会被解释为 rustup 工具链名称（例如 +stable 或 +nightly）。 关于工具链覆盖的工作方式，请参阅 rustup 文档。

--config KEY=VALUE or PATH

覆盖 Cargo 配置值。参数应为 TOML 语法的 KEY=VALUE，或指向额外配置文件的路径。此标志可指定多次。 更多信息见 命令行覆盖一节。

-C PATH

在执行任何指定操作之前更改当前工作目录。这会影响诸如 Cargo 默认查找项目清单（Cargo.toml）的位置，以及用于发现 .cargo/config.toml 的目录搜索等。此选项必须出现在命令名之前，例如 cargo -C path/to/my-project build。

此选项仅在 nightly 通道 可用， 并需要 -Z unstable-options 标志才能启用（见 #10098）。

-h

--help

打印帮助信息。

-Z flag

Cargo 的不稳定（仅 nightly）标志。运行 cargo -Z help 查看详情。

杂项选项

--jobs 参数影响基准测试可执行文件的构建，但不影响运行基准测试时使用的线程数。Rust 测试框架在单线程中串行运行基准测试。

-j N

--jobs N

并行作业数。也可通过 build.jobs 配置值 指定。默认为 逻辑 CPU 数量。若为负数，则将并行作业上限设为逻辑 CPU 数加上所给值。若 提供字符串 default，则恢复为默认值。 不应为 0。

虽然 cargo bench 涉及编译，但它不提供 --keep-going 标志。使用 --no-fail-fast 可在不停在第一个失败处的情况下尽可能多地运行基准测试。若要尽可能多地「编译」基准测试，可使用 --benches 单独构建基准测试二进制。例如：

cargo build --benches --release --keep-going
cargo bench --no-fail-fast

环境变量

参见参考文档 了解 Cargo 读取的环境变量详情。

退出状态

• 0: Cargo 成功完成。
• 101: Cargo 未能完成。

示例

1. 构建并执行当前包的所有基准测试：

   cargo bench
   

2. 仅运行特定基准测试目标中的某个基准测试：

   cargo bench --bench bench_name -- modname::some_benchmark
   

参见

cargo(1)、cargo-test(1)