hyperfine
> hyperfine — 跨平台命令行基准测试工具，精准量化程序执行时间与性能差异。
空一行后，开始正文。
---
## 这玩意是干嘛的？
平时写脚本、优化代码、甚至选个工具链版本，最头疼的就是“感觉快了一点”这种玄学结论。你需要的不是感觉，是数据。Hyperfine 就是来干这个的——它帮你反复运行同一个命令，自动算平均耗时、标准差、最小最大值，还能跟别的命令做对比，直接告诉你谁更快、快多少。
举个例子：你用 `grep` 和 `ripgrep` 搜同一个文件，到底快几倍？用 `time` 跑一次太随机，跑十次手算太累。Hyperfine 三行命令出对比报告，还带置信区间。类似场景还有：对比不同正则引擎、测试不同编译器优化级别、评估脚本改版前后的性能变化。
## 下载方式
[官网](https://github.com/sharkdp/hyperfine) 直接去 GitHub 仓库，Release 页面有编译好的二进制包。如果你喜欢用包管理器，往下看。
## 安装方法
**macOS**
```bash
brew install hyperfine
```
**Windows**
用 Scoop：
```bash
scoop install hyperfine
```
或者去 GitHub Release 下载 `hyperfine-x.x.x-x86_64-pc-windows-msvc.zip`，解压扔进 PATH。
**Linux**
- Debian/Ubuntu: `apt install hyperfine`（但版本可能旧，推荐下面方法）
- Arch: `pacman -S hyperfine`
- 通用: 下载静态编译的二进制，直接扔 `/usr/local/bin`
**手动安装（任何系统）**
去 [Release 页面](https://github.com/sharkdp/hyperfine/releases) 下载对应平台的压缩包，解压后把 `hyperfine` 可执行文件放到 PATH 目录下就行。比如 Linux 下：
```bash
wget https://github.com/sharkdp/hyperfine/releases/download/v1.18.0/hyperfine-v1.18.0-x86_64-unknown-linux-gnu.tar.gz
tar xzf hyperfine-v1.18.0-x86_64-unknown-linux-gnu.tar.gz
sudo cp hyperfine-v1.18.0-x86_64-unknown-linux-gnu/hyperfine /usr/local/bin
```
## 基础使用教程
### 1. 简单测试一个命令
```bash
hyperfine 'sleep 1'
```
输出类似：
```
Benchmark 1: sleep 1
Time (mean ± σ): 1.002 s ± 0.003 s [User: 0.001 s, System: 0.000 s]
Range (min … max): 0.999 s … 1.008 s 10 runs
```
默认跑 10 次，自动算均值和标准差。看到 `± 0.003 s` 说明波动很小，结果可靠。
### 2. 指定运行次数
```bash
hyperfine --runs 50 'python script.py'
```
如果命令很快（比如毫秒级），建议跑 100 次以上；慢命令（比如 10 秒以上）跑 3-5 次就够。
### 3. 比较两个命令
```bash
hyperfine 'grep "error" large.log' 'rg "error" large.log'
```
输出会直接给出对比表：
```
Summary
'rg "error" large.log' ran
1.42 ± 0.05 times faster than 'grep "error" large.log'
```
有具体倍数，还能看到标准差，说明 ripgrep 稳定快 1.4 倍。
### 4. 预热与清理
有些命令第一次跑慢，后面因为有缓存变快。可以用 `-w` 预热：
```bash
hyperfine -w 3 'node app.js'
```
先跑 3 次不记结果，再正式测试。如果命令会产生临时文件，用 `-p` 指定清理命令：
```bash
hyperfine -p 'rm -f cache.db' 'python process.py'
```
每次测试前先删缓存，保证公平。
### 5. 导出结果
```bash
hyperfine 'command' --export-json result.json
hyperfine 'command' --export-markdown result.md
hyperfine 'command' --export-csv result.csv
```
Markdown 格式可以直接贴到博客或 PR 描述里，JSON 适合脚本处理。
## 进阶技巧
### 1. 参数化测试
想测试不同参数下的性能？用 shell 循环配合 `--parameter-scan`：
```bash
hyperfine --parameter-scan num 1 10 './script.sh {num}'
```
会自动测试 `num=1` 到 `num=10`，每个参数跑一轮基准。输出会列出每个参数的结果，适合观察复杂度变化趋势。
### 2. 对比多个命令并排序
```bash
hyperfine 'cmd1' 'cmd2' 'cmd3' --sort-by time
```
结果会按平均耗时升序排列，最快的排第一。配合 `--export-json` 还能用 `jq` 解析出具体数值。
### 3. 忽略前几次结果
有些命令启动慢但后续稳定，可以用 `--ignore-failure` 忽略失败运行，或者用 `--min-runs` 让 hyperfine 自动决定跑多少次直到结果稳定：
```bash
hyperfine --min-runs 5 --max-runs 100 'slow_command'
```
工具会从 5 次开始，如果标准差大就增加次数，最多 100 次。
### 4. 在 CI/CD 中使用
GitHub Actions 里可以用 hyperfine 做性能回归检测。比如：
```yaml
- name: Benchmark
run: |
hyperfine 'new_version' --export-json result.json
# 跟上次结果对比，如果变慢超过 10% 就报错
```
配合 `jq` 提取 `mean` 值，写个脚本判断是否退化。
### 5. 测试管道或复合命令
hyperfine 支持 shell 语法，复杂管道也能测：
```bash
hyperfine 'cat huge.txt | sort | uniq -c | sort -nr' 'sort huge.txt | uniq -c | sort -nr'
```
注意用单引号避免 shell 提前展开。
### 6. 调整输出样式
- `--style basic`：只显示最小结果，不显示进度条
- `--style nocolor`：无颜色输出，适合日志文件
- `--time-unit second`：强制用秒显示（默认自动选择单位）
### 7. 测试子进程开销
想知道命令本身耗时 vs. 启动 shell 的开销？用 `--shell none`：
```bash
hyperfine --shell none './binary' # 直接执行，不走 shell
```
对比 `hyperfine 'echo hi'` 和 `hyperfine --shell none 'echo hi'`，后者会报错（因为 echo 是 shell 内置命令），但测外部程序时更精确。
## 真实案例分享
上周我优化了一个日志解析脚本，原来用 Python 的 `re.findall`，改成用 `mmap` 加字节级别匹配。用 hyperfine 对比：
```bash
hyperfine 'python old_parser.py' 'python new_parser.py' -w 5
```
结果新版本快 3.2 倍，标准差只有 0.1，证明优化有效。我把 JSON 结果贴到 PR 里，同事直接看到数据，不用扯皮。
另一个场景：测试不同 SQLite 编译选项。用 hyperfine 跑 `sqlite3 :memory: "SELECT count(*) FROM t"`，对比标准版和 `-O3 -march=native` 编译版，发现只快 5%，不值得折腾。
## 小提醒
- 测试时关掉其他占用 CPU 的程序（浏览器、IDE 索引等），减少噪声。
- 如果结果标准差超过 10%，说明环境不稳定，考虑增加 `--runs` 或检查后台进程。
- 对于 IO 密集型测试，SSD 和 HDD 结果差异巨大，记得注明测试环境。
Hyperfine 是我工具箱里最常用的 CLI 工具之一——没有花哨的 UI，但每一个数字都值得信任。遇到“哪个更快”的问题时，别猜，跑一下。