按年被提到
20162016 · 1 次2026
编程语言与编译器›编译器与运行时优化·arXiv:1608.04295 · cs.PF

Robust benchmarking in noisy environments

噪声环境下的稳健基准测试
Jiahao Chen, Jarrett Revels · 2016

面向计时误差与系统抖动的稳健基准测试策略

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2016-08-16 · 最近 2023-09-09
3不同的人
3活跃月份
3讨论串
64被引(OpenAlex)

论文提出一种在计时器误差、操作系统抖动等环境波动下依然稳健的基准测试策略,对计时数据高度非理想的统计特性不敏感。作者构建了一个模型来解释这些非理想统计如何由环境波动产生,并据此论证该策略,同时把它实现在 Julia 的 BenchmarkTools 包中,用于 Julia 语言及其生态的持续集成。

HN 为什么提它

HN 评论者把它视为认真在底层测量程序执行时间时值得一读的材料,也把它当作 Julia 基准测试包所用策略的说明文档来引用。

方法难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1概率统计基础(分布、噪声)
2性能测量与计时基础
3操作系统调度与抖动
4Julia 语言基础

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选里只有一篇与基准测试统计问题直接相关,它展示了虚拟机预热带来的非理想计时统计,这正是目标论文要稳健处理的对象。

  1. 1
    Virtual Machine Warmup Blows Hot and Cold虚拟机预热忽冷忽热 · 2016

    实证显示许多 JIT 基准并不稳定,计时统计明显偏离理想分布,是目标论文的动机之一。

    读预热阶段与稳态性能的差异,以及基准计时数据为何不满足独立同分布假设。

  2. 2
    Robust benchmarking in noisy environments噪声环境下的稳健基准测试 · 2016 · 就是这篇

    目标论文:为计时误差与系统抖动设计稳健的基准测试策略。

    读计时统计的噪声模型,以及推荐策略为何对非理想统计不敏感;BenchmarkTools 的实现可略读。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐longemen3000 · 2020-01

“It is, at least a good read when trying to measure the execution of some program seriously at low level.”

推荐它,认为在底层认真测量程序执行时值得一读
Measure code execution time accurately in Python原评论 ↗
引用suavesito · 2023-09

“White paper about the strategies used by the package Robust benchmarking in noisy environments”

称它是该基准测试包所用策略的白皮书
Julia and Mojo (Modular) Mandelbrot Benchmark原评论 ↗
被提交为 story · 1 次