推荐longemen3000 · 2020-01
“It is, at least a good read when trying to measure the execution of some program seriously at low level.”
推荐它,认为在底层认真测量程序执行时值得一读
面向计时误差与系统抖动的稳健基准测试策略
论文提出一种在计时器误差、操作系统抖动等环境波动下依然稳健的基准测试策略,对计时数据高度非理想的统计特性不敏感。作者构建了一个模型来解释这些非理想统计如何由环境波动产生,并据此论证该策略,同时把它实现在 Julia 的 BenchmarkTools 包中,用于 Julia 语言及其生态的持续集成。
HN 评论者把它视为认真在底层测量程序执行时间时值得一读的材料,也把它当作 Julia 基准测试包所用策略的说明文档来引用。
候选里只有一篇与基准测试统计问题直接相关,它展示了虚拟机预热带来的非理想计时统计,这正是目标论文要稳健处理的对象。
实证显示许多 JIT 基准并不稳定,计时统计明显偏离理想分布,是目标论文的动机之一。
读预热阶段与稳态性能的差异,以及基准计时数据为何不满足独立同分布假设。
目标论文:为计时误差与系统抖动设计稳健的基准测试策略。
读计时统计的噪声模型,以及推荐策略为何对非理想统计不敏感;BenchmarkTools 的实现可略读。
“It is, at least a good read when trying to measure the execution of some program seriously at low level.”
“White paper about the strategies used by the package Robust benchmarking in noisy environments”