引用jmacd333 · 2020-03
“Dunning uses Mean Absolute Error in his latest T-digest paper:”
指出 Dunning 在最新 t-digest 论文中用平均绝对误差
在线分位数草图 t-digest,尾部相对精度高、体积小、可无损合并
论文提出计算基于秩的统计量近似值的在线算法,用很小的草图(sketch)就能达到高精度,尤其在分布尾部。其特点是分位数 q 的精度是相对于 max(q, 1-q) 的,而不是像多数方法那样的绝对精度;算法对偏斜分布或有序数据集保持稳健,并且分别计算的摘要可以无损合并。作者提供了 Java 开源实现,另有 Go 和 Python 的独立实现。
评论者用它说明较新的数据结构 t-digest 即使在 99.999% 这样的极端尾部分位数上仍保持很高精度,也有人讨论其评估所用的平均绝对误差。
“Dunning uses Mean Absolute Error in his latest T-digest paper:”
“There are some newer data structures that take this to the next level such as T-Digest[1], which remains extremely accurate even when determining percentiles at the very tail end (like 99.999%)”