按年被提到
20202020 · 2 次2026
算法与数据结构›哈希、压缩与向量化·arXiv:2010.03090 · cs.DB

Validating UTF-8 In Less Than One Instruction Per Byte

用不到每字节一条指令验证 UTF-8
John Keiser, Daniel Lemire · 2020

基于查表与 SIMD 的 UTF-8 校验,比常见库快 10 倍以上

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2020-10-13 · 最近 2024-05-16发表于 Software Practice and Experience
4不同的人
3活跃月份
4讨论串
12被引(OpenAlex)

UTF-8 文本在写入时必须验证。论文提出 lookup 算法,借助常见的 SIMD 指令,比许多库和语言所用的 UTF-8 校验例程快 10 倍以上,并以开源软件形式提供以保证可复现。

HN 为什么提它

评论者把它称为 UTF-8 校验性能的好论文,并用它说明通过巧妙的 SIMD 设计,字节流处理可以做到每字节不到一个周期。

方法难度 4 / 5约 30 分钟经得起时间
读之前最好知道
1UTF-8 编码规则
2SIMD 指令(SSE / AVX)
3查表算法(lookup)
4底层性能优化

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐3pm · 2024-05

“Good paper on UTF-8 validation performance:”

推荐这篇关于 UTF-8 验证性能的好论文
You probably don't need to validate UTF-8 strings原评论 ↗
引用tlb · 2022-09

“With a great deal of cleverness, you can do some byte stream operations in less than one cycle per byte. See Validating UTF-8 In Less Than One Instruction Per Byte”

拿它说明巧妙设计下字节流操作能做到每字节不到一个周期
Ask HN: Why are older processors slower at the same frequency?原评论 ↗
被提交为 story · 2 次