按年被提到
20212021 · 1 次2026
算法与数据结构›哈希、压缩与向量化·arXiv:2109.10433 · cs.DC

Transcoding Billions of Unicode Characters per Second with SIMD Instructions

用 SIMD 指令每秒转码数十亿 Unicode 字符
Daniel Lemire, Wojciech Muła · 2021

用 SIMD 指令把 UTF-8 与 UTF-16 转码速度成倍提升

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2021-09-23 · 最近 2026-07-22
3不同的人
3活跃月份
3讨论串
5被引(OpenAlex)

常见的 UTF-8 与 UTF-16 转码函数比先进的磁盘和网络还慢,且很少利用商用处理器的 SIMD 指令。论文为 SIMD 指令重新设计转码算法,在 x64 和 ARM 系统上把转码速度成倍提高,并以开源库形式发布以便复现。

HN 为什么提它

评论者指出相关库的 README 链接了这篇讲快速 SIMD Unicode 转码的技术论文。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1UTF-8 与 UTF-16 编码
2x64 与 ARM 上的 SIMD 指令
3底层性能优化

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径建立 SIMD 文本处理的前置知识:先看同一思路下的 UTF-8 校验、Base64 和 popcount 向量化,再读 Unicode 转码。

  1. 1
    Faster Population Counts Using AVX2 Instructions用 AVX2 指令加速人口计数 · 2016

    展示用 AVX2 查表与向量化技巧加速位运算的基本套路。

    读向量化查表和按字节处理的核心想法;不必深究性能对比。

  2. 2

    Base64 编解码同样是字节流变换,用 SIMD 做数据重排,思路与转码相近。

    读用 shuffle 与算术指令做字节重排、查表的方式;对照转码中的重排。

  3. 3
    Validating UTF-8 In Less Than One Instruction Per Byte用不到每字节一条指令验证 UTF-8 · 2020

    UTF-8 校验是转码的前提步骤,转码算法沿用其基于查表的 SIMD 校验。

    读按字节分类并用查表检查非法序列的做法;理解 UTF-8 编码规则。

  4. 4
    Transcoding Billions of Unicode Characters per Second with SIMD Instructions用 SIMD 指令每秒转码数十亿 Unicode 字符 · 2021 · 就是这篇

    目标论文:为 UTF-8 与 UTF-16 之间的转码设计 SIMD 算法。

    读各类输入(ASCII、2 字节、3 字节、4 字节)的快速路径与重排掩码;再看 x64 与 ARM 的结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用vanderZwan · 2022-09

“The readme has a link to a technical paper on arxiv that was uploaded last year[0]”

指出 readme 链接了去年上传的 arXiv 技术论文,讲 SIMD Unicode 转码
High speed Unicode routines using SIMD原评论 ↗
被提交为 story · 2 次