引用vanderZwan · 2022-09
“The readme has a link to a technical paper on arxiv that was uploaded last year[0]”
指出 readme 链接了去年上传的 arXiv 技术论文,讲 SIMD Unicode 转码
用 SIMD 指令把 UTF-8 与 UTF-16 转码速度成倍提升
常见的 UTF-8 与 UTF-16 转码函数比先进的磁盘和网络还慢,且很少利用商用处理器的 SIMD 指令。论文为 SIMD 指令重新设计转码算法,在 x64 和 ARM 系统上把转码速度成倍提高,并以开源库形式发布以便复现。
评论者指出相关库的 README 链接了这篇讲快速 SIMD Unicode 转码的技术论文。
这条路径建立 SIMD 文本处理的前置知识:先看同一思路下的 UTF-8 校验、Base64 和 popcount 向量化,再读 Unicode 转码。
展示用 AVX2 查表与向量化技巧加速位运算的基本套路。
读向量化查表和按字节处理的核心想法;不必深究性能对比。
Base64 编解码同样是字节流变换,用 SIMD 做数据重排,思路与转码相近。
读用 shuffle 与算术指令做字节重排、查表的方式;对照转码中的重排。
UTF-8 校验是转码的前提步骤,转码算法沿用其基于查表的 SIMD 校验。
读按字节分类并用查表检查非法序列的做法;理解 UTF-8 编码规则。
目标论文:为 UTF-8 与 UTF-16 之间的转码设计 SIMD 算法。
读各类输入(ASCII、2 字节、3 字节、4 字节)的快速路径与重排掩码;再看 x64 与 ARM 的结果。
“The readme has a link to a technical paper on arxiv that was uploaded last year[0]”