按年被提到
20202022 · 3 次2026
系统、数据库与网络›表格、数据草图与数据集·arXiv:2001.00888 · cs.DB

Towards Scalable Dataframe Systems

迈向可扩展的数据框系统
Devin Petersohn, Stephen Macke, Doris Xin, William Ma, Doris Lee, Xiangxi Mo, Joseph E. Gonzalez, Joseph M. Hellerstein, Anthony D. Joseph, Aditya Parameswaran · 2020

给出数据框的数据模型与代数,并以 Modin 为例规划研究路线

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2021-03-09 · 最近 2026-03-29
4不同的人
7活跃月份
7讨论串
102被引(OpenAlex)

数据框(dataframe)在 R 和 Python 中很流行,但在中等规模数据上就有性能问题,语义也存在歧义。论文以 pandas 为参照,提出简单的数据框数据模型与代数,并基于构建 Modin(pandas 的扩展实现)的经验,列出数据管理领域的开放研究议程,讨论灵活模式、行列等价、数据与元数据互通等特性。

HN 为什么提它

评论者引用它来解释数据框代数(用 16 个算子覆盖 pandas 的 600 多个操作)和 Modin 背后的理论,并指出其数据模型可能比关系模型更有表达力。

观点难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1pandas / 数据框(dataframe)API
2关系代数与数据库基础
3并行与分布式数据处理
4数据模型与查询语言

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐lmwnshn · 2025-09

“Check out the full version of Towards Scalable Dataframe Systems from VLDB 2020 [0]”

推荐看完整版,其中对 pivot 算子讲得很清楚
DOOMscrolling: The Game原评论 ↗
引用devin-petersohn · 2021-03

“Modin is an implementation of this data model and algebra[1].”

指出 Modin 实现了这套数据模型和代数
A Hybrid Apache Arrow/Numpy DataFrame with Vaex Version 4.0原评论 ↗
引用devin-petersohn · 2021-12

“We identified a core "dataframe algebra"[1] that encompasses all of pandas (and R/S data.frames): a total of 16 operators that cover all 600+ operators of pandas.”

说明论文提出 16 个算子的 dataframe 代数,涵盖 pandas 全部操作
Polars: Fast DataFrame library for Rust and Python原评论 ↗
引用chubot · 2022-02

“Towards Scalable Dataframe Systems (missing content)”

拿它测试 arXiv 的 HTML 渲染,指出内容缺失
Tell HN: Replace the X with a 5 in arXiv.org to display a paper in HTML原评论 ↗
引用devin-petersohn · 2022-03

“This blog post is a great way to learn about the theory underlying dataframes without reading a bunch of technical jargon from our academic paper[1].”

指出博客比这篇学术论文更易了解 dataframe 背后的理论
We parallelized 600 pandas functions with Modin原评论 ↗
引用devin-petersohn · 2022-06

“At it's core the data model and language can be more expressive than relational databases (see [1]).”

引它说明 dataframe 的数据模型和语言可比关系数据库更有表达力
One-liner for running queries against CSV files with SQLite原评论 ↗
被提交为 story · 1 次