达斯克：真正懒惰地分类

问题描述

如果我有一个具有未知分区的数据集，并且希望根据列对其进行排序并将其输出到Parquet，则在我看来，Dask至少会执行两次部分工作：

import dask
import dask.dataframe as dd

def my_identity(x):
    """Does nothing, but shows up on the Dask dashboard"""
    return x

df = dask.datasets.timeseries()
df = df.map_partitions(my_identity)
df = df.set_index(['name'])  # <- `my_identity` is calculated here, as well as other tasks
df.to_parquet('temp.parq') # <- previous tasks seem to be recalculated here

如果my_identity需要计算，则重新计算将非常昂贵。

我的理解是不是Dask会在这里做两次工作？有什么方法可以防止这种情况发生吗？

---

解决方案

下面的解释可能不准确，但希望能有所帮助。

让我们试试看达斯克在这件事上的处境。我们正在要求Dask.创建一个基于某些变量的索引...Dask只适用于已排序的索引，因此Dask会想知道如何重新排列数据以使其排序，以及分区的适当划分。您看到的第一个计算就是这样做的，DASK将只存储划分/数据重新洗牌所需的计算部分。

然后，当我们要求DASK保存数据时，它会计算变量，将数据置乱(与之前的计算一致)，并将其存储在相应的分区中。

如何避免这种情况？可能的选项：

1. persist设置索引之前。一旦持久化，Dask会计算变量并将其保留在工作进程上，因此设置索引将引用该计算的结果。仍将对所需的数据进行重新洗牌)。请注意，文档建议持久化after设置索引，但这种情况假设列存在(不需要单独计算)。

2. 在分区内排序，这可以很慢地完成，但当然只有在不需要全局排序的情况下才是一个选项。

3. 使用纯文本pandas，这可能需要对数据进行一些手动分块(我倾向于使用排序)。