DASK计算非常慢

问题描述

我有一个由500万条记录组成的数据帧。我正在尝试使用下面的代码来处理它，方法是利用Python中的DaskDataFrame

 import dask.dataframe as dd                                          
 dask_df = dd.read_csv(fullPath)
 ............
 for index , row in uniqueURLs.iterrows():
   print(index);
   results = dask_df[dask_df['URL'] == row['URL']]
   count = results.size.compute();

但我注意到DASK在过滤数据帧方面非常有效，但在.Compute()中却不是这样。因此，如果我删除了计算结果大小的行，我的程序就会变得非常快。有没有人能解释一下这个？我如何才能使它更快？

---

解决方案

但我注意到DASK在过滤数据帧方面非常高效，但是 不在.Compute()中。

您误解了dask.dataframe的工作方式。行results = dask_df[dask_df['URL'] == row['URL']]不对数据集执行不计算。它只存储可在以后触发的计算指令。

所有计算仅应用于行count = results.size.compute()。这完全在意料之中，因为dask运行缓慢。

考虑一个生成器和一个可以耗尽生成器的函数，例如list。生成器本身是惰性的，但在被函数调用时会触发操作。dask.dataframe也很懒，但通过形成一条内部的顺序操作"链"来灵巧地工作。

有关详细信息，请参阅文档中的Laziness and Computing。