如何在DaskDataFrame中创建唯一索引？

问题描述

假设我有来自read_csv的DaskDataFrame或以其他方式创建的DataFrame。

如何为DaskDataFrame创建唯一索引？

注意：

reset_index在每个分区中构建单调升序索引。这意味着(0，1，2，3，4，5，...)对于分区1， (0，1，2，3，4，5，...)对于分区2，(0，1，2，3，4，5，...)分区3，依此类推。

我希望数据帧中的每一行(跨所有分区)都有唯一索引。

---

解决方案

这是我使用MAP_PARTITIONS和真正的随机数构建唯一索引的方法(函数)，因为简单的RESET_INDEX会在每个分区中创建一个单调升序索引！

import sys
import random
from dask.distributed import Client

client = Client()

def createDDF_u_idx(ddf):

    def create_u_idx(df):
        rng = random.SystemRandom()
        p_id = str(rng.randint(0, sys.maxsize))

        df['idx'] = [p_id + 'a' + str(x) for x in range(df.index.size)]

        return df
    cols_meta = {c: str(ddf[c].dtype) for c in ddf.columns}
    ddf = ddf.map_partitions(lambda df: create_u_idx(df), meta={**cols_meta, 'idx': 'str'})
    ddf = client.persist(ddf)  # compute up to here, keep results in memory
    ddf = ddf.set_index('idx')

    return ddf