如何将 pandas DF转换为稀疏DF

问题描述

我在DataFrame中有一个巨大的稀疏数据集，并且一直在使用df.to_parse，但它很快就会被弃用，所以我想切换到pd.Series(pd.SparseArray())，但不确定如何对整个DataFrame执行此操作？

我的最终df是100K行和49K列，因此需要一种自动方式。

---

解决方案

您可以尝试如下操作：

dtype = {key: pd.SparseDtype(df.dtypes[key].type, fill_value=df[key].value_counts().argmax()) for key in df.dtypes.keys()}

df = df.astype(dtype)

，然后使用df.sparse.density检查密度。

这将为每列创建稀疏数据，并将最频繁的值作为填充值。

(但不确定这是否是最佳方法)