还有比 pandas 填充()更快的方法吗？

问题描述

Pandasfillna()速度明显较慢，尤其是在数据帧中有大量丢失数据的情况下。

有没有比这更快的方法？

(我知道如果我只删除包含Nas的一些行和/或列会有所帮助)

---

解决方案

我尝试测试：

np.random.seed(123)
N = 60000
df = pd.DataFrame(np.random.choice(['a', None], size=(N, 20), p=(.7, .3)))

---

In [333]: %timeit df.fillna('b')
93.5 ms ± 1.28 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [337]: %timeit df[df.isna()] = 'b'
122 ms ± 2.75 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

略有更改的解决方案(但我觉得有点老套)：

#pandas below
In [335]: %timeit df.values[df.isna()] = 'b'
56.7 ms ± 799 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

#pandas 0.24+
In [339]: %timeit df.to_numpy()[df.isna()] = 'b'
56.5 ms ± 951 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)