我怎么才能加快团购的速度呢?
问题描述
我有以下数据帧:
import pandas as pd
array = {'id': [1, 1, 1, 2, 2, 2, 3, 3], 'A': [False, False, True, False, False, False, True, True],
'B': [False, True, True, False, True, False, False, False]}
df = pd.DataFrame(array)
df
我希望在一行中表示每个id。如果特定列上此id的所有值都为false,则其值应该为false。如果至少有一个是True,那么它就应该是True。 我已从以下内容开始:
df.groupby(['id']).sum()
之后,我将把每个大于0的值转换为1。 这可以很好地工作,但是我的原始数据帧有2,000,000行和14,000列,因此需要几天时间……
有没有其他更快捷的方法来完成这项任务?
解决方案
您可以通过取每个组的最大值而不是总和来节省第二步:
df.groupby(['id']).max()
您可能会认为使用any
进行聚合应该会更快,因为这样在达到第一个True
之前只需计算每个子系列,但显然以下内容要慢得多(根据DYZ的评论):
df.groupby(['id']).agg(any)
因此,我建议使用NumPy的any
函数测试它,该函数可能会更好地处理此问题:
import numpy as np
df.groupby(['id']).agg(np.any)
或者您可以不使用agg
,就像Henry Ecker建议的那样:
df.groupby(['id']).any()
但是,这些方法都不像人们预期的那样快。因此,您最好的选择可能是将数据帧转换为NumPy整数数组,然后在纯NumPy中进行分组。请参见this question。
相关文章