我怎么才能加快团购的速度呢?

2022-02-26 00:00:00 pandas dataframe pandas-groupby

问题描述

我有以下数据帧:

import pandas as pd
array = {'id': [1, 1, 1, 2, 2, 2, 3, 3], 'A': [False, False, True, False, False, False, True, True],
         'B': [False, True, True, False, True, False, False, False]}
df = pd.DataFrame(array)
df

我希望在一行中表示每个id。如果特定列上此id的所有值都为false,则其值应该为false。如果至少有一个是True,那么它就应该是True。 我已从以下内容开始:

df.groupby(['id']).sum()

之后,我将把每个大于0的值转换为1。 这可以很好地工作,但是我的原始数据帧有2,000,000行和14,000列,因此需要几天时间……

有没有其他更快捷的方法来完成这项任务?


解决方案

您可以通过取每个组的最大值而不是总和来节省第二步:

df.groupby(['id']).max()

您可能会认为使用any进行聚合应该会更快,因为这样在达到第一个True之前只需计算每个子系列,但显然以下内容要慢得多(根据DYZ的评论):

df.groupby(['id']).agg(any)

因此,我建议使用NumPy的any函数测试它,该函数可能会更好地处理此问题:

import numpy as np
df.groupby(['id']).agg(np.any)

或者您可以不使用agg,就像Henry Ecker建议的那样:

df.groupby(['id']).any()
但是,这些方法都不像人们预期的那样快。因此,您最好的选择可能是将数据帧转换为NumPy整数数组,然后在纯NumPy中进行分组。请参见this question。

相关文章