将PANDAS.DataFrame的集成矢量化

问题描述

我有DataFrame个力-位移数据。位移数组已设置为DataFrame索引，列是我针对不同测试的各种力曲线。

如何计算已完成的功(即"曲线下面积")？

我查看了numpy.trapz，它似乎做了我需要的事情，但我认为我可以避免像这样循环遍历每一列：

import numpy as np
import pandas as pd 

forces = pd.read_csv(...)
work_done = {}

for col in forces.columns:
    work_done[col] = np.trapz(forces.loc[col], forces.index))

我希望创建曲线下区域的新DataFrame，而不是dict，并认为DataFrame.apply()或其他内容可能是合适的，但不知道从哪里开始查找。

简而言之：

1. 我可以避免循环吗？
2. 我可以创建直接完成的工作的DataFrame吗？

提前感谢您的帮助。

---

解决方案

您可以通过将整个DataFrame传递给np.trapz并指定axis=参数将其矢量化，例如：

import numpy as np
import pandas as pd

# some random input data
gen = np.random.RandomState(0)
x = gen.randn(100, 10)
names = [chr(97 + i) for i in range(10)]
forces = pd.DataFrame(x, columns=names)

# vectorized version
wrk = np.trapz(forces, x=forces.index, axis=0)
work_done = pd.DataFrame(wrk[None, :], columns=forces.columns)

# non-vectorized version for comparison
work_done2 = {}
for col in forces.columns:
    work_done2.update({col:np.trapz(forces.loc[:, col], forces.index)})

这些将提供以下输出：

from pprint import pprint

pprint(work_done.T)
#            0
# a -24.331560
# b -10.347663
# c   4.662212
# d -12.536040
# e -10.276861
# f   3.406740
# g  -3.712674
# h  -9.508454
# i  -1.044931
# j  15.165782

pprint(work_done2)
# {'a': -24.331559643023006,
#  'b': -10.347663159421426,
#  'c': 4.6622123535050459,
#  'd': -12.536039649161403,
#  'e': -10.276861220217308,
#  'f': 3.4067399176289994,
#  'g': -3.7126739591045541,
#  'h': -9.5084536839888187,
#  'i': -1.0449311137294459,
#  'j': 15.165781517623724}

您的原始示例还有其他几个问题。col是列名而不是行索引，所以它需要索引数据帧的第二个维度(即.loc[:, col]而不是.loc[col])。此外，在最后一行还有一个额外的尾部括号。

---

编辑：

您也可以通过.apply向每列np.trapz直接生成输出DataFrame，例如：

work_done = forces.apply(np.trapz, axis=0, args=(forces.index,))

但是，这并不是真正的"适当"矢量化-您仍然对每列分别调用np.trapz。通过将.apply版本的速度与直接调用np.trapz的速度进行比较可以看出这一点：

In [1]: %timeit forces.apply(np.trapz, axis=0, args=(forces.index,))
1000 loops, best of 3: 582 µs per loop

In [2]: %timeit np.trapz(forces, x=forces.index, axis=0)
The slowest run took 6.04 times longer than the fastest. This could mean that an
intermediate result is being cached 
10000 loops, best of 3: 53.4 µs per loop

这不是一个完全公平的比较，因为第二个版本从输出numpy数组中排除了构造DataFrame所用的额外时间，但这仍然应该小于执行实际集成所用的时间差异。