如何使用GROUPBY和应用极点

问题描述

我正试图弄清楚如何在Python的库极性中使用groupby和apply。

我的头都要碎了。

来自 pandas ，我使用的是：

def get_score(df):
   return spearmanr(df["prediction"], df["target"]).correlation

correlations = df.groupby("era").apply(get_score)

但在极地，这不起作用。

我尝试了几种方法，主要是以下几种：

correlations = df.groupby("era").apply(get_score)

但此操作失败，并显示错误消息：

"

"可以通过网络获取DataFrame属性"_df"。请确保返回DataFrame对象。语法：PyErr{type：<；class‘AttributeError’>；，value：AttributeError("；‘numpy.float64’对象没有属性‘_df’"；)，

有什么想法吗？

---

解决方案

从polars>=0.10.4开始，您可以使用pl.spearman_rank_corr函数。

如果您想使用自定义函数，可以这样做：

多列/表达式上的自定义函数

import polars as pl
from typing import List
from scipy import stats

df = pl.DataFrame({
    "g": [1, 1, 1, 2, 2, 2, 5],
    "a": [2, 4, 5, 190, 1, 4, 1],
    "b": [1, 3, 2, 1, 43, 3, 1]
})

def get_score(args: List[pl.Series]) -> pl.Series:
    return pl.Series([stats.spearmanr(args[0], args[1]).correlation], dtype=pl.Float64)

(df.groupby("g", maintain_order=True)
 .agg(
    pl.apply(
        exprs=["a", "b"], 
        f=get_score).alias("corr")
 ))

极点提供的函数

(df.groupby("g", maintain_order=True)
 .agg(
     pl.spearman_rank_corr("a", "b").alias("corr")
 ))

两个输出：

shape: (3, 2)
┌─────┬──────┐
│ g   ┆ corr │
│ --- ┆ ---  │
│ i64 ┆ f64  │
╞═════╪══════╡
│ 1   ┆ 0.5  │
├╌╌╌╌╌┼╌╌╌╌╌╌┤
│ 2   ┆ -1e0 │
├╌╌╌╌╌┼╌╌╌╌╌╌┤
│ 5   ┆ NaN  │
└─────┴──────┘

单个列/表达式上的自定义函数

我们还可以通过.apply或.map对单个表达式应用自定义函数。

下面是一个示例，说明如何使用自定义函数和普通极轴表达式对列进行平方。表达式语法 应该始终首选，因为这样要快得多。

(df.groupby("g")
 .agg(
     pl.col("a").apply(lambda group: group**2).alias("squared1"),
     (pl.col("a")**2).alias("squared2")
 ))

apply和map有什么区别？

map处理整列series。apply根据上下文处理单个值或单个组。

select上下文：

• map
  • 输入输出类型：Series
  • 输入语义：列值
• apply
  • 输入输出类型：Union[int, float, str, bool]
  • 输入语义：一列单值

groupby上下文：

• map
  • 输入输出类型：Series
  • 输入语义：值为分组的列表列
• apply
  • 输入输出类型：Series
  • 输入的语义：分组