从NumPy掩码数组创建Pandas DataFrame？
问题描述
我正在尝试从NumPy掩码数组创建一个PandasDataFrame，我知道这是一个受支持的操作。以下是源数组的示例：
a = ma.array([(1, 2.2), (42, 5.5)],
dtype=[('a',int),('b',float)],
mask=[(True,False),(False,True)])
哪个输出为：
masked_array(data=[(--, 2.2), (42, --)],
mask=[( True, False), (False, True)],
fill_value=(999999, 1.e+20),
dtype=[('a', '<i8'), ('b', '<f8')])
尝试使用pd.DataFrame(a)创建DataFrame返回：
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
<ipython-input-40-a4c5236a3cd4> in <module>
----> 1 pd.DataFrame(a)
/usr/local/anaconda/lib/python3.8/site-packages/pandas/core/frame.py in __init__(self, data, index, columns, dtype, copy)
636 # a masked array
637 else:
--> 638 data = sanitize_masked_array(data)
639 mgr = ndarray_to_mgr(
640 data,
/usr/local/anaconda/lib/python3.8/site-packages/pandas/core/construction.py in sanitize_masked_array(data)
452 """
453 mask = ma.getmaskarray(data)
--> 454 if mask.any():
455 data, fill_value = maybe_upcast(data, copy=True)
456 data.soften_mask() # set hardmask False if it was True
/usr/local/anaconda/lib/python3.8/site-packages/numpy/core/_methods.py in _any(a, axis, dtype, out, keepdims, where)
54 # Parsing keyword arguments is currently fairly slow, so avoid it for now
55 if where is True:
---> 56 return umr_any(a, axis, dtype, out, keepdims)
57 return umr_any(a, axis, dtype, out, keepdims, where=where)
58
TypeError: cannot perform reduce with flexible type
是否确实支持此操作？当前使用的是Pandas 1.3.3和NumPy 1.20.3。
更新
这是否受支持？ 根据Pandas documentation here：
上面的代码是我提出的问题，如果我将一个NumPy掩码数组传递给Pandas，我会得到什么？但这正是我希望得到的结果。上面是我能想到的最简单的例子。或者，您也可以将数字.MaskedArray作为Data参数传递给DataFrame构造函数，它的掩码条目将被视为丢失。
我确实希望 pandas 中的每个系列/列都是单一类型的。
更新2
任何对此感兴趣的人都可能会看到此PandasGitHub issue；注意到Pandas已弃用对MaskedRecords的支持。
解决方案
如果数组具有简单数据类型，则数据帧创建工作(如文档所述)：
In [320]: a = np.ma.array([(1, 2.2), (42, 5.5)],
...: mask=[(True,False),(False,True)])
In [321]: a
Out[321]:
masked_array(
data=[[--, 2.2],
[42.0, --]],
mask=[[ True, False],
[False, True]],
fill_value=1e+20)
In [322]: import pandas as pd
In [323]: pd.DataFrame(a)
Out[323]:
0 1
0 NaN 2.2
1 42.0 NaN
Thisa为(2，2)，结果为2行2列
使用复合dtype，形状为1D：
In [326]: a = np.ma.array([(1, 2.2), (42, 5.5)],
...: dtype=[('a',int),('b',float)],
...: mask=[(True,False),(False,True)])
In [327]: a.shape
Out[327]: (2,)
该错误是对掩码进行测试的结果。flexible type指您的化合物dtype：
In [330]: a.mask.any()
Traceback (most recent call last):
File "<ipython-input-330-8dc32ee3f59d>", line 1, in <module>
a.mask.any()
File "/usr/local/lib/python3.8/dist-packages/numpy/core/_methods.py", line 57, in _any
return umr_any(a, axis, dtype, out, keepdims)
TypeError: cannot perform reduce with flexible type
文档中的 pandas 功能显然不适用于结构化数组。如果不研究PANDA代码，我就不能确切地说出它在这一点上试图做什么，但很明显，代码在编写时并没有考虑到结构化数组。
非屏蔽部分可以使用所需的列数据类型：
In [332]: pd.DataFrame(a.data)
Out[332]:
a b
0 1 2.2
1 42 5.5
使用默认fill：
In [344]: a.filled()
Out[344]:
array([(999999, 2.2e+00), ( 42, 1.0e+20)],
dtype=[('a', '<i8'), ('b', '<f8')])
In [345]: pd.DataFrame(a.filled())
Out[345]:
a b
0 999999 2.200000e+00
1 42 1.000000e+20
我必须更多地查看ma文档/代码，以了解是否可以对这两个字段应用不同的填充。用nan填充不适用于int字段。numpy没有pandas'int None。我还没有使用过足够多的PANDA功能，无法知道结果dtype是仍然是int，还是被更改为Object。
无论如何，您使用此任务都是在挑战np.ma和pandas的界限。
编辑
默认的Fill_Value是一个元组，每个字段对应一个：
In [350]: a.fill_value
Out[350]: (999999, 1.e+20)
这样我们就可以用不同的方式填充这些字段，并从中创建一个框架：
In [351]: a.filled((-1, np.nan))
Out[351]: array([(-1, 2.2), (42, nan)], dtype=[('a', '<i8'), ('b', '<f8')])
In [352]: pd.DataFrame(a.filled((-1, np.nan)))
Out[352]:
a b
0 -1 2.2
1 42 NaN
看起来我可以用Pandas dtype及其关联的Fill_Value：
创建一个结构化数组In [363]: a = np.ma.array([(1, 2.2), (42, 5.5)],
...: dtype=[('a',pd.Int64Dtype),('b',float)],
...: mask=[(True,False),(False,True)],
fill_value=(pd.NA,np.nan))
In [364]: a
Out[364]:
masked_array(data=[(--, 2.2), (42, --)],
mask=[( True, False), (False, True)],
fill_value=(<NA>, nan),
dtype=[('a', 'O'), ('b', '<f8')])
In [366]: pd.DataFrame(a.filled())
Out[366]:
a b
0 <NA> 2.2
1 42 NaN
相关文章