Python Pandas 简明教程

Python Pandas - Sparse Data

当省略任何与特定值（NaN/空白值，但可以选择任何值）匹配的数据时，“压缩”稀疏对象。一个特殊的 SparseIndex 对象会追踪数据被“稀疏化”的位置。这将在一个示例中更有意义。所有标准 Pandas 数据结构都会应用 to_sparse 方法 −

import pandas as pd
import numpy as np

ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts

它的 output 如下所示 −

0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64
BlockIndex
Block locations: array([0, 8], dtype=int32)
Block lengths: array([2, 2], dtype=int32)

稀疏对象的存在是为了提高内存效率。

让我们假设你有一个较大的 NA DataFrame 并执行以下代码 −

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(10000, 4))
df.ix[:9998] = np.nan
sdf = df.to_sparse()

print sdf.density

它的 output 如下所示 −

0.0001

可以使用 to_dense 将任何稀疏对象转换回标准的密集形式 −

import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts.to_dense()

它的 output 如下所示 −

0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64

Sparse Dtypes

稀疏数据应该与其密集表示形式具有相同的 dtype。当前，支持 float64, int64 和 booldtypes 。根据原始 dtype, fill_value default 更改 −

float64 − np.nan
int64 − 0
bool − False

让我们执行以下代码来理解这一点 −

import pandas as pd
import numpy as np

s = pd.Series([1, np.nan, np.nan])
print s

s.to_sparse()
print s

它的 output 如下所示 −

0   1.0
1   NaN
2   NaN
dtype: float64

0   1.0
1   NaN
2   NaN
dtype: float64