Python Data Science 简明教程
Python - Data Cleansing
缺失数据在实际生活中始终是一个问题。由于由缺失值导致的数据质量低，机器学习和数据挖掘等领域在其模型预测的准确性方面面临严重问题。在这些领域，缺失值处理是使其模型更准确、更有效的重点。
When and Why Is Data Missed?
我们考虑一下一个产品的在线调查。很多时候，人们不会分享与他们相关的所有信息。很少有人分享他们的体验，但不会分享他们使用该产品的时间；很少有人分享他们使用该产品的时间、体验但不会分享他们的联系信息。因此，或多或少总有部分数据缺失，而且这在实时中是非常常见的。
现在让我们看看如何使用 Pandas 处理缺失值（例如 NA 或 NaN）。
# import the pandas library
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print df它的 output 如下所示 −
one two three
a 0.077988 0.476149 0.965836
b NaN NaN NaN
c -0.390208 -0.551605 -2.301950
d NaN NaN NaN
e -2.000303 -0.788201 1.510072
f -0.930230 -0.670473 1.146615
g NaN NaN NaN
h 0.085100 0.532791 0.887415使用 reindexing，我们创建了一个包含缺失值的 DataFrame。在输出中， NaN 意味着 Not a Number.
Check for Missing Values
为了使检测缺失值更容易（并且跨不同的数组数据类型），Pandas 提供了 isnull() 和 notnull() 函数，它们也是 Series 和 DataFrame 对象上的方法 −
Example
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print df['one'].isnull()它的 output 如下所示 −
a False
b True
c False
d True
e False
f False
g True
h False
Name: one, dtype: boolReplace NaN with a Scalar Value
以下程序显示了如何将“NaN”替换为“0”。
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(3, 3), index=['a', 'c', 'e'],columns=['one',
'two', 'three'])
df = df.reindex(['a', 'b', 'c'])
print df
print ("NaN replaced with '0':")
print df.fillna(0)它的 output 如下所示 −
one two three
a -0.576991 -0.741695 0.553172
b NaN NaN NaN
c 0.744328 -1.735166 1.749580
NaN replaced with '0':
one two three
a -0.576991 -0.741695 0.553172
b 0.000000 0.000000 0.000000
c 0.744328 -1.735166 1.749580在这里，我们用值 0 来填充；相反，我们也可以用任何其他值来填充。
Fill NA Forward and Backward
利用重新索引章节中讨论的填充概念，我们将填充缺失值。
Method |
Action |
pad/fill |
Fill methods Forward |
bfill/backfill |
Fill methods Backward |
Example
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print df.fillna(method='pad')它的 output 如下所示 −
one two three
a 0.077988 0.476149 0.965836
b 0.077988 0.476149 0.965836
c -0.390208 -0.551605 -2.301950
d -0.390208 -0.551605 -2.301950
e -2.000303 -0.788201 1.510072
f -0.930230 -0.670473 1.146615
g -0.930230 -0.670473 1.146615
h 0.085100 0.532791 0.887415Drop Missing Values
如果你只想排除缺失值，那么使用 dropna 函数以及 axis 参数。默认情况下，axis=0，即沿着行，这意味着如果一行内的任何值都为 NA，则整行都会被排除在外。
Example
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print df.dropna()它的 output 如下所示 −
one two three
a 0.077988 0.476149 0.965836
c -0.390208 -0.551605 -2.301950
e -2.000303 -0.788201 1.510072
f -0.930230 -0.670473 1.146615
h 0.085100 0.532791 0.887415