Artificial Intelligence With Python 简明教程

AI with Python – Analyzing Time Series Data

预测给定输入序列中的下一个序列是机器学习中的另一个重要概念。本章详细解释了如何分析时间序列数据。

Introduction

时间序列数据是指一系列特定时间间隔内的数据。如果我们想要在机器学习中构建序列预测,则必须处理顺序数据和时间。序列数据是顺序数据的摘要。数据的排序是顺序数据的一个重要特征。

Basic Concept of Sequence Analysis or Time Series Analysis

序列分析或时间序列分析是基于以前观察到的内容预测给定输入序列中的下一个序列。预测可以是任何可能紧随其后的内容:符号、数字、次日天气、演讲中的下一个术语等。序列分析在诸如股票市场分析、天气预报和产品推荐之类的应用中非常有用。

Example

考虑以下示例以了解序列预测。此处 A,B,C,D 是给定值,您必须使用序列预测模型预测值 E

sequence prediction model

Installing Useful Packages

对于使用 Python 进行时间序列数据分析,我们需要安装以下软件包:

Pandas

Pandas 是一个开源的 BSD 许可库,它为 Python 提供了高性能、易于使用的数据结构和数据分析工具。您可以使用以下命令安装 Pandas:

pip install pandas

如果您使用的是 Anaconda,并且想通过 conda 软件包管理器进行安装,则可以使用以下命令:

conda install -c anaconda pandas

hmmlearn

这是一个开源的 BSD 许可库,其中包含一些简单的算法和模型来学习 Python 中的隐马尔可夫模型 (HMM)。您可以使用以下命令安装它:

pip install hmmlearn

如果您使用的是 Anaconda,并且想通过 conda 软件包管理器进行安装,则可以使用以下命令:

conda install -c omnia hmmlearn

PyStruct

这是一个结构化学习和预测库。PyStruct 中实现的学习算法具有以下名称,如条件随机场 (CRF)、最大边缘马尔可夫随机网络 (M3N) 或结构支持向量机。您可以使用以下命令安装它:

pip install pystruct

CVXOPT

它用于基于 Python 编程语言的凸优化。它也是一个免费软件包。您可以使用以下命令安装它:

pip install cvxopt

如果您使用的是 Anaconda,并且想通过 conda 软件包管理器进行安装,则可以使用以下命令:

conda install -c anaconda cvdoxt

Pandas: Handling, Slicing and Extracting Statistic from Time Series Data

如果您需要处理时间序列数据,Pandas 是一个非常有用的工具。借助 Pandas,您可以执行以下操作:

  1. 使用 pd.date_range 软件包创建日期范围

  2. 使用 pd.Series 软件包用日期对 Pandas 进行索引

  3. 使用 ts.resample 软件包执行重新采样

  4. Change the frequency

Example

以下示例演示了如何使用 Pandas 处理和切分时间序列数据。请注意,此处我们使用的是北极涛动月度数据,它可以从以下链接下载: monthly.ao.index.b50.current.ascii ,并且可以转换成文本格式供我们使用。

Handling time series data

要处理时间序列数据,您需要执行以下步骤:

第一步是导入以下软件包:

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

接下来,定义一个函数,它将从输入文件中读取数据,如下面的代码所示:

def read_data(input_file):
   input_data = np.loadtxt(input_file, delimiter = None)

现在,将此数据转换为时间序列。为此,创建我们时间序列的日期范围。在此示例中,我们将一个月的频率作为数据的频率。我们的文件具有从 1950 年 1 月开始的数据。

dates = pd.date_range('1950-01', periods = input_data.shape[0], freq = 'M')

在此步骤中,我们借助 Pandas Series 创建时间序列数据,如下所示 -

output = pd.Series(input_data[:, index], index = dates)
return output

if __name__=='__main__':

输入输入文件路径,如下所示 -

input_file = "/Users/admin/AO.txt"

现在,将列转换为时间序列格式,如下所示 -

timeseries = read_data(input_file)

最后,使用所示命令绘制并可视化数据 -

plt.figure()
timeseries.plot()
plt.show()

您将观察到如下图像中所示的图表 -

time series
plots

Slicing time series data

切片涉及仅检索时间序列数据的一部分。作为示例的一部分,我们仅从 1980 年到 1990 年对数据进行切片。观察执行此任务的以下代码 -

timeseries['1980':'1990'].plot()
   <matplotlib.axes._subplots.AxesSubplot at 0xa0e4b00>

plt.show()

当您运行切片时间序列数据的代码时,您可以看到图像中所示的以下图形 -

slicing time series data

Extracting Statistic from Time Series Data

在需要得出一些重要结论的情况下,您必须从给定的数据中提取一些统计信息。均值、方差、相关性、最大值和最小值是此类统计数据的一部分。如果您想从给定的时间序列数据中提取此类统计信息,可以使用以下代码 -

Mean

您可以使用 mean() 函数来查找均值,如下所示 -

timeseries.mean()

然后你将观察到的示例输出是 -

-0.11143128165238671

Maximum

您可以使用 max() 函数查找最大值,如下所示 -

timeseries.max()

然后你将观察到的示例输出是 -

3.4952999999999999

Minimum

您可以使用 min() 函数来查找最小值,如下所示 -

timeseries.min()

然后你将观察到的示例输出是 -

-4.2656999999999998

Getting everything at once

如果您想一次计算所有统计信息,您可以使用 describe() 函数,如下所示 -

timeseries.describe()

然后你将观察到的示例输出是 -

count   817.000000
mean     -0.111431
std       1.003151
min      -4.265700
25%      -0.649430
50%      -0.042744
75%       0.475720
max       3.495300
dtype: float64

Re-sampling

您可以将数据重新采样为不同的时间频率。用于执行重新采样的两个参数是 -

  1. Time period

  2. Method

Re-sampling with mean()

您可以使用以下代码使用 mean() 方法重新采样数据,这是默认方法 -

timeseries_mm = timeseries.resample("A").mean()
timeseries_mm.plot(style = 'g--')
plt.show()

然后,您可以观察以下图形作为使用 mean() 重新采样的输出 -

re sampling with mean method

Re-sampling with median()

您可以使用以下代码使用 median() 方法重新采样数据 -

timeseries_mm = timeseries.resample("A").median()
timeseries_mm.plot()
plt.show()

然后,您可以观察以下图形作为使用 median() 重新采样的输出 -

re sampling with median method

Rolling Mean

你可以使用以下代码计算滚动(移动)平均值 -

timeseries.rolling(window = 12, center = False).mean().plot(style = '-g')
plt.show()

然后,你可以观察到以下图表作为滚动(移动)平均值的输出 -

rolling mean

Analyzing Sequential Data by Hidden Markov Model (HMM)

HMM 是一个统计模型,广泛用于具有连续性和可扩展性的数据,如时间序列股票市场分析、健康检查和语音识别。本节详细介绍了使用隐马尔可夫模型 (HMM) 分析顺序数据。

Hidden Markov Model (HMM)

HMM 是一个基于马尔可夫链概念构建的随机模型,基于如下假设:未来状态的概率仅取决于当前流程状态,而不是先前的任何状态。例如,抛硬币时,我们不能说第五次抛掷的结果将是正面。这是因为硬币没有任何记忆力,并且下一个结果并不取决于前一个结果。

在数学上,HMM 包含以下变量 -

States (S)

它是一组存在于 HMM 中的隐藏或潜在状态。它用 S 表示。

Output symbols (O)

它是一组存在于 HMM 中的可能输出符号。它用 O 表示。

State Transition Probability Matrix (A)

它是从一个状态转换为其他各个状态的概率。它用 A 表示。

Observation Emission Probability Matrix (B)

它是处于特定状态时发出/观察某个符号的概率。它用 B 表示。

Prior Probability Matrix (Π)

它是从系统的各个状态开始处于特定状态的概率。它用 Π 表示。

因此,可以将 HMM 定义为 𝝀 = (S,O,A,B,𝝅)

其中,

  1. S = {s1,s2,…,sN} 是一组 N 个可能状态,

  2. O = {o1,o2,…,oM} 是一组 M 个可能的观测符号,

  3. A 是一个 N𝒙N 状态转移概率矩阵 (TPM),

  4. B 是一个 N𝒙M 观测或发射概率矩阵 (EPM),

  5. π 是一个 N 维初始状态概率分布向量。

Example: Analysis of Stock Market data

在此示例中,我们将逐步分析股票市场的数据,了解 HMM 如何使用顺序或时间序列数据。请注意,我们是在 Python 中实现此示例。

按照如下所示导入必要的包 -

import datetime
import warnings

现在,从 matpotlib.finance 包中使用股票市场数据,如下所示 -

import numpy as np
from matplotlib import cm, pyplot as plt
from matplotlib.dates import YearLocator, MonthLocator
try:
   from matplotlib.finance import quotes_historical_yahoo_och1
except ImportError:
   from matplotlib.finance import (
      quotes_historical_yahoo as quotes_historical_yahoo_och1)

from hmmlearn.hmm import GaussianHMM

从开始日期和结束日期加载数据,即介于两个具体日期之间,如下所示 −

start_date = datetime.date(1995, 10, 10)
end_date = datetime.date(2015, 4, 25)
quotes = quotes_historical_yahoo_och1('INTC', start_date, end_date)

在此步骤中,我们将提取每天的收盘报价。为此,使用以下命令 −

closing_quotes = np.array([quote[2] for quote in quotes])

现在,我们将提取每天交易的股票数量。为此,使用以下命令 −

volumes = np.array([quote[5] for quote in quotes])[1:]

在此,使用下面显示的代码得出收盘股票价格的百分比差异 −

diff_percentages = 100.0 * np.diff(closing_quotes) / closing_quotes[:-]
dates = np.array([quote[0] for quote in quotes], dtype = np.int)[1:]
training_data = np.column_stack([diff_percentages, volumes])

在此步骤中,创建并训练高斯 HMM。为此,使用以下代码 −

hmm = GaussianHMM(n_components = 7, covariance_type = 'diag', n_iter = 1000)
with warnings.catch_warnings():
   warnings.simplefilter('ignore')
   hmm.fit(training_data)

现在,使用显示的命令,利用 HMM 模型生成数据 −

num_samples = 300
samples, _ = hmm.sample(num_samples)

最后,在此步骤中,我们将以图形的形式绘制和可视化差异百分比和作为输出成交的股票数量。

使用以下代码绘制和可视化差异百分比 −

plt.figure()
plt.title('Difference percentages')
plt.plot(np.arange(num_samples), samples[:, 0], c = 'black')

使用以下代码绘制和可视化所交易股票的数量 −

plt.figure()
plt.title('Volume of shares')
plt.plot(np.arange(num_samples), samples[:, 1], c = 'black')
plt.ylim(ymin = 0)
plt.show()