Spacy 简明教程

spaCy 由软件开发人员 Matthew Honnibal 和 Ines Montani 开发，是一个用于高级 NLP 的开源软件库。它用 Python 和 Cython （Python 的 C 扩展，主要设计用于为 Python 语言程序提供类似 C 的性能）编写。

spaCy 是一个相对较新的框架，但它是最强大、最先进的库之一，用于实现 NLP。

spaCy 的部分特性使其颇受欢迎，如下所述：

Fast ——spaCy 经过专门设计，尽可能快。

Accuracy ——spaCy 实现的标注依存关系分析器，使其成为同类中最精确的框架之一（达到最佳可用框架的 1% 以内）。

Batteries included ——spaCy 中包含的配套工具如下：

Extensile ——你可以轻松地将 spaCy 与其他现有工具一起使用，如 TensorFlow、Gensim、scikit-Learn 等。

Deep learning integration ——它具有 Thinc（一个深度学习框架），专为 NLP 任务而设计。

spaCy 随附的部分易用扩展和可视化工具是免费的开源库，如下所列：

Thinc ——它是针对中央处理器 (CPU) 使用进行优化的机器学习 (ML) 库。它还设计用于具有文本输入和 NLP 任务的深度学习。

sense2vec ——这个库用于计算单词相似度。它基于 Word2vec。

displaCy ——它是一个开源依存关系分析树可视化器。它用 JavaScript、CSS（层叠样式表）和 SVG（可缩放矢量图形）构建。

displaCy ENT ——它是 spaCy 附带的内置命名实体可视化器。它用 JavaScript 和 CSS 构建。它允许用户在浏览器中查看其模型的预测。

下表展示了 spaCy、NLTK 和 CoreNLP 所提供的功能比较：

spaCy 拥有全球最快的句法解析器，以及最高精度（在最佳有效精度范围内 1%）。

下表显示 spaCy 的基准 −

spaCy v3.0 是最新版本，以夜间发布的形式提供。这是 spaCy 通过一个名为 spacy-nightly 的单独渠道进行的实验和 alpha 版发布。它反映了“未来的 spaCy”，不能用于生产用途。

为了防止潜在的冲突，请尝试使用一个新的虚拟环境。

您可以使用以下给出的 pip 命令来安装它：

下面解释了 spaCy 最新版本中的新特性和改进：

下面阐释了安装 spaCy 的不同选项 −

升级 spaCy 时应牢记以下几点 −

SpaCy v2.0 和更高版本提供了一个 validate 命令，它允许用户验证是否所有已安装的模型都与已安装的 spaCy 版本兼容。

如果存在任何不兼容模型， validate 命令将打印提示和安装说明。此命令还可以检测在不同虚拟环境中创建的、不同步的模型链接。

您可以按如下方式使用 validate 命令 −

在上述命令中，使用 python -m 确保我们执行的是正确的 spaCy 版本。

spaCy v2.0 及更高版本附带了可以在 Thinc 中实现的神经网络 (NN) 模型。如果想要使用图形处理器 (GPU) 支持运行 spaCy，请使用 Chainer 的 CuPy 模块。此模块为 GPU 数组提供了一个兼容 numpy 的接口。

您可以通过指定以下内容在 GPU 上安装 spaCy −

另一方面，如果您知道 cuda 的版本，显式指定符允许安装 cupy 。它将节省编译时间。

使用以下命令进行安装：

在启用 GPU 的安装后，按照如下方式调用 spacy.prefer_gpu 或 spacy.require_gpu 激活它：

目前，spaCy 支持以下语言：

spaCy’s statistical models

众所周知，spaCy 的模型可以作为 Python 包安装，这意味着它们就像其他任何模块一样是我们应用程序的组件。这些模块可以在 requirement.txt 文件中进行版本管理和定义。

spaCy 统计模型的安装说明如下：

这里说明了如何将模型与 spaCy 一起使用。

通常， [lang_[name]] 的命名约定是 spaCy 预期其所有的模型包都遵循的一个这样的约定。

spaCy 的 model 的名称还可以进一步划分为以下三个组成部分：

模型版本控制反映了以下内容：

例如，模型版本 r.s.t 翻译如下 −

spaCy 中的中心数据结构如下： −

spaCy 的数据结构有助于集中字符串、字向量和词汇属性，通过避免存储数据的多个副本从而节省内存。

下文解释了 spaCy 中的对象及其作用以及一个示例 −

spaCy v1.7.0 及更高版本随附新的命令行助手。它用于下载和链接模型。您还可以使用它来显示有用的调试信息。总之，命令行助手用于下载、训练、打包模型和调试 spaCy。

您可以使用 spacy - -help 命令查看可用命令。

下面给出了在 spaCy 中查看可用命令的示例 −

以下给出了 spaCy 中的命令及其各自的描述。

顾名思义，此 spaCy 函数将通过以下方式加载模型——

spaCy 将尝试按以下给定顺序解析加载参数——

使用此函数后，数据将通过 Language.from_disk 加载。

它是 spacy.blank() 函数的双胞胎，创建一个给定语言类的空白模型。

与 info 命令类似，spacy.info() 函数提供有关 spaCy 中安装、模型和本地设置的信息。

如果你想以字典形式获取模型元数据，可以将 meta-attribute 用在已加载模型的 nlp 对象上。例如， nlp.meta 。

此函数会为以下项目提供说明 −

如果你有 GPU，此函数会分配数据并在 GPU 上执行操作。但是，如果数据和操作已经在 CPU 上可用，则不会将它们移至 GPU。它会返回一个布尔值输出，表示是否激活了 GPU。

Example

spacy.prefer_gpu() 的使用示例如下 −

此函数在版本 2.0.14 中引入，它还将在 GPU 上分配数据并执行操作。如果没有可用的 GPU，它将引发错误。如果数据和操作已经在 CPU 上可用，则不会将它们移至 GPU。

建议在导入 spacy 和加载任何模型之前立即调用此函数。它还将返回一个布尔类型输出。

Example

spacy.require_gpu() 函数的使用示例如下 −

在这里，我们将了解displayCy依存项可视化器和displayCy实体可视化器。

从 2.0 版本开始，displaCy() 函数有两种方法，分别是 serve 和 render。 让我们详细讨论一下它们。 下表列出了这些方法及各自的说明。

displaCy.serve

此方法将提供依赖项分析树/可视化的命名实体，以便在 Web 浏览器中查看。 它将运行一个简单的 Web 浏览器。

Arguments

下表解释了它的参数 −

Example

下面给出了 displayCy.serve 方法的一个示例 −

Output

它提供以下输出 −

displaCy.render

此 dispaCy 方法将呈现依存关系解析树或命名实体可视化。

Arguments

下表解释了它的参数 −

Example

下面给出了 displaCy.render 方法的一个示例 −

Output

dispaCy () 函数的 option 参数允许我们为每个可视化程序指定附加设置，依赖关系以及命名实体可视化程序。

Dependency Visualizer options

下表说明了依存关系可视化程序选项 −

Named Entity Visualizer options

下表解释了命名实体可视化程序选项：

它是处理 Python 或平台兼容性的所有逻辑的函数。以一个下划线作为后缀来区别于其他内置函数。比如，unicode_。

下方表格中给出了几个示例 -

Example

spacy.compat() 函数的一个示例如下 -

Output

执行后，您将收到以下输出：

它是检查 Python 版本和操作系统（OS）的特定配置是否与用户设置匹配的函数。此函数主要用于显示目标错误消息。

我们有四个类由 spaCy 容器组成 -

Doc 类中使用的参数、序列化字段和方法解释如下：

它是一个上下文管理器，用于处理 Doc 类的重新 token 化。现在，我们来详细了解一下它。

下面是表，它简要提供了有关 retokenize 方法的信息。下表详细介绍了两种 retokenize 方法。

下面介绍了 spaCy 中 Doc 类的属性 −

如前面所讨论的，Token 类表示单独的标记，如单词、标点符号、空格、符号等。

以下是 Token 类中使用的方法 -

以下是 Token 类中使用的类方法 -

令牌属性及其各自的描述如下：

此令牌属性用于此令牌的句法后代的最右令牌。

Example

下面给出了令牌的 ancestors 属性示例 -

Output

此令牌属性用于返回协调令牌的元组。在此处，令牌本身将不包括在内。

Example

以下是 Token.conjuncts 属性的示例：

Output

输出如下：

此标记属性用于返回标记的直接句法子级的序列。

Example

以下是 Token.children 属性的示例：

Output

此标记属性用于单词的左向直接子级。这会在句法依存关系解析中。

Example

以下是 Token.lefts 属性的示例：

Output

你将获得以下输出 -

此标记属性用于单词的右向直接子级。这会在句法依存关系解析中。

Example

以下是 Token.rights 属性的示例：

Output

此标记属性用于单词的右向直接子级的数量。这会在句法依存关系解析中。

Example

以下是 Token.n_rights 属性的示例：

Output

此标记属性用于单词的左向直接子级的数量。这会在句法依存关系解析中。

Example

以下是 Token.n_lefts 属性的示例：

Output

输出如下 −

此标记属性会生成一个包含标记和所有标记句法后代的序列。

Example

以下是 Token.subtree 属性的示例：

Output

此标记属性表示实值含义。它会返回一个表示标记语义的一维数组。

Example 1

以下是 Token.vector 属性的示例：

Output

输出如下 −

Example 2

以下是 Token.vector 属性的另一个示例：

Output

输出如下 −

此标记属性表示标记向量表示的 L2 范数。

Example

以下是 Token.vector_norm 属性的示例：

Output

这是上面我们讨论过的 Doc 对象中的切片。

跨度类中使用的方法如下 -

跨度类中使用的类方法如下 -

以下是 spaCy 中跨度类的属性。

此 Span 属性用于 span 中的命名实体。如果已应用实体识别器，则此属性将返回命名实体 span 对象元组。

Example 1

Span.ents 属性的一个示例如下所示 −

Output

您将收到以下输出 −

Example 2

Span.ents 属性的另一个示例如下所示 −

Output

您将收到以下输出 −

Example 3

以下是 Span.ents 属性的另一个示例 −

Output

您将收到以下输出 −

顾名思义，此 Span 属性将创建一个对应于 Span 的新 Doc 对象。它还将拥有数据副本。

Example

Span.as_doc 属性的一个示例如下所示 −

Output

您将收到以下输出 −

此 Span 属性将提供标记与句子根之间的最短路径。如果有多个标记在树中高度较高，它将采用第一个标记。

Example 1

Span.root 属性的一个示例如下所示 −

Output

您将收到以下输出 −

Example 2

Span.root 属性的另一个示例如下所示 −

Output

您将收到以下输出 −

Example 3

以下是 Span.root 属性的一个示例 −

Output

您将收到以下输出 −

此 Span 属性用于 span 左侧并且头部位于 span 之内的标记。

Example

Span.lefts 属性的一个示例如下所示 −

Output

您将收到以下输出 −

此 Span 属性用于 span 右侧并且头部位于 span 之内的标记。

Example

Span.rights 属性的一个示例如下所示 −

Output

您将收到以下输出 −

此 Span 属性用于 span 右侧并且头部位于 span 之内的标记。

Example

Span.n_rights 属性示例如下所示 −

Output

您将收到以下输出 −

此 Span 属性用于那些在其头部位于 span 内的 span 左侧的标记中。

Example

Span.n_lefts 属性示例如下所示 −

Output

您将收到以下输出 −

此 Span 属性产生 span 内的标记以及从它们派生的标记。

Example

Span.subtree 属性示例如下所示 −

Output

您将收到以下输出 −

此 Span 属性表示一个实值含义。默认值是标记向量的平均值。

Example 1

Span.vector 属性示例如下所示 −

Output

您将收到以下输出 −

Span.vector 属性的另一个示例如下所示 −

Output

您将收到以下输出 −

此 doc 属性表示文档向量表示的 L2 范数。

Example

Span.vector_norm 属性示例如下所示 −

Output

您将收到以下输出 −

Lexeme 类是词汇中的一个条目。它没有字符串上下文。与一个单词标记相反，它是一种单词类型。这就是它没有 POS（词性）标记、依存关系分析或词干的原因。

以下是 Lexeme 类中使用的方法 −

这是 Lexeme 类最有用的方法之一。顾名思义，用于构造 Lexeme 对象。

此方法用于更改布尔标记的值。

此方法用于检查布尔标志的值。

此方法用于计算语义相似度估计值。默认情况下，对向量使用余弦定理。

以下是 Lexeme 类的属性。

此 Lexeme 属性表示实值含义。它将返回一个一维数组，表示词素的语义。

Example

以下提供 Lexeme.vector 属性的一个示例：

Output

您将看到以下输出 −

此 token 属性表示词素的向量表示的 L2 范数。

Example

以下提供 Lexeme.vector_norm 属性的一个示例：

Output

您将看到以下输出 −

让我们了解在 spaCy 中训练神经网络模型的步骤。

现在让我们借助以下图表了解这些步骤 −

这里 -

首先，实体识别器会提取文档并预测短语及其标签。

这意味着训练数据需要包含以下内容 −

每个标记只能是某个实体的一部分。因此，实体不能重叠。

我们还应该对实体及其周围语境进行训练，因为实体识别器在语境中预测实体。

可以通过向模型显示文本和一组字符偏移量来完成此操作。

举例如下：在下面给出的代码中，phone 是一个始于字符 0 并结束于字符 8 的小工具。

在此，模型还应当学习除了实体以外的单词。

考虑以下Training实体识别程序的另一个示例：

主要目标应该是教会我们的实体识别程序模型在相似上下文中识别新的实体，即使这些实体不在训练数据中。

一些库为我们提供了处理模型训练的方法，但另一方面，spaCy 为我们提供了对训练循环的完全控制。

训练循环可以定义为执行的一系列步骤，用于更新和训练模型。

以下是更新现有模型的原因 −

借助 spaCy，我们可以使用更多数据更新现有的预训练模型。例如，我们可以更新模型以改进其在不同文本上的预测。

更新现有预训练模型非常有用，如果你想对其已知的类别进行改进。例如，“人”或“组织”。我们还可以更新现有预训练模型以添加新类别。

我们建议始终用新类别的示例以及该模型之前正确预测的其他类别的示例更新现有预训练模型。如果不这样做，那么改进新类别可能会损害其他类别。

从以下给定的示例中，让我们了解如何从头开始设置一个新管道以更新现有模型-

Examples

下面是 starting with blank English model by using spacy.blank 的一个示例-

以下是 creating blank entity recognizer and adding it to the pipeline 的一个示例-

这是 adding a new label by using add_label 的一个示例-

starting the training by using nlp.begin_training is as follows 的一个示例-

这是一个 training for iterations and shuffling the data on each iteration 的示例。

这是一个 dividing the examples into batches using minibatch utility function for batch in spacy.util.minibatch(examples, size=2) 的示例。

下面是 updating the model with texts and annotations 的一个示例-