Python Text Processing 简明教程

Python - Bigrams

一些英语单词经常同时出现。例如，“Sky High”（直插云霄），“do or die”（不成功便成仁），最佳表现，“heavy rain”（暴雨）等。因此，在文本文档中，我们可能需要识别这样的一对单词，这对情绪分析会有帮助。首先，我们需要从现有句子中生成这样的单词对，并保留它们的当前顺序。这些对称为双字。Python 在 nltk 库中有一个双字函数，可以帮助我们生成这些对。

Example

import nltk

word_data = "The best performance can bring in sky high success."
nltk_tokens = nltk.word_tokenize(word_data)

print(list(nltk.bigrams(nltk_tokens)))

当我们运行以上程序时，我们得到了以下输出 −

[('The', 'best'), ('best', 'performance'), ('performance', 'can'), ('can', 'bring'),
('bring', 'in'), ('in', 'sky'), ('sky', 'high'), ('high', 'success'), ('success', '.')]

此结果可用于给定文本中此类对出现的频率的统计结果。它将与文本主体中存在的描述的总体情绪相关。