Natural Language Processing 简明教程

该阶段所做的工作主要集中在机器翻译 (MT)。这个阶段是一个充满热情和乐观主义的时期。

现在让我们看看第一阶段有什么内容：

在这个阶段，所做的工作主要与世界知识以及它在构造和操纵意义表征中的作用有关。这就是为什么这个阶段也被称为人工智能风味阶段。

该阶段包括以下内容：

这个阶段可以描述为语法逻辑阶段。由于上个阶段实际系统构建失败，研究人员转向使用逻辑进行人工智能中的知识表示和推理。

第三阶段包括以下内容：

我们可以将此描述为词法和语料库阶段。该阶段采用了词法化语法方法，该方法出现在 20 世纪 80 年代末并产生越来越大的影响。随着机器学习算法在语言处理方面的引入，这个十年发生了自然语言处理的革命。

单个单词的模糊性称为词法模糊性。例如，将单词 silver 视为名词、形容词或动词。

当句子以不同方式进行解析时，就会出现这种类型的模糊性。例如，句子“这个人用望远镜看到了那个女孩”。模糊的是，这个人看到女孩拿着望远镜，还是他通过望远镜看到了她。

当单词本身的含义可能被误解时，就会出现这种类型的模糊性。换句话说，语义模糊性发生在句子包含一个模棱两可的单词或短语时。例如，句子“这辆车在行驶时撞到了电线杆”具有语义模糊性，因为解释可以是“这辆车在行驶时撞到了电线杆”和“这辆车撞到了电线杆，而电线杆正在移动”。

这种模糊性是由于话语中使用了指代实体而产生的。例如，马沿着小路跑。它非常陡峭。它很快就累了。这里，“它”在两种情况下的指代关系造成了模糊性。

此类模糊性是指短语的上下文赋予其多重解释的情况。简单来说，我们可以说，当表述不具体时，就会出现语用模糊性。例如，句子“我也喜欢你”可以有多种解释，例如我喜欢你（就像你一样喜欢我），我喜欢你（就像其他人一样）。

这是 NLP 的第一阶段。此阶段的目的是将语言输入块分解为对应于段落、句子和单词的标记集。例如，像 “uneasy” 这样的单词可以分解成 “un-easy” 两个子词令牌。

这是 NLP 的第二个阶段。此阶段的目的有两个：检查句子是否构成良好，以及将其分解为反映不同单词之间句法关系的结构。例如，像 “The school goes to the boy” 这样的句子将被语法分析器或解析器拒绝。

这是 NLP 的第三个阶段。此阶段的目的是从文本中提取确切的含义，或者可以说成是词典含义。对文本进行了含义检查。例如，语义分析器会拒绝诸如“热冰淇淋”之类的句子。

这是 NLP 的第四个阶段。语用分析仅适合实际对象/事件，这些对象/事件存在于给定上下文中，并在上一阶段（语义分析）中获得了对象引用。例如，句子“把香蕉放在架子上的篮子里”可以有两种语义解释，语用分析器将在这两种可能性之间进行选择。

代表性是语料库设计的一个决定性特征。两位伟大研究人员——Leech 和 Biber 的以下定义将帮助我们理解语料库代表性−

通过这种方式，我们可以得出结论，语料库的代表性由以下两个因素决定：

语料库设计的另一个非常重要的元素是语料库平衡——语料库中包含的体裁范围。我们已经研究过，一般语料库的代表性取决于语料库平衡度如何。平衡的语料库涵盖广泛的文本类别，这些类别被认为是语言的代表。我们没有可靠的科学方法来衡量平衡度，但最好的估计和直觉在这方面起作用。换句话说，我们可以说，可接受的平衡度仅由其预期用途决定。

语料库设计的另一个重要元素是抽样。语料库代表性和平衡性与抽样密切相关。这就是为什么我们可以说抽样在语料库构建中是不可避免的。

在获取代表性样本时，我们需要考虑以下内容：

语料库设计的另一个重要元素是它的规模。语料库应该多大？这个问题没有具体答案。语料库的规模取决于其预期用途以及以下一些实际考虑因素：

随着技术的进步，语料库的规模也在增加。以下比较表将帮助您了解语料库规模的工作原理：

在我们后面的章节中，我们将看一些语料库的示例。

这些树库使用句子语义结构的形式化表示。它们在语义表示深度方面各不相同。机器人指令树库、地理查询、格罗宁根意义库、RoboCup 语料库是一些语义树库示例。

与语义树库相反，句法树库系统的输入是从句法分析树库数据转换中获得的形式语言表达式。此类系统的输出是基于谓词逻辑的意义表示。到目前为止，已经创建了各种不同语言的句法树库。例如， Penn Arabic Treebank, Columbia Arabic Treebank 是阿拉伯语创建的句法树库。 Sininca 是中文创建的句法树库。 Lucy, Susane 和 BLLIP WSJ 是英语创建的句法语料库。

如果谈到计算语言学，则树库的最佳用途是设计最先进的自然语言处理系统，例如词性标注器、解析器、语义分析器和机器翻译系统。

在语料库语言学中，树库的最佳用途是研究句法现象。

树库在理论和心理语言学中的最佳用途是交互证据。

描述结构的可能表面实现，例如及物、不及物、介词短语、结果和大量的语态交替。

对参数允许的主题角色类型进行限制，并且可以施加进一步的限制。这将有助于指示可能与主题角色关联的成分的句法性质。

可以将其定义为有限自动化类型，其中，对于每个输入符号，我们可以确定机器将移动到的状态。它具有有限数量的状态，这就是机器被称为确定性有限自动机 (DFA) 的原因。

在数学上，DFA 可以表示为 5 元组 (Q, Σ, δ, q0, F)，其中：

在图形上，DFA 可以通过称为状态图的有向图表示，其中：

假设 DFA 为

该 DFA 的图形表示如下 −

它可以定义为对于每个输入符号，我们不能确定机器将移动到的状态的有限自动化类型，即机器可以移动到任何状态的组合。它具有有限数量的状态，这就是机器被称为非确定性有限自动机 (NDFA) 的原因。

从数学上讲，NDFA 可以用 5 元组 (Q, Σ, δ, q0, F) 来表示，其中 −

相反，在图形上（与 DFA 相同），NDFA 可以用称为状态图的有向图来表示，其中 −

假设 NDFA 为

该 NDFA 的图形表示如下 −

它是单词的核心意义单位。我们也可称其为单词词根。例如，在单词 “foxes” 中，词干是 “fox”。

缀进一步可细分为以下四类：

单词顺序由形态句法分析决定。现在让我们了解构建形态句法分析器所需条件：

构建形态句法分析仪的最首要条件是词典，其中包括词干和缀的列表及其基本信息。例如，以下信息：词干是名词词干还是动词词干等。

它基本上是词素排序模型。换句话说，该模型解释单词中哪类词素可跟在其他类词素后面。例如，词法事实表明，英语复数词素总是跟在名词后面，而不是在名词前面。

这些拼写规则用于对单词中发生的改变建模。例如，将单词中的 y 转换成 ie 的规则，比如 city+s = cities，而不是 citys。

在此类解析中，解析器从开始符号开始构建解析树，然后尝试将开始符号转换为输入。自顶向下解析最常用的形式使用递归过程来处理输入。自顶向下解析的主要缺点是回溯。

在此类解析中，解析器从输入符号开始构建解析树，直到开始符号。

在最左导出中，输入的句子形式从左到右进行扫描和替换。这种情况下的句子形式称为左句子形式。

在最左导出中，输入的句子形式从右到左进行扫描和替换。这种情况下的句子形式称为右句子形式。

在给出语群语法示例之前，我们需要了解语群语法和语群关系的基本点。

我们可以按如下所示书写句子{s2}：

在给出从属语法示例之前，我们需要了解从属语法和从属关系的基本点。

我们可以按如下所示书写句子{s4}：

使用语群语法的解析树称为基于语群的解析树；而使用从属语法的解析树称为基于从属的解析树。

它由 V 表示。非终结符是表示一组字符串的句法变量，这些字符串进一步帮助定义语法所生成的语言。

它也被称为标记并由 Σ 定义。字符串是由终结符的基本符号组成的。

它由 P 表示。该集合定义了如何组合终结符和非终结符。每个产生式 (P) 由非终结符、箭头和终结符（终结符序列）组成。非终结符称为产生式的左侧，终结符称为产生式的右侧。

产生式从开始符号开始。它由符号 S 表示。非终结符符号始终被指定为开始符号。

它可以被定义为泛词与泛词实例之间的关系。这里的泛词称为上位词，其实例称为下位词。例如，词“颜色”是上位词，而词“蓝色”、“黄色”等是下位词。

它可以被定义为拼写或形式相同但含义不同且不相关的词。例如，单词“Bat”是一个同音异义词，因为bat可以是击球的工具，也可以是夜间飞行的哺乳动物。

多义词是一个希腊词，意为“许多符号”。它是一个具有不同但相关意义的单词或短语。换句话说，我们可以说多义词具有相同的拼写但不同且相关的含义。例如，单词“bank”是一个多义词，具有以下含义：

它是指具有不同形式但表示相同或相近含义的两个词素之间的关系。示例有“作者/作家”、“命运/天命”。

它是指两个词素之间在其语义成分相对于某个轴对称的关系。反义词的范围如下所示：

在词语表示或词语含义的表示中，以下构建模块发挥着重要作用：

现在，我们可以理解语义表征展示了如何将语义系统的构建模块放在一起。换句话说，它展示了如何将实体、概念、关系和谓词组合在一起，以描述一种情况。它还能够推理语义世界。

第一个原因是借助语义表征，可以将语言元素与非语言元素联系起来。

借助语义表征，可以在词汇层面上表征明确的规范形式。

能使用语义表征来推理，以验证世界中什么是真实的，以及从语义表征中推断知识。

第一个评估WSD的输入是词典，用于指定要消除歧义的含义。

WSD需要的另一个输入是具有目标或正确含义的高注释测试语料库。测试语料库可以分为两类和{s3}：

顾名思义，对于消除歧义，这些方法主要依赖于字典、treasure和词汇知识库。它们不使用语料库证据来消除歧义。Lesk方法是Michael Lesk在1986年引入的开创性字典方法。Lesk定义，Lesk算法基于它的是 “measure overlap between sense definitions for all words in context” 。然而，在2000年，Kilgarriff和Rosensweig给出了简化的Lesk定义，即 “measure overlap between sense definitions of word and current context” ，这进一步意味着一次识别一个单词的正确含义。这里的当前上下文是句子或段落周围单词的集合。

对于消除歧义，机器学习方法利用经过含义注释的语料库来训练。这些方法假设上下文自身可以提供足够的证据来消除含义的歧义。在这些方法中，单词知识和推理被认为是不必要的。上下文被表示为单词的一组“特征”。它还包括有关周围单词的信息。支持向量机和基于内存的学习是WSD最成功的监督学习方法。这些方法依赖于大量的经过手动含义标记的语料库，创建这些语料库非常昂贵。

由于缺乏训练语料库，大多数单词含义消除歧义算法都使用半监督学习方法。这是因为半监督方法使用标记数据和未标记数据。这些方法只需要少量带注释的文本和大量未注释的纯文本。半监督方法使用的是从种子数据引导程序的技术。

这些方法假设相似的含义出现在相似的上下文中。这就是为什么可以根据上下文相似性度量使用单词出现集群来从文本中归纳意义。此任务称为单词含义归纳或区分。非监督方法有可能克服由于不依赖手动工作而导致的知识获取瓶颈。

机器翻译或MT是WSD最明显的应用。在MT中，WSD用于对具有不同含义的不同翻译的单词进行词汇选择。MT中的含义表示为目标语言中的单词。大多数机器翻译系统不使用显式WSD模块。

信息检索(IR)可以定义为一个软件程序，用于处理来自文档存储库中的信息（特别是文本信息）的组织、存储、检索和评估。该系统基本上协助用户查找所需的信息，但不会明确返回问题的答案。WSD用于解决提供给IR系统的查询的歧义。与MT一样，当前的IR系统并不明确地使用WSD模块，他们依赖于这样一个概念：用户将在查询中输入足够多的上下文，以便仅检索相关文档。

在绝大多数应用程序中，执行文本的精确分析需要 WSD。例如，WSD 能帮助智能收集系统标记正确的单词。例如，医学智能系统可能需要标记“非法药物”，而不是“医疗药物”。

WSD 和词典编纂可以在循环中协同工作，因为现代词典编纂基于语料库。通过词典编纂，WSD 提供粗略的经验义项分组以及语义在统计上的重要上下文指标。

WSD 的主要问题是确定词义，因为不同的义项可能非常密切相关。甚至不同的词典和词库也可以针对词义提供不同的划分。

WSD 的另一个问题是，不同的应用程序可能需要截然不同的算法。例如，在机器翻译中，它采取目标词选择的形式；而在信息检索中，不需要词义清单。

WSD 的另一个问题是，WSD 系统通常通过将其结果应用于任务来进行测试，并与人类的任务进行比较。这被称为人际差异问题。

WSD 中的另一个困难是，单词无法轻松划分成离散的次义项。

如果话语在其话语之间有有意义的联系，那么它将是连贯的。此属性称为连贯关系。例如，必须有一些解释来证明话语之间的联系。

使话语连贯的另一个属性是实体之间必须存在某种关系。这种连贯性称为基于实体的连贯性。

无监督话语分割的类别通常表现为线性分割。我们可以借助一个示例了解线性分割的任务。在该示例中，有一个任务是将文本分割为多段落单位；这些单位代表着原始文本的段落。这些算法依赖于内聚力，内聚力可以定义为使用特定的语言设备将文本单位联系在一起。另一方面，词汇内聚力是两 (2) 个单位中两个 (2) 个或更多单词之间的关系指示的内聚力，例如使用同义词。

较早的方法没有任何手工标记的分割边界。另一方面，监督话语分割需要有边界标记的训练数据。获取该数据非常容易。在监督话语分割中，话语标记或提示词起着重要的作用。话语标记或提示词是表示话语结构的单词或短语。这些话语标记是特定于领域的。

它推断出术语 S0 断言的状态可能导致术语 S1 断言的状态。例如，两个 (2) 个表述表明关系结果：拉姆被困在火中。他的皮肤被烧伤了。

它推断出术语 S1 断言的状态可能导致术语 S0 断言的状态。例如，两个 (2) 个表述表明关系 − 拉姆与夏姆的朋友打架。他喝醉了。

它根据断言 S0 推断出 p(a1,a2,…) 并根据断言 S1 推断出 p(b1,b2,…)。此处所有 i 的 ai 和 bi 相似。例如，两个 (2) 个表述是平行的 − 拉姆想要汽车。夏姆想要钱。

两种 (2) 断言 S0 和 S1 推断出相同的命题 P。例如，两个 (2) 个表述表明关系详细说明：拉姆来自昌迪加尔。夏姆来自喀拉拉邦。

当可以从断言 S0 推断出状态更改，可以从 S1 推断出其最终状态，反之亦然时，就会发生这种情况。例如，两个 (2) 个表述表明关系场：拉姆拿起书。他把它给了夏姆。

这种引用表示对听众来说在话语上下文中是新的实体。例如 − 在句子“Ram 有一天四处走动给他带了一些食物”中 − some 是一种不确定的引用。

与上述相反，这种引用表示对听众来说在话语上下文中并不新或不可识别的实体。例如，在句子“我过去常读《印度时报》”中 − 《印度时报》是一个明确的引用。

这是一种明确的引用。例如，Ram 尽可能大声地笑了。单词 he 表示代词指称表达式。

它们与简单的明确代词不同，并且表现不同。例如，this 和 that 是指示代词。

它是最简单的指称表达式类型。它还可以是个人、组织和地点的名称。例如，在上面的示例中，Ram 是人名指称表达式。

这是在文本中查找引用同一实体的指称表达式的任务。用简单的话说，这是找到共指表达式的任务。一组共指表达式被称为共指链。例如 - 他、首席经理和他的 - 这些是作为示例给出的第一段中的指称表达式。

在英语中，共指解析的主要问题是代词 it。其背后的原因是代词 it 有很多用法。例如，它可以像 he 和 she 一样指代。代词 it 还指代不指特定事物的物体。例如，下雨了。真的很棒。

不同于共指解析，代词指代解析可能被定义为查找代词先行词的任务。例如，代词是他的，代词指代解析的任务是找到单词 Ram，因为 Ram 是先行词。

在此方法中，随机标注器根据单词出现特定标注的概率对单词进行消歧。我们还可以说，在训练集中单词最常遇到的标注是分配给该单词的歧义实例的标注。此方法的主要问题是，它可能会产生不可接受的标注序列。

这是随机标注的另一种方法，其中标注器计算给定标注序列发生的概率。它也称为 n-gram 方法。之所以这么称呼，是因为给定单词的最佳标注是由它与前 n 个标注一起出现的概率决定的。

例如，进行了一系列隐藏掷硬币的实验，我们只看到由正面和反面组成的观察序列。过程的实际细节（使用了多少枚硬币，选择这些硬币的顺序）对我们来说是隐藏的。通过观察这组正面和反面的序列，我们可以建立多个 HMM 来解释这个序列。以下是针对此问题的一种形式的隐马尔可夫模型 −

我们假设 HMM 中有两个状态，每个状态对应于选择不同的偏置硬币。下矩阵给出了状态转换概率 −

A = \begin{bmatrix}a11 & a12 \\a21 & a22 \end{bmatrix}

在此，

我们还可以创建一个隐马尔可夫模型，假设有 3 枚或更多硬币。

这样，我们就可以通过以下元素表征隐马尔可夫模型：

标签的概率取决于前一个（双语模型）或前两个（三语模型）或前 n 个标签（n 元模型），从数学角度可以解释如下 −

PROB (C1,…​, CT) = Πi=1..T PROB (Ci|Ci-n+1…Ci-1) (n-gram model)

PROB (C1,…​, CT) = Πi=1..T PROB (Ci|Ci-1) (bigram model)

句子的开端可以通过假定每个标签的初始概率来解释。

PROB (C1|C0) = PROB initial (C1)

上式（1）中的第二个概率可以通过假设单词出现在独立于前一类或后一类中的单词的类别中来近似，从数学角度可以解释如下 −

PROB (W1,…​, WT | C1,…​, CT) = Πi=1..T PROB (Wi|Ci)

现在，基于以上两个假设，我们的目标简化为寻找一个使函数最大化的序列 C

Πi=1…​T PROB(Ci|Ci-1) * PROB(Wi|Ci)

现在出现的问题是，将问题转换成上述形式是否真的对我们有帮助。答案是肯定的。如果我们有一个带标签的大语料库，则上述公式中的两个概率可以计算为 −

PROB (Ci=VERB|Ci-1=NOUN) = (# of instances where Verb follows Noun) / (# of instances where Noun appears) (2)

PROB (Wi|Ci) = (# of instances where Wi appears in Ci) /(# of instances where Ci appears) (3)

由语言学家和语法学家制定说话者语法的那套规则称为描述性语法。

这是一种截然不同的语法概念，它试图维持语言的正确性标准。这一类与语言的实际运作关系不大。

语言的第一个成分是音系学。它是对某一特定语言的语音进行的研究。这个词的起源可以追溯到希腊语，其中“phone”意为声音或语音。语音学是音系学的一个分支，它从语音的产生、感知或物理属性的角度研究人类语言的语音。国际音标 (IPA) 是一种在语音学研究中以规则的方式表示人声的工具。在国际音标中，每个书面符号只表示一个语音，反之亦然。

它可以被定义为语音单位之一，它将一个语言中的单词与另一个单词区分开来。在语言学中，音位用斜杠书写。例如，音位 /k/ 出现于 kit、skit 这样的单词中。

这是语言的第二个部分。它是对某一特定语言中单词的结构和分类的研究。这个词的起源来自希腊语，其中“morphe”一词意为“形式”。形态学考虑语言中词语形成的原理。换句话说，声音如何组合成有意义的单位，如前缀、后缀和词根。它还考虑了如何将单词归类为词性。

在语言学中，与某个单词所采用的形式集合相对应的形态分析抽象单位被称为词素。词素在句子中的用法由其语法范畴决定。词素可以是单个单词，也可以是多单词。例如，单词 talk 是单个词素的例子，它可能具有很多语法变体，如 talks、talked 和 talking。多词素可以由多个正字法词语组成。例如，speak up、pull through 等都是多词素的例子。

这是语言的第三个部分。它是对单词按序排列以及组合成更大单位的研究。这个单词可以追溯到希腊语，其中单词 suntassein 的意思是“按序排列”。它研究句子的类型及其结构、从句、短语。

这是语言的第四个部分。它是对意义如何传达的研究。意义可以与外部世界相关，也可以与句子的语法相关。这个单词可以追溯到希腊语，其中单词 semainein 的意思是“表示”、“展示”、“信号”。

这是语言的第五个部分。它是对语言功能及其在语境中的使用进行的研究。这个词的起源可以追溯到希腊语，其中单词“pragma” 的意思是“行为”、“事务”。

这是最简单的语法范畴。我们有与这一范畴相关的两个术语——单数和复数。单数是“一个”的概念，而复数是“多个”的概念。例如，dog/dogs，this/these。

语法性通过人称代词和第三人称的变异来表达。语法性的例子有：单数——he、she、it；第一人称和第二人称形式——I、we 和 you；第三人称复数形式 they 是普通性或中性。

另一个简单的语法范畴是人称。在此之下，识别出以下三个术语−

它是语法中最难的范畴之一。它可以被定义为名词短语 (NP) 功能的指示，或名词短语与句子中的动词或其他名词短语之间的关系。我们有以下三个在人称和疑问代词中表达的格：

这个语法范畴与形容词和副词有关。它有以下三个术语：

这两个概念都非常简单。正如我们所知，确定性表示一个指称者，该指称者是说话者或听众所知道、熟悉或可识别的。相反，不确定性表示一个不为人所知或不熟悉的指称者。这个概念可以在冠词与名词的共现中理解：

这个语法范畴与动词有关，可以定义为动作时间语言指示。现在时建立了一种关系，因为它表示事件发生的时间与说话时刻的关系。从广义上讲，它有以下三种类型：

这个语法范畴可以定义为对事件的看法。它可以有以下类型：

这个语法范畴有点难以定义，但它可以简单地表示为说话者对他/她谈论内容的态度的迹象。它也是动词的语法特征。它不同于语法时态和语法语态。语态的例子是陈述语态、疑问语态、祈使语态、禁止语态、虚拟语态、可能语态、祈愿语态、现在分词和过去分词。

它也被称为一致。当一个词从依赖于它所关联的其他词中发生改变时，就会发生这种情况。换句话说，它涉及使不同单词或词性之间的某些语法范畴的值达成一致。以下是基于其他语法范畴的一致性：

这个引人注目的特征使得口语和书面英语语法彼此不同。它分别称为不流畅现象，统称为修复现象。不流畅包括以下用法：

Does ABC airlines offer any one-way flights uh one-way fares for 5000 rupees?

在上述句子中，单程航班是待修复词，单程航班是修复词。

在填充停顿后，会出现重新开始。例如，在上述句子中，当说话者开始询问单程航班然后停止，用填充停顿更正自己，然后重新开始询问单程票价时，就会重新开始。

有时我们会用较小的单词片段来说话。例如， wwha-what is the time? 这里是 w-wha 单词片段。

它是实现最简单、最容易的 IR 模型。此模型基于容易识别和理解的数学知识。布尔、向量和概率是三个经典的 IR 模型。

它与经典 IR 模型完全相反。这种 IR 模型基于相似性、概率和布尔运算之外的原则。信息逻辑模型、情景理论模型和交互模型是非经典 IR 模型的示例。

增强经典信息检索模型并利用其他一些领域中的部分特定技术。群集模型、模糊模型和潜在语义索引 (LSI) 模型就是替代信息检索模型的示例。

大多数信息检索系统的主要数据结构是以倒排索引的形式存在的。我们可以将倒排索引定义为一种数据结构，针对每一个单词，列出所有包含该单词的文档以及该单词在各文档中出现的频率。这使得针对查询词搜索“命中”结果变得轻而易举。

停用词是指这些高频词不太可能用于搜索。它们具有较低的语义权重。所有此类词都在称为停用词表的一个列表中。例如，冠词“a”、“an”、“the”和介词“in”、“of”、“for”、“at”等都是停用词的示例。停用词表可以显著减少倒排索引的大小。根据齐普夫定律，涵盖几十个单词的停用词表将倒排索引的大小减少近一半。另一方面，有时停用词的排除可能会导致消除对搜索有用的术语。例如，如果我们从“维生素 A”中删除字母“A”，那么它将没有任何意义。

词干提取作为形态分析的简化形式，是一种通过切断单词末尾来提取单词基本形式的启发式过程。例如，单词 laughing、laughs、laughed 将被词干提取为词根 laugh。

在我们的后续章节中，我们将讨论一些重要且有用的信息检索模型。

术语加权表示向量空间中术余的权重。术语的权重越高，术语对余弦的影响就越大。应该为模型中更重要的术语分配更多权重。现在这里出现的问题是，我们如何对此建模。

执行此操作的一种方法是将文档中的单词作为其术语权重计数。但是，您认为这会是一种有效的方法吗？

另一种更有效的方法是使用 term frequency (tfij), document frequency (dfi) 和 collection frequency (cfi) 。

可以将其定义为 dj 中 wi 出现的次数。术语频率捕获的信息是一个词在给定文档中的显着程度，或者换句话说，我们可以说，术语频率越高，该词就越能很好地描述该文档的内容。

可以将其定义为集合中出现wi的文档总数。这是信息性的一个指标。与语义不集中的单词不同，语义集中的单词将在文档中多次出现。

可以将其定义为集合中 wi 出现的总数。

数学上，$df_{i}\leq cf_{i}\:and\:\sum_{j}tf_{ij} = cf_{i}$

这也称为术语频率因子，这意味着如果某个术语 t 经常出现在某个文档中，那么包含 t 的查询应检索该文档。我们可以将单词 term frequency (tfij) 和 document frequency (dfi) 组合成一个权重，如下所示：

权重 \left ( i,j \right ) =\begin{cases}(1+log(tf_{ij}))log\frac{N}{df_{i}}\:如果\:tf_{i,j}\:\geq1\\0 \:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\: 如果\:tf_{i,j}\:=0\end{cases}

在此 N 是文档的总数。

这是另一种文档频率加权形式，通常称为 idf 加权或逆文档频率加权。idf 加权的重要点在于该术语在集合中的稀缺度是其重要性的衡量标准，而重要性与出现频率成反比。

在数学上，

idf_{t} = log\left(1+\frac{N}{n_{t}}\right)

idf_{t} = log\left(\frac{N-n_{t}}{n_{t}}\right)

在此，

N = 集合中的文档

nt = 包含术语 t 的文档

它可以定义为从相关性评估者获得的反馈。这些评估者还将指示从查询中检索到的文档的相关性。为了改进查询检索性能，相关反馈信息需要与原始查询插值。

系统评估者或其他用户可以通过使用以下相关性系统明确指示相关性：

它是从用户行为中推断出的反馈。行为包括用户花在查看文档上的时间、选择了哪些文档进行查看、哪些未查看、页面浏览和滚动操作等。隐式反馈的一个最佳示例是 dwell time ，它衡量用户在搜索结果中链接到的页面上花费了多少时间。

它也称为盲反馈。它提供了一种自动局部分析的方法。相关反馈的人工部分在伪相关反馈的帮助下实现自动化，这样用户无需进一步交互即可获得改进的检索性能。此反馈系统的主要优点是它不需要像明确相关反馈系统那样的评估者。

考虑以下步骤来实施此反馈：

双语 MT 系统生成两种特定语言之间的翻译。

多语言 MT 系统生成任何一对语言之间的翻译。它们在本质上可能是单向的或双向的。

这是较不流行但 MT 的最古老方法。使用此方法的系统能够将 SL（源语言）直接翻译成 TL（目标语言）。此类系统本质上是双语的，并且是单向的。

使用 Interlingua 方法的系统将 SL 翻译成称为 Interlingua (IL) 的中间语言，然后将 IL 翻译成 TL。Interlingua 方法可以通过以下 MT 金字塔理解 −

这种方法涉及三个阶段。

这是 MT 的一种新兴方法。基本上，它以平行语料库的形式使用大量的原始数据。原始数据由文本及其翻译组成。基于类比、基于示例和基于内存的机器翻译技术使用基于经验的 MT 方法。

N-Gram 模型是较长字符串的 N 字符切片。在此模型中，在处理和检测垃圾邮件时同时使用不同长度的 N-gram。

垃圾邮件发送者通常会更改垃圾邮件中攻击性单词的一个或多个字符，以便他们可以突破基于内容的垃圾邮件过滤器。这就是为什么我们可以说，如果基于内容的过滤器无法理解电子邮件中单词或短语的含义，那么它们就没有用。为了消除垃圾邮件过滤中的此类问题，开发了一种基于规则的词干提取技术，它可以匹配看起来和听起来相似的单词。

这现已成为垃圾邮件过滤的广泛使用技术。在统计技术中，电子邮件中单词的出现率针对其在未经请求的（垃圾邮件）和合法的（火腿）电子邮件消息数据库中的典型出现率进行衡量。

在开始使用 NLTK 之前，我们需要将其安装。我们可以使用以下命令在 Python 环境中安装它：

如果我们正在使用 Anaconda，则可以使用以下命令构建 NLTK 的 Conda 软件包：

gensim 是一个健壮的语义建模库，可用于许多应用程序。我们可以通过以下命令安装它：

它可用于使 gensim 软件包正常工作。以下命令有助于安装 pattern：

Input - 床和椅子是家具的类型。

NLTK 提供了用于标记化的不同包。我们可以根据我们的要求使用这些包。包及其安装详细信息如下 -

此包可用于将输入文本划分为句子。我们可以使用以下命令导入它 -

此包可用于将输入文本划分为单词。我们可以使用以下命令导入它 -

此包可用于将输入文本划分为单词和标点符号。我们可以使用以下命令导入它 -

这个词干提取包使用波特算法来提取单词的词根。借助以下命令，我们可以导入这个包 -

例如， ‘writing’ 输入到这个词干提取器后， ‘write’ 将是输出。

这个词干提取包使用兰开斯特算法来提取单词的词根。借助以下命令，我们可以导入这个包 -

例如， ‘writing’ 输入到这个词干提取器后， ‘writing’ 将是输出。

这个词干提取包使用 Snowball 算法来提取单词的词根。借助以下命令，我们可以导入这个包 -

例如， ‘writing’ 输入到这个词干提取器后， ‘write’ 将是输出。

这个包将根据单词是用作名词还是动词来提取词根。可以使用以下命令导入这个包 -

在以下示例中，我们将通过使用 NLTK Python 模块实现名词短语切分，它是一种切分类别，它将在句子中找到名词短语块。

考虑以下步骤来实现名词短语切分 -

Step 1: Chunk grammar definition

在此步骤中，我们需要定义块分析的语法。它将由我们需要遵循的规则组成。

Step 2: Chunk parser creation

接下来，我们需要创建块解析器。它将解析语法并提供输出。

Step 3: The Output

在此步骤中，我们将以树状格式获取输出。