Artificial Neural Network 简明教程

Artificial Neural Network - Building Blocks

ANN 的处理取决于以下三个组成部分 -

  1. Network Topology

  2. 权重或学习的调整

  3. Activation Functions

在本章中，我们将详细讨论人工神经网络的这三个组成部分

Network Topology

网络拓扑是网络及其节点和连接线的排列。根据拓扑结构，人工神经网络可分类为以下几种：

Feedforward Network

它是一个非循环网络，在各层具有处理单元/节点，并且一层中的所有节点都与前一层的节点连接。连接具有不同的权重。没有反馈回路意味着信号只能从输入到输出单向流动。它可以分为以下两种类型：

  1. Single layer feedforward network − 该概念是对仅具有一个加权层的馈送前向人工神经网络。换句话说，我们可以说输入层与输出层完全连接。

single layer feedforward network

  1. Multilayer feedforward network − 该概念是对具有多个加权层的馈送前向人工神经网络。由于此网络在输入层和输出层之间具有一个或多个层，因此称为隐藏层。

multilayer feedforward network

Feedback Network

顾名思义，反馈网络具有反馈路径，这意味着信号可以使用环路双向流动。这使其成为一个非线性动态系统，不断变化，直到达到平衡状态。它可以分为以下类型：

  1. Recurrent networks − 它们是有闭合环路的反馈网络。以下是两种类型的循环网络。

  2. Fully recurrent network − 它是神经网络架构中最简单的，因为所有节点都连接到所有其他节点，并且每个节点都同时作为输入和输出。

fully recurrent network

  1. Jordan network − 它是一个闭环网络，其中，如以下图表所示，输出将再次作为反馈发送到输入。

jordan network

Adjustments of Weights or Learning

在人工神经网络中学习是修改指定网络中神经元之间连接权重的方法。人工神经网络学习可以分为三大类，即监督学习、无监督学习和强化学习。

Supervised Learning

顾名思义，此类学习是在老师的监督下进行的。这一学习过程是依赖的。

在有监督学习下的人工神经网络训练期间，输入向量将呈现给网络，这将产生一个输出向量。该输出向量将与期望输出向量进行比较。如果实际输出和期望输出向量之间有差异，则会生成一个误差信号。在此误差信号的基础上，将调整权重，直到实际输出与期望输出匹配。

supervised learning

Unsupervised Learning

顾名思义，此类学习是在不经老师监督的情况下进行的。这一学习过程是独立的。

在无监督学习下的人工神经网络训练期间，将类似类型的输入向量组合在一起以形成集群。当应用新的输入模式时，神经网络将产生输出响应，指示输入模式所属的类别。

该过程中没有来自环境的反馈，表明什么应该是期望输出以及该输出是否正确或不正确。因此，在该类型的学习中，网络本身必须从输入数据中发现模式和特征，以及输入数据与输出之间的关系。

unsupervised learning

Reinforcement Learning

顾名思义，此类学习用于加强或增强网络中一些批判性信息。这一学习过程类似于监督式学习，不过我们可能了解的信息非常少。

在强化学习下网络训练期间，网络从环境中收到一些反馈。这使其在某种程度上类似于监督式学习。然而，在此处获得的反馈是评价性的，而不是指导性的，这意味着没有监督式学习中的老师。收到反馈后，网络将调整权重以在将来获取更佳的批判性信息。

reinforcement learning

Activation Functions

可以将它定义为施加在输入上的额外力或努力，以获得精确的输出。在人工神经网络中，我们还可以在输入上应用激活函数以获得精确的输出。以下是一些有趣的激活函数：

Linear Activation Function

它也被称为恒等函数，因为它不执行输入编辑。它可以定义为-

F(x)\:=\:x

Sigmoid Activation Function

它有两种类型，如下所示 -

  1. Binary sigmoidal function - 此激活函数执行 0 和 1 之间的输入编辑。它本质上是正面的。它总是受限制的，这意味着它的输出不可能小于 0，且不可能大于 1。它的本质也严格递增，这意味着输入越大输出就越高。它可以定义为 F(x)\:=\:sigm(x)\:=\:\frac{1}{1\:+\:exp(-x)}

  2. Bipolar sigmoidal function - 此激活函数执行 -1 和 1 之间的输入编辑。它本质上可以为正或为负。它总是受限制的，这意味着它的输出不可能小于 -1，且不可能大于 1。它的本质也严格递增，如同 sigmoid 函数。它可以定义为 F(x)\:=\:sigm(x)\:=\:\frac{2}{1\:+\:exp(-x)}\:-\:1\:=\:\frac{1\:-\:exp(x)}{1\:+\:exp(x)}