Artificial Neural Network 简明教程

这个时代的一些关键发展如下 −

这个时代的一些关键发展如下 −

这个时代的一些关键发展如下 −

历史回顾表明，该领域已取得了重大进展。基于神经网络的芯片正在出现，并且正在开发对复杂问题的应用。当然，今天是神经网络技术转型期。

如图所示，一个典型的神经元由以下四个部分组成，借助这四个部分我们可以解释它的工作原理 −

在查看人工神经网络 (ANN) 和生物神经网络 (BNN) 之间的差异之前，让我们来看看这两个网络在术语方面的相似之处。

下表显示了根据一些所述标准对 ANN 和 BNN 之间的比较。

它是一个非循环网络，在各层具有处理单元/节点，并且一层中的所有节点都与前一层的节点连接。连接具有不同的权重。没有反馈回路意味着信号只能从输入到输出单向流动。它可以分为以下两种类型：

顾名思义，反馈网络具有反馈路径，这意味着信号可以使用环路双向流动。这使其成为一个非线性动态系统，不断变化，直到达到平衡状态。它可以分为以下类型：

顾名思义，此类学习是在老师的监督下进行的。这一学习过程是依赖的。

在有监督学习下的人工神经网络训练期间，输入向量将呈现给网络，这将产生一个输出向量。该输出向量将与期望输出向量进行比较。如果实际输出和期望输出向量之间有差异，则会生成一个误差信号。在此误差信号的基础上，将调整权重，直到实际输出与期望输出匹配。

顾名思义，此类学习是在不经老师监督的情况下进行的。这一学习过程是独立的。

在无监督学习下的人工神经网络训练期间，将类似类型的输入向量组合在一起以形成集群。当应用新的输入模式时，神经网络将产生输出响应，指示输入模式所属的类别。

该过程中没有来自环境的反馈，表明什么应该是期望输出以及该输出是否正确或不正确。因此，在该类型的学习中，网络本身必须从输入数据中发现模式和特征，以及输入数据与输出之间的关系。

顾名思义，此类学习用于加强或增强网络中一些批判性信息。这一学习过程类似于监督式学习，不过我们可能了解的信息非常少。

在强化学习下网络训练期间，网络从环境中收到一些反馈。这使其在某种程度上类似于监督式学习。然而，在此处获得的反馈是评价性的，而不是指导性的，这意味着没有监督式学习中的老师。收到反馈后，网络将调整权重以在将来获取更佳的批判性信息。

它也被称为恒等函数，因为它不执行输入编辑。它可以定义为-

F(x)\:=\:x

它有两种类型，如下所示 -

这条规则是最古老、最简单的规则之一，是由唐纳德·赫布在 1949 年出版的《行为的组织》一书中提出的。它是一种前馈、无监督学习。

Basic Concept - 此规则基于赫布提出的建议，他写道-

"如果细胞 A 的轴突足够接近于激发细胞 B，并且反复或持续地参与激发细胞 B，那么在其中一个或两个细胞中就会发生某种生长过程或代谢变化，使得 A 作为激发 B 的细胞之一的效率会提高。"

从以上假设可以得出结论，如果神经元同时激发，那么两个神经元之间的连接可能会加强，如果它们在不同时间激发，那么可能会减弱。

Mathematical Formulation - 根据赫布学习规则，以下是用于在每个时间步长时增加连接权重的公式。

\Delta w_{ji}(t)\:=\:\alpha x_{i}(t).y_{j}(t)

这里，$\Delta w_{ji}(t)$ ⁡= 时间步长 t 时连接权重增加的增量

$\alpha$ = 正的常数学习率

$x_{i}(t)$ = 时间步长 t 时来自突触前神经元的输入值

$y_i(t)$= 同一时间步长的突触前神经元输出 t

此规则是 Rosenblatt 引入的具有线性激活函数的单层前馈网络监督学习算法的纠错。

Basic Concept − 由于其本质上是监督性的，因此，要计算误差，必须比较期望/目标输出与实际输出。如果发现有任何差异，则必须更改连接的权重。

Mathematical Formulation − 为了解释其数学公式，假设我们有 “n” 个有限输入向量 x(n) 及其期望/目标输出向量 t(n)，其中 n = 1 至 N。

现在，可以基于净输入计算输出 “y”，如前文所述，表示为净输入上应用的激活函数，如下所示 −

y\:= f(y_{in})\:= \begin{cases}1, &y_{in}> \theta \\\0, &y_{in} \leqslant \theta\end{cases}

其中 θ 是阈值。

可以在以下两种情况下更新权重 −

Case I − 当 t ≠ y 时，

w(new)\:= w(old)+tx

Case II − 当 t = y 时，

不更改权重

由 Bernard Widrow 和 Marcian Hoff 引入，也称为最小均方 (LMS) 方法，以最大限度地减少所有训练模式上的误差。这是一种带有连续激活函数的监督学习算法。

Basic Concept − 此规则的基础是梯度下降法，该方法会一直持续下去。Delta 规则更新突触权重，以最大程度地减少输出单元的净输入和目标值。

Mathematical Formulation − 要更新突触权重，Delta 规则由以下内容给出

\Delta w_{i}\:= \alpha.x_{i}.e_{j}

其中 $\Delta w_{i}$ = 第 i ⁡ 个模式的权重变化；

$\alpha$ = 正的常量学习率；

$x_{i}$ = 突触前神经元的输入值；

$e_{j}$ = $(t\:-\:y_{in})$，理想/目标输出与实际输出 ⁡$y_{in}$ 之间的差值

上述 delta 规则仅适用于单输出单元。

可以在以下两种情况下更新权重 −

Case-I − 当 t ≠ y 时，则

w(new)\:=\:w(old)\:+\:\Delta w

Case-II − 当 t = y 时，则

不更改权重

它涉及无监督训练，其中输出节点试图彼此竞争以表示输入模式。要理解此学习规则，我们必须理解竞争网络，如下所示 −

Basic Concept of Competitive Network − 此网络就像一个带有输出之间反馈连接的单层前馈网络。输出之间的连接是抑制类型，用虚线表示，这意味着竞争者从不自我支持。

Basic Concept of Competitive Learning Rule − 如前所述，输出节点之间会存在竞争。因此，训练中的主要概念是，对于给定的输入模式，激活程度最高的输出单元将被宣布为获胜者。此规则也称为优胜者全得，因为只有获胜的神经元会更新，其余神经元保持不变。

Mathematical formulation − 以下是在这个学习规则中重要的三个数学表述因素 −

这意味着如果某个神经元，比如说 $y_{k}$⁡ ，想获胜，那么它的局部感应场（求和单元的输出），比如说 $v_{k}$，必须在网络中所有其他神经元中最大。

这里 $\alpha$ 是学习率。

这清楚地表明，我们通过调整权重来支持获胜的神经元，如果神经元失败，我们就不必费事重新调整其权重了。

格罗斯伯格引入的这一规则与监督式学习有关，因为已知期望输出。它也被称为格罗斯伯格学习。

Basic Concept − 该规则应用于按层排列的神经元。它经过特别设计，可产生 p 神经元的 d 层的期望输出。

Mathematical Formulation − 可以在这一规则中计算权重调整，如下所示

\Delta w_{j}\:=\:\alpha\:(d\:-\:w_{j})

此处 d 是期望的神经元输出，$\alpha$ 是学习率。

感知器网络可以针对单输出单元以及多个输出单元进行训练。

Step 1 − 初始化以下内容以启动训练 −

为了便于计算和简化，权重和偏差必须设置为 0，而学习率必须设置为 1。

Step 2 − 当停止条件不成立时，继续执行步骤 3-8。

Step 3 − 对每个训练向量 x 继续执行步骤 4-6。

Step 4 − 如下激活每个输入单元 −

x_{i}\:=\:s_{i}\:(i\:=\:1\:to\:n)

Step 5 − 现在，使用以下关系获取净输入 −

y_{in}\:=\:b\:+\:\displaystyle\sum\limits_{i}^n x_{i}.\:w_{i}

其中 ‘b’ 为偏差， ‘n’ 为输入神经元的总数。

Step 6 − 应用以下激活函数获取最终输出。

f(y_{in})\:=\:\begin{cases}1 & if\:y_{in}\:>\:\theta\\0 & if \: -\theta\:\leqslant\:y_{in}\:\leqslant\:\theta\\-1 & if\:y_{in}\:<\:-\theta \end{cases}

Step 7 − 如下调整权重和偏差 −

Case 1 − 如果 y ≠ t ，那么

w_{i}(new)\:=\:w_{i}(old)\:+\:\alpha\:tx_{i}

b(new)\:=\:b(old)\:+\:\alpha t

Case 2 − 如果 y = t ，那么

w_{i}(new)\:=\:w_{i}(old)

b(new)\:=\:b(old)

其中 ‘y’ 为实际输出， ‘t’ 为期望/目标输出。

Step 8 − 测试停止条件，即当权重无变化时发生。

以下图表为多输出类别的感知器的架构。

Step 1 − 初始化以下内容以启动训练 −

为了便于计算和简化，权重和偏差必须设置为 0，而学习率必须设置为 1。

Step 2 − 当停止条件不成立时，继续执行步骤 3-8。

Step 3 − 对每个训练向量 x 继续执行步骤 4-6。

Step 4 − 如下激活每个输入单元 −

x_{i}\:=\:s_{i}\:(i\:=\:1\:to\:n)

Step 5 - 使用以下关系来获得净输入 -

y_{in}\:=\:b\:+\:\displaystyle\sum\limits_{i}^n x_{i}\:w_{ij}

其中 ‘b’ 为偏差， ‘n’ 为输入神经元的总数。

Step 6 - 应用以下激活函数来获取每个输出单元的最终输出 j = 1 to m -

f(y_{in})\:=\:\begin{cases}1 & if\:y_{inj}\:>\:\theta\\0 & if \: -\theta\:\leqslant\:y_{inj}\:\leqslant\:\theta\\-1 & if\:y_{inj}\:<\:-\theta \end{cases}

Step 7 - 如下方式为 x = 1 to n 和 j = 1 to m 调整权值和偏差 -

Case 1 - 如果 yj ≠ tj 则，

w_{ij}(new)\:=\:w_{ij}(old)\:+\:\alpha\:t_{j}x_{i}

b_{j}(new)\:=\:b_{j}(old)\:+\:\alpha t_{j}

Case 2 - 如果 yj = tj 则，

w_{ij}(new)\:=\:w_{ij}(old)

b_{j}(new)\:=\:b_{j}(old)

其中 ‘y’ 为实际输出， ‘t’ 为期望/目标输出。

Step 8 - 当权值没有改变时，测试终止条件。

Adaline 的基本结构类似于感知器，具有一个额外的反馈回路，可借助它将实际输出与期望/目标输出进行比较。在基于训练算法进行比较后，权值和偏差将被更新。

Step 1 − 初始化以下内容以启动训练 −

为了便于计算和简化，权重和偏差必须设置为 0，而学习率必须设置为 1。

Step 2 − 当停止条件不成立时，继续执行步骤 3-8。

Step 3 - 对每个双极训练对继续进行步骤 4-6 s:t 。

Step 4 − 如下激活每个输入单元 −

x_{i}\:=\:s_{i}\:(i\:=\:1\:to\:n)

Step 5 - 使用以下关系来获得净输入 -

y_{in}\:=\:b\:+\:\displaystyle\sum\limits_{i}^n x_{i}\:w_{i}

其中 ‘b’ 为偏差， ‘n’ 为输入神经元的总数。

Step 6 − 使用以下激活函数获得最终输出 −

f(y_{in})\:=\:\begin{cases}1 & 若 y_{in}\:\geqslant\:0 \\-1 & 若 y_{in}\:<\:0 \end{cases}

Step 7 − 如下调整权重和偏差 −

Case 1 − 如果 y ≠ t ，那么

w_{i}(new)\:=\:w_{i}(old)\:+\: \alpha(t\:-\:y_{in})x_{i}

b(new)\:=\:b(old)\:+\: \alpha(t\:-\:y_{in})

Case 2 − 如果 y = t ，那么

w_{i}(new)\:=\:w_{i}(old)

b(new)\:=\:b(old)

其中 ‘y’ 为实际输出， ‘t’ 为期望/目标输出。

$(t\:-\;y_{in})$ 为计算所得的误差。

Step 8 − 测试停止条件，当权重没有变化或训练过程中的最高权重变化小于指定容差时会发生。

Madaline 的架构包含 “n” 个输入层神经元、 “m” 个 Adaline 层神经元和 1 个 Madaline 层神经元。由于 Adaline 层位于输入层和输出层（即 Madaline 层）之间，因此可以将其视为一个隐藏层。

目前我们已经知道，只有输入层与 Adaline 层之间的权重和偏差需要调节，而 Adaline 层与 Madaline 层之间的权重和偏差是固定的。

Step 1 − 初始化以下内容以启动训练 −

为了便于计算和简化，权重和偏差必须设置为 0，而学习率必须设置为 1。

Step 2 − 当停止条件不成立时，继续执行步骤 3-8。

Step 3 − 针对每对双极训练数据执行步骤 4-7 s:t 。

Step 4 − 如下激活每个输入单元 −

x_{i}\:=\:s_{i}\:(i\:=\:1\:to\:n)

Step 5 − 使用以下关系获取每个隐藏层（即 Adaline 层）的净输入：

Q_{inj}\:=\:b_{j}\:+\:\displaystyle\sum\limits_{i}^n x_{i}\:w_{ij}\:\:\:j\:=\:1\:to\:m

其中 ‘b’ 为偏差， ‘n’ 为输入神经元的总数。

Step 6 − 使用以下激活函数获取 Adaline 层和 Madaline 层的最终输出：

f(x)\:=\:\begin{cases}1 & 若 x\:\geqslant\:0 \\-1 & 若 x\:<\:0 \end{cases}

隐层（Adaline）输出单元的输出

Q_{j}\:=\:f(Q_{inj})

网络最终输出

y\:=\:f(y_{in})

i.e. $\:\:y_{inj}\:=\:b_{0}\:+\:\sum_{j = 1}^m\:Q_{j}\:v_{j}$

Step 7 − 按如下方式计算误差并调整权重 −

Case 1 − 如果 y ≠ t 和 t = 1 则，

w_{ij}(new)\:=\:w_{ij}(old)\:+\: \alpha(1\:-\:Q_{inj})x_{i}

b_{j}(new)\:=\:b_{j}(old)\:+\: \alpha(1\:-\:Q_{inj})

在这种情况下，权重将会在 Qj 处更新，因为 t = 1 ，净输入接近 0。

Case 2 − 如果 y ≠ t 和 t = -1 则，

w_{ik}(new)\:=\:w_{ik}(old)\:+\: \alpha(-1\:-\:Q_{ink})x_{i}

b_{k}(new)\:=\:b_{k}(old)\:+\: \alpha(-1\:-\:Q_{ink})

在这种情况下，权重将会在 Qk 处更新，因为 t = -1 ，净输入为正。

其中 ‘y’ 为实际输出， ‘t’ 为期望/目标输出。

Case 3 − 如果 y = t 则，

权重不会发生任何变化。

Step 8 − 测试停止条件，当权重没有变化或训练过程中的最高权重变化小于指定容差时会发生。

如该图表所示，BPN 的架构具有三个相互连接的层，在这些层上具有权重。隐层和输出层也具有偏置，其权重始终为 1。显然，BPN 的工作分为两个阶段。一个阶段将信号从输入层传送到输出层，另一个阶段将误差从输出层反向传播到输入层。

对于训练，BPN 将使用二进制 S 形激活函数。BPN 的训练将具有如下三个阶段。

所有这些步骤将在算法中按如下所示总结

Step 1 − 初始化以下内容以启动训练 −

为方便计算和简便起见，采用一些较小的随机值。

Step 2 − 当停止条件不成立时，继续执行步骤 3-11。

Step 3 − 对于每个训练对，继续执行步骤 4-10。

Step 4 − 每个输入单元接收输入信号 xi 并将其发送给所有 i = 1 to n 的隐藏单元

Step 5 − 使用以下关系计算隐藏单元上的净输入 −

Q_{inj}\:=\:b_{0j}\:+\:\sum_{i=1}^n x_{i}v_{ij}\:\:\:\:j\:=\:1\:to\:p

其中 b0j 是隐藏单元上的偏差， vij 是来自输入层的 i 单元的隐藏层 j 单元上的权重。

现在通过应用以下激活函数来计算净输出

Q_{j}\:=\:f(Q_{inj})

将隐藏层单元的这些输出信号发送到输出层单元。

Step 6 − 使用以下关系计算输出层单元上的净输入 −

y_{ink}\:=\:b_{0k}\:+\:\sum_{j = 1}^p\:Q_{j}\:w_{jk}\:\:k\:=\:1\:to\:m

其中 b0k 是输出单元上的偏差， wjk 是来自隐藏层的 j 单元的输出层 k 单元上的权重。

通过应用以下激活函数计算净输出

y_{k}\:=\:f(y_{ink})

Step 7 − 根据在每个输出单元接收到的目标模式，计算误差校正项，如下所示 −

\delta_{k}\:=\:(t_{k}\:-\:y_{k})f^{'}(y_{ink})

在此基础上，按如下所述更新权重和偏差 −

\Delta v_{jk}\:=\:\alpha \delta_{k}\:Q_{ij}

\Delta b_{0k}\:=\:\alpha \delta_{k}

然后，将 $\delta_{k}$ 传回隐藏层。

Step 8 − 现在，每个隐藏单元将为其从输出单元的增量输入的总和。

\delta_{inj}\:=\:\displaystyle\sum\limits_{k=1}^m \delta_{k}\:w_{jk}

误差项可按如下方式计算 −

\delta_{j}\:=\:\delta_{inj}f^{'}(Q_{inj})

在此基础上，按如下所述更新权重和偏差 −

\Delta w_{ij}\:=\:\alpha\delta_{j}x_{i}

\Delta b_{0j}\:=\:\alpha\delta_{j}

Step 9 − 每个输出单元 (ykk = 1 to m) 按照如下方式更新权重和偏差 −

v_{jk}(new)\:=\:v_{jk}(old)\:+\:\Delta v_{jk}

b_{0k}(new)\:=\:b_{0k}(old)\:+\:\Delta b_{0k}

Step 10 − 每个输出单元 (zjj = 1 to p) 按照如下方式更新权重和偏差 −

w_{ij}(new)\:=\:w_{ij}(old)\:+\:\Delta w_{ij}

b_{0j}(new)\:=\:b_{0j}(old)\:+\:\Delta b_{0j}

Step 11 − 检查停止条件，该条件可能是达到时期数或目标输出与实际输出匹配。

对于激活函数 $y_{k}\:=\:f(y_{ink})$,隐藏层以及输出层净输入的导数可以给出为

y_{ink}\:=\:\displaystyle\sum\limits_i\:z_{i}w_{jk}

且 $\:\:y_{inj}\:=\:\sum_i x_{i}v_{ij}$

现在要最小化的误差为

E\:=\:\frac{1}{2}\displaystyle\sum\limits_{k}\:[t_{k}\:-\:y_{k}]^2

使用链式法则，我们得到

\frac{\partial E}{\partial w_{jk}}\:=\:\frac{\partial }{\partial w_{jk}}(\frac{1}{2}\displaystyle\sum\limits_{k}\:[t_{k}\:-\:y_{k}]^2)

=\:\frac{\partial }{\partial w_{jk}}\lgroup\frac{1}{2}[t_{k}\:-\:t(y_{ink})]^2\rgroup

=\:-[t_{k}\:-\:y_{k}]\frac{\partial }{\partial w_{jk}}f(y_{ink})

=\:-[t_{k}\:-\:y_{k}]f(y_{ink})\frac{\partial }{\partial w_{jk}}(y_{ink})

=\:-[t_{k}\:-\:y_{k}]f^{'}(y_{ink})z_{j}

现在让我们称 $\delta_{k}\:=\:-[t_{k}\:-\:y_{k}]f^{'}(y_{ink})$

连接到隐藏单元 zj 上的权重可给出为 −

\frac{\partial E}{\partial v_{ij}}\:=\:- \displaystyle\sum\limits_{k} \delta_{k}\frac{\partial }{\partial v_{ij}}\:(y_{ink})

代入 $y_{ink}$ 的值将得到以下结果

\delta_{j}\:=\:-\displaystyle\sum\limits_{k}\delta_{k}w_{jk}f^{'}(z_{inj})

权重更新可以如下进行 −

对于输出单元 −

\Delta w_{jk}\:=\:-\alpha\frac{\partial E}{\partial w_{jk}}

对于隐藏单元 −

\Delta v_{ij}\:=\:-\alpha\frac{\partial E}{\partial v_{ij}}

=\:\alpha\:\delta_{j}\:x_{i}

这类神经网络基于模式关联，这意味着它们能够存储不同的模式，并且在给出输出时，它们可以通过与给定的输入模式进行匹配来生成一个存储的模式。这类内存也称为 Content-Addressable Memory （CAM）。联想式内存将存储的模式作为数据文件进行并行搜索。

在使用非监督学习的大多数神经网络中，计算距离并执行比较至关重要。这种类型的网络是汉明网络，对于给定的每个输入向量，它会将其聚类到不同的组中。以下是汉明网络的一些重要特性：

这也是一个固定权重网络，它充当一个子网络，用于选择具有最高输入的节点。所有节点都完全互连，并且在所有这些加权互连中都存在对称权重。

它使用机制，这是一个迭代过程，每个节点通过连接接收来自所有其他节点的抑制性输入。值最大的单个节点将处于活动状态或获胜状态，所有其他节点的激活将处于非活动状态。Max Net 使用恒等激活函数，其为 f(x)\:=\:\begin{cases}x & if\:x > 0\\0 & if\:x \leq 0\end{cases}

该网络的任务由 +1 自激发权重和相互抑制幅度完成，其设置为 [0 < ɛ < $\frac{1}{m}$]，其中 “m” 是节点总数。

该网络就像一个单层前馈网络，在输出之间具有反馈连接。输出之间的连接是抑制型的，由虚线表示，这意味着竞争者永远不会支持自己。

以下是此学习规则的数学公式的三个重要因素：

K-means 是最流行的群集算法之一，其中我们使用分区程序的概念。我们从初始分区开始，并反复将模式从一个群集移动到另一个群集，直到获得满意结果。

Step 1 − 选择 k 个点作为初始质心。初始化 k 个原型 (w1,…,wk) ，例如，我们可以用随机选择的输入向量识别它们 −

W_{j}\:=\:i_{p},\:\:\: where\:j\:\in \lbrace1,…​.,k\rbrace\:and\:p\:\in \lbrace1,…​.,n\rbrace

每个群集 Cj 都与原型 wj 相关。

Step 2 − 重复步骤 3-5，直到 E 不再减小，或群集成员资格不再改变。

Step 3 − 对于每个输入向量 ip ，其中 p ∈ {1,…,n} ，将 ip 放在与最近的原型 wj 具有以下关系的群集 Cj 中：

|i_{p}\:-\:w_{j*}|\:\leq\:|i_{p}\:-\:w_{j}|,\:j\:\in \lbrace1,…​.,k\rbrace

Step 4 − 对于每个群集 Cj ，其中 j ∈ { 1,…,k} ，更新原型 wj 为 Cj 中当前所有样本的质心，以便：

w_{j}\:=\:\sum_{i_{p}\in C_{j}}\frac{i_{p}}{|C_{j}|}

Step 5 − 计算总量化误差如下 −

E\:=\:\sum_{j=1}^k\sum_{i_{p}\in w_{j}}|i_{p}\:-\:w_{j}|^2

它是一个层次网络，包含许多层，并且在这些层中局部有连接模式。

正如我们在上图中看到的，新认知网络被划分为不同的连接层，并且每层有两个细胞。以下是对这些细胞的解释 −

S-Cell − 它被称为一个简单细胞，经过训练，可以对特定的模式或一组模式做出反应。

C-Cell − 它被称为复杂细胞，它将来自 S 细胞的输出结合起来，同时减少了每个阵列中的单元数量。从另一个意义上讲，C 细胞取代了 S 细胞的结果。

发现新认知网络的训练逐层进行。训练从输入层到第一层的权重并冻结它们。然后，训练从第一层到第二层的权重，以此类推。S 细胞和 C 细胞之间的内部计算取决于来自前一层的权重。因此，我们可以说训练算法取决于 S 细胞和 C 细胞的计算。

S 细胞拥有从前一层接收到的兴奋信号并拥有在同一层内获得的抑制信号。

\theta=\:\sqrt{\sum\sum t_{i} c_{i}^2}

这里， ti 是固定权重， ci 是 C 单元格的输出。

S 单元格的缩放输入可用下述方式计算：

x\:=\:\frac{1\:+\:e}{1\:+\:vw_{0}}\:-\:1

这里，$e\:=\:\sum_i c_{i}w_{i}$

wi 是从 C 单元格到 S 单元格调整的权重。

w0 是输入与 S 单元格之间可调整的权重。

v 是从 C 单元格的激励性输入。

输出信号的激活为：

s\:=\:\begin{cases}x, & if\:x \geq 0\\0, & if\:x < 0\end{cases}

C 层的净输入是：

C\:=\:\displaystyle\sum\limits_i s_{i}x_{i}

这里， si 是 S 单元格的输出， xi 是从 S 单元格到 C 单元格的固定权重。

最终输出如下：

C_{out}\:=\:\begin{cases}\frac{C}{a+C}, & if\:C > 0\\0, & otherwise\end{cases}

这里 ‘a’ 是取决于网络性能的参数。

它由以下两个单元组成 −

Computational Unit − 它由以下内容组成 −

Supplement Unit − 重置机制的问题实际上在于，第 F2 层必须在某些条件下受到抑制，并且在发生某些学习时也必须可用。这就是加 gain control units 两个补充单元即 G1 和 G2 以及重置单元 R 的原因。这些单元接收并向网络中存在的其他单元发送信号。 ‘+’ 指示激励信号，而 ‘−’ 指示抑制信号。

以下参数使用 −

Step 1 − 初始化学习率、警觉性参数和权重如下 −

\alpha\:>\:1\:\:and\:\:0\:<\rho\:\leq\:1

0\:<\:b_{ij}(0)\:<\:\frac{\alpha}{\alpha\:-\:1\:+\:n}\:\:and\:\:t_{ij}(0)\:=\:1

Step 2 − 当停止条件为假时，继续执行步骤 3-9。

Step 3 − 为每个训练输入继续执行步骤 4-6。

Step 4 − 将所有 F1(a) 和 F1 单元的激活设置如下

F2 = 0 and F1(a) = input vectors

Step 5 − 从 F1(a) 到 F1(b) 层的输入信号必须像

s_{i}\:=\:x_{i}

Step 6 − 对于每个抑制的 F2 节点

$y_{j}\:=\:\sum_ib_{ij}x_{i}$ 条件为 yj ≠ -1

Step 7 − 当重置为真时，执行步骤 8-10。

Step 8 - 找在所有节点 j 中 yJ ≥ yj 的 J

Step 9 - 再按如下方式计算F1(b)上的激活

x_{i}\:=\:sitJi

Step 10 - 在计算出矢量 x 的范数和矢量 s 的范数后，需要按如下方式检查重置条件 -

如果 ||x||/ ||s|| < 警觉参数 ρ ，则抑制节点 J 并转到步骤7

否则，如果 ||x||/ ||s|| ≥ 警觉参数 ρ ，则继续。

Step 11 - 节点 J 的权重更新可按如下方式进行 -

b_{ij}(new)\:=\:\frac{\alpha x_{i}}{\alpha\:-\:1\:+\:||x||}

t_{ij}(new)\:=\:x_{i}

Step 12 - 必须检查算法的停止条件，它可能如下 -

此拓扑在距离 2 格中有 24 个节点，在距离 1 格中有 16 个节点，在距离 0 格中有 8 个节点，这意味着每个矩形格之间的差为 8 个节点。胜利单元用 # 表示。

此拓扑在距离 2 格中有 18 个节点，在距离 1 格中有 12 个节点，在距离 0 格中有 6 个节点，这意味着每个矩形格之间的差为 6 个节点。胜利单元用 # 表示。

KSOM 的体系结构类似于竞争网络的体系结构。在前面讨论的邻域方案的帮助下，可以在网络的扩展区域上进行训练。

Step 1 - 初始化权重、学习率 α 和邻域拓扑方案。

Step 2 − 当停止条件为假时，继续执行步骤 3-9。

Step 3 - 对每个输入矢量 x 继续步骤 4-6。

Step 4 − 计算 j = 1 to m 的欧几里得距离的平方

D(j)\:=\:\displaystyle\sum\limits_{i=1}^n \displaystyle\sum\limits_{j=1}^m (x_{i}\:-\:w_{ij})^2

Step 5 − 获取获胜元 J ，其中 D(j) 为最小值。

Step 6 − 利用以下关系计算获胜单元的新权重 −

w_{ij}(new)\:=\:w_{ij}(old)\:+\:\alpha[x_{i}\:-\:w_{ij}(old)]

Step 7 − 利用以下关系更新学习率 α −

\alpha(t\:+\:1)\:=\:0.5\alpha t

Step 8 − 减小拓扑模式的半径。

Step 9 − 检查网络的停止条件。

为了进行训练，该网络正在使用希布尔或德尔塔学习规则。

Step 1 − 将所有权重初始化为零，如 wij = 0 (i = 1 to n, j = 1 to n)

Step 2 − 对每个输入向量执行步骤 3-4。

Step 3 − 激活每个输入单元，如下所示 −

x_{i}\:=\:a_{i}

x_{i}\:=\:s_{i}\:(i\:=\:1\:to\:n)

Step 4 − 激活每个输出单元，如下所示 −

y_{j}\:=\:s_{j}\:(j\:=\:1\:to\:n)

Step 5 − 调整权重，如下所示 −

w_{ij}(new)\:=\:w_{ij}(old)\:+\:x_{i}y_{j}

Step 1 − 为希布尔规则设置在训练期间获得的权重。

Step 2 − 对每个输入向量执行步骤 3-5。

Step 3 − 将输入单元的激活设置为等于输入向量的激活。

Step 4 - 为每个输出单元计算净输入 j = 1 to n

y_{inj}\:=\:\displaystyle\sum\limits_{i=1}^n x_{i}w_{ij}

Step 5 - 应用以下激活函数来计算输出

y_{j}\:=\:f(y_{inj})\:=\:\begin{cases}+1 & if\:y_{inj}\:>\:0\\-1 & if\:y_{inj}\:\leqslant\:0\end{cases}

如下图所示，异质关联存储网络的架构具有 ‘n’ 个输入训练向量和 ‘m’ 个输出目标向量。

Step 1 − 将所有权重初始化为零，如 wij = 0 (i = 1 to n, j = 1 to n)

Step 1 - 将所有权重初始化为零，即 wij = 0 (i = 1 to n, j = 1 to m)

Step 3 − 激活每个输入单元，如下所示 −

x_{i}\:=\:a_{i}

x_{i}\:=\:s_{i}\:(i\:=\:1\:to\:n)

Step 4 − 激活每个输出单元，如下所示 −

y_{j}\:=\:s_{j}\:(j\:=\:1\:to\:m)

Step 5 − 调整权重，如下所示 −

w_{ij}(new)\:=\:w_{ij}(old)\:+\:x_{i}y_{j}

Step 1 − 为希布尔规则设置在训练期间获得的权重。

Step 2 − 对每个输入向量执行步骤 3-5。

Step 3 − 将输入单元的激活设置为等于输入向量的激活。

Step 4 - 为每个输出单元计算净输入 j = 1 to m;

y_{inj}\:=\:\displaystyle\sum\limits_{i=1}^n x_{i}w_{ij}

Step 5 - 应用以下激活函数来计算输出

y_{j}\:=\:f(y_{inj})\:=\:\begin{cases}+1 & if\:y_{inj}\:>\:0\\0 & if\:y_{inj}\:=\:0\\-1 & if\:y_{inj}\:<\:0\end{cases}

以下是一些需要牢记关于离散霍普菲尔德网络的重要要点 −

从 Y1 传输到 Y2 、 Yi 和 Yn 的输出分别具有权重 w12 、 w1i 和 w1n 。同样，其他弧线上也有权重。

在离散霍普菲尔德网络训练期间，将更新权重。众所周知，我们可以有二进制输入矢量以及双极输入矢量。因此，在这两种情况下，都可以利用以下关系更新权重

Case 1 − 二进制输入模式

对于一组二进制模式 s(p), p = 1 to P

在此， s(p) = s1(p), s2(p),…​, si(p),…​, sn(p)

权重矩阵由以下公式给出：

w_{ij}\:=\:\sum_{p=1}^P[2s_{i}(p)-\:1][2s_{j}(p)-\:1]\:\:\:\:\:对于 i \:\neq\: j

Case 2 − 双极性输入模式

对于一组二进制模式 s(p), p = 1 to P

在此， s(p) = s1(p), s2(p),…​, si(p),…​, sn(p)

权重矩阵由以下公式给出：

w_{ij}\:=\:\sum_{p=1}^P[s_{i}(p)][s_{j}(p)]\:\:\:\:\:对于 i \:\neq\: j

Step 1 − 使用赫布原理从训练算法获得的权重进行初始化。

Step 2 − 如果网络的激活未合并，则执行步骤 3-9。

Step 3 − 对于每个输入向量 X ，执行步骤 4-8。

Step 4 − 按如下方式使网络的初始激活等于外部输入向量 X −

y_{i}\:=\:x_{i}\:\:\对于 i\:=\:1\:至\:n

Step 5 − 对于每个单位 Yi ，执行步骤 6-9。

Step 6 − 按如下方式计算网络的净输入 −

y_{ini}\:=\:x_{i}\:+\:\displaystyle\sum\limits_{j}y_{j}w_{ji}

Step 7 − 在净输入上应用激活计算输出 −

y_{i}\:=\begin{cases}1 & 如果\:y_{ini}\:>\:\theta_{i}\\y_{i} & 如果\:y_{ini}\:=\:\theta_{i}\\0 & 如果\:y_{ini}\:<\:\theta_{i}\end{cases}

此处，$\theta_{i}$ 为阈值。

Step 8 − 将此输出 yi 广播至所有其他单位。

Step 9 − 测试连接网络。

能量函数被定义为系统状态的绑定且非递增函数。

能量函数 Ef ⁡，也称 Lyapunov function 决定离散霍普菲尔德网络的稳定性，其特征如下 −

E_{f}\ := \:-\frac{1}{2}\displaystyle\sum\limits_{i=1} ^{n\displaystyle\sum\limits_{j=1}} n y_{i}y_{j}w_{ij}\:-\:\displaystyle\sum\limits_{i=1}^n x_{i}y_{i}\:+\:\displaystyle\sum\limits_{i=1}^n \theta_{i}y_{i}

Condition − 在稳定网络中，每当节点状态发生变化，上述能量函数会减少。

假设 i 节点状态从 $y_i^{(k)}$ 更改为 $y_i^{(k\:+\:1)}$⁡，那么通过以下关系给出了能量变化 $\Delta E_{f}$

\Delta E_{f}\ := \:E_{f}(y_i ^{{(k+1)})\:-\:E_{f}(y_i} {(k)})

=\:-\left(\begin{array}{c}\displaystyle\sum\limits_{j=1}^n w_{ij}y_i ^{{(k)}\:+\:x_{i}\:-\:\theta_{i}\end{array}\right)(y_i} {(k+1)}\:-\:y_i^{(k)})

=\:-\:(net_{i})\Delta y_{i}

此处 $\Delta y_{i}\ := \:y_i ^{{(k\:+\:1)}\:-\:y_i} {(k)}$

能量变化取决于这样一个事实，即每次只有一个单元能更新其激活。

E_f = \frac{1}{2}\displaystyle\sum\limits_{i=1}^n\sum_{\substack{j = 1\\ j \ne i}}^n y_i y_j w_{ij} - \displaystyle\sum\limits_{i=1}^n x_i y_i + \frac{1}{\lambda} \displaystyle\sum\limits_{i=1}^n \sum_{\substack{j = 1\\ j \ne i}}^n w_{ij} g_{ri} \int_{0}^{y_i} a^{-1}(y) dy

此处 λ 是增益参数， gri 输入电导。

下图显示了玻尔兹曼机的结构。从图中可以清楚地看到，它是一个二维的单元阵列。这里，单位之间互联的权重为 –p ，其中 p > 0 。自连接的权重由 b 给出，其中 b > 0 。

众所周知，玻尔兹曼机具有固定权重，因此不会有训练算法，因为我们不需要更新网络中的权重。但是，为了测试网络，我们必须设置权重以及找到一致函数 (CF)。

玻尔兹曼机具有一组单元 Ui 和 Uj ，并且在其上具有双向连接。

玻尔兹曼机的主要目标是最大化一致函数 (CF)，其可以用以下关系给出

CF\:=\:\displaystyle\sum\limits_{i} \displaystyle\sum\limits_{j\leqslant i} w_{ij}u_{i}u_{j}

现在，当状态从 1 变为 0 或从 0 变为 1 时，一致性的变化可以用以下关系给出 −

\Delta CF\:=\:(1\:-\:2u_{i})(w_{ij}\:+\:\displaystyle\sum\limits_{j\neq i} u_{i} w_{ij})

这里 ui 是 Ui 的当前状态。

系数 ( 1 - 2ui ) 的变化由以下关系给出 −

(1\:-\:2u_{i})\:=\:\begin{cases}+1, & U_{i}\:is\:currently\:off\\-1, & U_{i}\:is\:currently\:on\end{cases}

通常，单位 Ui 不会改变其状态，但如果改变，则信息将驻留在该单位的本地。通过这种改变，网络的一致性也会增加。

网络接受单位状态变化的概率由以下关系给出 −

AF(i,T)\:=\:\frac{1}{1\:+\:exp[-\frac{\Delta CF(i)}{T}]}

在此， T 是控制参数。当 CF 达到最高值时，它将减少。

Step 1 − 初始化以下内容以启动训练 −

Step 2 − 在停止条件不为真时，继续步骤 3-8。

Step 3 − 执行步骤 4-7。

Step 4 − 假设某一状态已更改权重，并选择整数 I, J 作为 1 和 n 之间的随机值。

Step 5 − 如下计算共识度变化 −

\Delta CF\:=\:(1\:-\:2u_{i})(w_{ij}\:+\:\displaystyle\sum\limits_{j\neq i} u_{i} w_{ij})

Step 6 − 计算此网络接受状态变化的概率

AF(i,T)\:=\:\frac{1}{1\:+\:exp[-\frac{\Delta CF(i)}{T}]}

Step 7 − 如下接受或拒绝此更改 −

Case I − 如果 R < AF ，请接受更改。

Case II − 如果 R ≥ AF ，请拒绝更改。

在此， R 是 0 到 1 之間の随机数。

Step 8 − 如下减少控制参数（温度） −

T(new) = ⁡0.95T(old)

Step 9 − 测试可能如下所示的停止条件 −

旅行商问题 (TSP) 是一种经典的优化问题，在该问题中，推销员必须游览 n 个城市，这些城市彼此相连，同时保持成本和距离最小。例如，推销员必须游览一组城市 A、B、C、D，目标是找到最短的环形路线 A-B-C–D，以使成本最小化，其中还包括从最后一个城市 D 到第一个城市 A 的出行成本。

实际上，n 个城市 TSP 的每个行程都可以表示为 n × n ，其中 ith 行描述 ith 个城市的方位。此矩阵 M ，适用于 4 个城市 A、B、C、D，可以表示为以下形式 −

M = \begin{bmatrix}A: & 1 & 0 & 0 & 0 \\B: & 0 & 1 & 0 & 0 \\C: & 0 & 0 & 1 & 0 \\D: & 0 & 0 & 0 & 1 \end{bmatrix}

为了成为优化的解决方案，能量函数必须为最小值。在以下约束的基础上，我们可以计算能量函数，如下所示 −

第一个约束，在此基础上我们计算能量函数，即矩阵 M 中的每个行必须有一个元素等于 1，并且每一行中的其他元素都必须等于 0 ，因为每个城市在 TSP 行程中只能出现在一个位置。此约束在数学上可以写成以下形式 −

\displaystyle\sum\limits_{j=1}^n M_{x,j}\:=\:1\:for \: x\:\in \:\lbrace1,…​,n\rbrace

现在，基于上述约束，要最小化的能量函数将包含一个与以下项成正比的项 −

\displaystyle\sum\limits_{x=1}^n \left(\begin{array}{c}1\:-\:\displaystyle\sum\limits_{j=1}^n M_{x,j}\end{array}\right)^2

众所周知，在 TSP 中，一个城市可以在行程中的任何位置出现，因此，矩阵 M 中的每一列，必须有一个元素等于 1，而其他元素必须等于 0。此约束在数学上可以写成以下形式 −

\displaystyle\sum\limits_{x=1}^n M_{x,j}\:=\:1\:for \: j\:\in \:\lbrace1,…​,n\rbrace

现在，基于上述约束，要最小化的能量函数将包含一个与以下项成正比的项 −

\displaystyle\sum\limits_{j=1}^n \left(\begin{array}{c}1\:-\:\displaystyle\sum\limits_{x=1}^n M_{x,j}\end{array}\right)^2

假设一个 n × n 平方矩阵由 C 表示，表示 n 城市 TSP 的成本矩阵，其中 n > 0 。以下是在计算成本函数时的一些参数 −

M_{x,i}\:=\:1\:\: 和\:\: M_{y,i\pm 1}\:=\:1

众所周知，在矩阵中，每个节点的输出值可以是 0 或 1，因此对于每对城市 A、B，我们可以为能量函数添加以下项−

\displaystyle\sum\limits_{i=1}^n C_{x,y}M_{x,i}(M_{y,i+1}\:+\:M_{y,i-1})

基于上述成本函数和约束值，最终能量函数 E 可以表示如下−

E\:=\:\frac{1}{2}\displaystyle\sum\limits_{i=1}^n\displaystyle\sum\limits_{x}\displaystyle\sum\limits_{y\neq x}C_{x,y}M_{x,i}(M_{y,i+1}\:+\:M_{y,i-1})\:+

\:\begin{bmatrix}\gamma_{1} \displaystyle\sum\limits_{x} \left(\begin{array}{c}1\:-\:\displaystyle\sum\limits_{i} M_{x,i}\end{array}\right)^2\:+\: \gamma_{2} \displaystyle\sum\limits_{i} \left(\begin{array}{c}1\:-\:\displaystyle\sum\limits_{x} M_{x,i}\end{array}\right)^2 \end{bmatrix}

此处， γ1 和 γ2 是两个加权常量。

我们可以在以下步骤的帮助下理解梯度下降的主要工作思路 −

通过执行上述步骤，该算法最终将在梯度为零时收敛。

假设我们有一个函数 f(x) ，我们正在尝试找到此函数的最小值。以下是查找 f(x) 的最小值步骤。

此处， θ > 0 是训练速率（步长），它迫使算法进行小的跳转。

实际上，错误的步长 θ 可能达不到收敛，因此仔细选择步长非常重要。在选择步长时必须记住以下几点：

关于选择步长的一些选项 -

SA 是一种随机计算方法，受退火类比启发，用于逼近给定函数的全局优化。我们可以使用 SA 来训练前馈神经网络。

Step 1 - 生成一个随机解决方案。

Step 2 - 使用一些成本函数计算其成本。

Step 3 - 生成一个随机邻域解决方案。

Step 4 - 通过相同的成本函数计算新的解决方案成本。

Step 5 - 如下比较新解决方案的成本和旧解决方案的成本 -

如果 CostNew Solution < CostOld Solution ，则移动到新解决方案。

Step 6 - 测试停止条件，可能是达到最大迭代次数或获得可接受的解决方案。

在计算机科学中，有很多问题是 NP-Hard 。这基本上意味着，即使是最强大的计算系统也要花很长时间（甚至数年！）才能解决该问题。在这种情况下，遗传算法被证明是一种有效工具，可以在短时间内提供 usable near-optimal solutions 。

基于传统微积分的方法通过从一个随机点开始并朝梯度方向移动来工作，直到我们到达山顶。这种技术有效，并且非常适合单峰目标函数，例如线性回归中的成本函数。然而，在大多数实际情况下，我们有一个非常复杂的问题，称为景观，由许多山峰和许多山谷组成，这导致此类方法失败，因为它们倾向于停滞在局部最优值，如下图所示。

旅行商问题 (TSP) 等一些困难问题具有实际应用，例如寻路和超大规模集成 (VLSI) 设计。现在想象一下您正在使用 GPS 导航系统，它需要几分钟（甚至几小时）来计算从源到目的地的“最佳”路径。在这样的实际应用中，延迟是不可接受的，因此需要一个“足够好”的解决方案，即“快速”交付的解决方案。

以下是用于优化问题时 GA 机制的阶段。

语言在人际交往中占有突出地位。因此，人们自然会期望与计算机进行语音交互。在当前时代，为了与机器进行通信，人类仍然需要复杂的语言，这些语言难以学习和使用。为了消除这种交流障碍，一种简单的解决方案可能是以机器能够理解的口语进行交流。

在这一领域已经取得了很大进展，然而，此类系统仍然面临词汇或语法有限的问题，以及针对不同条件的不同说话人对系统进行再培训的问题。神经网络在这个领域发挥着重要作用。下列神经网络用于语音识别：

最适合这种网络的是 Kohonen 自组织特征映射，它的输入是语音波形的短片段。它会将同类音素映射到输出阵列中，称为特征提取技术。在提取特征之后，借助一些作为后端处理的声学模型，它将识别出说话内容。

这是一个属于模式识别一般领域的有趣问题。许多神经网络已被开发用于自动识别手写字符，无论是字母还是数字。以下是用于字符识别的某些 ANN −

虽然反向传播神经网络有几个隐藏层，但从一层到下一层的连接模式是局部化的。类似地，新认知网络也拥有几个隐藏层，并且它针对此类应用分层进行训练。

签名是在法律交易中授权和验证某个人的最有用的方法之一。签名验证技术是一种非视觉技术。

对于此应用，第一种方法是提取特征或代表签名的一组几何特征。利用这些特征集，我们必须使用有效的神经网络算法训练神经网络。此经过训练的神经网络在验证阶段将签名分类为真品或伪造。

这是识别给定人脸的生物识别方法之一。这是典型的任务，因为其表征为“非人脸”图像。但如果神经网络接受了良好的训练，那么它可以根据图像将图像分为两类，即有脸的图像和没有脸的图像。

首先，必须对所有输入图像进行预处理。然后，必须减小该图像的维数。最后，必须使用神经网络训练算法对其进行分类。以下神经网络用于使用经过预处理的图像进行训练目的 −