Artificial Neural Network 简明教程

Artificial Neural Network - Basic Concepts

神经网络是并行计算设备,它基本上是尝试建立大脑的计算机模型。主要目标是开发一个系统,以比传统系统更快地执行各种计算任务。这些任务包括模式识别和分类、逼近、优化和数据聚类。

What is Artificial Neural Network?

人造神经网络 (ANN) 是一个有效的计算系统,其中心思想借鉴了生物神经网络的类比。ANN 也被称为“人造神经系统”或“平行分布式处理系统”或“连接主义系统”。ANN 拥有大量单元的集合,这些单元以某种模式相互连接,以允许单元之间进行通信。这些单元,也称为节点或神经元,是并行工作的简单处理器。

每个神经元都通过连接链路与其他神经元连接。每个连接链路都与一个权重相关,该权重包含输入信号的信息。这是神经元解决特定问题最有用的信息,因为权重通常会激发或抑制正在传达的信号。每个神经元都有一个内部状态,称为激活信号。在组合输入信号和激活规则后产生的输出信号可以发送到其他单元。

A Brief History of ANN

ANN 的历史可以分为以下三个时代 −

ANN during 1940s to 1960s

这个时代的一些关键发展如下 −

  1. 1943 − 假设神经网络的概念始于生理学家沃伦·麦卡洛克和数学家沃尔特·皮茨,1943 年他们使用电路对一个简单神经网络建模,以描述大脑中的神经元如何工作。

  2. 1949 − 唐纳德·赫布的著作《行为的组织》提出了这样一个事实:一个神经元重复激活另一个神经元会增加它们每次使用的强度。

  3. 1956 − 泰勒提出了一个联想记忆网络。

  4. 1958 − 罗森布拉特发明了名为感知器的 McCulloch 和 Pitts 神经元模型的学习方法。

  5. 1960 − 伯纳德·维德罗和马西恩·霍夫开发了称为“ADALINE”和“MADALINE”的模型。

ANN during 1960s to 1980s

这个时代的一些关键发展如下 −

  1. 1961 − 罗森布拉特做出了不成功的尝试,但他提出了多层网络的“反向传播”方案。

  2. 1964 − 泰勒构建了一个输出单元之间带有抑制功能的 winner-take-all 电路。

  3. 1969 − 明斯基和帕佩特发明了多层感知器 (MLP)。

  4. 1971 − 科霍宁开发了联想存储器。

  5. 1976 − 斯蒂芬·格罗斯伯格和盖尔·卡彭特提出了适应共振理论。

ANN from 1980s till Present

这个时代的一些关键发展如下 −

  1. 1982 − 霍普菲尔德的能量方法是主要的发展成果。

  2. 1985 − 玻尔兹曼机是由阿克利、 Hinton 和塞扬诺夫斯基开发的。

  3. 1986 − 鲁梅尔哈特、Hinton 和威廉姆斯提出了广义三角法则。

  4. 1988 − 科斯科开发了二进制关联存储器 (BAM),还提出了人工神经网络中的模糊逻辑概念。

历史回顾表明,该领域已取得了重大进展。基于神经网络的芯片正在出现,并且正在开发对复杂问题的应用。当然,今天是神经网络技术转型期。

Biological Neuron

神经细胞(神经元)是一种特殊的生物细胞,可以处理信息。据估计,有大量的,大约1011个神经元以及大量的相互连接,大约1015个。

Schematic Diagram

schematic diagram

Working of a Biological Neuron

如图所示,一个典型的神经元由以下四个部分组成,借助这四个部分我们可以解释它的工作原理 −

  1. Dendrites − 它们是树状分支,负责接收来自连接到它的其他神经元的信息。从另一个意义上,我们可以说它们就像神经元的耳朵。

  2. Soma − 它是神经元的细胞体,负责处理从树突中接收的信息。

  3. Axon − 它就像神经元用来发送信息的一根电缆。

  4. Synapses − 它是轴突和其它神经元树突之间的连接。

ANN versus BNN

在查看人工神经网络 (ANN) 和生物神经网络 (BNN) 之间的差异之前,让我们来看看这两个网络在术语方面的相似之处。

Biological Neural Network (BNN)

Artificial Neural Network (ANN)

Soma

Node

Dendrites

Input

Synapse

Weights or Interconnections

Axon

Output

下表显示了根据一些所述标准对 ANN 和 BNN 之间的比较。

Criteria

BNN

ANN

Processing

大量并行,速度慢但优于 ANN

大量并行,速度快但不如 BNN

Size

1011 个神经元和 1015 个互连

102 到 104 个节点(主要取决于应用程序和网络设计者的类型)

Learning

They can tolerate ambiguity

需要非常精准、结构化且格式化的数据来容忍歧义

Fault tolerance

即使部分损坏,性能也会下降

它具有强大的性能能力,因此具有容错的潜力

Storage capacity

将信息存储在突触中

将信息存储在连续的存储器位置中

Model of Artificial Neural Network

下图表示 ANN 的通用模型,后面紧跟着其处理过程。

model

对于人工神经网络的上述通用模型,净输入可以计算如下 -

y_in:x_1.w_1 :x_2.w_2 :x_3.w_3 :x_m.w_m

即净输入y_in:∑_i^m:x_i . w_i

输出可以通过对净输入应用激活函数来计算。

Y:F(y_in)

输出 = 函数(计算出的净输入)