BAM 双向联想记忆神经网络

  • 更新时间: 2018-06-28
  • 来源: 原创或网络
  • 浏览数: 20次
  • 字数: 7432
  • 发表评论

神经网络联想记忆功能可以分为两种,一是自联想记忆,另一种是异联想记忆

① 自联想记忆( Associative memory):假定有 m 个样本矢量 Xi,其中 i= 0,1,2,3...m-1.若网络输入 X j= X k + ∆ , X k 表示第 k 个样本, ∆ 是由于噪声﹑ 干扰或图形缺损等因素引起的偏差。要求输出Y = X k ,也即去掉偏差使信号按样本复原。神经网络所具有的此种功能称为自联想记忆功能。

② 异联想记忆( Hetero-associative memory):与自联想记忆不同,它涉及两组样本,若样本 X k与样本 Z k 一一对应,当具有偏差的输入信号为 X = X*kj + ∆ 时,输出为Y = Z k ,此联想为异联想功能。

Hopfield 神经网络属于自联想记忆。下面将讨论异联想记忆神经网络,重点介绍由Kosko B.1988 年提出的双向联想记忆神经网络 BAM(Bidirectional Associative Memory)。BAM有离散型﹑连续型和自适应型等多种形式。

1 BAM 结构及工作原理

若 N 维矢量 A 与 M 维矢量 B 的表达式分别如下:


BAM 双向联想记忆神经网络,by 5lulu.com


构成一组矢量对 ,共有 P 对样本矢量。将它们存入双向联想存储器即可进行由 A 到 B 或由 B 到 A 的双向联想。即给定 A(或 B )可以经联想作用得到对应的标准样本 B (或 A )。当有噪声或缺损时,联想功能可以使样本对复原。

1.BAM 神经网络结构

利用人工神经网络实现的 BAM 有多种形式,此处介绍一种最基本的形式,也称 Kosko型 BAM。下图给出了由双层双向网络构成的 BAM 结构,其中,与矢量 A 相应的一层有 N 个节点,另一层对应矢量 B ,由 M 个节点构成。两层之间双向连接。假定由 B 向 A 的传输为正向,正向的突触权重矩阵为W ;反之,由 A 向 B 的传输为反向 。


BAM 双向联想记忆神经网络,by 5lulu.com


2. BAM 神经网络工作原理

如果输入矢量由上层加入,且相应于网络中 B 的状态,则经W 的作用产生 A 的稳定状态。同样,如果输入矢量由下层加入,且相应于网络中 A 的状态,则W T 的作用产生 B 的稳定状态。当任意矢量输入时,网络要经过若干次迭代计算演变到稳定状态。为了说明此过程,可以将 BAM 与自联想记忆原理相对比,对自联想来说,其演变过程为:


WX(t)=X(t+1)

WX (t+1)=X(t+2)

• • • • • •

→ X(t+k)

经 k 次迭代后收敛,对应网络的稳定状态。

对 BAM 双向联想神经网络,当任意矢量输入时,网络迭代演变过程为:

BAM 双向联想记忆神经网络,by 5lulu.com

直到 A ﹑ B 均为稳定状态,演变过程结束。

2 BAM 权矩阵设计及稳定性分析

1.BAM 权矩阵设计

BAM 网 络 的 学 习 仍 按 Hebb 规 则 进 行 。 若 给 定 P 个 双 极 性 矢 量 对 :


BAM 双向联想记忆神经网络,by 5lulu.com


由这些样本计算权重矩阵表达式为:


BAM 双向联想记忆神经网络,by 5lulu.com

2.BAM 稳定性分析

如果 BAM 网络神经元函数的阈值等于零,则称为齐次 BAM 网络。定义齐次 BAM 网络的能量函数为:


BAM 双向联想记忆神经网络,by 5lulu.com

一般情况下,神经元非线性函数阈值非零,此时构成非齐次 BAM 网络。它的能量函数表达式为:

BAM 双向联想记忆神经网络,by 5lulu.com

BAM 双向联想记忆神经网络,by 5lulu.com

θ i 为 A 的第i 元素 ai 对应的阈值, µj 为 B 的第 j 元素b j 对应的阈值,假设神经元非线性函数 f 为硬限幅函数特性,则描述 BAM 动态特性的方程式为:

正向传输(由 B 联想 A )

BAM 双向联想记忆神经网络,by 5lulu.com


反向传输(由 A 联想 B )

BAM 双向联想记忆神经网络,by 5lulu.com

由以上关系式可以证明,网络在演变过程中能量函数 E 递减,即 ∆E < 0 。网络稳定。


标签: 神经网络 联想记忆

我来评分 :6
0

转载注明:转自5lulu技术库

本站遵循:署名-非商业性使用-禁止演绎 3.0 共享协议