神经网络算法

开篇：写作不仅是一种记录，更是一种创造，它让我们能够捕捉那些稍纵即逝的灵感，将它们永久地定格在纸上。下面是小编精心整理的12篇神经网络算法，希望这些内容能成为您创作过程中的良师益友，陪伴您不断探索和进步。

第1篇

【关键词】深度学习 卷积神经网络 权值共享 下采样 R-CNN Fast-R-CNN

1 绪论

随着电子信息技术的快速发展，芯片的设计与生产进入了纳米时代，计算机的计算能力与计算速度得到了空前的提高，但是人们的需求是无限的，要求计算机能更加任性化的服务于我们的生活，这也就要求计算机本身能像人一样识别与感知周围的环境，并对复杂的环境做出正确的判断。而图片信息是我们周围环境最直观的，最容易获取的信息，要求计算机能对为的环境做出识别与判断也就要求计算机能够智能的识别图像信息。深度学习是机器学习中的一个新的研究领域。通过深度学习的方法构建深度网络来抽取目标特征进而识别周围的环境。卷积神经网络对图像的处理具有平移，旋转，扭曲不变的优良特性。在处理图像是更加快捷和便利。卷积神经网络使得计算机在感知识别周围环境的能力有了巨大的提升，使得计算机更加智能。卷积神经网络拥有强大的特征提取能力，使得其在图像分类识别，目标跟踪等领域有着强大的运用。

1.1 国内外研究现状

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向传导神经网络输出误差进行训练神经网络。通过BP算法，神经网络能够从大量训练数据中的学习到相关统计信息，学习到的数据统计信息能够反映关于输入-输出数据模型的函数映射关系。

自2006年以来，Geoffery Hinton教授提出深度信念网络。从此深度学习在学术界持续升温。深度学习不仅改变着传统的机器学习方法，也影响着我们对人类感知的理解，迄今已在语音识别和图像理解等应用领域引起了突破性的变革。各种相关的算法和模型都取得了重要的突破，使得深度学习在图像分类，语音识别，自然语言处理等领域有广泛的运用。

2013年百度成立百度深度学习研究院以来我国的人工智能领域取得了长足的进步。在人工智能专家吴恩达的带领下，百度陆续推出一系列人工智能产品，无人驾驶技术，DuerOS语音交互计算平台，人脸识别技术，美乐医等优秀产品。此外Imagenet图像识别大赛中也诞生了一系列经典的神经网络结构，VGG，Fast-R-CNN，SPP-net等等，可以说人工智能技术在近几年得到了空前的发展。

2 深度学习概述

深度学习是机器学习的一个新方向，通过学习样本数据内在规律和深层特征深度，深度学习神经网络能够像人一样有分析和学的能力，尤其在文字处理，图像识别，语音等领域更加突出。能够自主学习一些新的东西。目前深度学习使用的典型技术是通过特征表达和分类器来进行目标识别等任务的。并在语音识别、图像处理、机器翻译等领域取得很多成果。

深度学习不同于以往的浅层学习，浅层学习模型值包含一个隐藏层，或者不存在隐藏层，深度学习则是由很多隐藏层组成的，上一层的输出作为下一层的输入，实验对输入信息进行分级表达。目前深度学习框架主要包含三种深度学习框架，如图1、2、3所示。

3 卷积神经网络

卷积神经网络的结构层次比传统的神经网络复杂，卷积神经网络包含大量的隐藏层，相邻的卷积核或者下采样核采用局部感受野全链接，神经元权值共享的规则，因此卷积神经网络训练参数的数量远比传统神经网络少，卷积神经网络在训练和前向测试的复杂度大幅度降低，同时也减少了神经网络训练参数过拟合的几率。卷积神经网络主要有两部分，分别是卷积核和下采样核。卷积核主要对上一层的图像进行卷积运算，提取图像特征，下采样核则是对上层的数据进行将为处理，减少神经网络的复杂度。

卷积神经网络中每一个神经元的输入与前一层的局部感受野相连，提取局部感受野的特征，比如图像的轮廓，颜色等特征，而这些特征不仅包括传统人类能理解的特征，也包括神经网络自身能够识别的特征，卷积核全职共享，因此这些特征提取与图像的位置无关。

图4是经典的LeNet5卷积神经网络架构，LeNet5架构中卷积核和下采样核交替出现，下采样核及时的将卷积核生成的特征向量进行降维，减少神经网络的运算量。LeNet5算法在1962年幼Hubel等人提出，在识别手写数字mnist中有极高的准确率。

4 R-CNN、Fast-R-CNN对比分析

卷积神经网络在对图像进行识别具有平移，旋转，扭曲不变的优良特性，并且能够实现高准确率识别图像，但是在现实生活运用中往往需要神经网络标记出目标的相对位置，这是传统卷积神经网络不具备的功能。因此在前人传统卷积神经网路基础上对卷积神经网络进行改进，产生了具有对图像中目标进行识别和定位的卷积神经网络R-CNN，Fast-R-CNN等改良算法。

4.1 R-CNN

R-CNN为Region Convoluntional Neural Network的缩写即对图像进行局部区域的卷积处理，其核心思想主要是利用候选区图像对物体探测中位置信息进行精确处理和利用监督式预训练和区域特殊化的微调方法，代替了传统的非监督式预训练和监督式微调。

在CNN中，全连接层输入是固定大小的，因此R-CNN用计算机视觉算法将每一张图片分割成1000-2000张的候选区图片后，要将这些候选区图片进行变换，生成固定大小的候选图片，在训练提取特征时一般采用经过预训练的模型参数进行finetuning，榱嗽黾友盗费本，模型在也将生成的候选框以及标定的标签作为训练样本进行训练。R-CNN采用SVMs分类器对特征向量进行分类，在训练SVMs时将候选框经过卷积神经网络提取的特征和SVM标定结果输入到SVMs分类器训练分类器模型。而在测试时将图像全部候选框经过卷积神经网络提取的特征输入到SVMs分类器中，得到每一类的评分结果。但是R-CNN在处理一张图片是要处理需要对一张图片1000-2000个候选区图像进行前向运算，保存所有后选取图片的特征值，要求计算硬件有大量的存储空间，同时处理每一张图片的时间也会增加。由于训练集庞大，本文采用hard negative mining method方法提高存储的利用率。

R-CNN的体现出了极大的优势，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN计算的时间成本很大，达不到实时的计算效果，R-CNN在对候选区进行处理时会使得图像失真，部分信息丢失。

4.2 Fast-R-CNN

Fast-R-CNN则是再次改进的一种基于卷积神经网络目标跟踪定位算法。相比于R-CNN，Fast-R-CNN从单输入变为双输入，在全连接层后有了两个输出，引入了Rol层。

Fast-R-CNN在运行的时候同样会生成大量的候选区，同时将原始的图片用卷积神经网络进行特征提取，将原始图片提取的特征与生成的候选区坐标送入Rol层为每一个候选区生成一个固定大小的特征向量。最后将Rol生成的特征向量全连接层产生最终的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于计算K+1分类的损失，K为第K个目标，1为背景；Regression LOSS计算候选区的四个角的坐标。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在计算候选区是仍存在瓶颈，这也是限制Fast-R-CNN速度的因素。

5 实验测试

对于本文提出的卷积神经网络识别图像定位图像目标算法R-CNN，Fast-R-CNN，在本章给出实验结果。实验平台为基于Linux系统的debian8下运行caffe进行训练，采用显卡K620进行实验。

训练模型初始化参数在是服从高斯随机分布，R-CNN采用的网络结构如图7所示，Fast-R-CNN的网络结构如图8所示。

本次实现的训练样本为录制实验室视频数据，将视频数据转换成帧图片，对每张图片数据进行裁剪，裁剪后图像大小在256*256，共有500张，再将裁剪后的图片进行旋转，平移，扭曲，镜像，加噪声等处理，最后生成144万张样本图片，其中136.8万张图片作为训练样本，7.2万张作为测试样本。

6 总结

在目标识别定位领域，卷积神经网络具有强大的图像处理能力，对图像的识别定位具有很高度平移，旋转，扭曲不变形的优良性能。卷积神经网络架构R-CNN和Fast-R-CNN都有强大的图像处理能力。Fast-R-CNN在识别准确率上比R-CNN高。R-CNN算法复杂，对一张图片需要进行1000-2000次的卷积运算，特征重复提取。因此在训练和前向测试时，R-CNN用的时间长，不能很好的适用于处理实时图片数据，尤其视频数据。R-CNN在对每个候选区进行特征提取之后需要将提取的特征向量存入内存，降低训练测试时间的同时也需要耗费大量内存。因此从各方面分析可知，Fast-R-CNN性能优于R-CNN。

参考文献

[1]谢宝剑.基于卷积神经网络图像分类方法研究[D].合肥工业大学，2015.

[2]郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014（02）：175-184.

[3]陈先昌.基于卷积神经网络的深度学习算法与运用研究[D].杭州：浙江工商大学，2006（04）：603-617.

[4]李彦冬，郝宗波，雷航等.卷积神经网络研究综述[J].计算机应用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

第2篇

（①昆明理工大学国土资源与工程学院，昆明 650093；②黄河勘测规划设计有限公司，郑州 450003）

（①Faculty of Land Resource Engineering，Kunming University of science and Technology，Kunming 650093，China；

②The Yellow River Survey Planning and Design Co.，Ltd.，Zhengzhou 450003，China）

摘要： 随着神经网络理论的深入研究，神经网络已在图像的分类中起到非常重要的地位。本文章使用IDL语言来实现神经网络在权值调整过程算法优化，并在ENVI上集成，已达到神经网络分类速度快，且精度可靠的目的。

Abstract： With the deep research in the theory of neural network, neural network has played a very important role in the classification of the image. This article uses the IDL language to implement the algorithm to optimize the weights of neural network to the adjustment process, and on the ENVI integration, has reached the neural network classification speed, precision and reliable.

关键词 ： 神经网络；图像分类；ENVI；IDL；集成；精度

Key words： neural network；image classification；ENVI；IDL；integration；precision

中图分类号：P237 文献标识码：A

文章编号：1006-4311（2015）06-0234-02

0 引言

ENVI是一套功能强大的遥感图像处理软件，在ENVI上进行遥感图像分类中有很多方法，如神经网络、最大似然、最小距离、 ISODATA算法、决策树和面向对象等分类方法，神经网络在分类时比其它分类所花费时间要长，且速度很慢，因为从算法机理可知神经网络在权值调整时是迭代收敛的过程，其分类过程自然很慢。针对此问题，决定使用IDL语言来编程优化算法。

1 IDL的语言环境

IDL（Interactive Data Language）是美国RSI公司推出的面向矩阵的第四代计算机语言，它语法简单，自带大量的功能函数，使用很少的代码就能实现其它语言很难实现的功能。IDL是进行数据分析、可视化及跨平台应用开发的最佳选择，利用IDL可以快速地进行科学数据读写、图像处理、集成数学统计、信号分析、数值计算和三维图像建模等。IDL集可视、交互分析、大型商业开发为一体，为您提供了最完善、最灵活最有效的开发环境。

IDL的开发应用已经深入到了人类日常生活的方方面面，给人类对未知领域的探索与发现提供了强有力的工具，推动了人类向前发展。对IDL的语言环境熟悉之后，紧接着就开始针对目前存在的基于神经网络的遥感图像分类问题进行改进，并结合ENVI软件，使用IDL语言设计出改进后的优化算法。

2 ENVI中基于神经网络分类的剖析

ENVI中采用的神经网络属于BP网络，含有输入层、输出层以及处于输入输出层之间的隐含层，如果进行非线性分类，输入的区域并非线性分类或需要两个超平面才能区分类别时候，隐层数设置为大于或等于一。隐含层的状态影响输入与输出之间的关系，改变隐含层的权系数，可以改变整个多层神经网络的性能。

ENVI中采用的BP神经网络通过误差函数的最小化过程来完成输入到输出的映射。为了完成最小化过程，这种BP反向传播算法分正向传播和反向传播两步进行。在正向传播中，输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐含层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响；在输出层把现行输出和期望输出进行比较,如果现行输出不等于期望输出，则进入反向传播过程。在反向传播过程中，反向传播把误差信号按原来正向传播的通路反向传回，反复修改（这是个迭代的过程）各节点的权重和阈值，逐渐减小误差，直到达到预先设定的要求。当误差小于某一相当小的正数或迭代误差不再减少时，完成BP网络的训练、输入与输出的映射的确定。

我们的落脚点是在BP网络的反向传播过程中网络各节点权值的迭代调整，但是该网络在此方面存在缺陷，就是迭代时间长，尤其对处理大数据，需要花费很长时间才能达到收敛。针对BP网络中学习算法收敛速度慢的缺点，运用数学中埃特金加速收敛算法，对传统的BP算法进行改进，然后使用IDL语言进行汇编，最后在ENVI上进行功能的扩展，已达到适用的生产目的。

3 编写迭代函数

为了能在ENVI菜单上调用埃特金迭代收敛函数，需要在ENVI菜单中创建一个新的菜单项，并定义一个此用户函数。这个用户函数可以通过在ENVI菜单中选择这个新的菜单项来进行调用。具体工程如下：

①在现有的ENVI菜单基础上创建新的功能菜单，首先用文本编辑器打开envi.men文件，添加如下部分：

PRO MY_PROCESS_DEFINE_BUTTONS, buttonInfo

COMPILE_OPT IDL2

ENVI_DEFINE_MENU_BUTTON, buttonInfo, VALUE = ‘New Function’, $

/MENU, REF_VALUE = ‘Supervised’, REF_INDEX = 0, $

POSITION = ‘last’

ENVI_DEFINE_MENU_BUTTON, buttonInfo, VALUE = ‘Function1’, $

UVALUE = ‘Function 1’, EVENT_PRO = ‘my_process_event’, $

REF_VALUE = ‘New Function’

END

如果ENVI已经打开，需要关闭并重新启动ENVI,然后在ENVI主菜单上，会看到Classification菜单下的Supervised的子菜单内增加了新的菜单“New Function”。

②编写迭代函数。在运行ENVI的IDL开发环境中，迭代功能函数的部分代码如下：

ENVI_NEURAL_NET_DOIT

FUNCTION bm_func,X,[X0，X1……Xn]

nx=Xn,

t = FINDGEN(nx-X)

… … … … …

4 实验过程与精度评定

本实验主要运用ENVI4.8版本图像处理软件进行图像分类，使用的数据是网上下载的经过数据预处理后的Landsat5 TM研究区影像。调用迭代函数开始进行基于神经网络的遥感图像分类，其分类时间所反映的进度条如图1所示，以及最终的迭代均方根训练函数如图2所示。

在神经网络分类结束后，所花费时间很短，分类速度很快，具体的分类结果图如图3所示。对调用迭代函数的神经网络分类结果进行精度分析，使用混淆矩阵，具体报表如图4所示。从混淆矩阵报表可知，总体分类精度为94.2374%，其Kappa系数为0.9272，分类效果很好，精度很高，满足要求。

5 结束语

ENVI上调用迭代函数的神经网络总体上比原来的神经网络分类要优越，其鲜明的特色就是分类速度快，精度也高。这大大提速原有的神经网络分类速度，尤其在处理大数据优越明显。但是ENVI上仍存在神经网络分类单一化现象，怎样使其减少人为的干预，使其更智能化是今后的研究趋势。

参考文献：

[1]董彦卿.IDL程序设计—数据可视化与ENVI二次开发[M].北京：高等教育出版社，2012.

第3篇

关键词:模糊神经网络;扩展卡尔曼滤波;自组织学习

模糊神经网络起源于20世纪80年代后期的日本,由于其简单、实用,已经被广泛应用在工业控制、系统辨识、模式识别、数据挖掘等许多领域[1~4]。然而,如何从可用的数据集和专家知识中获取合适的规则数仍然是一个尚未解决的问题。为了获取模糊规则,研究人员提出了不同的算法,如文献[5]利用正交最小二乘算法确定径向基函数的中心,但是该算法训练速度比较慢;文献[6]提出了基于径向基函数的自适应模糊系统,其算法使用了分层自组织学习策略,但是逼近精度低。扩展卡尔曼滤波(EKF)算法作为一种非线性更新算法,在神经网络中得到了广泛应用。文献[7]利用扩展卡尔曼滤波算法调整多层感知器的权值,文献[8]利用扩展卡尔曼滤波算法调整径向基函数网络的权值。

本文提出了一种模糊神经网络的快速自组织学习算法(SFNN)。该算法基于无须修剪过程的生长准则增加模糊规则,加速了网络学习过程,同时使用EKF调整网络的参数。在该算法中,模糊神经网络结构不是预先设定的,而是在学习过程中动态变化的,即在学习开始前没有一条模糊规则,在学习过程中逐渐增加模糊规则。与传统的模糊神经网络学习算法相比,本算法所得到的模糊规则数并不会随着输入变量的增加而呈指数增长,特别是本算法无须领域的专家知识就可以实现对系统的自动建模及抽取模糊规则。当然,如果设计者是领域专家,其知识也可以直接用于系统设计。本算法所得到的模糊神经网络具有结构小、避免出现过拟合现象等特点。

1SFNN的结构

本文采用与文献[9]相似的网络结构,如图1所示。其中,r是输入变量个数;xi(i=1,2,…,r)是输入语言变量;y是系统的输出;MFij是第i个输入变量的第j个隶属函数;Rj表示第j条模糊规则;wj是第j条规则的结果参数;u是系统总的规则数。

下面是对该网络各层含义的详细描述。

第一层:输入层。每个节点代表一个输入语言变量。

第二层:隶属函数层。每个节点代表一个隶属函数,隶属函数采用如下的高斯函数:

μij=exp(-(xi-cij)2σ2ij);i=1,2,…,r;j=1,2,…,u(1)

其中:r是输入变量数;u是隶属函数个数,也代表系统的总规则数;μij是xi的第j个高斯隶属函数;cij是xi的第j个高斯隶属函数的中心;σij是xi的第j个高斯隶属函数的宽度。

第三层:T-范数层。每个节点代表一个可能的模糊规则的IF-部分,也代表一个RBF单元,该层节点个数反映了模糊规则数。如果计算每个规则触发权的T-范数算子是乘法,则在第三层中第j条规则Rj的输出为

φj=exp(-ri=1(xi-cij)2σ2ij);j=1,2,…,u(2)

第四层:输出层。该层每个节点代表一个输出变量,该输出是所有输入变量的叠加。

y(X)=uj=1wjφj(3)

其中:y是网络的输出;wj是Then-部分。

2SFNN的学习算法

如前文所述,第三层的每个节点代表一个可能的模糊规则的IF-部分或者一个RBF单元。如果需要辨识系统的模糊规则数,则不能预先选择模糊神经网络的结构。于是,本文提出一种新的学习算法,该算法可以自动确定系统的模糊规则并能达到系统的特定性能。

2.1模糊规则的产生准则

在模糊神经网络中,如果模糊规则数太多,不仅增加系统的复杂性,而且增加计算负担和降低网络的泛化能力;如果规则数太少,系统将不能完全包含输入/输出状态空间,将降低网络的性能。是否加入新的模糊规则取决于系统误差、可容纳边界和误差下降率三个重要因素。

2.1.1系统误差

误差判据:对于第i个观测数据(xi,ti),其中xi是输入向量,ti是期望输出,由式(3)计算网络现有结构的全部输出yi。

定义:ei=ti-yi;i=1,2,…,n(4)

如果ei>keke=max(5)

则说明网络现有结构的性能比较差,要考虑增加一条新的规则;否则,不生成新规则。其中:ke是根据网络期望的精度预先选择的值;emax是预定义的最大误差;emin是期望的输出精度;β(0<β<1)是收敛因子。

2.1.2可容纳边界

从某种意义上来讲,模糊神经网络结构的学习是对输入空间的高效划分。模糊神经网络的性能和结构与输入隶属函数紧密相关。本文使用的是高斯隶属函数,高斯函数输出随着与中心距离的增加而单调递减。当输入变量采用高斯隶属函数时,则认为整个输入空间由一系列高斯隶属函数所划分。如果某个新样本位于某个已存在的高斯隶属函数覆盖范围内,则该新样本可以用已存在的高斯隶属函数表示,不需要网络生成新的高斯单元。

可容纳边界:对于第i个观测数据(xi,ti),计算第i个输入值xi与已有RBF单元的中心cj之间的距离di(j),即

di(j)=xi-cj;i=1,2,…,n;j=1,2,…,u(6)

其中:u是现有的模糊规则或RBF单元的数量。令

di,min=argmin(di(j))(7)

如果di,min>kd,kd=max[dmax×γi,dmin](8)

则说明已存在的输入隶属函数不能有效地划分输入空间。因此,需要增加一条新的模糊规则,否则,观测数据可以由已存在的距离它最近的RBF单元表示。其中:kd是可容纳边界的有效半径;dmax是输入空间的最大长度;dmin是所关心的最小长度;γ(0<γ<1)是衰减因子论文。

2.1.3误差下降率

传统的学习算法把误差减少率(ERR)[5]用于网络生长后的修剪过程,算法会因为修剪过程而增加计算负担,降低学习速度。本文把误差减少率用于生长过程形成一种新的生长准则,算法无须经过修剪过程,从而加速网络的学习过程。

给定n个输入/输出数据对(xi,ti),t=1,2,…,n,把式(3)看做线性回归模型的一种特殊情况,该线性回归模型为

t(i)=uj=1hj(i)θj+ε(i)(9)

式(9)可简写为

D=H+E(10)

D=TT∈Rn是期望输出,H=φT∈Rn×u是回归量,=WT∈Ru是权值向量,并且假设E∈Rn是与回归量不相关的误差向量。

对于矩阵φ,如果它的行数大于列数,通过QR分解:

H=PQ(11)

可把H变换成一组正交基向量集P=[p1,p2,…,pu]∈Rn×u,其维数与H的维数相同,各列向量构成正交基,Q∈Ru×u是一个上三角矩阵。通过这一变换,有可能从每一基向量计算每一个分量对期望输出能量的贡献。把式(11)代入式(10)可得

D=PQ+E=PG+E(12)

G的线性最小二乘解为G=(PTP)-1PTD,或

gk=pTkDpTkpk;k=1,2,…,u(13)

Q和满足下面的方程:

Q=G(14)

当k≠l时,pk和pl正交,D的平方和由式(15)给出:

DTD=uk=1g2kpTkpk+ETE(15)

去掉均值后,D的方差由式(16)给出:

n-1DTD=n-1uk=1g2kpTkpk+n-1ETE(16)

由式(16)可以看到,n-1uk=1g2kpTkpk是由回归量pk所造成的期望输出方差的一部分。因此,pk的误差下降率可以定义如下:

errk=g2kpTkpkDTD,1≤k≤u(17)

把式(13)代入式(17)可得

errk=(pTkD)2pTkpkDTD,1≤k≤u(18)

式(18)为寻找重要回归量子集提供了一种简单而有效的方法,其意义在于errk揭示了pk和D的相似性。errk值越大,表示pk和D的相似度越大,且pk对于输出影响越显著。利用ERR定义泛化因子(GF),GF可以检验算法的泛化能力,并进一步简化和加速学习过程。定义:

GF=uk=1errk(19)

如果GF

2.2参数调整

需要注意的是,不管是新生成的隐节点还是已存在的隐节点,都需要对网络参数进行调整。传统的方法是使用LLS[10]方法对网络参数进行调整,本文提出使用EKF方法调节网络的参数。由于LLS方法在确定最优参数时计算简单、速度快,但该方法对噪声敏感,其学习速度随着信噪比的增加而下降。另外,与LLS方法相关的问题是其求解可能是病态的,这使得参数估计变得很困难。EKF方法由于其自适应过程比较复杂,计算速度没有LLS方法快,但是EKF方法在噪声环境下具有鲁棒性,使用EKF方法可以实现一种健壮的在线学习算法。网络参数可以用下面的EKF[11]方法进行调整。事实上,网络的参数向量θ可以看做一个非线性系统的状态,并用下面的方程描述:

θi=θi-1

ti=h(θi-1,Xi)+ei(20)

在当前的估计值i-1处将非线性函数h(θi-1,Xi)展开,则状态模型可以重写为

θi=θi-1

ti=Hiθi-1+εi+ei(21)

其中:εi=h(i-1,Xi)-Hii-1+ρi。Hi是如下的梯度向量:

Hi=h(θ,Xi)θ|θ=i-1(22)

参数向量θ使用下面的扩展卡尔曼滤波算法更新:

Ki=Pi-1HTi[HiPi-1HTi+Ri]-1

θi=θi-1+Ki(ti-h(θi-1,Xi))

Pi=Pi-1-KiHiPi-1+Qi(23)

其中:Ki是卡尔曼增益矩阵;Pi是逼近误差方差阵;Ri是量测噪声方差阵;Qi是过程噪声方差阵。

全局扩展卡尔曼滤波算法会涉及大型矩阵运算,增加计算负担,因此可以将全局问题划分为一系列子问题从而简化全局方法。网络的前件部分具有非线性特性,利用扩展卡尔曼滤波算法对其进行调整;网络的后件部分具有线性特性,利用卡尔曼滤波算法对其进行调整,该方法等同于将全局方法简化为一系列解耦方法,可以降低计算负担。由于高斯函数的中心对系统的性能影响不明显,为了简化计算,只对高斯隶属函数的宽度进行调整。

前件参数使用如下的扩展卡尔曼滤波算法更新:

Kδi=Pδi-1GTi[Ri+GiPδi-1GTi]-1

δi=δi-1+Kδi(Ti-wi-1φi)

Pδi=Pδi-1-KδiGiPδi-1+Qi(24)

后件参数使用如下的卡尔曼滤波算法更新:

Kwi=Pwi-1φTi[Ri+φiPwi-1φTi]-1

wi=wi-1+Kwi(Ti-wi-1φi)

Pwi=Pwi-1-KwiφiPwi-1+Qi(25)

2.3模糊规则的增加过程

在SFNN学习算法中,模糊规则增加过程如下:

a)初始参数分配。当得到第一个观测数据(X1,t1)时,此时的网络还没有建立起来,因此这个数据将被选为第一条模糊规则:c0=X0,δ1=δ0,w1=t1。其中δ0是预先设定的常数。

b)生长过程。当得到第i个观测数据(Xi,ti)时,假设在第三层中已存在u个隐含神经元,根据式(4)(7)和(19),分别计算ei、di,min、GF。如果

ei>ke,di,min>kd,且GF

则增加一个新的隐含神经元。其中ke、kd分别在式(5)和(8)中给出。新增加的隐含神经元的中心、宽度和权值赋值为:Cu+1=Xi,δu+1=k0di,min,wu+1=ei,其中k0(k0>1)是重叠因子。

c)参数调整。当增加新神经元后,所有已有神经元的参数通过式(24)(25)描述的算法调整。

3仿真研究

时间序列预测在解决许多实际问题中是非常重要的。它在经济预测、信号处理等很多领域都得到了广泛应用。

本文采用的时间序列由Mackey-Glass差分延迟方程产生,其方程定义为[5]

x(t+1)=(1-a)x(t)+bx(t-τ)1+x10(t-τ)(27)

为了能够与文献[5,6]在相同的基础上进行比较,取值Δt=P=6,式(27)中的参数选择为:a=0.1,b=0.2,τ=17。预测模型表示为x(t+6)=f[x(t),x(t-6),x(t-12),x(t-18)](28)

为了获得时间序列,利用式(27)生成2000个数据,式(27)的初始条件为:x(0)=1.2。为了训练和测试,在t=124和t=1123之间选择1000个样本作为式(28)的输入/输出样本数据。使用前500个数据对作为训练数据集,后面的500个数据对验证该模型的预测性能。图2显示了SFNN生成的模糊规则数;图3显示了从t=124到t=623的训练结果;图4显示了SFNN良好的预测性能。表1列出了SFNN与其他算法的比较结果。表1显示,与OLS、RBF-AFS算法相比,SFNN具有最少的规则数、最小的误差和良好的泛化能力,同时具有快速的学习速度。SFNN的快速性就在于:采用无须修剪过程的生长准则,加速了网络学习过程;利用扩展卡尔曼滤波调整网络的参数,可以缩短网络的学习周期。从上面的分析可以看出,SFNN具有紧凑的结构、快速的学习速度、良好的逼近精度和泛化能力。

4结束语

SFNN采用在线学习方法、参数估计和结构辨识同时进行,提高了网络的学习速度。基于该方法生成的模糊神经网络具有紧凑的结构,网络结构不会持续增长,避免了过拟合及过训练现象,确保了系统的泛化能力。

参考文献:

[1]

HUANGHuan,WUCong-xin.Approximationcapabilitiesofmultilayerfuzzyneuralnetworksonthesetoffuzzy-valuedfunctions[J].InformationSciences,2009,179(16):2762-2773.

[2]DENGXing-sheng,WANGXin-zhou.Incrementallearningofdynamicfuzzyneuralnetworksforaccuratesystemmodeling[J].FuzzySetsandSystems,2009,160(7):972-987.

[3]韦玉科,汪仁煌,李江平,等.一种新的数据智能化处理算法[J].计算机应用研究,2008,25(5):1328-1329.

[4]CHENSheng,HONGXia,LUKBL,etal.Orthogonal-least-squaresregression:aunifiedapproachfordatamodeling[J].Neurocompu-ting,2009,72(10-12):2670-2681.

[5]CHENS,COWANCFN,GRANTPM.Orthogonalleastsquareslearningalgorithmforradialbasisfunctionnetworks[J].IEEETransonNeuralNetworks,1991,2(2):302-309.

[6]CHOKB,WANGBH.Radialbasisfunctionbasedadaptivefuzzysystemsandtheirapplicationstosystemidentificationandprediction[J].FuzzySetsandSystems,1996,83(3):325-339.

[7]RIVALSI,PERSONNAZL.ArecursivealgorithmbasedontheextendedKalmanfilterforthetrainingoffeedforwardneuralmodels[J].Neurocomputing,1998,20(1):279-294.

[8]SIMOND.TrainingradialbasisneuralnetworkswiththeextendedKalmanfilter[J].Neurocomputing,2002,48(1):455-475.

[9]WUShi-qian,ERMJ,GAOYang.Afastapproachforautomaticgenerationoffuzzyrulesbygeneralizeddynamicfuzzyneuralnetworks[J].IEEETransonFuzzySystems,2001,9(4):578-594.

第4篇

【关键词】计算机网络连接 增强优化 神经网络算法

计算机网络是一种先进的科技技术，自出现以来就极大程度的改变了人们的生活生产方式，带来了非常大的便利。我国现阶段的计算机网络连接相对比较薄弱，存在很多不完善的地方。因此，有必要采取措施优化计算机网络连接，进而维护计算机网络连接的安全稳定，营造良好的上网环境。

1 计算机网络连接增强优化

1.1 计算机网络连接增强优化的必要性

网络连接对于计算机网络的重要性不言而喻。如果出现网络连接断开的问题，就会导致计算机设备无法与通信网络进行有效的信息沟通。因此，必须优化计算机网络连接，拓扑扩展计算机网络，提升信息交流的有序性和有效性，降低影响所带来的损失。因此，在现有的网络环境中，加入合适的结点，进而完善计算机网络连接的有效率，以及提高网络容量，拓展现有网络结构，使得信息交流的交互性进一步增强，最终实现计算机网络连接的优化目的，拓扑扩展了计算机网络。现阶段，存在非常多的措施能够提升计算机网络连接的效率，扩展网络容量，以及上网环境的优化。但是，很多方法措施需要投入大量的资金作为支持，不具有实用性和经济性。而计算机网络应用要求计算机网络连接优化措施适当合理，在最小的经济支出情况下解决问题，因此，只有采取增强优化下的神经网络算法。

1.2 计算机网络拓扑结构

计算机网络拓扑结构主要是指，网上计算机或设备与传输媒介形成的结点与线的物理构成模式。通信子网直接影响计算机网络拓扑结构的形式，拓扑结构能够在一定程度上保证网络信息数据系统的安全性、可靠性、完整性，此外能够对数据信息进行共享、处理以及交换等内容。根据网络拓扑结构框架分析，可以清楚的明确计算机网络结构是由链路和节点所组成，也可以这样理解，计算机网络拓扑是由计算机组成的，网络之间设备的分布情况以及连接状态所形成的拓朴图。通常情况下计算机网络用G= 来表示，V指的是网络结点集，E指的是链路集。如果增加结构中的结点集用Va表示，增加的连接集用Eb表示，进而得出计算机网络结构为G’=。

2 基于计算机网络连接优化中的神经网络算法

2.1 神经网络算法

思维学普遍认为，人类大脑的思维分为抽象思维、形象思维和灵感思维三种基本方式。而抽象思维是一种逻辑化思想，形象思维是一种直观化思想，灵感思维是一种顿悟性和创造性思想。而神经网络思维，就是通过对上述理论的分析实践，模拟人类大脑思维的第二种方式。人工神经网络，是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 相对人工神经网络来说，人工神经网络应用系统更加高级，通过对网络算法以及网络模型的合理运用，合理处理信号，或者识别某种运行模式，最终形成一套独立完善的专家系统，或者智能化的机器人。

现阶段，社会中越来越多的领域开始应用人工神经网络，在生产领域上取得了明显效果。人们也越发提高对人工神经网络算法的重视程度，神经网络算法是在此基础上逐渐发展完善的，是监督性的学习算法。但是在实际应用过程中，人工神经网络算法还存在一些不足之处，没有合理解决收敛速度缓慢的问题，无法控制收敛程度到最小点，因此增加了计算机网络记忆和学习的不稳定性，同时计算机网络连接效果也受此影响。

2.2 均场神经网路算法

通过建立科学合理的场均神经网络模型，有利于进行计算机网络连接增强优化中的均场神经网络算法研究工作，进而评判网络效果。需要注意的是，利用函数法构建模型时，应当加强目标函数的构建问题工作，可以用以下方式表现构建模型：Hopfield计算网络中的神经元状态，可以用Fi进行表示，如果Fi=1，那么表示网络选中了连接i，能够正常连接；如果Fi=0，那么表示网络没有选中连接i，不能正常连接。之后可以利用罚函数法结构，创建网络模型，保证Z=max（ΣPi*Xi） 和 ΣMi*Xi ≤ A成立，需要对目标函数进行控制，主要有I = ?γ/2*[∑ρiFi]2+ψ/2*[a ?∑mifi]2，其中a=（γripi-ψmimi）d，Ii=βami，γ和ψ表示Lagrange 参数，构造Lyapunov能量函数为：E = ?1/2*∑∑AiFiFi ? ∑ IiFi，Hopfield神经网络结构为：Fi=1/2*[1+tanh（Bi/T）]，Bi=∑AiFi + I。利用均退火技术，将随机变量函数的均值由随机变量均值的函数替代，可以得出：〈Fi〉=1/2*[1+tanh{}]，〈Bi〉=〈∑AiFi + Ii〉=∑Ai Fi + Ii。如果随机变量均值〈Fi〉由均场变量Ri替换，可以得出均场网络结构：Ri=1/2[1+tanh（∑AiRi+Ii/T）]，均场网络的能量函数为：E（v）= ?1/2∑∑AiRiRi ? ∑ IiRi。通过对算法步骤的简单分析，可以看出：第一、根据问题设置参数；第二、初始化，Ri=rand（d，1-d），i可以是大于零的整数；第三、重复以上操作，知道满足停止规则。

3 总结

总而言之，计算机网络在社会各个领域中，都在发挥的无可替代的作用。如果计算机网络连接出现问题，将会严重影响相关企业或者设备的正常运转，进而降低经济效益。因此，必须提高计算机网络连接的重视程度，进一步完善优化连接效率，维护网络连接的稳定性和可靠性，为我国计算机事业的未来发展奠定坚实的基础。

参考文献

[1]陈竺.计算机网络连接增强优化中的神经网络算法[J].电子技术与软件工程，2014（19）：16-16.

[2]王颖华，金爱花.计算机网络连接增强优化中的均场神经网络算法[J].硅谷，2013（15）：61-62.

[3]李盼池，许少华.基于过程神经网络和遗传算法的系统逆向过程求解[J].计算机测量与控制，2015（10）：948-950.

第5篇

1什么是CBIR

传统的基于文本的图像检索（Text-Based Image Retrieval，TBIR）技术是先通过人工方式对图像进行文字标注，再用关键字来检索图像，这种方式耗时并且主观，无法满足大规模图像数据的检索需要。基于内容的图像检索（Content-Based Image Retrieval，CBIR）技术是根据图像对象的内容及上下文联系在大规模多媒体数据库中进行检索。

2神经网络的特点

神经网络是在现代神经学的研究基础上发展起来的一种模仿人脑信息处理机制的网络系统，它具有自组织、自学习和极强的非线性处理能力，能够完成学习、记忆、识别和推理等功能，它已在控制、模式识别、图像和视频信号处理、人工智能、自造应滤波等方面获得了应用。医学上，神经网络这一智能的诊断方法，能够排除各种人为因素，得到准确客观的诊断结果，对医学图像数据若用传统的线性处理模式通常不太好处理， BP神经网络是众多神经网络中应用最广泛的一种多层前馈神经网络，图1所示为三层BP神经网络。

3蚁群算法

蚁群算法[6]（Ant Colony Optimization，ACO）是由意大利学者Dorigo等人于20世纪90年代初期通过模拟自然界中蚂蚁集体寻径的行为而提出的一种基于种群的启发式随机搜索算法。蚁群算法作为一种新型的智能仿生模型，近几年在图像分割、图像特征提取、图像匹配、影像纹理分类、图像检索等领域都取得了研究成果[8]。

4神经网络算法和蚁群算法在医学图像检索中的应用

CBIR检索过程是一个逐步求精的过程，其在医学上的应用可以看成是用户（放射学者、医师等）和医学图像数据库之间的一个交互过程。其基本原理是：对医学图像数据库中的每幅图像先进行特征分析，提取图像的特征；建立医学图像数据库的同时，建立与图像库相关联的特征库；在进行图像检索时，对给定的查询例图，先提取特征向量，再将该特征向量与特征库中的特征向量进行匹配，根据匹配的结果在医学图像数据库中搜索，即可检索出所需的图像。本文结合神经网络算法结合蚁群算法，将其应用于医学图像检索，见图2。

4.1医学图像预处理 在医学方面，图像预处理的主要目的是消除图像中无关的信息、增强有关信息的可检测性并最大限度地简化数据，从而提高医务人员对图像判读的准确性及效率。本课题中图像预处理方法由图像增强、图像分割组成。

4.1.1图像增强 图像增强[2]是进行图像检索的先行步骤，可以用公式 来表示，其中 是输入图像， 是增强后的图像， 是对输入图像所进行的操作。本文主要采用直方图均衡化方法来进行图像增强，直方图均衡化是将一已知灰度概率密度分布的图像，经过某种变换变成一幅具有均匀灰度概率密度分布的新图像。与其他方法相比，直方图均衡化方法适用范围广，易于实现，可达到较好的增强效果，暗区中的图像能清楚的显示出来，能够展示更多诊断信息。

4.1.2图像分割 医学图像分割是根据医学图像的某种相似性特征将图像划分为若干个互不相交的"连通"区域的过程。医学图像中，大多数情况下都需要对医学图像作分割，来突出需要的目标物体，如病灶。采用sobel算子计算医学图像边缘和阈值，在此基础上修改阈值使边缘更加精确，以此实现图像分割。

4.2神经网络算法（如图3所示）的实现。

基本步骤如下：①确定问题：对问题做出详细的调研，明确目标，然后考虑如何引入粗糙集从而更好地解决问题。②对数据进行收集，即采集经过图像预处理之后得到的特征数据。③数据处理：把要处理的数据建立成一张二维决策表，每一行描述一个对象，每一列描述对象的一种属性。在本步中，如果无法得到完备的数据表，就有必要将信息表进行完备化操作；如果初始数据是连续值，还要经过连续属性离散化操作。④根据粗糙集理论[5]对数据进行属性约简，利用属性重要度去掉数据表中的冗余条件属性，并消去重复的样本。⑤根据上步中得到的训练数据样本设计BP神经网络，根据约简结果确定神经网络的输入层单元数和隐含层节点数。采用一个 的3层BP神经网络。隐藏层神经元的传递函数设计为S型正切函数，输出层神经元的传递函数设计为S型对数函数。⑥用约简后形成的学习样本对神经网络进行学习，得到神经网络的权值。然后将测试样本输入网络进行测试，输出最终结果。本算法中，规定BP神经网络的训练指标为0.01，训练次数C<5000次。

4.3蚁群算法的实现（如图4所示）。

目前，CBIR方面现已有了大量研究，但CBIR的系统很少用于临床，如遵义医学院附属医院在进行医学图像检索时，更常用的方式还是传统的基于文本的图像检索方式，其最大的原因是CBIR方式检索速度慢，响应时间长。为此，如何保证医学图像数据检索的有效性和准确性是目前CBIR迫切需要解决的问题之一。本文将BP神经网络和蚁群算法结合起来，借助蚁群算法易于与其他算法相结合的优势，利用蚁群算法对粗神经网络算法的参数进行优化的同时，结合医学图像的特殊性，提出将神经网络算法和蚁群算法结合起来应用于CBIR中具有一定的现实意义。

参考文献：

[1]蒋历军.应用网格和水印技术对基于内容的肝脏CT图像检索的研究[D].上海交通大学，2009.

[2]冈萨雷斯.数字图像处理（MATLAB版）[M].北京：电子工业出版社，2012.

[3]史元春，徐光祐，高原.中国多媒体技术研究：2011[J].中国图象图形学报，2012.

[4]H Zhang， JE Fritts， SA Goldman.Image segmentation evaluation： A survey of unsupervised methods[J].Computer Vision and Image Understanding， 2008.

[5]蒋世忠，易法令，汤浪平，等.基于图割与粗糙集的MRI脑部肿瘤图像检索方法[J].中国组织工程研究与临床康复，2010.

[6]张小冬.蚁群算法在医学图像识别中的研究与应用[D].扬州大学，2009.

[7]李旭超，刘海宽，王飞，等.图像分割中的模糊聚类方法[J].中国图象图形学报，2012.

[8]Veenman C，Reinders M，Backer E.A Cellular Coevolutionary Algorithm for Image Segmentation [J].IEEE Transaction on Image Processing， 2003.

第6篇

关键词：自主角色; 神经网络; 遗传算法

中图分类号： TP183

文献标识码：A

0引言

随着计算机图形学和硬件技术的高速发展，计算机游戏近十几年也取得了很大的发展，游戏软件已成为软件产业中非常重要的内容。游戏的类型主要包括FPS（第一人称射击）、RPG（角色扮演类型）和RTS（即时战略游戏）等几种类型，这些不同类型的游戏都要求游戏控制的角色（NPC）与玩家控制的角色（PLAYER）要有行为的交互，交互的方式直接影响玩家对游戏的兴趣度。因此，对NPC与PLAYER之间的角色交互行为方式的研究已经成为游戏软件中的一个非常重要的研究课题。

目前大多数游戏中的角色行为的交互方式采用的是确定型的交互行为，其特征主要表现在角色的行为都是预先确定的，这种类型的行为实现起来较为简单，也是目前大多数游戏所采用的交互方式。像这种确定性的行为往往体现不出角色的自主性，而且还会导致角色行动单调乏味，其行动很容易被玩家所预测,降低游戏的可玩性。为此,我们需要在游戏软件中设计和实现这样的NPC角色，它能够根据当前环境的变化以及以往的经验知识来动态地改变对PLAYER的行为。具有这种能力的角色，我们称之为自主角色,也称为自适应角色。具有自主和自适应特点的角色可具有推理能力和自适应能力,在游戏环境下可更受玩家的欢迎。

一款拥有自主角色的游戏能够牢牢地吸引玩家的注意力，从而延长这款游戏的生命周期，因此促使游戏开发人员花更多的时间来研究自主角色的实现。一些公司已经开始尝试从人工智能领域发展出更加高级的技术，如采用决策树或者强化学习来实现角色的自主性，也有的像著名的游戏Colin McRae Rally2则采用了学习系统和神经网络来实现角色的自主性。

有关自主角色行为的论文已经有很多做出了卓有成效的成绩，如在Reynolds的文献［1］中，对自主角色的群体行为进行了描述。Blumberg和Galyean［2］中引入更多的行为控制机制，并考虑了行为学习这样一个令人感兴趣的问题。对于自主角色的更高层次的认知能力方面，John David Fungc［3］中指出，认知模型是用于创建虚拟世界的模型“金字塔”的顶层，底层的行为模型作为认知模型和物理学模型之间的缓冲区，并将情景演算(situation calculus)［4］用于高度动态的虚拟世界。

但是，上述各种方法因为侧重点不同，各有优缺点，且相互之间较为独立，因此本文结合上述一些方法的优点，在此基础上提出了基于认知角色建模，采用神经网络和遗传算法相结合的游戏自主角色的设计思路。基于此，各小节安排如下：

第一节确定了基于认知建模方法的游戏自主角色模型；第二节介绍了神经网络在实现自主角色中的应用；第三节说明了遗传算法对神经网络的优化；第四节对自主角色的实验进行了分析。

1基于认知建模的角色自主性模型

由于认知建模方法能够采用精确的数学方式来定义自主角色的行为和学习模式，因此本文采用认知建模方法来对游戏角色的自主性进行建模。这里将游戏中存在的非玩家控制的角色简称为NPC,通过认知建模方法研究NPC的高级行为规划，指导NPC,提高NPC的智能水平能力，使NPC能够对环境作出判断，并根据当前的状态进行推理，进而完成相应的行动序列,有利于创建聪明自主的智能体――具有认知能力的自主的角色。

在计算机游戏中，我们将游戏角色关于他所在世界的内部模型称“认知模型”(Cognitive Model)。认知模型可以用于游戏中，控制一类自主的角色。通过认知模型支配游戏角色对其所在环境的了解程度，如何获取知识，以及如何利用知识选择行动。

NPC的行为分为“预定义的”和“非确定性的”两种，建立的认知模型也各不相同。建立预定义行为的认知模型比较简单，只要将事先定义好的NPC所在环境的领域知识赋予NPC系统，NPC就可以根据人们的要求采取某种行动。而非确定性的行为不容易控制。为了实现人为的控制，我们采取一种折中的方法，即将领域知识和人的指导赋予NPC，使NPC主动地向人们希望它达到的目标发展。可由下面的公式表示:

知识+指导=行为

领域知识能够用来规划目标，而指导对如何达到目标提供一种框架计划。

当然NPC在决定采取什么样的行动时并不需要整个虚拟世界的知识。所以，我们认为NPC的认知模型是角色对其虚拟世界的一种内部简化模型〔simplified model〕。

为此我们在现有游戏系统之上营造一个通过认知模型定义的高级行为规划器来实现对NPC的行为指导。规划器模型设计如图1所示。

NPC的预定义行为和非确定行为都可以形式化为认知模型，通过认知模型来指导NPC高级行为规划器，由于神经网络在非确定中的强大的学习作用，因此本项目通过神经网络来实现NPC高级行为规划器的三个方面：目标引导、行为协调、约束满足。

2基于人工神经网络的角色自主系统

这里,我们采用的是神经网络中的BP网络作为NPC的感知系统。BP算法是一种用于多层前向网络的学习算法，它包括输入层、输出层和隐含层，隐含层可以是多层结构。BP网络的学习过程包括两个阶段:第一阶段计算前向输出;第二阶段从反向调整连接权矩阵。

在前向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每一层神经元的输出作为上层神经元的输入.如果在输出层，实际输出值与期望输出值有误差时，则以反向将误差信号逐层修改连接权系数并且反复迭代，最后使实际输出值与期望值的均方差为最小。在修正连接权系数时，通常采用梯度下降算法。

BP神经网络使用的是指导式的学习方法,即在学习过程中,向网络提供有明确输入和输出目标的样本对。BP学习算法是基于最小二乘法LMS 算法,运用梯度下降方法,使网络的实际输出与期望输出的均方差最小。网络的学习过程是一种误差边向后传播边修正连接权的过程。因为BP网络对以分类为主要目的的学习非常有效,所以,我们采用B P网络进行NPC分类的自学习。需要输入NPC自主系统中BP网络的特征参数主要是NPC的生命值,NPC的攻击力，NPC的防御力，NPC的情感值等，玩家虚拟角色的生命值,玩家虚拟角色的攻击力，玩家虚拟角色的防御力，玩家虚拟角色的情感值等。

NPC在虚拟游戏环境下，在与玩家的不断交互中刺激着感知系统，在外界环境发生变化时产生认知模型指导下的自主行为，通过神经网络最终演化成具有自主性的行为系统，同时，利用遗传算法使适应度有一定程度的增加，使NPC更适应外界环境的变化。关于NPC的感知系统的设置如下：

1） 输入参数的确定

NPC的感知系统由人工神经网络构成，虚拟游戏环境的特征参数作为输入送入神经网络进行学习。在我们的游戏项目中，输入主要包括三种类型：布尔类型、枚举类型和连续类型三种，但是这三种类型都需要转化成神经网络所认可的实数类型。

2） 权重的确定

权重有些类似于生物神经网络的树突联结，权重影响了输出变量的值，并且定义了神经网络的行为，实际上训练或者演化神经网络的主要目标就是确定NPC神经网络的权重。为了确定每个输入参数的权重，需要确定激活函数。

3） 激活函数的确定

激活函数确定了输入与输出参数之间的映射关系，针对NPC自主角色的神经网络，我们采用的是非线性激活函数，具体采用的是S型激活函数。

3基于遗传算法的神经网络优化

神经网络的基本特征是大规模并行处理、容错性、自适应性和自组织性，适合处理直觉和形象思维信息。神经网络与遗传算法的结合使神经网络的训练有了一个崭新的面貌，目标函数既不要求连续，也不要求可微，仅要求该问题可计算，而且它的搜索始终遍及整个解空间，因此容易得到全局最优解。用遗传算法优化神经网络，可以使得神经网络具有自进化、自适应能力，从而构造出进化的神经网络(ENN)［5］。

研究NPC的进化,要建立NPC在虚拟环境中进行的各种行为模型。另外,同虚拟环境本身也会发生竞争。由于适应度是NPC竞争力大小的直接反映,为了建立NPC的竞争机制,首先要建立NPC的适应度函数。

首先,NPC的适应度函数和NPC的种类相关。在同一环境下,不同NPC的适应度肯定是不相同的［6］。同时,为了表现NPC自学习对进化的影响,有了学习能力的同种NPC适应度的取值也有所不同。其次,NPC的适应度还与其所处的不同阶段有关。适应度取值在其不同阶段中不是一成不变的。

在环境不发生变化时,NPC的适应度函数F(t)可以用此函数表示:

其中,参数a表示NPC的生命力值;参数k表示NPC的类型,不同的NPC对同一游戏环境的适应性是不一样的,当k取不同的值时,会得到适应度不同的各种NPC。接着按照以下工作步骤操作：

1） 从NPC神经网络中提取权重向量；

2） 用遗传算法演化出一个新的网络权重群体；

3） 把新的权重插入到NPC神经网络；

4） 转到第一步进行重复，直至获得理想的性能。

4试验分析

我们的实验测试场景如下：

在一个仿真的三维游戏环境下,游弋着若干个NPC角色和一个玩家控制的虚拟角色,主角可以漫游整个游戏场景,这些NPC当遇到主角后,可能会对主角采取不同的行为,比如攻击行为,逃避行为,团队作战行为,对话行为等,所有这些行为的决策都取自于神经网络的训练。

在采用神经网络算法之前，所有的NPC无论强弱，都会主动向玩家角色发起攻击，而在采用神经网络算法之后，这些NPC都具有了一个人工大脑，每个NPC在与玩家角色的交互过程不断地学习，不断地演化，最终变成自主角色，具体表现在：NPC根据以往与玩家角色交互过程中的经验，从而产生较为理智的行为，比如当NPC感觉玩家的综合实力要高于自己时，它可能会采取逃避的行为，而当NPC感觉其综合实力要高于玩家时，它往往会主动攻击玩家。

表1和表2列举了应用神经网络算法前后的测试数据。

应用神经网络算法所采取的实验方案如下：

(1) 对于NPC感知系统的输入，包括与虚拟玩家角色的距离， 虚拟玩家的攻击力，防御力，生命力，魔法力，信誉度，NPC自身的攻击力，防御力，生命力，魔法力，信誉度。并将参数归一化，使最终的参数范围位于[-1, 1]之间；

(2) 对于NPC感知系统的输出，包括躲避，单独攻击，潜伏，召唤同伴，团队攻击等行为。即将神经元的输出元设计成五个，这些行为通过一些标志符来确定，例如， 如果代表攻击的输出位为1，则其他位为零。

通过对比两组测试试验,可以发现后一组试验中,NPC能够根据自己的实力和玩家的实力对比，理智的采取一些行为（比如退避，呼唤同伴协同作战）而不是一味盲目攻击， NPC的存活率显然就很高，因此也显得较为智能。

第7篇

[关键词]小波神经网络 电阻率仪器 温度补偿算法

中图分类号：TP183 文献标识码：A 文章编号：1009-914X（2015）15-0343-01

1、前言

在实际的现场工矿条件中，油层温度远高于地面正常的环境温度，在一定范围内造成仪器的测量数据产生温度漂移，不能准确地反映真实的地层参数，这直接影响到定向工程。为了消除这种测量误差，本文介绍一种基于小波神经网络的算法来实现电阻率温度补偿，并通过实际的测量数据修正结果证实了能够最大限度地消除温度造成的测量误差。

2、理论基础

由于温度造成的测量数据偏差已经影响到仪器正常的工作，为了消除其对MRC仪器输出的影响，达到输出电压与各个易感器件产生的连带误差最小的目标，采用一种算法去逼近真正的测量值。本文拟采用基于小波分析和前馈神经网络，其所构成的数学模型结合了小波变换良好的时域局域化性质及神经网络的自学习功能，通过对网络特征的分析处理，将学习向量的内积和小波基迭代计算，以实现函数逼近的目标。小波网络因其良好的非线性映射能力和较强的容错逼近特性，能够逼近特定性质的非线性曲线[2]。

如图1所示：

2.1 小波神经网络

小波神经网络的学习，是用已定位的小波元代替神经元作为网络的激活函数，通过小波网络提供区别函数的多分辨近似，非平稳信号分析和神经网络的自学习的并行处理。利用神经网络数据正向传递与误差的反向传播算法，计算输出层的误差变化值。同时选取适当的小波作特征提取，在其特征空间选取最佳的小波基，通过伸缩和平移因子，加快网络学习和收敛速度。本文采用的是以小波函数为隐层节点的基函数的神经网络，进行随钻仪器电阻参数温度补偿的研究。

小波分析的定义：在函数空间中选择母小波函数S（x），此函数需要满足相容性条件。

对小波函数S（x）进行伸缩变换和平移变换得到小波基函数，其公式如下：

其中自变量（a，b）是伸缩因子和平移因子。小波级数把函数f（x）分解成不同频率的组合。

符号“< >”表示内积，和称为小波系数。

2.2 小波神经网络结构及算法

本文采用小波神经网络结构如图2所示

该网络输入神经元代表的是不同温度下测量节点的采样数值，将此学习样本输入到神经网络，隐层的激励函数采用的是Morlet小波，选用的依据是其对隐层基函数的正交性要求较低，具有较高的时频域分辨能力，同时满足相容性条件，能有效地提高学习逼近的速度和准确性。

小波神经网络训练算法流程图如图3所示：开始网络化参数初始输入学习样本和期望输出小波网络学习，计算网络实际输出网络误差学习次数T

三、仪器温度补偿实例

仪器发射线圈流过的电流产生磁场，通过井眼和周围的底层传播到两个接受线圈，采集其测量时序和信号幅度，从而来计算此地层的电阻率值。在实际的测量计算中，选用相位差和幅度比来实现。设定常温到120度之间的试验需求样本数据，通过网络学习所达到的实测数据。网络学习的收敛速度也满足了预期的效果，同时满足了设定的误差范围。在仪器测量的实际运行中提高了测量稳定性和容错性。

参考文献

[1] 焦李成.神经网络系统理论[M].西安电子科技大学出版社，1990.

第8篇

关键词：树叶识别；支持向量机；卷积神经网络

中图分类号 TP18 文献标识码：A 文章编号：1009-3044（2016）10-0194-03

Abstract： In this paper， the convolution neural network recognition in the leaves， and the process by convolution of image visualization. Experiments show that the neural network application identification convolution leaves a 92% recognition rate. In addition ， this neural network and support vector machine comparative study can be drawn from the study ， convolutional neural network in either speed or accuracy better than support vector machines， visible， convolution neural network in the leaves aspect has good application prospects.

Key words recognition leaves； SVM； convolutional neural network

1 概述

树叶识别与分类在对于区分树叶的种类，探索树叶的起源，对于人类自身发展、科普具有特别重要的意义。目前的树叶识别与分类主要由人完成，但，树叶种类成千上万种，面对如此庞大的树叶世界，任何一个植物学家都不可能知道所有，树叶的种类，这给进一步研究树叶带来了困难。为了解决这一问题，一些模式识别方法诸如支持向量机（Support Vector Machine，SVM）[1]，K最近邻（k-NearestNeighbor， KNN）[2]等被引入，然而，随着大数据时代的到来，这些传统分类算法暴露出越来越多的不足，如训练时间过长、特征不易提取等不足。

上世纪60年代开始，学者们相继提出了各种人工神经网络[3]模型，其中卷积神经网络由于其对几何、形变、光照具有一定程度的不变形，因此被广泛应用于图像领域。其主要特点有：1）输入图像不需要预处理；2）特征提取和识别可以同时进行；3）权值共享，大大减少了需要训练的参数数目，是训练变得更快，适应性更强。

卷积神经网络在国内研究才刚刚起步。LeNet-5[4]就是一种卷积神经网络，最初用于手写数字识别，本文研究将卷积神经网络LeNet-5模型改进并应用于树叶识别中。本文首先介绍一下卷积神经网络和LeNet-5的结构，进而将其应用于树叶识别，设计了实验方案，用卷积神经网络与传统的模式识别算法支持向量机（SVM）进行比较，得出了相关结论，并对进一步研究工作进行了展望。

2人工神经网络

人工神经网络方面的研究很早就已开展，现在的人工神经网络已经发展成了多领域、多学科交叉的独立的研究领域。神经网络中最基本的单元是神经元模型。类比生物神经元，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元的状态。人工神经元模型如图1所示：

上述就是一个简单的神经元模型。在这个模型中，神经元接收来自n个其他神经元传递过来的输入信号，这些信号通过带权重的w进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”来产生输出。

一般采用的激活函数是Sigmoid函数，如式1所示：

[σz=11+e-z] （1）

该函数图像图2所示：

2.1多层神经网络

将上述的神经元按一定的层次结构连接起来，就得到了如图3所示的多层神经网络：

多层神经网络具有输入层，隐藏层和输出层。由于每一层之间都是全连接，因此每一层的权重对整个网络的影响都是特别重要的。在这个网络中，采用的训练算法是随机梯度下降算法[5]，由于每一层之间都是全连接，当训练样本特别大的时候，训练需要的时间就会大大增加，由此提出了另一种神经网络―卷积神经网络。

2.2卷积神经网络

卷积神经网络（CNN）由于在图像分类任务上取得了非常好的表现而备受人们关注。发展到今天，CNN在深度学习领域已经成为了一种非常重要的人工神经网络。卷积神经网络的核心在于通过建立很多的特征提取层一层一层地从图片像素中找出关系并抽象出来，从而达到分类的目的，CNN方面比较成熟的是LeNet-5模型，如图4所示：

在该LeNet-5模型中，一共有6层。如上图所示，网络输入是一个28x28的图像，输出的是其识别的结果。卷积神经网络通过多个“卷积层”和“采样层”对输入信号进行处理，然后在连接层中实现与输出目标之间的映射，通过每一层卷积滤波器提取输入的特征。例如，LeNet-5中第一个卷积层由4个特征映射构成，每个特征映射是一个24x24的神经元阵列。采样层是基于对卷积后的“平面”进行采样，如图所示，在第一个采样层中又4的12x12的特征映射，其中每个神经元与上一层中对应的特征映射的2x2邻域相连接，并计算输出。可见，这种局部相关性的特征提取，由于都是连接着相同的连接权，从而大幅度减少了需要训练的参数数目[6]。

3实验研究

为了将LeNet-5卷积网络用于树叶识别并检验其性能，本文收集了8类树叶的图片，每一类有40张照片，如图5所示的一张树叶样本：

本文在此基础上改进了模型，使用了如图6卷积神经网络模型：

在此模型中，第一个卷积层是由6个特征映射构成，每个特征映射是一个28*28的神经元阵列，其中每个神经元负责从5*5的区域通过卷积滤波器提取局部特征，在这里我们进行了可视化分析，如图7所示：

从图中可以明显地看出，卷积网络可以很好地提取树叶的特征。为了验证卷积神经网络与传统分类算法之间的性能，本文基于Python语言，CUDA并行计算平台，训练同样大小8类，一共320张的一批训练样本，采用交叉验证的方法，得到了如表1所示的结论。

可见，无论是识别率上，还是训练时间上，卷积网络较传统的支持向量机算法体现出更好地分类性能。

4 总结

本文从人工神经网络出发，重点介绍了卷积神经网络模型LeNet-5在树叶识别上的各种研究并提取了特征且进行了可视化，并与传统分类算法SVM进行比较。研究表明，该模型应用在树叶识别上较传统分类算法取得了较好的结果，对收集的树叶达到了92%的准确率，并大大减少了训练所需要的时间。由于卷积神经网络有如此的优点，因此在人脸识别、语音识别、医疗识别、犯罪识别方面具有很广泛的应用前景。

本文的研究可以归纳为探讨了卷积神经网络在树叶识别上的效果，并对比了传统经典图像分类算法，取得了较好的分类精度。

然而，本文进行实验的样本过少，当数据集过多的时候，这个卷积神经网络算法的可行性有待我们进一步的研究；另外，最近这几年，又有很多不同的卷积神经网络模型出现，我们会继续试验其他的神经网络模型，力求找到更好的分类算法来解决树叶识别的问题。

参考文献：

[1]Bell A， Sejnowski T. An Information-Maximization Approach to Blind Separation and Blind Deconvolution[J]. Neural Computation， 1995， 7（6）：1129-59.

[2]Altman N S. An Introduction to Kernel and Nearest-Neighbor Nonparametric Regression[J]. American Statistician， 1992， 46（3）：175-185.

[3]Ripley B D， Hjort N L. Pattern Recognition and Neural Networks[M]. Pattern recognition and neural networks. Cambridge University Press，， 1996：233-234.

[4]Lécun Y， Bottou L， Bengio Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）：2278-2324.

第9篇

关键字：神经网络；粒子群；信息共享；全局搜索；寻优

中图法分类号：TP393 文献标识码：A 文章编号：2095-2163（2015）03-

Self-discipline Neural Network Equalization Algorithm Based on the Particle Swarm

ZHAO Huiqing

（Department of Information Science，Xinhua College of Sun Yat-sen University，Guangzhou 510520，China）

Abstract： Existing neural network has a large network error. In response to this problem， the paper puts forward self-discipline neural network equalization algorithm based on the particle swarm. The effect on neural network optimization is realized according to the information sharing and global search feature of particle swarm. And in order to maintain good accuracy， appropriate network constraints are also imposed. The results show that the experiment results are basically consistent with the expected results. It can maintain good accuracy at different channel.

Keywords： Neural Network； Particle Swarm； Information Sharing； Global Search； Optimization

0 引言

从20 世纪 80 年代中期以来，神经网络以其好的自组织与自学习的独特优势，现已广泛地应用于通信领域[1-3]。但通过研究现有的神经网络则不难发现，该系统在实际运用中过度依赖于训练算法与初始权值，从而导致算法陷入了局部的最优化；为此，人们提出了许多解决方案[4-7]。其中，基于粒子群优化算法的神经网络算法尤为突出；算法通过结合群体中粒子间的合作与竞争关系，来促使网络群体的智能寻优；这在很大程度上解决了算法的局部最优化问题[8-9]。但在实际的运用过程中，又进一步发现，算法依然存在需要改进的地方，即网络的适用性较小且精度不高等问题。

为此，本文提出了一种具有自我约束能力的粒子群神经网络均衡算法。算法依据神经网络与粒子群算法的特点[10]，将神经网络算法与粒子群算法有机地结合在一起，并通过两者间的互补，来提高网络的整体效率。研究中为了避免算法出现局部最优化问题，本文对网络中的搜索粒子进行了速度的约束；而后，为保证算法的稳定性与精确性，又对网络的搜索进行了约束，由此而保障每一网络路径的有效畅通。经由仿真实验，该算法能够获得相比其他算法更高的精度，且其实际应用性也更强。

1. 神经网络

神经网络通过模仿动物的行为特征，进而实现分布式并行信息处理；这一方法有效地解决了网络的信息传输问题，通过依靠网络系统的复杂程度与各节点的连通性，实现了大量数据的传输问题[11]。其中，神经网络的结构大致可以分为三层，即输入层，隐含层以及输出层。

假设 为输入层到隐层的连接权重， 为隐层到输出层的连接权重，其中 ， 。其数据传输原理与结构图如图1所示。

图1 神经网络结构图

Fig.1 Neural network structure diagram

在图1的神经网络中，隐层函数如式（1）所示：

（1）

输出层函数如式（2）所示：

（2）

其中， 为隐层的输入，而 为隐层的输出； 为输出层的输入，而 为输出层的输出。 表示输出层的输入与输出间的传递函数，而 表示隐层的输入信号进行的小波变换。

2粒子群优化的网络均衡处理

2.1 初始化

初始化粒子在当前网络中的所在位置，令其在最初就以随机分布的方向进行定义，即 ，其中每个随机产生的粒子 都代表一个均衡器的一个权向量。同时再令初始位置为 ，初始速度为 ；为了便于后文的计算，在此，定义 为当前网络中的局部极值；而 则是代表当前网络中的全局极值。

2.2 速度和位置更新

速度与位置的更新在粒子群优化（PSO）算法中是至重要的参数指标项。为此，本文提出一个局部与全局的最佳粒子的搜索信息传递速度与位置更新函数，如式（3）所示。

（3）

其中， 为粒子速度的n个维度， 为0到1之间的随机数， 为比例因子，而 、 为局部最佳粒子 与全局最佳粒子 的扩展因数。基于此，为了保证其搜索的准度，对粒子的速度进行了限制，即当搜索的粒子速度超过设计的限定速度时，将对速度进行抑制，其方法的表达函数为：

（4）

2.3 网络的约束

本文采用网络的覆盖概率和宽度间隔对当前网络进行评价，具体求取方式论述如下。

2.3.1区间的覆盖概率

网络的覆盖概率（ ）是衡量网络适应与否的指标， 可做如下定义：

（5）

其中，m×n是样品数量；当 ，目标 ；其他的情况下， ，而 、 则为目标的最小值与最大值。

2.3.2 区间的宽度间隔

在时间间隔宽度足够长的情况下，网络的覆盖概率会较少。但如果其间隔过宽，却又会导致资源的浪费，为此，本文对预测区间内的宽度间隔进行定义，计算公式如下：

（6）

其中，R为潜在目标的范围。

而对于方根误差，本文则是用于评价器成功演绎训练来的指标，通过对预测区间内归一化的方根宽度进行定义，来提高神经网络训练的效果，其定义函数如下。

（7）

2.3.3 约束条件

在实际的运用中，上述提及的覆盖概率与宽度间隔存在一定的矛盾关联，为此需要进行制衡匹配，来提高网络的整体处理效果。本文中，使用的宽度标准如下所示。

（8）

其中，训练满足 ；但作为测试样品时， 为阶跃函数，并需满足如下条件。

其中， 、 皆为常数，用于惩罚网络覆盖现象的发生。

3仿真算法

为验证算法的可行性，本文在Matlab 2014a 软件环境下进行测试，并进行了多组实验。实验中选用的对比算法有传统的神经网络算法与文献[12]中的算法；同时又选用两种不同的信道进行测试，具体传输函数如下所示。

电话信道：

普通信道：

为检验算法的精度，本文选用误码率进行算法的评价，通过采用上述指定的算法进行测试，测试中以正方形曲线代表传统的神经网络算法，圆形曲线代表文献算法，而三角形图像代表本文算法。实验仿真结果如图2、图3所示。

图2电话信道下的误码率

Fig.2 Bit error rate in telephone channel

图3 普通信道下的误码率

Fig.3 Bit error rate under common channel

由图2、图3可看到，在两种不同的信道下，本文算法的误码率曲线始终保持在另外两种算法的下方；其中在电话信道下，本文算法随着信噪比的不断增强的影响，其误码率减少为了、最大；而在普通信道下，本文算法与文献算法所测误码率相接近，但本文算法始终保持在其下方。由仿真测试可知，测试过程有效证明了算法精度，且与其他算法相比更加适用于信道较复杂的网络。

4 结束语

提出了一种提升网络精度的神经网络均衡算法，该算法通过结合粒子群的特性，利用粒子的速度来避免粒子速度过大的造成的数据丢失现象；最后，根据网络的区间覆盖率与间隔宽度等条件对网络进行寻优约束；经实验验证，该算法具有较好的搜索精度，但在算法的搜索效率方面仍有较大的提升空间，这将作为下一步的研究方向，用于开展深入研究。

参考文献

[1]RICHARDSON F， REYNOLDS D， DEHAK N. Deep Neural Network approaches to speaker and language recognition[J]. IEEE SIGNAL PROCESSING LETTERS，2015，22（10）： 1671-1675.

[2]WANG L B， MENG Z， SUN Y Z， et al. Design and analysis of a novel chaotic diagonal recurrent neural network[J]. COMMUNICATIONS IN NONLINEAR SCIENCE AND NUMERICAL SIMULATION， 2015，26（1-3）： 11-23.

[3]ZHOU X H， ZHOU W N， YANG J， et al. A novel scheme for synchronization control of stochastic neural networks with multiple time-varying delays[J]. NEUROCOMPUTING，2015，159： 50-57.

[4]SONG Q K， ZHAO Z J， LIU Y R. Stability analysis of complex-valued neural networks with probabilistic time-varying delays[J]. NEUROCOMPUTING， 2015，159： 96-104.

[5]LIU H， BAN X J. Clustering by growing incremental self-organizing neural network[J]. EXPERT SYSTEMS WITH APPLICATIONS， 2015，42（11）： 4965-4981.

[6]JIANG M H， MEI J， HU J H. New results on exponential synchronization of memristor-based chaotic neural networks[J]. NEUROCOMPUTING， 2015，156： 60-67.

[7]XIONG T， BAO Y K， HU Z Y， et al. Forecasting interval time series using a fully complex-valued RBF neural network with DPSO and PSO algorithms[J]. INFORMATION SCIENCES， 2015，305： 77-92.

[8]AGRAWAL R K， BAWANE N G. Multiobjective PSO based adaption of neural network topology for pixel classification in satellite imagery[J]. APPLIED SOFT COMPUTING，2015，28： 217-225.

[9]KRZYSZTOF P， ARKADIUSZ L. Encoding symbolic features in simple decision systems over ontological graphs for PSO and neural network based classifiers[J]. NEUROCOMPUTING， 2014，144： 338-345

[10]TU J J， ZHAN Y Z， HAN F. Radial basis function Neural Network optimized by Particle Swarm Optimization Algorithm coupling with prior information[J]. JOURNAL OF COMPUTATIONAL AND THEORETICAL NANOSCIENCE，2013，10（12）： 2866-2871.

第10篇

关键词：全卷积神经网络；显著性预测；缩略图生成

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2017）14-0149-02

1概述

缩略图是一种经压缩方式处理后的图片，在小尺度下包含了原图像大部分有效信息，可广泛应用于图像快速索引、网页超链接等多个领域。目前相关算法多采用固定分辨率缩放及中央裁剪等固定规则进行缩略图生成，而忽视图像自身具有的内容信息。为提高缩略图携带的有效信息，该文利提出一种利用全卷积神经网络对图像进行显著性预测，再由显著点密度自动获取图像中包含最有意义信息的区域进行截取，进而生成图像内容相关缩略图的算法。

2算法设计

为生成面向图像信息的自适应缩略图，该方法由两部分组成。第一部分为图像识别模块，主要工作是得到图像的显著性图；第二部分为自适应滑动窗口模块，主要工作是得到窗口内平均显著度最强的窗口坐标。

2.1显著性A测

该文在缩略图截取区域识别阶段采用显著性预测算法作为识别手段。显著性预测是目前非常活跃并正在不断取得突破性进展的机器视觉领域下的一个子领域，是一种模拟人类注意力机制的算法。其主要目标是对图像（画面）中吸引人注意的地方（显著性区域）进行自动的识别与提取，并生成与输入图像尺度对应的一张灰度图。其生成的灰度图中的高亮度区域代表具有显著性物体，如汽车、人脸、字母等，并且服从高斯分布。根据特征融合理论（Feature Integration Theory），目前已有多种基于卷积神经网络的显著性预测算法被提出（如DeepFix、SALICON等），并极大的提高了显著性识别的精度。

2.2卷积神经网络概述

为生得到面向内容的缩略图截取坐标，首先需要对图像内容进行识别，并对图像每个区域的重要程度进行分类。近年来由于GPU并行运算性能的突破性进步以及基于大数据技术的训练数据集扩充，深度卷积神经网络（Deep Convolutional Neu-ral Networks，DCNNs）在包括图像识别、目标跟踪及显著性预测等多个图像处理领域上的任务都取得了极大的提升。而预训练参数（Pretraining）与转移学习（Transfer Learning）等技术进一步提升了CNNs在多项图像处理任务中的泛化能力及可用性，因此该文采用截断VGG19模型为预训练网络，进行显著点识别及缩略图。全卷积神经网络与传统的全连接神经网络类似，均采用梯度下降算法对权值进行更新。不同点在于，全卷积神经网络每次更新的值包括卷积核的值以及该卷积核的权值。

2.3网络结构

该文所采用的全卷积神经网络采用截断的VGGl9预训练模型的前10层组成。VGGl9由进行图像识别（物体分类）的ImageNet数据集训练而成，可精确识别数据集中1000中物体分类，故其所学习的卷积核参数包含有丰富的物体信息。

其中网络的具体成分主要由10层卷积模块及3层最大池化层组成，而卷积模块依次由一层卷积层，一层批量归一化层以及一层ReLU（Rectified Linear Unit）激活函数层组成。其中前8层卷积层由普通3×3大小，1×1步长的卷积核组成，后两层卷积层由带2×2洞的3×3大小（故实际感受野为5×5），步长1×1的卷积核组成。

网络结构如图1所示。

2.4缩略图生成

由全卷积神经网络识别并得到的显著性图为灰度值为0-255的灰度图，大的灰度值代表高显著性激活度。在得到对应图像的显著性图之后，方法采用步长为10像素的滑动窗口对显著性图进行遍历，并选择所窗口内激活程度最高的区域所处坐标作为缩略图截取坐标。对于有多个相同激活值的区域则选取距离图像中心最近的区域所处坐标为缩略图截取坐标。最后通过对原始输入图像中对应缩略图截取坐标进行截取，得到最终缩略图。

3实验设计

根据算法流程，该方法中实验设计也可分为两部分：第一部分为训练用于得到显著点坐标的全卷积神经网络，第二部分为设计并实现基于显著性图的动态步长滑动窗口方法。

3.1网络参数及训练数据设置

该方法训练数据选自开放数据集MIT1003及SALI-CONt31。实验采用批量训练方法，每批数据由128个样本组成，共训练2000个批次。网络采用绝对平均误差（Mean AbsoluteError，MAE）为损失函数（如公式1所示），并采用改进的梯度下降算法Adam算法进行权值更新，以提高网络鲁棒性及收敛性。网络收敛曲线如图2所示。

3.2滑动窗口设计

在得到输入图像的显著性图之后，所提方法通过滑动窗口截取缩略图，并通过自适应步长降低算法的时间复杂度。自适应步长通过由当前窗口内显著性图的平均激活值得到。步长的最大分辨率为40像素，最小分辨率为5像素，当当前窗口内平均激活值小于预设阈值时，下一次窗口的滑动步长增加为当前步长2倍，直至增大到最大分辨率步长。当当前窗口呢平均激活值大于预设阈值时，则每一次滑动减小位原步长的1/2，直至衰减到最小分辨率步长。

3.3实验结果

在验证及测试阶段，采用的测量标准为AUC-Judd，相关系数（Correlation Coefficient）以及KL散度（Kullback-Leibler Diver-gence）。其中AUC-Judd越大越好，KL散度越小越好。训练收敛后以以上测量标准在MIT1003数据集上进行了验证测试，所得结果如表一所示。表一表面该方法在显著性预测上超过了传统方法，取得了较好的结果。

图3对所提方法得到的缩略图进行了直观展示。从中可知所提方法在缩略图生成的过程中对图像本身信息进行了有效提取且得到了有效的显著性图，并由该显著性图通过滑动窗口得到了缩略图所需的正确截取坐标。最后得到的缩略图对于原图像本身信息具有高代表性，且并未损失分辨率信息。

第11篇

Abstract： By modeling and neural network， we built the prediction system of genetic neural network. Through a comprehensive analysis of various factors of vibrator and fusion， genetic algorithm is used to copy， exchange， so the prediction system can greatly improve the convergence speed， its use and practical engineering using strong.

关键词： 神经网络；振冲器；预测；算法

Key words： nerve net；vibrating equipment；forecast；arithmetic

中图分类号：TU473.1 文献标识码：A 文章编号：1006-4311（2013）23-0047-02

1 振冲器性能预测原理

振冲器原理；振冲器是借助于偏心块在定轴旋转时的离心力，使整个振冲器产生具有一定频率和振幅的激振力，对软弱地基进行加固处理。用振动辅以压力水加密砂土的概念，最早是由德国的斯徒门在1936年提出的。1937年德国凯勒（J·Keller）公司研制成功第一台振冲器如图1和图2。在三十年代和四十年代初，就开始用这种机具加固砂性地基。六十年代，德国和英国相继有人将这一加固技术应用到粘性土地基的加固中。随后，在美国成立了振冲工程技术公司，承包一些工程。同时日本和苏联也引进了这一技术，如苏联在埃及尼罗河上修建的阿斯旺水坝就采用了振冲法加固坝基。七十年代，我国也引进了该项技术，并在许多软基加固工程中得到应用[1-3]。

大量工程实践表明，振冲器的性能参数（振频、振幅和激振力等）对加固的效果影响较大。但怎样恰当的选择最优参数，以获得最佳的加固效果，是振冲器设计的关键。因此将这些影响因素融合分析，在不同的工况下，会使得振冲器产生不同的工作性能。并且振密电流，振冲水压，留振时间等也反映出振冲器的优劣性质。所以我们应用遗传神经网络方法完成振冲器性能的预测显得比较关键和重要。

振冲器一般由激振器、减震器和潜水电机组成[4]。

偏心块以等角速度？棕旋转，其质心O'与转轴轴心O存在偏心距e。旋转时，激振力使得振冲器产生间歇振动。[4]

OC是激振器的振幅，其质心C的运动方程为：

Xc=OC·cos？棕t（1）

Yc=OC·sin？棕t（2）

由于激振器做等角速度转动，根据平衡方程，振幅A应该是：

A=OC=■·e（cm）（3）

公式中e为偏块质心的偏心距，W为偏心块的重量，Q为激振器壳体部分总重量

如果将振冲器在土体的振动视为有粘性阻尼的单自由度的强迫振动，其振幅为：

A=■（m）（4）

其中？棕Z为土体自转原频率；DZ为土体阻尼比。

2 神经网络算法[1]

2.1 神经网络基本原理 BP神经网络由输入层、隐层和输出层组成。对于N各集合{（x（t），y（t））|x∈RM，y∈RN，t=1，2，…N}的离散时间序列，BP网络可以完成从输入到输出的非线性映射，使得F：RMRN[1]。其中，隐含层可以是一层也可以是多层。

从结构讲，三层BP网络是一个典型的半线性层次网络。此法的思路：先通过神经元向前发送输入模式，然后计算理想输出与实际输出的误差，将其看作连接层各连接点的误差，通过输出反向到输入层再分摊给各节点，从而可以算出各个节点的参考误差，并且对各个节点进行调整，使得达到要求的映射范围。通过多次不断的迭代，使得误差不断减小，直到获得期望的输出，网络训练即为结束[6-7]。

2.2 振冲器性能指标模型建模 神经网络系统设计为多输入、多输出结构[5]。网络结构为6-4-5，输入层单元数为选择的参数单元的个数，即为动力矩、频率、电机功率、偏心距、自由振幅、振动加速度；输出层为振冲作业的深度、桩径要求、振冲器的功率、振密电流、留振时间5个单元。隐层为1层，经验证隐层的单元数目为4个。

采用遗产算法的交换、复制过程，来代替BP算法过程，可以加快了收敛的速度，但也可能是会造成收敛性过早，所以我们改进一些措施，来提高算法的指标：

（1）将网络中的输入层与隐含层、隐含层与输出层之间的权值以及节点处阈值按权值优先的原则进行排列成网络。

（2）BP网络中权重参数的调整是沿着误差函数的梯度方向下降，但由于此种方法偏离的误差的最小点方向，采取变梯度算法的第一次迭代都是沿着最陡梯度下降方向开始进行搜索的。采用最佳距离的线性搜索是沿着当前搜索的方向进行。

（3）神经网络遗传算法中个体复制是依据适应性的原则，适应性大的进行复制，小的剔除。

复制的概率公式：

Pr=Ar1-1/■+■[3]（5）

（4）交换是产生新个体的主要手段。但是随机选择会产生操作结果的随机性，可能使得有效因子缺失，从而使得搜索最优解的时间延长。所以，系统的交换概率根据遗传过程中每二代差异及每代内各个连接单元的相似程度动态调整交换率，调整公式为：

Pc=Ac1■+Ac2（1.2-Bk/Ba）（6）

在公式（5）和公式（6）中AK为计算的单元个体适应度，Ba为整体中适应度相对较好的前一半的个体适应度，Ac1和Ac2是交换系数，Ar1和Ar2是复制系数。

3 算例

检测50组数据作为训练样本及10组数据用于网络性能测试。每组数据由动力矩、激振力、电机功率、频率四个参数组成，作为神经网络的输入；神经网络的输出为振冲器及施工做出的桩体的预测结果，分别为短路、串桩、堵孔、正常、填料量少等5个单元。

试验结果和预测如表2，系统经356次迭代，代入试验样本检验，正确率为90%；未修正的方法需迭代740次，正确率为85%，所以此方法迭代快，准确率高。

4 结论

①通过不同的影响因素综合分析，可以有效的预测振冲器的工作性能。②此方法的预测系统，使得预测时间缩短，节约时间，有一定的实际意义和利用价值。③应用改进的方法后，预测结果成功率在一定程度上有所提高。

参考文献：

[1]Martin T Hagan ，Howard B Demuth ，Mark H Beale.神经网络设计[M].戴葵，伯民，译.北京：机械工业出版社，2002：214.

[2]董恩国. 基于遗传神经网络算法的发动机性能预测[J]. 起重运输机械，2005（9）.

[3]杨振强，王常虹.自适应复制、交叉和突变的遗传算法[J].电子科学学刊，2000（1）：112-117.

[4]孙述祖.振冲器参数的研究分析[J].建筑机械，1987（07）.

[5]施鸿宝.神经网络及其应用1西安：西安交通大学出版社， 1993.

第12篇

关键词:模糊神经网络;扩展卡尔曼滤波;自组织学习

Fast self-organizing learning algorithm based on EKF for fuzzy neural network

ZHOU Shang-bo，LIU Yu-jiong

(College of Computer Science， Chongqing University， Chongqing 400044， China)

Abstract:To construct an effective fuzzy neural network， this paper presented a self-organizing learning algorithm based on extended Kalman filter for fuzzy neural network. In the algorithm， the network grew rules according to the proposed growing criteria without pruning， speeding up the online learning process.All the free parameters were updated by the extended Kalman filter approach and the robustness of the network was obviously enhanced. The simulation results show that the proposed algorithm can achieve fast learning speed， high approximation precision and generation capability.

Key words:fuzzy neural network; extended Kalman filter(EKF); self-organizing learning

模糊神经网络起源于20世纪80年代后期的日本，由于其简单、实用，已经被广泛应用在工业控制、系统辨识、模式识别、数据挖掘等许多领域[1~4]。然而，如何从可用的数据集和专家知识中获取合适的规则数仍然是一个尚未解决的问题。为了获取模糊规则，研究人员提出了不同的算法，如文献[5]利用正交最小二乘算法确定径向基函数的中心，但是该算法训练速度比较慢;文献[6]提出了基于径向基函数的自适应模糊系统，其算法使用了分层自组织学习策略，但是逼近精度低。扩展卡尔曼滤波(EKF)算法作为一种非线性更新算法，在神经网络中得到了广泛应用。文献[7]利用扩展卡尔曼滤波算法调整多层感知器的权值，文献[8]利用扩展卡尔曼滤波算法调整径向基函数网络的权值。

本文提出了一种模糊神经网络的快速自组织学习算法(SFNN)。该算法基于无须修剪过程的生长准则增加模糊规则，加速了网络学习过程，同时使用EKF调整网络的参数。在该算法中，模糊神经网络结构不是预先设定的，而是在学习过程中动态变化的，即在学习开始前没有一条模糊规则，在学习过程中逐渐增加模糊规则。与传统的模糊神经网络学习算法相比，本算法所得到的模糊规则数并不会随着输入变量的增加而呈指数增长，特别是本算法无须领域的专家知识就可以实现对系统的自动建模及抽取模糊规则。当然，如果设计者是领域专家，其知识也可以直接用于系统设计。本算法所得到的模糊神经网络具有结构小、避免出现过拟合现象等特点。

1 SFNN的结构

本文采用与文献[9]相似的网络结构，如图1所示。其中，r是输入变量个数;?x?i(i=1，2，…，r)是输入语言变量;y是系统的输出;MFij是第i个输入变量的第j个隶属函数;R?j表示第j条模糊规则;w?j是第j条规则的结果参数;u是系统总的规则数。

下面是对该网络各层含义的详细描述。

第一层:输入层。每个节点代表一个输入语言变量。

第二层:隶属函数层。每个节点代表一个隶属函数，隶属函数采用如下的高斯函数:

μij=exp(-(x?i-cij)?2σ?2ij);i=1，2，…，r; j=1，2，…，u(1)

其中:r是输入变量数;u是隶属函数个数，也代表系统的总规则数;μij是x?i的第j个高斯隶属函数;cij是x?i的第j个高斯隶属函数的中心;σij是x?i的第j个高斯隶属函数的宽度。

第三层:T-范数层。每个节点代表一个可能的模糊规则的IF-部分，也代表一个RBF单元，该层节点个数反映了模糊规则数。如果计算每个规则触发权的T-范数算子是乘法，则在第三层中第j条规则R?j的输出为

φ?j=exp(-?ri=1(x?i-cij)?2σ?2ij);j=1，2，…，u(2)

第四层:输出层。该层每个节点代表一个输出变量，该输出是所有输入变量的叠加。

y(X)=?uj=1w?jφ?j(3)

其中:y是网络的输出;w?j是Then-部分。

2 SFNN的学习算法

如前文所述，第三层的每个节点代表一个可能的模糊规则的IF-部分或者一个RBF单元。如果需要辨识系统的模糊规则数，则不能预先选择模糊神经网络的结构。于是，本文提出一种新的学习算法，该算法可以自动确定系统的模糊规则并能达到系统的特定性能。

2.1 模糊规则的产生准则

在模糊神经网络中，如果模糊规则数太多，不仅增加系统的复杂性，而且增加计算负担和降低网络的泛化能力;如果规则数太少，系统将不能完全包含输入/输出状态空间，将降低网络的性能。是否加入新的模糊规则取决于系统误差、可容纳边界和误差下降率三个重要因素。

2.1.1 系统误差

误差判据:对于第i个观测数据(x?i，t?i)，其中x?i是输入向量，t?i是期望输出，由式(3)计算网络现有结构的全部输出y?i。

定义:e?i=t?i-y?i;i=1，2，…，n(4)

如果e?i>k?e k?e=max[emax×β?i，emin](5)

则说明网络现有结构的性能比较差，要考虑增加一条新的规则;否则，不生成新规则。其中:k?e是根据网络期望的精度预先选择的值;emax是预定义的最大误差;emin是期望的输出精度;β(0

2.1.2 可容纳边界

从某种意义上来讲，模糊神经网络结构的学习是对输入空间的高效划分。模糊神经网络的性能和结构与输入隶属函数紧密相关。本文使用的是高斯隶属函数，高斯函数输出随着与中心距离的增加而单调递减。当输入变量采用高斯隶属函数时，则认为整个输入空间由一系列高斯隶属函数所划分。如果某个新样本位于某个已存在的高斯隶属函数覆盖范围内，则该新样本可以用已存在的高斯隶属函数表示，不需要网络生成新的高斯单元。

可容纳边界:对于第i个观测数据(x?i，t?i)，计算第i个输入值x?i与已有RBF单元的中心c?j之间的距离d?i(j)，即

d?i(j)=x?i-c?j;i=1，2，…，n; j=1，2，…，u(6)

其中:u是现有的模糊规则或RBF单元的数量。令

di，min=arg min(d?i(j))(7)

如果di，min>k?d，k?d=max[dmax×γ?i，dmin](8)

则说明已存在的输入隶属函数不能有效地划分输入空间。因此，需要增加一条新的模糊规则，否则，观测数据可以由已存在的距离它最近的RBF单元表示。其中:k?d是可容纳边界的有效半径;dmax是输入空间的最大长度;dmin是所关心的最小长度;γ(0

2.1.3 误差下降率

传统的学习算法把误差减少率(ERR)[5]用于网络生长后的修剪过程，算法会因为修剪过程而增加计算负担，降低学习速度。本文把误差减少率用于生长过程形成一种新的生长准则，算法无须经过修剪过程，从而加速网络的学习过程。

给定n个输入/输出数据对(x?i，t?i)，t=1，2，…，n，把式(3)看做线性回归模型的一种特殊情况，该线性回归模型为

t(i)=?uj=1h?j(i)θ?j+ε(i)(9)

式(9)可简写为

D=HΘ+E(10)

D=T?T∈R?n是期望输出，H=φ?T∈R??n×u是回归量，Θ=?W?T∈R?u是权值向量，并且假设E∈R?n是与回归量不相关的误差向量。

对于矩阵φ，如果它的行数大于列数，通过QR分解:

H=PQ(11)

可把H变换成一组正交基向量集P=[p?1，p?2，…，p?u]∈R??n×u，其维数与H的维数相同，各列向量构成正交基，Q∈R??u×u是一个上三角矩阵。通过这一变换，有可能从每一基向量计算每一个分量对期望输出能量的贡献。把式(11)代入式(10)?可得

D=PQΘ+E=PG+E(12)

G的线性最小二乘解为G=(P?TP)??-1P?TD，或

g?k=p?T?kDp?T?kp?k;k=1，2，…，u(13)

Q和Θ满足下面的方程:

QΘ=G(14)

当k≠l时，p?k和p?l正交，D的平方和由式(15)给出:

D?TD=?uk=1g?2?kp?T?kp?k+E?TE(15)

去掉均值后，D的方差由式(16)给出:

n??-1D?TD=n??-1?uk=1g?2?kp?T?kp?k+n??-1E?TE(16)

由式(16)可以看到，n??-1?uk=1g?2?kp?T?kp?k是由回归量p?k所造成的期望输出方差的一部分。因此，p?k的误差下降率可以定义如下:

err?k=g?2?kp?T?kp?kD?TD，1≤k≤u(17)

把式(13)代入式(17)可得

err?k=(p?T?kD)?2p?T?kp?kD?TD，1≤k≤u(18)

式(18)为寻找重要回归量子集提供了一种简单而有效的方法，其意义在于err?k揭示了p?k和D的相似性。err?k值越大，表示p?k和D的相似度越大，且p?k对于输出影响越显著。利用ERR定义泛化因子(GF)，GF可以检验算法的泛化能力，并进一步简化和加速学习过程。定义:

GF=?uk=1err?k(19)

如果GF

2.2 参数调整

需要注意的是，不管是新生成的隐节点还是已存在的隐节点，都需要对网络参数进行调整。传统的方法是使用LLS[10]方法对网络参数进行调整，本文提出使用EKF方法调节网络的参数。由于LLS方法在确定最优参数时计算简单、速度快，但该方法对噪声敏感，其学习速度随着信噪比的增加而下降。另外，与LLS方法相关的问题是其求解可能是病态的，这使得参数估计变得很困难。EKF方法由于其自适应过程比较复杂，计算速度没有LLS方法快，但是EKF方法在噪声环境下具有鲁棒性，使用EKF方法可以实现一种健壮的在线学习算法。网络参数可以用下面的EKF[11]方法进行调整。事实上，网络的参数向量θ可以看做一个非线性系统的状态，并用下面的方程描述:

θ?i=θi-1

t?i=h(θi-1，X?i)+e?i(20)

在当前的估计值i-1处将非线性函数h(θi-1，X?i)展开，则状态模型可以重写为

θ?i=θi-1

t?i=H?iθi-1+ε?i+e?i(21)

其中:ε?i=h(i-1 ，X?i)-H?ii-1+ρ?i。H?i是如下的梯度向量:

H?i=?h(θ，X?i)?θ|θ=i-1 (22)

参数向量θ使用下面的扩展卡尔曼滤波算法更新:

K?i=Pi-1H?T?i[H?iPi-1H?T?i+R?i]??-1

θ?i=θi-1+K?i(t?i-h(θi-1，X?i))

P?i=Pi-1-K?iH?iPi-1+Q?i(23)

其中:K?i是卡尔曼增益矩阵;P?i是逼近误差方差阵;R?i是量测噪声方差阵;Q?i是过程噪声方差阵。

全局扩展卡尔曼滤波算法会涉及大型矩阵运算，增加计算负担，因此可以将全局问题划分为一系列子问题从而简化全局方法。网络的前件部分具有非线性特性，利用扩展卡尔曼滤波算法对其进行调整;网络的后件部分具有线性特性，利用卡尔曼滤波算法对其进行调整，该方法等同于将全局方法简化为一系列解耦方法，可以降低计算负担。由于高斯函数的中心对系统的性能影响不明显，为了简化计算，只对高斯隶属函数的宽度进行调整。

前件参数使用如下的扩展卡尔曼滤波算法更新:

K?δ?i=P?δi-1G?T?i[R?i+G?iP?δi-1G?T?i]??-1

δ?i=δi-1+K?δ?i(T?i-wi-1φ?i)

P?δ?i=P?δi-1-K?δ?iG?iP?δi-1+Q?i(24)

后件参数使用如下的卡尔曼滤波算法更新:

K?w?i=P?wi-1φ?T?i[R?i+φ?iP?wi-1φ?T?i]??-1

w?i=wi-1+K?w?i(T?i-wi-1φ?i)

P?w?i=P?wi-1-K?w?iφ?iP?wi-1+Q?i(25)

2.3 模糊规则的增加过程

在SFNN学习算法中，模糊规则增加过程如下:

a)初始参数分配。当得到第一个观测数据(X?1，t?1) 时，此时的网络还没有建立起来，因此这个数据将被选为第一条模糊规则:c?0=X?0，δ?1=δ?0，w?1=t?1。其中δ?0是预先设定的常数。

b)生长过程。当得到第i个观测数据(X?i，t?i)时，假设在第三层中已存在u个隐含神经元，根据式(4)(7)和(19)，分别计算e?i、di，min、GF。如果

e?i>k?e，di，min>k?d，且GF

则增加一个新的隐含神经元。其中k?e、k?d分别在式(5)和(8)中给出。新增加的隐含神经元的中心、宽度和权值赋值为:Cu+1=X?i，δu+1=k?0di，min，wu+1=e?i，其中k?0(k?0>1)是重叠?因子。

c)参数调整。当增加新神经元后，所有已有神经元的参数通过式(24)(25)描述的算法调整。

3 仿真研究

时间序列预测在解决许多实际问题中是非常重要的。它在经济预测、信号处理等很多领域都得到了广泛应用。

本文采用的时间序列由Mackey-Glass差分延迟方程产生，其方程定义为[5]

x(t+1)=(1-a)x(t)+bx(t-τ)1+x??10(t-τ)(27)

为了能够与文献[5，6]在相同的基础上进行比较，取值?Δt=P=6，式(27)中的参数选择为:a=0.1，b=0.2，τ=17。预测模型表示为

x(t+6)=f[x(t)，x(t-6)，x(t-12)，x(t-18)](28)

为了获得时间序列，利用式(27)生成2 000个数据，式(27)的初始条件为:x(0)=1.2。为了训练和测试，在t=124和t=?1 123之间选择1 000个样本作为式(28)的输入/输出样本数据。使用前500个数据对作为训练数据集，后面的500个数据对验证该模型的预测性能。图2显示了SFNN生成的模糊规则数;图3显示了从t=124到t=623的训练结果;图4显示了SFNN良好的预测性能。表1列出了SFNN与其他算法的比较结果。表1显示，与OLS、RBF-AFS算法相比，SFNN具有最少的规则数、最小的误差和良好的泛化能力，同时具有快速的学习速度。SFNN的快速性就在于:采用无须修剪过程的生长准则，加速了网络学习过程;利用扩展卡尔曼滤波调整网络的参数，可以缩短网络的学习周期。从上面的分析可以看出，SFNN具有紧凑的结构、快速的学习速度、良好的逼近精度和泛化能力。

4 结束语

SFNN采用在线学习方法、参数估计和结构辨识同时进行，提高了网络的学习速度。基于该方法生成的模糊神经网络具有紧凑的结构，网络结构不会持续增长，避免了过拟合及过训练现象，确保了系统的泛化能力。

参考文献

[1]

HUANG Huan，WU Cong-xin.Approximation capabilities of multilayer fuzzy neural networks on the set of fuzzy-valued functions[J].Information Sciences，2009，179(16):2762-2773.

[2]DENG Xing-sheng，WANG Xin-zhou.Incremental learning of dynamic fuzzy neural networks for accurate system modeling[J].Fuzzy Sets and Systems，2009，160(7):972-987.

[3]韦玉科，汪仁煌，李江平，等.一种新的数据智能化处理算法[J].计算机应用研究，2008，25(5):1328-1329.

[4]CHEN Sheng，HONG Xia，LUK B L，et al.Orthogonal-least-squares regression:a unified approach for data modeling[J].Neurocompu-?ting，2009，72(10-12):2670-2681.

?[5]CHEN S，COWAN C F N，GRANT P M.Orthogonal least squares learning algorithm for radial basis function networks[J].IEEE Trans on Neural Networks，1991，2(2):302-309.

[6]CHO K B，WANG B H.Radial basis function based adaptive fuzzy systems and their applications to system identification and prediction[J].Fuzzy Sets and Systems，1996，83(3):325-339.

[7]RIVALS I，PERSONNAZ L.A recursive algorithm based on the extended Kalman filter for the training of feedforward neural models[J].Neurocomputing，1998，20(1):279-294.

[8]SIMON D.Training radial basis neural networks with the extended Kalman filter[J].Neurocomputing，2002，48(1):455-475.

[9]WU Shi-qian，ER M J，GAO Yang.A fast approach for automatic ?generation of fuzzy rules by generalized dynamic fuzzy neural networks[J].IEEE Trans on Fuzzy Systems，2001，9(4):578-594.