图神经网络和神经网络,图神经网络怎么训练

图神经网络是什么？

谷歌人工智能写作项目：神经网络伪原创

BP人工神经网络方法

（一）方法原理人工神经网络是由大量的类似人脑神经元的简单处理单元广泛地相互连接而成的复杂的网络系统AI爱发猫。理论和实践表明，在信息处理方面，神经网络方法比传统模式识别方法更具有优势。

人工神经元是神经网络的基本处理单元，其接收的信息为x1，x2，…，xn，而ωij表示第i个神经元到第j个神经元的连接强度或称权重。

神经元的输入是接收信息X＝（x1，x2，…，xn）与权重W＝｛ωij｝的点积，将输入与设定的某一阈值作比较，再经过某种神经元激活函数f的作用，便得到该神经元的输出Oi。

常见的激活函数为Sigmoid型。

人工神经元的输入与输出的关系为地球物理勘探概论式中：xi为第i个输入元素，即n维输入矢量X的第i个分量；ωi为第i个输入与处理单元间的互联权重；θ为处理单元的内部阈值；y为处理单元的输出。

常用的人工神经网络是BP网络，它由输入层、隐含层和输出层三部分组成。BP算法是一种有监督的模式识别方法，包括学习和识别两部分，其中学习过程又可分为正向传播和反向传播两部分。

正向传播开始时，对所有的连接权值置随机数作为初值，选取模式集的任一模式作为输入，转向隐含层处理，并在输出层得到该模式对应的输出值。每一层神经元状态只影响下一层神经元状态。

此时，输出值一般与期望值存在较大的误差，需要通过误差反向传递过程，计算模式的各层神经元权值的变化量。这个过程不断重复，直至完成对该模式集所有模式的计算，产生这一轮训练值的变化量Δωij。

在修正网络中各种神经元的权值后，网络重新按照正向传播方式得到输出。实际输出值与期望值之间的误差可以导致新一轮的权值修正。正向传播与反向传播过程循环往复，直到网络收敛，得到网络收敛后的互联权值和阈值。

（二）BP神经网络计算步骤（1）初始化连接权值和阈值为一小的随机值，即W（0）＝任意值，θ（0）＝任意值。（2）输入一个样本X。

（3）正向传播，计算实际输出，即根据输入样本值、互联权值和阈值，计算样本的实际输出。

其中输入层的输出等于输入样本值，隐含层和输出层的输入为地球物理勘探概论输出为地球物理勘探概论式中：f为阈值逻辑函数，一般取Sigmoid函数，即地球物理勘探概论式中：θj表示阈值或偏置；θ0的作用是调节Sigmoid函数的形状。

较小的θ0将使Sigmoid函数逼近于阈值逻辑单元的特征，较大的θ0将导致Sigmoid函数变平缓，一般取θ0＝1。

（4）计算实际输出与理想输出的误差地球物理勘探概论式中：tpk为理想输出；Opk为实际输出；p为样本号；k为输出节点号。

（5）误差反向传播，修改权值地球物理勘探概论式中：地球物理勘探概论地球物理勘探概论（6）判断收敛。若误差小于给定值，则结束，否则转向步骤（2）。

（三）塔北雅克拉地区BP神经网络预测实例以塔北雅克拉地区S4井为已知样本，取氧化还原电位，放射性元素Rn、Th、Tc、U、K和地震反射构造面等7个特征为识别的依据。

构造面反映了局部构造的起伏变化，其局部隆起部位应是油气运移和富集的有利部位，它可以作为判断含油气性的诸种因素之一。

在该地区投入了高精度重磁、土壤微磁、频谱激电等多种方法，一些参数未入选为判别的特征参数，是因为某些参数是相关的。

在使用神经网络方法判别之前，还采用K-L变换（Karhaem-Loeve）来分析和提取特征。S4井位于测区西南部5线25点，是区内唯一已知井。

该井在5390.6m的侏罗系地层获得40.6m厚的油气层，在5482m深的震旦系地层中获58m厚的油气层。

取S4井周围9个点，即4～6线的23～25点作为已知油气的训练样本；由于区内没有未见油的钻井，只好根据地质资料分析，选取14～16线的55～57点作为非油气的训练样本。

BP网络学习迭代17174次，总误差为0.0001，学习效果相当满意。以学习后的网络进行识别，得出结果如图6-2-4所示。

图6-2-4塔北雅克拉地区BP神经网络聚类结果（据刘天佑等，1997）由图6-2-4可见，由预测值大于0.9可得5个大封闭圈远景区，其中测区南部①号远景区对应着已知油井S4井；②、③号油气远景区位于地震勘探所查明的托库1、2号构造，该两个构造位于沙雅隆起的东段，其西段即为1984年钻遇高产油气流的Sch2井，应是含油气性好的远景区；④、⑤号远景区位于大涝坝构造，是yh油田的组成部分。

如何通过人工神经网络实现图像识别

。

人工神经网络（ArtificialNeuralNetworks）（简称ANN）系统从20世纪40年代末诞生至今仅短短半个多世纪，但由于他具有信息的分布存储、并行处理以及自学习能力等优点，已经在信息处理、模式识别、智能控制及系统建模等领域得到越来越广泛的应用。

尤其是基于误差反向传播（ErrorBackPropagation）算法的多层前馈网络（Multiple-LayerFeedforwardNetwork）(简称BP网络)，可以以任意精度逼近任意的连续函数，所以广泛应用于非线性建模、函数逼近、模式分类等方面。

目标识别是模式识别领域的一项传统的课题，这是因为目标识别不是一个孤立的问题，而是模式识别领域中大多数课题都会遇到的基本问题，并且在不同的课题中，由于具体的条件不同，解决的方法也不尽相同，因而目标识别的研究仍具有理论和实践意义。

这里讨论的是将要识别的目标物体用成像头(红外或可见光等)摄入后形成的图像信号序列送入计算机，用神经网络识别图像的问题。

一、BP神经网络BP网络是采用Widrow-Hoff学习算法和非线性可微转移函数的多层网络。一个典型的BP网络采用的是梯度下降算法，也就是Widrow-Hoff算法所规定的。

backpropagation就是指的为非线性多层网络计算梯度的方法。一个典型的BP网络结构如图所示。我们将它用向量图表示如下图所示。

其中：对于第k个模式对，输出层单元的j的加权输入为该单元的实际输出为而隐含层单元i的加权输入为该单元的实际输出为函数f为可微分递减函数其算法描述如下：（1）初始化网络及学习参数，如设置网络初始权矩阵、学习因子等。

（2）提供训练模式，训练网络，直到满足学习要求。（3）前向传播过程：对给定训练模式输入，计算网络的输出模式，并与期望模式比较，若有误差，则执行（4）；否则，返回（2）。

（4）后向传播过程：a.计算同一层单元的误差；b.修正权值和阈值；c.返回（2）二、BP网络隐层个数的选择对于含有一个隐层的三层BP网络可以实现输入到输出的任何非线性映射。

增加网络隐层数可以降低误差，提高精度，但同时也使网络复杂化，增加网络的训练时间。误差精度的提高也可以通过增加隐层结点数来实现。一般情况下，应优先考虑增加隐含层的结点数。

三、隐含层神经元个数的选择当用神经网络实现网络映射时，隐含层神经元个数直接影响着神经网络的学习能力和归纳能力。

隐含层神经元数目较少时，网络每次学习的时间较短，但有可能因为学习不足导致网络无法记住全部学习内容；隐含层神经元数目较大时，学习能力增强，网络每次学习的时间较长，网络的存储容量随之变大，导致网络对未知输入的归纳能力下降，因为对隐含层神经元个数的选择尚无理论上的指导，一般凭经验确定。

四、神经网络图像识别系统人工神经网络方法实现模式识别，可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题，允许样品有较大的缺损、畸变，神经网络方法的缺点是其模型在不断丰富完善中，目前能识别的模式类还不够多，神经网络方法允许样品有较大的缺损和畸变，其运行速度快，自适应性能好，具有较高的分辨率。

神经网络的图像识别系统是神经网络模式识别系统的一种，原理是一致的。一般神经网络图像识别系统由预处理，特征提取和神经网络分类器组成。预处理就是将原始数据中的无用信息删除，平滑，二值化和进行幅度归一化等。

神经网络图像识别系统中的特征提取部分不一定存在，这样就分为两大类：①有特征提取部分的：这一类系统实际上是传统方法与神经网络方法技术的结合，这种方法可以充分利用人的经验来获取模式特征以及神经网络分类能力来识别目标图像。

特征提取必须能反应整个图像的特征。但它的抗干扰能力不如第2类。

②无特征提取部分的：省去特征抽取，整副图像直接作为神经网络的输入，这种方式下，系统的神经网络结构的复杂度大大增加了，输入模式维数的增加导致了网络规模的庞大。

此外，神经网络结构需要完全自己消除模式变形的影响。但是网络的抗干扰性能好，识别率高。当BP网用于分类时，首先要选择各类的样本进行训练，每类样本的个数要近似相等。

其原因在于一方面防止训练后网络对样本多的类别响应过于敏感，而对样本数少的类别不敏感。另一方面可以大幅度提高训练速度，避免网络陷入局部最小点。

由于BP网络不具有不变识别的能力，所以要使网络对模式的平移、旋转、伸缩具有不变性，要尽可能选择各种可能情况的样本。

例如要选择不同姿态、不同方位、不同角度、不同背景等有代表性的样本，这样可以保证网络有较高的识别率。

构造神经网络分类器首先要选择适当的网络结构：神经网络分类器的输入就是图像的特征向量；神经网络分类器的输出节点应该是类别数。隐层数要选好，每层神经元数要合适，目前有很多采用一层隐层的网络结构。

然后要选择适当的学习算法，这样才会有很好的识别效果。

在学习阶段应该用大量的样本进行训练学习，通过样本的大量学习对神经网络的各层网络的连接权值进行修正，使其对样本有正确的识别结果，这就像人记数字一样，网络中的神经元就像是人脑细胞，权值的改变就像是人脑细胞的相互作用的改变，神经网络在样本学习中就像人记数字一样，学习样本时的网络权值调整就相当于人记住各个数字的形象，网络权值就是网络记住的内容，网络学习阶段就像人由不认识数字到认识数字反复学习过程是一样的。

神经网络是按整个特征向量的整体来记忆图像的，只要大多数特征符合曾学习过的样本就可识别为同一类别，所以当样本存在较大噪声时神经网络分类器仍可正确识别。

在图像识别阶段，只要将图像的点阵向量作为神经网络分类器的输入，经过网络的计算，分类器的输出就是识别结果。五、仿真实验1、实验对象本实验用MATLAB完成了对神经网络的训练和图像识别模拟。

从实验数据库中选择0～9这十个数字的BMP格式的目标图像。图像大小为16×8像素，每个目标图像分别加10％、20％、30％、40％、50％大小的随机噪声，共产生60个图像样本。

将样本分为两个部分，一部分用于训练，另一部分用于测试。实验中用于训练的样本为40个，用于测试的样本为20个。随机噪声调用函数randn(m,n)产生。

2、网络结构本试验采用三层的BP网络，输入层神经元个数等于样本图像的象素个数16×8个。隐含层选24个神经元，这是在试验中试出的较理想的隐层结点数。

输出层神经元个数就是要识别的模式数目，此例中有10个模式，所以输出层神经元选择10个，10个神经元与10个模式一一对应。

3、基于MATLAB语言的网络训练与仿真建立并初始化网络% ================S1 = 24;% 隐层神经元数目S1 选为24[R,Q] = size(numdata);[S2,Q] = size(targets);F = numdata;P=double(F);net = newff(minmax(P),[S1 S2],{'logsig''logsig'},'traingda','learngdm')这里numdata为训练样本矩阵，大小为128×40，targets为对应的目标输出矩阵，大小为10×40。

newff(PR,[S1S2…SN],{TF1TF2…TFN}，BTF,BLF,PF)为MATLAB函数库中建立一个N层前向BP网络的函数，函数的自变量PR表示网络输入矢量取值范围的矩阵[Pminmax];S1~SN为各层神经元的个数；TF1~TFN用于指定各层神经元的传递函数；BTF用于指定网络的训练函数；BLF用于指定权值和阀值的学习函数；PF用于指定网络的性能函数，缺省值为‘mse’。

设置训练参数net.performFcn = 'sse'; %平方和误差性能函数 = 0.1; %平方和误差目标 = 20; %进程显示频率net.trainParam.epochs = 5000;%最大训练步数 = 0.95; %动量常数网络训练net=init(net);%初始化网络[net,tr] = train(net,P,T);％网络训练对训练好的网络进行仿真D=sim(net,P);A = sim(net,B);B为测试样本向量集,128×20的点阵。

D为网络对训练样本的识别结果，A为测试样本的网络识别结果。实验结果表明：网络对训练样本和对测试样本的识别率均为100％。如图为64579五个数字添加50%随机噪声后网络的识别结果。

六、总结从上述的试验中已经可以看出，采用神经网络识别是切实可行的，给出的例子只是简单的数字识别实验，要想在网络模式下识别复杂的目标图像则需要降低网络规模，增加识别能力，原理是一样的。

为什么有图卷积神经网络？

本质上说，世界上所有的数据都是拓扑结构，也就是网络结构，如果能够把这些网络数据真正的收集、融合起来，这确实是实现了AI智能的第一步。

所以，如何利用深度学习处理这些复杂的拓扑数据，如何开创新的处理图数据以及知识图谱的智能算法是AI的一个重要方向。

深度学习在多个领域的成功主要归功于计算资源的快速发展（如GPU）、大量训练数据的收集，还有深度学习从欧几里得数据（如图像、文本和视频）中提取潜在表征的有效性。

但是，尽管深度学习已经在欧几里得数据中取得了很大的成功，但从非欧几里得域生成的数据已经取得更广泛的应用，它们需要有效分析。

如在电子商务领域，一个基于图的学习系统能够利用用户和产品之间的交互以实现高度精准的推荐。在化学领域，分子被建模为图，新药研发需要测定其生物活性。

在论文引用网络中，论文之间通过引用关系互相连接，需要将它们分成不同的类别。自2012年以来，深度学习在计算机视觉以及自然语言处理两个领域取得了巨大的成功。

假设有一张图，要做分类，传统方法需要手动提取一些特征，比如纹理，颜色，或者一些更高级的特征。然后再把这些特征放到像随机森林等分类器，给到一个输出标签，告诉它是哪个类别。

而深度学习是输入一张图，经过神经网络，直接输出一个标签。特征提取和分类一步到位，避免了手工提取特征或者人工规则，从原始数据中自动化地去提取特征，是一种端到端（end-to-end）的学习。

相较于传统的方法，深度学习能够学习到更高效的特征与模式。图数据的复杂性对现有机器学习算法提出了重大挑战，因为图数据是不规则的。

每张图大小不同、节点无序，一张图中的每个节点都有不同数目的邻近节点，使得一些在图像中容易计算的重要运算（如卷积）不能再直接应用于图。此外，现有机器学习算法的核心假设是实例彼此独立。

然而，图数据中的每个实例都与周围的其它实例相关，含有一些复杂的连接信息，用于捕获数据之间的依赖关系，包括引用、朋友关系和相互作用。最近，越来越多的研究开始将深度学习方法应用到图数据领域。

受到深度学习领域进展的驱动，研究人员在设计图神经网络的架构时借鉴了卷积网络、循环网络和深度自编码器的思想。为了应对图数据的复杂性，重要运算的泛化和定义在过去几年中迅速发展。

如何用visio画卷积神经网络图。图形类似下图所示

。

大概试了一下用visio绘制这个图，除了最左面的变形图片外其余基本可以实现（那个图可以考虑用其它图像处理软件比如Photoshop生成后插入visio），visio中主要用到的图形可以在更多形状-常规-具有透视效果的块中找到块图形，拖入绘图区后拉动透视角度调节的小红点进行调整直到合适为止，其余的块可以按住ctrl+鼠标左键进行拉动复制，然后再进行大小、位置仔细调整就可以了，大致绘出图形示例如下图所示：

如何画出神经网络的结构图