1）BA网络算法初始设定m0个孤立节点。此算法来自于对分子网络中蛋白质组织结构的分析。研究发现，对于交互和规律的网络来说，高度连接的蛋白质连接被系统的抑制，然而在那些处于高度连接和稀少连接之间的蛋白质结构却没有被抑制。表3-1算法1表3-2算法23）中心分析中心性分析用来检测网络中的关键点以及对网络元素进行排序。......
2023-07-02
深度网络训练的优化方法
【摘要】：2006年，Hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单来说可分为两步：一是每次训练一层网络，二是调优，使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致。深度学习训练过程具体如下。
如果对所有层同时训练，时间复杂度会太高；如果每次训练一层，偏差就会逐层传递。这会面临跟上面监督学习中相反的问题，会严重欠拟合，因为深度网络的神经元和参数太多了。
2006年，Hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单来说可分为两步：一是每次训练一层网络，二是调优，使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致。方法是：
①逐层构建单层神经元，这样每次都是训练一个单层网络；
②当所有层训练完后，Hinton使用wake-sleep算法进行调优。
将除最顶层的其他层间的权重变为双向的，这样最顶层仍然是一个单层神经网络，而其他层则变为了图模型。向上的权重用于“认知”，向下的权重用于“生成”；然后使用wake-sleep算法调整所有的权重。让认知和生成达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。比如顶层的一个结点表示人脸，那么所有人脸的图像应该激活这个结点，并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。wake-sleep算法分为醒（wake）和睡（sleep）两个部分。
①wake阶段：认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）；也就是“如果现实跟我想象的不一样，改变我的权重使得我想象的东西就是这样的”。
②sleep阶段：生成过程，通过顶层表示（醒时学得的概念）和向下权重，生成底层的状态，同时修改层间向上的权重；也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象就是这个概念”。
深度学习训练过程具体如下。
①使用自下向上非监督学习（从底层开始，一层一层往顶层训练）。
采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，是和传统神经网络区别最大的部分，这个过程可以看作是特征学习的过程。
先用无标定数据训练第一层，训练时先学习第一层的参数，这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型容量的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数。
②自上向下的监督学习，就是通过带标签的数据去训练，误差自上向下传输，对网络进行微调。
基于第①步得到的各层参数进一步调整整个多层模型的参数，这一步是一个有监督的训练过程；第①步类似神经网络的随机初始化初值过程，由于深度学习的第①步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果；所以深度学习效果好很大程度上归功于第①步的特征学习过程。
有关工业智能技术与应用的文章
- 详细阅读
-
网络时空特征：深度揭秘！详细阅读
1．什么是网络时空特征我生活的故事是不存在的。——玛格丽特·杜拉斯（法）成瘾现象的产生是网络使用者的个人特质与网络时空交互作用的结果。我们认为网络时空具有以下主要特征：开放性网络是一个开放的空间，被形容是一个低准入、无边界、无限扩张的城市，各种文化、思想都可以在这里交流、相汇和争鸣。通过以下的调查列表，可以看出网络已经成为了青少年的亲密伙伴和代言人。......
2023-12-04
-
神经网络分类：方法优化详细阅读
1943年，心理学家Mcculloch和数学家Pitts合作提出形式神经元的数学模型，成为人工神经网络研究的开端。神经网络的原始模型是1958年提出的感知器模型，只有一个输出节点，它相当于单个神经元，主要用于模式分类。几乎所有神经网络学习算法都可以看做Hebb学习规则的变形。图2.12多层前馈网络结构示意图多层前馈网络的适用范围大大超过原始网络，但其主要困难是中间的隐层不直接与外界连接，无法直接计算其误差。为解决这一问题，提出了反向传播算法。......
2023-06-16
-
网络支付的盈利模式及优化方法详细阅读
（二）第三方支付主要盈利模式1.银行卡收单的盈利模式银行卡收单盈利来源于手续费分成。通过在线支付，网络支付的服务商主要收取交易佣金，佣金率与收单业务相当。......
2023-07-05
-
耗散结构理论的深度优化详细阅读
耗散结构学说，也是一种系统理论。耗散结构概念是相对于平衡结构概念提出的。这种远离平衡态的稳定、有序结构称之为“耗散结构”。也就是说，耗散结构理论认为系统的发展过程完全可以经过突变，通过能量的耗散与系统内非线性动力学机制来形成和维持与平衡结构完全不同的时空有序结构。这就是耗散结构理论的精髓之所在。......
2023-07-15
-
深度信念网络：理解和应用详细阅读
对于在深度神经网络应用传统的BP算法的时候，DBNs遇到了以下问题：①需要为训练提供一个有标签的样本集；②学习过程较慢；③不适当的参数选择会导致学习收敛于局部最优解。图7-4深度信念网络拓扑图首先，先不考虑最顶构成一个联想记忆的两层，一个DBNs的连接是通过自顶向下的生成权值来指导确定的，RBM就像一个建筑块一样，相比传统和深度分层的sigmoid信念网络，它能易于连接权值的学习。这个性能会比单纯的BP算法训练的网络好。......
2023-06-28
-
网络性能测试与验证方法优化详细阅读
图9-23Wireshark在OC和RC中捕获MSRO消息序列在已建立的平台中，我们考虑了实际的应用程序场景和复杂性实验设置，并建立了生成简单业务需求的业务生成器。对于所提的GES，我们预先设定了可调节比重φ、β和γ分别为50%、33%和33%，以避免模拟环境下实验过于复杂。如图9-25所示，相较于其他方案，GES可以有效地提高资源占用率，特别是当网络负载很重的时候。......
2023-06-19
-
基于贝叶斯网络的相关分析方法优化详细阅读
贝叶斯网络是基于概率分析和图论对不确定性知识进行表示的推理模型，它是一种模拟人类推理过程中因果关系的不确定性处理模型。贝叶斯分类器是用于分类的贝叶斯网络，它是各种分类器中分类错误概率最小或者在预先给定代价的情况下平均风险最小的分类器。通过对纽约市曼哈顿区2014年至2017年的交通事故数据构造朴素贝叶斯网络，对事故中伤亡人数进行分析。图4.1相关性分析结果......
2023-06-15
相关推荐