按键盘上方向键 ← 或 → 可快速上下翻页,按键盘上的 Enter 键可回到本书目录页,按键盘上方向键 ↑ 可回到本页顶部!
————未阅读完?加入书签已便下次继续阅读!
牟⒉辉谟谀D獯竽裕窃诤侠淼氖奔淠谑迪值奈侍庥行蠼狻A硪环矫妫颐潜匦胍牌⑼降幕孟耄衔匀皇抢嗨粕系鄣墓こ淌Γ兴苁窃诜⑾肿詈玫慕狻U缥颐窃谇懊娴恼陆谝丫康鞯模匀恢忻挥屑谢目刂坪捅喑痰ピ33V挥芯植康慕狻K且话悴⒎鞘恰白钣拧钡摹!�
1988年,戈尔曼和西杰诺夫斯基设计了一种馈向网络,并用误差后向传播方法对其进行训练,试图将其用于区别岩石与矿石的声纳系统。要区别出岩石与矿石的回声是相当困难的,甚至用受过训练的人耳也难以胜任,而这对于海底的工程是相当重要的,海底工程需要能区别爆炸矿石和岩石的声纳系统。用于这种目的的网络构造中,输入层有60个单元,隐含层有1-24个单元以及两个输出单元,每一个代表将要进行区别的原型“矿石”或“岩石”(图5.20)。
最初,一定的声纳回声是用频率分析器来处理的,它分解成60个不同的频率带。每一复盖间隔的值域在0和1之间。这些60个值是一个输入矢量的组分,输入矢量给予相应的输入单元。它们由隐含的单元进行变换,导致了两个输出单元之一的激活,这里的值也在0和1之间。因此在一个经过训练的很好调节了权重的网络中,一种矿石的回声导致输出信号(1,0),而岩石的回声则具有输出信号(0,1)。
为了训练此网络,我们必须向它输入矿石和岩石回声的样品。在每一种情况下,输出单元的实际值,都按照相应的输入,进行了测量并与预期值进行比较。其差异是错误信号,引发单元中的权重发生小的变化。用这种梯度下降的程序,网络的权重就缓慢地进行了调整。
戈尔曼和西杰诺夫斯基的矿石-岩石网络是复杂系统对于AI的一种应用。当然,它并没有声称,此系统在模拟人的大脑来区分像“矿石”和“岩石”这样两个概念。但是,我们可以说,这种技术系统也具有某种内部表示,即表示了作为其隐含层中原型矢量的两个概念。在这种限制的意义上,人工系统是有“智能”的,因为它可以完成在人脑情况下用智能来进行评价的任务。人工网络并不局限于对概念进行二元区分。1986年,西杰诺夫斯基和罗森伯格设计了一种叫做NETalk的网络,它已经学会了如何阅读。它采取从英语教科书中形成的字符串,并将它们转化成音素串以输入到语音合成器中。惊人的事实并不是它像小孩似的口吃的声音,在通俗书中它已经被赞为辉煌的成功。NETalk的基本能力是对于若干拼音概念的内部表示。对于字母表中的每一字母,至少有一个音素指定给它。对于许多字母,其中有若干音素需要标记,这取决于词汇的上下文。
西杰诺夫斯基和罗森伯格运用了3层馈向网络。它有一个输入层,一个中间隐含层和一个输出层。尽管后向传播与生物学大脑中“自然地”实现颇为不同,但与其他的解相比,它都表现为最快的学习程序。输入层注视课文的七字符窗口,例如,图5.21a中的短语“The-phone-is-”中的词“phone”。每一个七字符都被29个神经元相继地进行了分析,每一神经元代表了字母表中的一个字母,也包括括号和标点。因此,正好是每一具有29个元素的神经子系统的一个神经元被激活。
输出层包括26个神经元,每一个神经元表示一个拼音组分。对于拼音的位置有6个组分,对于发音有8个组分,对于音高有3个组分,对于标点法有4个组分,对于重读和音节划分有5个组分。于是,从这4组组分中,每一声音都有4种特征。输出层有7×29=203个神经元,与80个隐含层内部神经元联结起来,它又是与输出层的26个神经元相互联结的(图5。21b)。在这些层中的神经元是不联结的。输入和输出层的神经元也是不直接联结的。
隐含层的神经元接收来自203个输入神经元的信号,但是只把26个信号送给输出层。由于内部神经元是阈值单元,具有阈值T1,…,T8,输出是乘以特定权重的,这些积的和的大小决定了此神经元是否激活(图5.21c)。现实中,激活的发生是按照一个连续的“sigmoid曲线”,并非某种数字跃迁。
最初,权重是随机固定的。因此,NETalk始于无意义的结结巴巴的发音。在学习阶段,NETalk运用了特殊的供小孩阅读的课文,其发单是人人皆知的。随机的声音与所希望的声音进行比较,权重由后向传播进行校正。令人瞩目的是,这种程序是一种自组织,而不是一种基于规则的发育程序。对于由实际输出来近似所希望的输出造成的权重改变,仅仅存在一种总体上的要求。对这种课文运行10遍以后,网络已经能够有理解地进行发音。经过50遍以后,就只有5%的错误了。在这一阶段,对于未知的供小孩阅读的课文的发音,错误也只有22%。
今天,像NETalk这样的网络还必须用传统的冯·诺意曼计算机来模拟,因为还没有直接的复杂网络的硬件。因此,每一神经元必须顺序进行计算。甚至在今天,自组织复杂网络的原理还主要是在软件上实现的,而不是在硬件上实现的。然而,我们将谈论“神经计算机”,因为硬件的实现只是一个未来的技术发展问题,有赖于诸如固体材料或光学程序这样的新技术,而不是原则性的理论局限问题。
由神经网络进行的映射,看来是颇为成功的,用于财政、保险和股票交易预见中是有益的。原因在于,对于股票行情的短期预测以混沌时间系列为基础,如果预测的时间周期减少,那么它就变得越来越混沌。
通常的统计程序仅仅在长期预测中才是成功的,它假定了股票的发展可以平稳进行,而又不丢失有关信息。好的统计程序的精确性在60%-75%之间。但是,短期的预测则是颇为有限的。传统的统计程序为了平稳股市的发展,必须要忽略短期预测的基本特性,即经常发生着的小的交换涨落。通常的统计程序中,相关计算因子必须明确给出。一个经过良好训练并适当设计的神经网络能够识别出关联因子,而毋需明确的编程。它能够以自组织的程序权衡输入数据并减少预测的错误。而且,它可以采取改变系统环境的条件,而不像计算机程序必须由编程者明确改变。为了设计一个用于股票预测的神经网络,必须对股市数据进行二进制编码使之作为输入数据。输入矢量的构成中,包括若干分矢量,它们代表着交换量,从昨天来的绝对变化,变化方向,从前天来的变化方向,以及与昨天相比的大于1%的相关量。如果输入矢量具有固定的长度,例如40个单元,那么分矢量的长度可以有些不同,依赖于它们所希望的相关。该系统可以有两个输出单元。左边单元的激活标志了股票值的减少,而右边单元的激活则标志了增加。
在学习阶段,网络中输入的是一定时期实际上的每天的交换率,例如从1989年2月9日至1989年4月18日。以这种学习数据为基础,该网络对于后面19天的发展进行预测。预测结果与实际上的曲线进行比较,以测量该系统的精确性。已经用后向传播方法对于几个多层结构进行了考察。它们以自组织方式发展起来对于预测特定的总体启发性。例如,如果一次预测接近该日期以后某天的实际值,那么错误就是相对小的。这种拇指规则的启发方式,在于这一事实:行情趋势的变化比起它保持不变来是更为不可能的。图5.22a,b示意了,预测曲线(+)和对于银行(merzbank)、公司(Mercedes)的实际股票行情曲线(-)。
显然,后向传播的馈向网络在技术上非常有趣,尽管它们看来与生物大脑中的信息处理没有多少相似性。在4.2节中,我们已经分析了具有反馈(图4.8b)和霍布类型学习(图4.9a)的霍普菲尔德系统,它显得也是生物大脑的工作方式。在均匀的布尔神经元网络的情形,神经元的两种状态可以与处于外磁场中的电子自旋的两个可能值联系起来。一个霍普菲尔德模型是一个动力学系统,与金属退火过程类比,将它看作是一种能量函数。由于它是非增的单调函数,系统进入局部能量极小值,相应于局部的稳定稳恒态(不动吸引子)。
因此,霍普菲尔德系统的动力学演化可以相应于精神认识。例如,一个代表字母“A”的始态噪声图像向代表正确图像的终态演化,它用若干