第３６卷 第１８期 ＶｏＬ３６ Ｎｏ。ｌ８ 计算机工程 ２０１０年９月 Ｓｅｐｔｅｍｂｅｒ ２０１０ Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ 一 王雷能及识别技术・ 文章编号：１ｏｏ 一３４２８（２ｏｌ０）１ －．ｏ１９１— ３ 文献标识码：Ａ 中圈分类号：ＴＰ１８ 基于隐层优化的ＲＢＦ神经网络预测模型 王纯子，张斌 （西安建筑科技大学管理学院，西安７ １００５５） 攮要：提出一种基于隐层优化算法的ＲＢＦ神经网络预测模型——ＨＬ０Ａ—ＩＲＢＦＭ。在传统的免疫径向基神经网络模型（ＩＲＢＦＮＭ）的基础上 引入粗糙集，将初始隐层空间进行划分。定义隐层区域密度和相对近似度等概念，提出边界区域中冗余点和孤立点的约减算法。优化后的 隐层空间分布均匀，能以较少的中心数覆盖整个样本空间，弥补了ＩＲＢＦＮＭ模型过分依赖参数选取的不足。实验结果证明，ＨＬＯＡ—ＩＲＢＦＭ 模型比ＩＲＢＦＮＭ模型在预测性能方面具有更好的稳定性和准确性。 关健诃：粗糙集；ＲＢＦ神经网络；隐层优化；免疫算法 ＲＢＦ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅｌ Ｂａｓｅｄ ｏｎ Ｈｉｄｄｅｎ Ｌａｙｅｒ Ｏｐｔｉｍｉｚａｔｉｏｎ ＷＡＮＧ Ｃｈｕｎ－ｚｉ．ＺＨＡＮＧ Ｂｉｎ ｆＤｅｐａｒｔｍｅｎｔ ｏｆＭａｎａｇｅｍｅｎｔ，Ｘｉ’ａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆＡｒｃｈｉｔｅｃｔｕｒｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｘｉ’ａｎ ７１００５５，Ｃｈｉｎａ） ［Ａｂｓｔｒａｃｔ］Ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａ ｋｉｎｄ ｏｆ ＲＢＦ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ｈｉｄｄｅｎ ｌａｙｅｒ ｏｐｔｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍ，ｎａｍｅｄ ＨＬＯＡ ＩＲＢＦＭ．Ｂｙ ｉｎｔｒｏｄｕｃｉｎｇ ｒｏｕｇｈ ｓｅｔ ｉｎｔｏ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ Ｉｍｍｕｎｅ ＲＢＦ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ（ＩＲＢＦＮＭ），ｔｈｅ ｉｎｉｔｉａｌ ｈｉｄｄｅｎ ｌａｙｅｒ Ｃａｌｌ ｂｅ ｃｌａｓｓｉｉｅｄ．Ｉｔｆ ｏｆｆｅｒｓ ａ ｒｅｄｕｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ａｂｏｕｔ ｔｈｅ ｒｅｄｕｎｄａｎｔ ａｎｄ ｉｓｏｌａｔｅｄ ｐｏｉｎｔｓ ｂｙ ｄｅｆｉｎｉｎｇ ｔｈｅ ｈｉｄｄｅｎ ｌａｙｅｒ ａｒｅａ ｄｅｎｓｉｔｙ ａｎｄ ｒｅｌａｔｉｖｅ ａｐｐｒｏｘｉｍａｔｉｏｎ．Ｔｈｅ ｎｅｗ ｈｉｄｄｅｎ ｌａｙｅｒ ｓｐａｃｅ ｄｉｓｔｒｉｂｕｔｅｓ ｅｖｅｎｌｙ ａｎｄ ｔｈｅ ｓａｍｐｌｅ ｓｐａｃｅ Ｃａｎ ｂｅ ｃｏｖｅｒｅｄ ｅｎｔｉｒｅｌｙ ｗｉｔｈ ｆｅｗ ｈｉｄｄｅｎ ｎｏｄｅｓ，ｗｈｉｃｈ ｂｒｉｄｇｅｓ ａ ｇａｐ ｏｆ ｏｖｅｒ ｄｅｐｅｎｄｅｎｃｅ ｏｎ ｔｈｅ ｐａｒａｍｅｔｅｒｓ ｓｅｌｅｃｔｉｏｎ ｏｆ ＩＲＢＦＮＭ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔ ｐｒｏｖｅｓ ｔｈａｔ ｐｒｅｄｉｃｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ＨＬＯＡ—ＩＲＢＦＭ ｉｓ ｍｏｒｅ ｓｔａｂｌｅ ａｎｄ ａｃｃｕｒａｔｅ ｔｈａｎ ｔｈａｔ ｏｆ ＩＲＢＦＮＭ． ［Ｋｅｙ ｗｏｒｄｓ］ｒｏｕｇｈ ｓｅｔ；ＲＢＦ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ｈｉｄｄｅｎ ｌａｙｅｒ ｏｐｔｉｍｉｚａｔｉｏｎ；ｉｍｍｕｎｉｔｙ ａｌｇｏｒｉｔｈｍ １概述 径向基函数（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ，ＲＢＦ）网络因其非线性 逼近能力强、网络结构简单、学习速度快等优点而被广泛应 预测性能均令人满意。 ２ ＨＬＯＡ－ＩＲＢＦＭ模型结构设计 ＨＬＯＡ—ＩＲＢＦＭ模型主要包括以下３个模块： 用于工程和经济预测中。将人工免疫算法的特征提取和分类 能力运用于ＲＢＦ神经网络的设计，能大大增强网络对样本的 （１）初始隐层空间的生成。采用免疫算法将样本数据进行 泛化，得到的隐层应能保持抗体的多样性以及对样本数据的 识别性。在样本数据量较小的情况下，可以尽量多泛化出一 记忆和识别能力，使训练过程趋于全局最优 ｊ。但免疫算法 中多个参数的确定将直接影响隐层分布，这是网络设计中的 主要难点。虽然文献【３—４】对免疫算法中参数的确定做了具体 规定，但在输入样本空间本身分布不均匀和数量有限的情况 下，由免疫算法直接生成的隐层结构并不能达到理想的预测 性能。文献【５】使用自回归差分移动平均方法将样本数据转化 为平稳序列，但无法解决ＲＢＦ隐层节点的优质选取以及小样 本数据量下的预测问题。 些初始隐结点，以弥补样本不足所导致的知识缺失。由于下 一阶段的隐层优化算法能够对隐空间进行再处理，因此适当 放松了对参数选择的要求。 （２）隐层优化。ＲＢＦ的隐结点的选取应符合以下标准：隐 层中心能够以较少的数量覆盖整个输入空间。为了追求对输 入空间的覆盖面广，以及样本数据本身分布不均匀，由免疫 算法泛化出来的初始隐层空间中必然存在很多冗余点和孤立 文献【６—８】将粗糙集理论引入神经网络，但都是在网络训 练前期对样本空间进行横向属性约减，未对网络结构进行优 化。文献【４】在ＡＩＰ—ＲＢＦ模型上加入对隐结点重要度的讨论， 在对隐层的进一步优化上提供了思路，但是其隐结点重要度 算法的计算量是巨大的，要将整个网络计算 次，实践起来 不大可行；并且仅根据输出结果而未考虑其对网络结构的非 线性影响就删除某隐结点也是不全面的。 影响ＲＢＦ神经网络性能的重点就是隐层结点位置和数 量的选取，本文将其作为研究重点，提出一种基于隐层结构 优化算法的ＲＢＦ神经网络预测模型（ＨＬＯＡ—ＩＲＢＦＭ），用于房 地产商品房价格预测的实验结果表明，该模型的收敛速度和 点，这些点严重影响到网络的预测性能。本文提出的隐层优 化算法可以分辨出隐层空间中的冗余知识域，并对其进行修 剪处理，调整类内和类间的密度，以便使得整个隐层空间中 的点分布均匀，从而提高模型预测性能的稳定性和准确性。 （３）ＲＢＦ神经网络训练。得到隐层空间后，根据训练样本 的输入和输出数据训练网络。设得到的ＲＢＦ神经网络隐结点 基金项目：陕西省重点学科建设专项基金资助项目 作者简介：王纯子（１９８３一），女，博士，主研方向：网络安全，计算 智能；张斌，硕士 Ｅ－ｍａｉｌ：ｐｕｒｅ３２６＠１２６．ｃｏｒｎ 一收稿日期：２０１０—０４・０５ １９１— 为ｃ／ｊ＝ｌ，２，…，ｈｉｄｅＮｕｍ），选取高斯函数为径向基函数，其形 …，…２ 式为：哆＝ｅｘｐ（一 ），其中， 为径向基函数的方差（宽 ０ 度参数）。利用最小二乘法计算输出权重矩阵，最后对检验数 据进行预测。 ＨＬ０Ａ—ＩＲＢＦＭ模型结构如图１所示。 图１ ＨＬＯＡ－ＩＲＢＦＭ楱重结构 ３基于粗糙集的隐层优化算法 ３．１基于粗糙集意义的童结点特性触分 为了能有效判别隐结点的性质，即必要点、冗余点、孤 立点，本文利用粗糙集在不确定信息上的划分能力对初始隐 层空间进行处理。 定义１将整个隐层空间看作一个信息系统，将各个隐结 点作为研究对象（即划分对象），每个隐结点的维空间为属性 空间，则初始隐层空间可以表示为 ＝＜ ，Ａ， ，其中， 是初始隐结点集合；Ａ为属性集合；Ｖ＝ｔ＿Ｊ ，Ｖａ表示属性 ａ的值域； ｕｘＡ— 是一个信息函数，指定Ｕ中每一个对象 Ｃ的属性值，即对ｃ∈Ｕ、ａ∈Ａ，有ｆ（ｃ，口）∈ 。 为了直观地描述对象之间的不可区分关系，本文引入基 于距离的近似关系来分析Ｓ中的对象，将粗糙集的等价划分 转化为距离上的相似关系。 定义２在初始隐层空间Ｓ中，（ｕ， 是一个距离空间， 设论域 有ｎ个隐结点对象 ｆｃ１，Ｃ２，…，Ｃ ｝，在ｕ上定义一 个基于距离的相似关系Ｒ，［Ｃｉ】Ｒ＝｛ｃ （ｃｆ，ｃｊ）≥ 且ｄ（ｃｉ， ，）≤０ 蕴含ｓ（ｃｆ，ｃｊ）≥ ，１≤ｆ， ≤ｎ｝，其中，ｓ（ｃｉ， ，）＝ ｄ（ ，ｃＡ），表示 隐结点 与ｃｊ的相似度。 以上定义说明２个隐结点的距离越小则越相似； 为相 似性阈值，当它是一个很大的阈值时得出的聚类个数很少， 而体积很大；当它较小时，得出的聚类个数很多但体积很小。 定义３设集合｛ １， ２，…，Ｘ ｝为ＲＢＦ神经网络的输入样本 集合，Ｕ＝Ｘｌ ＵＸ２ｕ…ｕ ，其中，置为由样本数据量泛化出 来的隐结点集合，则定义尺’为Ｕ上的一个划分，【ｃｉ］Ｒ．：｛ ０∈Ｘｉ，（Ｃｉ∈Ｘｉ）｝。 基于以上定义，根据相似关系Ｒ在初始隐层空间上用 ｋ－ｍｅａｎｓ聚类法进行划分（ ｎ），得到一个新的类空间，该类 空间相对于按Ｒ’关系划分有所偏移。在免疫算法对样本数据 的泛化过程中，初始抗体向样本数据逼近的方向是随机的， 泛化出来的隐结点重心会有所偏移，加之样本数据本身分布 的不均匀将导致初始隐层空间的不均匀，其中必然存在冗余 点和孤立点。下文通过粗糙集中的上下近似集来判断冗余点 和孤立点的分布区域。 定义４ Ｒ和尺’为在论域Ｕ上的划分，则Ｘｉ的下近似集 为Ｒ（Ｘ ）＝｛ｘｉＩ ∈Ｕ＾［ｘＡ ），Ｘｉ的上近似集为麒 ）＝ ｌ ∈ Ｕ Ａ［ｘＡ ｎｘ ≠ ｝，Ｘｉ的边界定义为ＢＮ（Ｘ ）＝Ｒ（Ｘ ）一Ｒ（Ｘ ）。 一１９２一 根据以上对隐层初始空间基于粗糙集的定义，对冗余点 和孤立点做出如下判定： （１）将初始隐层空间 ＝＜ Ａ， 中的冗余点分布的区 域记为ＲＥＤ，则： ＲＥＤ＝Ｕ（ ［ｘｌＲ Ｘ Ｕｘ『’［ｘｌＲ ＢＮ（Ｘ，），［ｘ１月 ｎＮ（Ｘ ）｝＝ Ｕ｛ ｌ【胡 ＢＮ（Ｘ。）ＮＢＮ（Ｘ，）｝ 上式表明初始隐层空间中的冗余点均分布在墨边界的交 集中，即当免疫算法中样本数据之间的泛化方向有重叠时， 此时重叠部分就是 和 的共有边界。 （２）将初始隐层空间 ：＜ ，Ａ， 中的孤立点分布的区 域记为ＩＳＯ，则： ＩＳＯ＝｛ Ｉ ＰＯＳＲ（Ｒ３）＝Ｕ （ｘ） 其中，定义的／ＳＯ中既有孤立点也有必要点，与样本数据 距离较近的点为必要点，它们能充分代表样本数据的特征。 孤立点主要分布在离样本数据丑较远的位置且分布密度很 小，它们在网络训练中起不到逼近作用，还会影响网络性能。 ３．２不同特性瞳结点的处理 在ＲＥＤ区域中，由于冗余点的存在，该区域的密度将远 大于其他区域的密度。下文对一些相关的密度需要做出定义。 在定义２中，Ｕ上的两两隐结点之间的距离可以取闵科 夫斯基距离，即： ｄ（ｑ，Ｃ，）＝（∑Ｉ Ｃ／ｋ－－Ｃ 为了与免疫算法中欧式距离的度量一致，本文中令ｐ＝２， 则隐结点相似度可以定义为： （ｃｆ，ｃ』）＝ （ｄ（ ，ｃｆ））＝（１＋（∑ｆＣｉｋ—ｆ肚Ｉ ）“ ）－。 定义５在ＲＥＤ区域中，若集合ｒｅｄｏ＝ＢＮ（Ｘｉ）ｆ￣ＢＮ（Ｘｊ）＝｛ｃｌ， Ｃｚ，…，Ｃ ｝，则该冗余区域密度计算公式为： 删碱 ： ｉ １Ｓ，Ｃｊ （１＂｛－（ ￣［ｅｌｋ－Ｃｊｋ［２）１１２）－１ ： Ｉ ｒｅｄｏ Ｉ ｍ 类似地，由近似关系Ｒ’所确定的类墨，其密度为： （１＋（∑ｍ Ｉ ｃ 一ｃ Ｉ２） ） １ １ｆ∑（１＋（∑Ｉ ｃ 一ｃ ）“ ） ｄｅｎ（Ｘ ）： 生— —一，Ｃｉ， ∈蜀 定义６对整个论域Ｕ而言，隐层空间密度的计算公式为： Ｙ￣ｄｅｎ（Ｘ。） ， ｄｅｎ（Ｕ）＝立Ｌ———一 基于以上定义，本文给出冗余结点的约减算法描述如下： 输入类空间ｆｘ ， ，…， ）以及区域ＲＥＤ 输出约减后的ＲＥＤ Ｓｔｅｐｌ计算隐层空间Ｓ中所有ｒｅｄｉｊ区域的密度ｄｅｎ（ｒｅｄｉｊ）Ｐ￣及类 Ｘｉ的密度ｄｅｎ（Ｘ ）。 Ｓｔｅｐ２ ＩＦ ｄｅｎ（ｒｅｄｌｊ）＞ｍｉｎ（ｄｅｎ（Ｘ１），ｄｅｎ（Ｘｊ）），即边界密度大干类ｘｉ 或类ｘ，的密度； ＴＨＥＮ将边界区域的冗余点加入约减集并进入下一步约 减流程； ＥＬＳＥ Ｓｔｅｐ５。 Ｓｔｅｐ３设每次约减的规模为ｃｓ＝Ｒ０ｕｎｄ（ｒ×Ｉｒｅｄ ｉｊＩ），其中，Ｉｒｅｄｉｊｌ表 示ｒｅｄｉ 的隐结点个数；Ｏ＜ｒ≤１为选定的比例；Ｒｏｕｎｄ表示取整运算。 显然比例的大小决定了约减集的规模。当ｒ较小时，约减集规模也 较小；当ｒ较大时，约减集规模也较大；当ｒ取ｌ时，约减集的规模 与ｒｅｄ｜ｉ的规模相当。记ａｖｅｄｉｓ（ｃｋ）＝（ｄ（ｃｋ，ｘｉ）＋ｄ（ｃｋ，ｘ３）／２，计算ｒｅｄｉｉ中 各隐结点的ａｖｅｄｉｓ（ｃ ），并按由大到小的顺序排列，选取前ｃｓ个隐 结点约减。本步骤从边界交集区域ｒｅｄｉｊ中选择离样本数据Ｘｉ和Ｘｊ的 平均距离最大的隐结点开始约减，每次约减ｃｓ个。这样可以删除 那些代表性差的冗余点，而保留下对样本识别能力强的点。 Ｓｔｅｐ４重新计算ｄｅｎ（ｒｅｄ ，）、ｄｅｎ（Ｘｉ）、ｄｅｎ（ｘｊ），并转Ｓｔｅｐ２。 Ｓｔｅｐ５约减冗余点结束，输出约减后的边界交集ｒｅｄ ，。 Ｈ ＝ Ｈ ｒＨ ＩＨＴ ５实验与分析 为了证明算法的有效性，本文引用２０００年一２００７年各季 度西安市商品房价格及其相关影响因素数据共３１组作为实 验数据，该数据来源于统计年鉴和历年房产局发布的相关材 定义７定义平均近似度Ａ ，它代表某一区域中各隐结 点与样本中心近似度的平均值，即： １ ｋ＝ｌ １ ｎ ｎ ｋ＝ｌ ｊ＝ｌ ．．一 ． 料。通过计算各影响因素同价格之间的相关系数，筛选出 ８个主要影响因素：国内生产总值，人均可支配收入，城市 ＡＳ＝二∑ｓ（ｃ ，Ｘｉ）＝二∑（１＋（∑Ｉ ｃｔ，一 Ｉ ）“ ） 总人ＶＩ，开发投资，年末贷款余额，人均建筑面积，城乡居 民储蓄存款余额，年度施工面积。将样本数据归一化后作为 定义８定义相对近似度 ，它代表隐结点Ｃｔ与样本中 心的近似度与平均近似度的比值，即： （１＋（∑Ｉ 一 ｆ ｒ）“ ） ＝ — — ∑（１＋（∑ｌ ｆ一 １２） ） ｋ＝ｌ ｊ＝ｌ 。 定义９定义平均相对近似度ＡＲＳ，它代表某区域中所有 隐结点相对近似度的平均值，即： ＡＲＳ＝∑ＲＳ 一 基于以上定义，本文给出孤立点的约减算法描述如下： 输入类空间｛Ｘ ，Ｘｚ，…， ）以及区域ＩＳＯ 出约减后的ＩＳＯ Ｓｔｅｐｌ计算区域ＩＳＯ中的各隐结点Ｃ 与其中的样本数据Ｘｊ的平 均相似度ＡＳ，其中Ｃ 为由ｘ。泛化出的类ｘ。中的隐结点。 Ｓｔｅｐ２计算各隐结点的相对近似度ＲＳ。 Ｓｔｅｐ３按相对近似度由低到高的顺序将 中的隐结点排序。 Ｓｔｅｐ４删除相对近似度ＲＳ远远低于平均相对近似度ＡＲＳ的隐 结点。 Ｓｔｅｐ５约减结束，输出约减后的区域ＩＳＯ。 以上部分对空间Ｕ＝Ｘｌ ＵＸ２Ｕ…Ｕ 进行了类内约减平 均。样本的初始分布很可能导致类间的分布也不均匀，还需 在整个空间ｕ上优化。当类内密度ｄｅｎ（Ｘｆ）小于隐层空间密度 ｄｅｎ（∽时，对类 中的部分隐结点进行约减，其约减算法与 边界区域中冗余结点的约减算法相类似，当类内密度与隐层 空间密度相近时，证明整个空间的隐结点分布趋于均匀，此 时整个隐层空间优化算法结束。 ４ ＲＢＦ神经网络参数确定 ＲＢＦ神经网络中需要确定的参数有：宽度 和权值矩阵ｗ。 （１）基函数宽度 的确定方法［８１如下： １）计算各类ｘｌ的类内分散度： ｄ “ 其中，Ｃｆ为Ｘ 的类中心；ｄｉ…”表示墨中的隐结点到类中心 的平均距离。 ２）计算类间距离，若： ｄ（Ｃ ，ｃ，） 【ＩｃＩ—Ｃ ｌＩ Ｉｃ 一ｃ Ｉ １则称ｘＪ为墨的最近邻聚类。 ３）若 为 的最近邻聚类，则类Ｘ 对应的隐层结点的基 函数宽度初始化为 ＝ｄ 一 。 （２）权值Ｗ采用最小二乘法直接求解，设五ｒ＿ 】为隐层 输出矩阵，其中， ＩＩ Ｘ—Ｃ ｌ ｌ＝ ＝ｅｘｐ（一— ） ＺＤ 设权值矢量为ｗ＿１ｗ ，Ｗ２，…，Ｗ 】。则网络输出向量 Ｙ＝ＨＷ，Ｗ＝ｔＦＹ，其中，日 为日的伪逆矩阵，即： 网络模型的输入和输出参数，并按照时问序列以每８组作为 一组实验数据，选择其中７组为样本数据训练网络，第８组 为测试数据，共进行２４次实验对商品房价格进行预测。实验 数据分组如表Ｉ所示。 表１实验敦据分组 实验中取初始抗体规模Ｍ＝３０，最小克隆数目为１，最大 克隆数目为５，约减集规模ｒ＝０．２，预测数据选ｉ＝７，亲和度 阈值取０．９，相似度阈值取０．９５，迭代次数为９次一１２次即可 肇￥ 雌粒 收敛。其中，亲和度阈值的适当调低可泛化出多量和多样的 ㈣ ¨” 抗体，尽可能使其能覆盖整个样本空间，取０．８５－０．９２之间为 宜。在Ｖｉｓｕａｌ Ｓｔｕｄｉｏ ２００５ ｃ＃及Ｍａｌａｂ７．０实验环境下，为了 验证ＨＬＯＡ—ＩＲＢＦＭ相对于传统ＩＲＢＦＮＭ的性能，分别用上 数据对２种模型进行２４次试验。ＨＬＯＡ—ＩＲＢＦＭ和ＩＲＢＦＮＭ 对实验数据集的逼近程度如图２所示。可以看出，ＨＬＯＡ— ＩＲＢＦＭ得出的预测精确度整体优于ＩＲＢＦＮＭ。 图２ ＨＬＯＡ・ＩＲＢＦＭ和ＩＲＢＦＮＭ的价格疆 结果对比 ＨＬＯＡ—ＩＲＢＦＭ和ＩＲＢＦＮＭ预测结果的相对误差率对比 如图３所示。ＨＬＯＡ—ＩＲＢＦＭ的平均相对误差率为Ｏ．０６９ ５， 而ＩＲＢＦＮＭ则为０．１３９ ３，其预测准确率远低于由隐层优化算 法修正过的模型。 图３ ＨＬＯＡ・ＩＲＢＦＭ和ＩＲＢＦＮＭ的相对误差率对比 （下转第１９６页） １９３一 表２进行分词后的Ｌｏｇｉｔｓｉｃ圄归分类器性能 （％） １９９８． 【３】Ｌｅｅ Ｗｅｅｓｕｎ，Ｌｉｕ Ｂｉｎｇ．Ｌｅａｒｎｉｎｇ ｗｉｈｔ Ｐｏｓｉｔｉｖｅ ａｎｄ Ｕｎｌａｂｅｌｅｄ Ｅｘａｍｐｌｅｓ Ｕｓｉｎｇ Ｗｅｉｇｈｔｅｄ Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ［Ｃ］／／Ｐｒｏｃ．ｏｆ ｈｔｅ ２０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ．Ｗａｓｈｉｎｇｔｏｎ Ｄ．Ｃ．， 表３使用４－ｇｒａｍ特征抽取方砉ｌ｝的Ｌｏｇｉｔｓｉｃ分类器性蠢（％） ＵＳＡ：【Ｓ．ｎ．】，２００３：４４８－４５５． ［４１ Ｂｒａｔｋｏ Ａ，Ｆｉｌｉｐｉ￣Ｂ，Ｃｏｒｍａｃｋ Ｇ Ｖ ｅｔ ａ１．Ｓｐａｒｅ Ｆｉｌｔｅｒｉｎｇ Ｕｓｉｎｇ Ｓｔａｔｉｓｔｉｃａｌ Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ Ｍｏｄｅｌｓ［Ｊ［．Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ，２００６，７：２６７３—２６９８． 【５］Ｌｉｔｔｌｅｓｔｏｎｅ Ｎ．Ｌｅａｒｎｉｎｇ Ｑｕｉｃｋｌｙ Ｗｈｅｎ Ｉｒｒｅｌｅｖａｎｔ Ａｔｔｒｉｂｕｔｅｓ Ａｂｏｕｎｄ： 表４单分类暴和组合分奏誊在ＳＥＷＭ２００８上的性簟（％） Ａ Ｎｅｗ Ｌｉｎｅａｒ－ｔｈｒｅｓｈｏｌｄ Ａｌｇｏｒｉｔｈｍ［Ｊ［．Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，１９８８， ２ｆ４）：２８５—３１８． 【６】Ｈｅｒｓｈｋｏｐ Ｓ，Ｓｔｏｌｆｏ Ｊ．Ｃｏｍｂｉｎｉｎｇ Ｅｍａｉｌ Ｍｏｄｅｌｓ ｆｏｒ Ｆａｌｓｅ Ｐｏｓｉｉｔｖｅ Ｒｅｄｕｃｔｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｌ ｌｔｈ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｄｅｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ．Ｃｈｉｃａｇｏ， Ｉｌｌｉｎｏｉｓ，ＵＳＡ：【Ｓ．ｎ．】，２００５：９８—１０７． ４结束语 【７】Ｓｅｇａｌ Ｒ，Ｃｒａｗｆｏｒｄ Ｊ，Ｋｅｐｈａｒｔ Ｊ，ｅｔ ａ１．ＳｐａｍＧｕｒｕ：Ａｎ Ｅｎｔｅｒｐｒｉｓｅ 本文提出了一种２层结构的、多分类器组合的垃圾邮件 Ａｎｔｉ—ｓｐａｍ Ｆｉｌｔｅｒｉｎｇ Ｓｙｓｔｅｍ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １ｓｔ Ｃｏｎｆｅｒｅｎｃｅ 过滤模型，设计并实现了一个基于该模型的在线垃圾邮件过 Ｏｎ Ｅｍａｉｌ ｎａｄ Ａｎｔｉ—ｓｐａｅｒ．Ｃａｌｉｆｏｒｎｉａ，ＵＳＡ：【Ｓ．ｎ．】，２００４． 滤原型系统。实验结果表明，基于比特熵的分类器通常会比 【８］Ｌｉ Ｙａｎｇ，Ｆａｎｇ Ｂｉｎｘｉｎｇ，Ｌｉ Ｇｕｏ．Ａ Ｎｏｖｅｌ Ｏｎｌｉｎｅ Ｓｐａｍ Ｆｉｌｔｅｒ Ｂａｓｅｄ 解码后基于内容的分类器获得更好的性能，在此基础上，本 ０ｎ ＵＲＬｓ ａｎｄ Ｍａｘｉｍｕｍ Ｅｎｔｒｏｐｙ ＭＯｄｅＩ［ＥＢ／ＯＬ１．［２０１０－０１— 文构造的组合分类器相对于单分类器能够更好地降低ＦＰ率。 ０９１．】ｈａｐ：／／ｗｗｗ．ｉｃｔ．ａｃ．ｃｎ／ｇｒｏｐｅ／ｄｏｗｎ／０７－０９／１１８９１３４３１１．ｄｏｃ． 有待改进的方面主要是，虽然本文系统对于正常邮件误 ［９】Ｌｉｎ Ｃｈｉｈ－ｊｅｎ，Ｗｅｎｇ Ｒ Ｃ，Ｋｅｅｒｔｈｉ Ｓ Ｓ．Ｔｒｕｓｔ Ｒｅｇｉｏｎ Ｎｅｗｔｏｎ Ｍｅｔｈｏｄ 判得到降低，从而使得整个系统的低ＦＰ率得到保证，但也 ｏｆｒ Ｌａｒｇｅ—ｓｃａｌｅ Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２４ｔｈ 相应地增加了垃圾邮件过滤系统的负载。此外，本文系统还 Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ．Ｃｏｒｖａｌｉｓ，Ｏｒｅｇｏｎ， 需要集成图片检测以及其他的分类器，并在真实的垃圾邮件 ＵＳＡ：【Ｓ．ｎ．】，２００７：５６１—５６８． 过滤环境中做进一步测试分析，这是未来的主要工作。 【１０】Ｈｏｗａｒｄ Ｐ Ｇ Ｔｈｅ Ｄｅｓｉｇｎ ａｎｄ Ａｎａｌｙｓｉｓ ｏｆ Ｅｆｉｆｃｉｅｎｔ Ｌｏｓｓｌｅｓｓ Ｄａｔａ 参考文献 Ｃｏｍｐｒｅｓｓｉｏｎ Ｓｙｓｔｅｍｓ［Ｄ［ Ｒｈｏｄｅ Ｉｓｌａｎｄ，ＵＳＡ：Ｂｒｏｗｎ Ｕｎｉｖｅｒｓｉ￣， ［１】李睿，李伟娟，李明．基于加权量子粒子群的分类器设计【Ｊ】 １９９３． 计算机工程，２０１０，３６（７）：２０３—２０４． ［１１】Ｇｏｏｄｍａｎ Ｊ，Ｙｉｈ Ｗ Ｔ Ｏｎｌｉｎｅ Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ Ｓｐａｅｒ Ｆｉｌｔｅｒ ［２】Ｓａｈａｍｉ Ｍ，Ｄｕｍａｉｓ Ｓ，Ｈｅｃｋｅｒｍａｎ Ｄ，ｅｔ ａ１．Ａ Ｂａｙｅｓｉａｎ Ａｐｐｒｏａｃｈ ｔｏ Ｔｒａｉｎｉｎｇ［Ｃ］／／Ｐｒｏｅｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３ｒｄ Ｃｏｎｆｅｒｅｎｃｅ Ｏｎ Ｅｍａｉｌ ａｎｄ Ｆｉｌｔｅｒｉｎｇ Ｊｕｎｋ Ｅ—ｍａｉｌ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＡＡＩ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｎｔｉ—ｓｐａｍ．ＣＡ，ＵＳＡ：２００６：２７—２８． Ｌｅａｒｎｉｎｇ ｆｏｒ Ｔｅｘｔ Ｃａｔｅｇｏｒｉｚａｔｉｏｎ．Ｍａｄｉｓｏｎ，Ｗｉｓｃｏｎｓｉｎ，ＵＳＡ：ｉｓ．ｎ．】， 编辑陈晖 （上接第１９３页） ６结束语 Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｔｈｒａ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｎｅｕｒａｌ 在训练样本数较少的情况下，传统的人工免疫ＲＢＦ神经 Ｎｅｔｗｏｒｋｓ，１９９８，９（６）：３０８—３１７ 网络模型的预测性能较低，其预报准确度对算法中各参数和 ［３】宫新保，周希朗，胡光锐．基于免疫进化算法的径向基函数网 闭值的选取极其敏感。本文在此基础上提出了隐层优化算法， 络【Ｊ】．上海交通大学学报，２００３，３７（１０）：１６４１－１６４３． 通过修正隐层空间分布，减小模型对参数的依赖度，从而提 【４】蒋华刚，吴耿锋．基于人工免疫原理的ＲＢＦ网络预测模型【Ｊ】． 高模型的预测性能和稳定性。在ＲＢＦ神经网络预测模型中仍 计算机工程，２００８，３４（２）：２０２—２０５． 有基函数宽度和输出权重等参数的计算方法有待优化，下一 【５】张敬磊，王晓原．基于非线性组合模型的交通流预测方法【Ｊ】． 步的工作是将待预测样本在隐层空间中的位置因素考虑进权 计算机工程，２０１０，３６（５）：２０２—２０４． 重计算中，针对不同的样本特性动态调整权重分配，以期提 ［６】Ｈｕｎｇ Ｙ Ｈ．Ａ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｃｌａｓｓｉｉｆｅｒ ｗｉｔｈ Ｒｏｕｇｈ Ｓｅｔ—ｂａｓｅｄ 高模型预测精度。 Ｆｅａｔｕｒｅ Ｓｅｌｅｃｔｉｏｎ ｔｏ Ｃｌｓａｓｉｆｙ Ｍｕｌｔｉｃｌａｓｓ ＩＣ Ｐａｃｋａｇｅ Ｐｒｏｄｕｃｔｓ［Ｊ［． 参考文献 Ａｄｖａｎｃｅｄ Ｅｎｇｉｎｅｅｒｉｎｇ ｎＩｆｏｒｍａｔｉｃｓ，２００９，２３（３）：３４８—３５７． 【ｌ】Ｗｈｉｔｅｈｅａｄ Ｂ Ａ．Ｃｏｏｐｅｒａｔｉｖｅ Ｃｏｍｐｅｔｉｔｉｖｅ Ｇｅｎｅｔｉｃ Ｅｖｏｌｕｔｉｏｎ ｏｆ （７］韩丽，史丽萍，徐治皋．基于粗糙集理论的ＲＢＦ神经网络剪枝 Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ Ｃｅｎｔｅｒｓ ａｎｄ ＷｉｄｔｌｌＳ Ｆｏｒｔｉｍｅ Ｓｅｒｉｅｓ Ｐｉｅ— 算法【Ｊ】．信息与控制，２００７，３６（５）：６０４—６０９． ｄｉｃｔｉｏｎ［Ｊ［．ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，１９９６，７（４）：８６９—８８０． 【８】王耀南，张东波，黄辉先，等．粗糙集意义下的一种ＲＢＦ神经网 络设计方法【Ｊ】．控制与决策，２００７，２２（１０）：１０９１－１０９６． 【２】Ｌｕ Ｙｉｎｇｗｅｉ，Ｓｕｎｄａｒａｒａｊａｎ Ｎ，Ｓａｒａｔｃｈａｎｄｒａｎ Ｐ．Ｐｅｒｆｏｒｍａｎｃｅ 编辑顾姣健 Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｓｅｑｕｅｎｔｉａｌ Ｍｉｎｉｍａｌ Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ（ＲＢＦ）