基于欠采样支持向量机不平衡的网页分类系统

计算机系统应用　ｈｔｔｐ：／／ｗｗｗ．Ｃ—ｓ—ａ．ｏｒｇ．ｃｎ　２０１７年第２６卷第４期　基于欠采样支持向量机不平衡的网页分类系统①　李村合，唐磊　（中国石油大学计算机与通信工程学院，青岛２６６５８０）　摘要：在这个信息爆炸的时代，如何处理这些海量的数据如何有效的分类已经引起了人们的高度重视，尤其是　在互联无技术迅速发展的阶段，网页分类这领域己成为热点．与传统的分类方法相比，支持向量机具有高维、小　样本、适应性强的特点，能够非常有效率的解决网页分类问题，但是不平衡数据的分类这一方面，存在着分类不　精确的问题．所以本文提出了新的解决不平衡数据样本策略，便是将欠采样策略与传统的支持向量机结合起来，　在减少多数类样本集中噪声数据的基础上增加少数类的样本集数量，从而使得不平衡样本集趋向于平衡，最后　结合ＳＭＯ（Ｓｅｎｑｕｅｎｔｉａｌ　Ｍｉｎｉｍａｌ　Ｏｐｔｉｍｉｚａｔｉｏｎ）算法改进分类器　提高了分类的准确性．　关键词：支持向量机；ＳＭＯ算法；训练集缩减算法；网页分类；多类分类　Ｒｅａｌｉｚａｔｉｏｎ　ｏｆ　Ｗｅｂ　Ｐａｇｅ　Ｃｌａｓｓｉｉｃａｔｉｆｏｎｎ　Ｓｙｓｔｅｍ　Ｂａｓｅｄ　ｏｎ　Ｕｎｄｅｒ－Ｓａｍｐｌｉｎｇ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ　ＬＩＣｕｎ－Ｈｅ，ＴＡＮＧＬｅｉ　（Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈｉｎａ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｐｅｔｒｏｌｅｕｍ，Ｑｉｎｇｄａｏ　２６６５８０，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｉｎ　ｔｈｉｓ　ｅｒａ　ｏｆ　ｉｎｆｏｒｍａｔｉｏｎ　ｅｘｐｌｏｓｉｏｎ，ｈｏｗ　ｔｏ　ｈａｎｄｌｅ　ｔｈｅｓｅ　ｖａｓｔ　ａｍｏｕｎｔｓ　ｏｆ　ｄａｔａ　ａｎｄ　ｈｏｗ　ｔｏ　ｃｌａｓｓｉｆｙ　ｔｈｅ　ｄａｔａ　ｅｆｆｅｃｔｉｖｅｌｙ　ｈａｓ　ａｔｔｒａｃｔｅｄ　ｍｕｃｈ　ａｔｔｅｎｔｉｏｎ，ｅｓｐｅｃｉａｌｌｙ　ｉｎ　ｔｈｅ　ｓｔａｇｅ　ｏｆ　ｒａｐｉｄ　ｄｅｖｅｌｏｐｍｅｎｔ　ｏｆ　Ｉｎｔｅｒｎｅｔ　ｔｅｃｈｎｏｌｏｇｙ　ｆｒｅｅ，ｔｈｅ　ｉｅｌｄ　ｏｆ　ｗｅｂ　ｃｌａｓｓｉｆｆｉｃａｔｉｏｎ　ｈａｓ　ｂｅｃｏｍｅ　ａ　ｈｏｔ　ｓｐｏｔ．Ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ｔｈｅ　ｔｒａｄｉｔｉｏｎａｌ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｍｅｔｈｏｄｓ，ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅ　ｈａｓ　ｔｈｅ　ｃｈａｒａｃｔｅｒｓ　ｏｆ　ｈｉｇｈ—ｄｉｍｅｎｓｉｏｎａｌ，ｓｍａｌｌ　ｓａｍｐｌｅ　ｓｉｚｅ，ｓｔｒｏｎｇ　ａｄａｐｔａｂｉｌｉｔｙ，ａｎｄ　ｃａｎ　ｂｅ　ｖｅｒｙ　ｅｆｆｅｃｔｉｖｅ　ｔｏ　ｓｏｌｖｅ　ｈｅ　ｐｒｏｂｌｔｅｍ　ｏｆ　ｗｅｂ　ｐａｇｅ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ．Ｂｕｔ　ｉｎ　ｔｈｅ　ｆｉｅｌｄ　ｏｆ　ｃｌａｓｓｉｉｃａｔｉｏｎ　ｏｆ　ｉｍｂａｌａｎｃｅｄ　ｄａｔａ，ｔｆｈｅｒｅ　ｉｓ　ａ　ｐｒｏｂｌｅｍ　ｏｆ　ｉｎａｃｃｕｒａｔｅ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ．Ｔｈｅｒｅｆｏｒｅ，ｔｈｉｓ　ｐａｐｅｒ　ｐｒｏｐｏｓｅｓ　ａ　ｎｅｗ　ｓｔｒａｔｅｇｙ　ｔｏ　ｓｏｌｖｅ　ｔｈｅ　ｉｍｂａｌａｎｃｅ　ｄａｔａ　ｓａｍｐｌｅｓ，ｔｈａｔ　ｉｓ，　ｃｏｍｂｉｎｉｎｇ　ｔｈｅ　ｕｎｄｅｒ—ｓａｍｐｌｉｎｇ　ｓｔｒａｔｅｇｙ　ｗｉｔｈ　ｔｈｅ　ｔｒａｄｉｔｉｏｎａｌ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ　ｔｏ　ｉｎｃｒｅａｓｅ　ｔｈｅ　ｎｕｍｂｅｒ　ｏｆ　ｓａｍｐｌｅｓ　ｓｅＩ　ｉｎ　ｈｅ　ｍｉｔｎｏｒｉｔｙ　ｃｌａｓｓ　ａｎｄ　ｔｏ　ｒｅｄｕｃｅ　ｔｈｅ　ｃｏｎｃｅｎｔｒａｔｅｄ　ｎｏｉｓｅ　ｄａｔａ　ｉｎ　ｔｈｅ　ｍａｊｏｒｉｔｙ　ｃｌａｓｓ，ＳＯ　ｔｈａｔ　ｉｍｂａｌａｎｃｅｄ　ｓａｍｐｌｅ　ｓｅｔ　ｔｅｎｄｓ　ｔｏ　ｂｅ　ｂａｌａｎｃｅｄ．Ｆｉｎａｌｌｙ　ＳＭＯ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｕｓｅｄ　ｔｏ　ｉｍｐｒｏｖｅ　ｔｈｅ　ａｃｃｕｒａｃｙ　ｏｆ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ．　Ｋｅｙ　ｗｏｒｄｓ：ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅ；ＳＭＯ　ａｌｇｏｒｉｔｈｍ；ｒｅｄｕｃｔｉｏｎ　ｉｎ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｓｅｔ；ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｏｆ　ｗｅｂ　ｐａｇｅ；　ｍｕｌｔｉ—ｃｌａｓｓ　Ｃ１ａｓｓｊｆｉｃａｔｉｏｎ　ｌ　引言　随着互联网的发展，网络的信息量爆炸式的增长，　人们从互联网中获取有用的信息越来越困难，也给互　联网的企业带来的挑战，由此，网页分类技术如雨后　结构风险最小化原则为基础的学习机器Ｌ２Ｊ，在分类领　域具有非常广泛的应用，在平衡问题的表现上效果非　常好，可以克服局部最小值问题，但是在支持向量机　在处理不平衡样本集时其分类效果并不理想　ｊ．出现　春笋般发展起来，在众多的分类方法中，支持向量机　具有较强的学习能力，经成为网页分类界研究的热点　尤其是搜索引擎领域【】】．在分类的算法里，支持向量　机是非常优秀的算法，支持向量机是一统计学理论和　上述问题的原因是传统的分类算法都是以提高整体分　类准确率作为目标，然而，实际问题中存在大量的不　平平衡样本集：某一类的样本数量远少于其他样本数　量，例如信用卡欺诈行为检测，网络入侵行为检测医　①收稿时间：２Ｏ１６—０７　Ｏ９；收到修改稿时间：２０ｌ６—０８—０８［ｄｏｉ：１０．１５８８８￣．ｃｎｋｉ．ｃｓａ．００５６７１］　２３０研究开发Ｒｅｓｅａｒｃｈ　ａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ　２０１７年第２６卷第４期　ｈｔｔｐ：／／ｗｗｗ．ｃ—ｓ—ａ．ｏｒｇ．ｃａ　计算机系统应用　学疾病诊断［　，产品合格检查．不平衡样本集的分类　问题是。总体准确率还可以，然而少数样本的分类准　确率很低，可是在很多的实际问题中，比如在癌症检　测中，健康细胞现相对于癌细胞是多数类，对癌细胞　的正确分类更重要【５】，在辨别垃圾邮件中，垃圾邮件　是少数类，然而对垃圾邮件的辨别更重要．在众多解　决支持向量机不平衡分类的研究中，比较出色的的策　略是欠采样算法，和修改核函数［６］．本文绍了支持向　解如下问题：　ｍａＸ　（　）　＝ｅＴａ－一吉　￣５　Ｑａ　Ｙ　＜Ｘｉ，ｘｊ＞ｆ７１　得到最优超平面：　＝∑Ｉ』　￣＇ｉＹｉＸｉ　ｒ（、　８）　（９）　ｂ　＝一　１＜　，Ｘ＋　＞　量机。并且在传统的支持向量机中结合欠采样策略在　一定程度上解决了不平衡网页分类的问题．　２相关技术　２．１支持向量机　最早，是由Ｖａｐｎｉｋ提出支持向量机（ＳＶＭ）理论［７】．　该方法采用结构风险最小化原则代替传统经验啊风险　最小化原则，可以使其在训练样本数量有限的情况下，　很好的兼顾分类识别准确率和分类推广能力，因此　ＳＶＭ被广泛的运用到模式识别和分类问题中［８］．其原　理如下：假设存在一个具有两类样本的训练样本集合　如公式（１）所示：　Ｄ＝｛Ｘｌ，Ｙ。），…，（　，　）｝，　∈　，Ｙ∈｛＋１，一１）（１）　当线性可分时则有如下公式（２）所示超平面：　（ｗ，Ｘ）＋ｂ＝０　（２）　其中，国代表的是该超平面的法线的方向．　求解最优分类超平面（Ｗ，Ｘ）＋ｂ＝０，即在训练集　一定的情况下，确定参数　和ｂ的最佳值，以最小化　下面的公式（３）：　（　）＝　Ｉ　（３）　同时满足约束条件：　［＜Ｗ，　＞＋６］≥ｌ，ｉ＝１，…，　（４）　该问题的求解是一个寻优问题，在此为凸二次规　划问题［　，通过引进拉格朗日算子　０，ｉ＝ｌ，．．．，，，得　到如下拉格朗日公式：　三（　，ｂ，　）＝｛ＩＩ　ｌ　ｌ一∑　｛　［＜ＣＯ，　＞＋ｂ］－Ｉ｝　（５）　／＝１　这里Ｌ的极值点为鞍点，可取Ｌ对　的最大值　，和对国、ｂ的最小值缈＝∞　，ｂ＝ｂ　，将原问　题的求解最小化问题转换成求解最大化问题，满足约　束条件：　，　∑Ｙｉ￣ｔｉ＝０，０　Ｃ，ｆ－ｌ，．．．，，　（６）　其中，Ｘｒ　为任意支持向量．从公式（８）中可以发现，　当一个样本的　＝０时，它对分类没有任何影响，只　有当　＞０才会影响到０３＊，进而对分类结果产生影　响分类，这种对分类结果有影响的样本称之为支持向　量．　相应的分类器为：　厂（　）＝ｓｇｎ（＜　，　＞＋６　）＝ｓｇｎ｛Ｚｏｔ；ｙ，Ｋ＜　，　＞＋６　｝（１０）　对于一个未知类别的样本　，若ｆ（ｘ）＝＋ｌ，则样　本　属于正类，即当前类别，若ｆ（ｘ）＝一１，则样本Ｘ属　于负类。即非当前类别．　２．２　ＳＭＯ算法　ＳＭＯ算法的全称是Ｓｅｎｑｕｅｎｔｉａｌ　Ｍｉｎｉｍａｌ　Ｏｐｔｉｍｉｚａｔｉｏｎ，是由Ｊｏｈｎ　Ｃ．Ｐｌａｔｔｔｕ提出来的【加１．支持向　量机训练的问题实际上是一个凸优化问题，即求解一　个受约束的二次规￣ｌＪ（ｑｕａｄｒａｔｉｃ　ｐｒｏｇｒａｍｍｉｎｇ，ＱＰ）ｉｈ］题，　其中比较有名的就是ＳＭＯ算法，ＳＭＯ算法的思想是　循环迭代：都是将原有大规模的ＱＰ问题分解成一系　列小的ＱＰ问题，按照某种迭代策略，反复求解小的　ＱＰ问题，构造出原有的大规模ＱＰ问题的近似解，并　使该近似解逐渐收敛到最优解【“］．　３基于欠采样不平衡ＳＶＭ算法实现　针对不平衡数据集上使用传统支持向量机的时候，　少数类的分类精度非常低．最近有许多解决不平衡　ＳＶＭ分类的方法，这些解决方法主要是从数据和算法　方面入手［１　．从数据这方面入手，主要有重采样方法，　随机下采样方法，向下采样方法［Ｂ】．把训练数据集中　的的多数类样本减少，以提高分类性能，被称为欠采　样方法［１　．为了减少样不平衡样本集中多数类，本文　对多数类样本集进行欠采样处理，于是提出了基于欠　采样不平衡ＳＶＭ算法（Ｕｎｄｅｒ－ｓａｍｐｌｉｎｇ—ＳＶＭ）．　下面是算法的定义：　定义１．（距离）给定两个数据集，　，　，在特征空间　Ｒｅｓｅａｒｃｈ　ａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ研究开发２３　１　计算机系统应用　ｈｔｔｐ：／／ｗｗｗ．ｃ—Ｓ—ａ．ｏｒｇ．ｃｎ　２０１７年第２６卷第４期　上两个样本之间的距离可以表示为：　多数类样本集　，（保持　和４比例为２）那么，　中心的　ｄ（ｘｌ，　，）＝√　（　，　）一２Ｋ（ｘｉ，Ｘｊ）＋　（　，，Ｘｊ）　（１１）　新的样本集　＝４　ｕ　…。．那么Ａ一和　１　定义２．这些发样本的平均特征成为这些样品的　距离表示为：根据公式（２），Ａ　的中心表示为：　中心．给定训练样本｛Ｘ　，　，．．．，Ｘｎ｝，所以这些样本的中　心可以表达为：　１　ｃ＋＝一１∑　（一　）　，　ｆ∈　（１３）　其中■　是　中的一个样本．通过公式（１），Ａ一中的一　ｃ＝　∑　（　）　ｉｅＸ　（１２）　个样本　和　的中心　距离为：　ｄｃ￣。如果使用不平衡训练数据集，传统ＳＶＭ分类分级　后，将接收到的样本的类别是相同的少数类训练数据　＝ｘ／Ｋ（ｘ＿　，　）一２Ｋ（ｘ＿　，ｃ＋）＋　（ｃ＋，Ｃ＋）　（１４）　集的有准确的分类．每当在不平衡数据样本集上采用　传统的ＳＶＭ进行分类，得到的超平面会靠近少数类的　侧面．分类后，少数类的几个样品被分类为多数，一　边，多数类的样品几乎列为多数的侧面．因此少数类　的分类精度不高．如示于图１．　＿＿：！！　＿＿＝＿Ｉ＿一　ｄｅｍａ１三　ｍ　Ｕｍ曼　：ｍ＿ｍ＿＿　●　●　●●　・二◆　图１　不平衡训练样本集表现　根据支持向量机的几何特征确定如何减少大多数　类的不平衡支持向量机学习的大小应该考虑一个样本　的大多数类和少数类的中心之间的距离．基于定义１　的结果，增加不平衡支持向量机学习中的少数类的大　小应该考虑不平衡支持向量机分类的结果因此，当做　不平衡的支持向量机学习时，我们使用下面的筛选机　制：尽我们所能选择的样本，大多数类封闭的少数类　的中心作为新的大多数样本，增加少数类的样本添加　到少数样本的不平衡支持向量机分类．　所以，基于欠采样不平衡ＳＶＭ算法可以概括如　下：（设置原始不平衡样本集作为一个　，设置少数类　样本Ａ　，设置多数类样本集为　）　本文使用的是核函数为：高斯核函数（ＰＪ３Ｆ１　第一步：在多数类样本集　上，通过欠采样获得　一个新的样本集　…。．首先，如果　和４比例超过　了２，对多数类样本集　进行欠采样，得到一个新的　２３２研究开发Ｒｅｓｅａｒｃｈ　ａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ　第二步：对于经过欠采样处理的样本集　，通　过使用ＳＭＯ算法对其进行训练ｌ１引，从而的得到一个训　练模型　．，即得到一个分类器（分类函数），如２．１所讲　ｆ（ｘ）＝ｓｇｎ（＜　，Ｘ＞＋６　）＝ｓｇｎ｛ＺａＴＹ，Ｋ＜　，　＞＋６　｝（１５）　ｌ　第三步：通过使用得到的模型（分类器）　对测试　集　进行分类，测试样本的分类结果为　（和４标记　一样，为少数类），　（和　一的标记一样，为多数类）　第四步：获得新的训练样本集　：．首先，往　添加　，于是我们就可以得到一个新的少数类样　本集４　，那么　＝　ｕ　．接下来，通过对少　数类样本集　进行向下采样得到一个新的样本集　…：（保证　…：和４…　的比率为２），那么　＝４　：ｕ　：，向下采样的方法和第一步相同．　第五步：通过ＳＭＯ算法对新得到的样本集　进行训练，从而得到一个新的训练模型　，，即得到一　个新的分类器．　第六步：利用这新得到的模型　，对测试集进行　分类．　４实验结果　大多数不平衡学习的研究更关注两个类别，因为　多分类问题可以简化为两类．根据惯例，少数样本被　标记为正类，而大多数样本被标记为负类．通常应用　两个评价标准，准确率，召回率　】，评估不平衡数据　集上的分类．他们描述如下：　准确率＝　，召回率＝　ＴＰ　ＴＰ七ＦＰ　ＴＰ　ＦＮ　ＴＰ（真正类），ＴＮ（真负类），分别代表正类和负类样　本的数量要正确分类的次数．ＦＮ（假负类），ＦＰ（假正类），　分别代表被错误分类的样本数．他们描述如下．表１　代表着两类矩阵．　２０１７年第２６卷第４期　ｈｔｔｐ：／／ｗｗｗ．ｃ－ｓ－ａ．ｏｒｇ．ｃｎ　计算机系统应用　表１两类矩阵　表４随机抽样ＳＶＭ算法实验结果　为了测试Ｕｎｄｅｒ－ｓａｍｐｌｉｎｇ　ＳＶＭ算法的性能，我们　将该算法应用到网页分类．我们比较Ｕｎｄｅｒ－ｓａｍｐｌｉｎｇ　．ＳＶＭ算法下采样对不平衡数据集传统的ＳＶＭ算法和　（３）Ｕｎｄｅｒ－ｓａｍｐｌｉｎｇ—ＳＶＭ算法等结果如表５所示　表５　Ｕｎｄｅｒ－ｓａｍｐｌｉｎｇ—ＳＶＭ实验结果　随机抽样ＳＶＭ．所有的算法都是在用ｌｉｂｓｖｍ．３．１工具　包进行．三种算法的简单描述如下：　传统ＳＶＭ：在支持向量机训练之前没有任何操　作．　随机抽样ＳＶＭ：在该算法中，一些训练样本被随　机删除之前，支持向量机训练．　Ｕｎｄｅｒ－ｓａｍｐｌｉｎｇ—ＳＶＭ：该算法不仅消除了一些样　品（非支持向量）的基础上的距离，也提高了少数类反　馈机制．　在这实验中，我们使用了四种不同的ＵＣＩ数据　集　＂】，包括Ｉｒｉｓ，Ａｂａｌｏｎｅ，Ｂａｌａｎｃｅ　Ｓｃａｌｅ　ｎａｄ　Ｙｅａｓｔ数据　集．在四个ＵＣＩ数据集，一种是选择作为一个少数类　和其余类型分为多数类．每个数据集被随机分为训练　集和测试集．还我们给他们不同的不平衡比（少数类与　多数类的比率），描述４个数据集具体况如表２所示　表２数据集详情　ＵＣＩ数据集的向量形式是矩阵形式．所以，在我　们的实验之前，我们应该先格式化样本集．样品的格　式如下：＜ｌａｂｅｌ＞＜ｖａｌｕｅｌ＞＜ｖａｌｕｅ２＞…．这里在这里，标　签是网页类别，值是特征权重．预处理后，ＵＣＩ数据集　转成到矢量格式．然后，我们使用这两种算法来做的　学习．实验的结果如下．　（１）传统支持向量机算法的实验结果如表３所示．　表３传统ＳＶＭ算法实验结果　（２）随机抽样ＳＶＭ算法等结果如表４所示．　训练集训　少　回　从上表的实验结果，我们可以看到，从训练时间　上Ｕｎｄｅｒ－ｓａｍｐｌｉｎｇ—ＳＶＭ比随机采样ＶＭ算法的时间较　长，但短于传统的支持向量机．从少数类别的查准率　和查全率来看，Ｕｎｄｅｒ－ｓｍａｐｌｉｎｇ．ＳＶＭ算法具有更优秀　的表现，原因是经过欠采样，改善了超平面的位置．　Ｕｎｄｅｒ－ｓａｍｐｌｉｎｇ．ＳＶＭ算法比随机采样ＳＶＭ具有更好　的表现原因是，Ｕｎｄｅｒ－ｓａｍｐｌｉｎｇ－ＳＶＭ算法通过反馈机　制改善了超平面位置．　５不平衡ＳＶＭ网页分类分类系统实现　５．１实验环境　本文所设计的网页分类系统是在ｖｉｓｕａｌ　ｓｔｕｄｉｏ　２０１０编程工具基础上开发的，Ｃ＋＋设计语言具备结构　化控制语句，程序的执行效率高，而且Ｃ＋＋语言还具　有汇编语言的优点，并支持Ｃ语言．　５．２不平衡ＳＶｌＶｌ网页分类系统框架　本文设计的不平衡网页分类系统框架如图２所示．　图２　网页分类流程　Ｒｅｓｅａｒｃｈ　ａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ研究开发２３３　计算机系统　用　ｈｔｔｐ：／／ｗｗｗ．Ｃ—Ｓ—ａ．ｏｒｇ．ｃｎ　２０１７年第２６卷第４则　５．２．１网页预处理子系统　测试州艇向譬鬃　＋　网页预处理主要包括３个步骤：　第一步：网页去噪，因为分类系统处理的对象主　埘数槲进行　Ｊ处理　要是ｗｅｂ页面，但是页面中含有的元素丰富，像文本，　图像，音乐，动态图片，视频，以及ｈｔｍｌ标签，这些因　ｌ　Ｉ　Ｊ　＊　、—：曼Ｊ　素会干扰我们处理信息．经过大量的研究发现ＨＴＭＬ　的网页大多具有相同的格式，如图３所示．　＜　ＨＴＬＥ＞ｌ叫虹标题内窬＜／ＴＩＴＩ　Ｅ　＜／ＨＥＡＤ’　（ＢＯＤＹ）　删负ｉ｝－史内容　＜，ＢＯＤＹ　（／ＨＴＭＩ　图３　ＨＴＭＬ　ＤＯＭ树　所以本文的占噪方法主要是，去掉网页中的　“ｓｃｒｉｐｔ”，“ｉｍａｇｅ”，“ｓｔｙｌｅ”，“ｆｏｒｍ”，“ｉｆｒａｍｅ”等标签．　第二步：相关信息的提取主要是提取的ＴＤ标签，　表标签，ｄｉｖ标签的里的信，￣，ｓＦＤ相关链接的信息，在这　个时候只有去除埘分类的贡献没有ＨＴＭＬ标签，保留　中文字符即可．　第三步：对提取好的有用信息，进行中文分词，　本文采用的是中科院分词软件（ＩＣＴＣＬＡ）．　５．２．２预处理予系统　在经过对原始网页样本集进行净化之后，这些网页　就被变成了分类系统能识别的样本，训练的过程用这测　试数据得带基于欠采样不平衡ＳＶＭ分类的初始模型，　不平衡ＳＶＭ数据预处理子系统的过程如图４所示．　初始样奉集　欠采样处理　’　满足平衡度　新数据　集　图４预处理子系统流程　５．２．１分类子系统　在经过预处子系统处理过之后，得到一个不平衡　ＳＶＭ模型，接下来用设计好的分类子系统对网页进行　分类判断，主要的过程如图５所示．　２３４研究开发Ｒｅｓｅａｒｃｈ　ａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ　』　。　’ｊ入文僻　图５分类子系统流程　５．３不平衡ＳＶＭ网页分类系统界面以及运行结果　本文设计的系统的丰界面图６所示．　第一步．先将本地的测试数据集读墩到该系统　中，在点击界面中的“选择本地样本集”，如图７所示．　图７　分类系统选取不平衡测试集界面ｌ　第二步．按“训练分类器”按钮，此时该分类系统　变会对本地的样本集进行训练，经过训练之后，分类　器系统会把样本训练集进行提取，之后得到本地样本　集的特征．　第三步．训练结段结束后，点击“测试分类器”按钮，　接下来，该系统会显示分类效果的界面，如图８所示．　２０１７　第２６卷第４期　ｈｔｔｐ：Ｈｗｗｗ．ｃ－Ｓ—ａ．ｏｒｇ．ｃｎ　计算机系统应用　参考文献　ｌ　Ｐｒｉｏｒｅ　Ｐ＇Ｐａ￣ｅｎｏ　Ｊ，Ｐｉｎｏ　Ｒ，ｅｔ　ａ１．Ｌｅａｒｎｉｎｇ—ｂａｓｅｄ　ｓｃｈｅｄｕｌｉｎｇ　ｏｆ　ｆｌｅｘｉｂｌｅ　ｍａｎｕｆａｃｔｕｒｉｎｇ　ｓｙｓｔｅｍｓ　ｕｓｉｎｇ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ．Ａｐｐｌｉｅｄ　Ａｒｉｔｉｆｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０１０，２４（３）：１９４－２０９　２刘苏苏，丁福利，孙立民．优化支持向量机核参数的核矩阵方　法研究．烟台大学学报（自然科学与工程版），２０１３，　２６（２）：ｌ３１－１３５．　３韩芳＇孑，Ｊ＼立民．不平衡样本集分类算法研究．计算机应用研究，　２０１５，３２（８）：２３２３—２３２５．　４杨智明．面向不平衡数据的支持向量机分类方法研究『博士　图８系统分类结果图　该系统还有一个特点，当你点击其中一个主题是　学位论文１．哈尔滨：哈尔滨工业大学，２００９．　５丁福利，孙立民．基于支持向量机的不平衡样本分类研究．　科学技术与工程，２０１４，１４（３）：８　１－８５．　时，该体统会弹出一个界面，上面显示着网页的具体　信息，像网页的大小、类别，如图９所示．　６刘苏苏，孙立民．支持向量机与ＲＢＦ神经网络回归性能比较　研究．计算机工程与设计，２０１２，３２（１２）：４２０２－４２０５．　７　Ｖａｐｎｉｋ　ＶＮ．Ｔｈｅ　ｎａｔｕｒｅ　ｏｆ　ｓｔａｔｉｓｔｉｃａｌ　ｌｅａｒｎｉｎｇ　ｔｈｅｏｒｙ．ＩＥＥＥ　Ｔｒａｎｓ．ｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ，１９９５，８（６）：１５６４一ｌ５６４．　８李琼，陈利．一种改进的支持向量机文本分类方法．计算机技　术与发展，２０　１　５，（５）：７８—８２．　９　Ｊｏａｃｈｉｍｓ　Ｍａｋｉｎｇ　ｌａｒｇｅ—ｓｃａｌｅ　ＳＶＭ　ｌｅａｒｎｉｎｇ　ｐｒａｃｔｉａ１．　Ａｄｖａｎｃｅｓ　ｉｎ　Ｋｅｒｎｅｌ　Ｍｅｔｈｏｄｓ－Ｓｕｐｐｏ￣Ｖｅｃｔｏｒ　Ｌｅａｒｎｉｎｇ，ＭＩＴ　Ｐｒｅｓｓ，１９９９．　１　０　Ｐｌａｔｔ　ＪＣ．Ｓｅｑｕｅｎｔｉａｌ　ｍｉｎｉｍａｌ　ｏｐｔｉｍｉｚａｔｉｏｎ：Ａ　ｆａｓｔ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｔｒａｉｎｉｎｇ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ．Ａｄｖａｎｃｅｓ　ｉｎ　Ｋｅｒｎｅｌ　Ｍｅｔｈｏｄｓ－Ｓｕｐｐｏ￣Ｖｅｃｔｏｒ　Ｌｅａｒｎｉｎｇ，１９９８：２１２－２２３．　１　１柴岩，王庆菊．基于边界向量的样本取样ＳＭＯ算法．系统工　图９系统的主界面　程，２０１５，（６）：１４２—１４５．　１２　Ｈｗａｎｇ　ＪＰ，Ｐａｒｋ　Ｓ，Ｋｉｍ　Ｅ．Ａ　ｎｅｗ　ｗｅｉｇｈｔｅｄ　ａｐｐｒｏａｃｈ　ｔｏ　内存占用小、运行稳定，分类精度高等优点，具有　较强的实用价值．　第四步：接Ｆ来点击”分类器评测”按钮，该系统　评测界面，该页面主要包括查准率和查全率这两大标　准．　ｉｍｂａｌａｎｃｅｄ　ｄａｔａ　ｃｌａｓｓｉｉｃａｔｉｏｎ　ｐｒｏｂｌｆｅｍ　ｖｉａ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅ　ｗｉｔｈ　ｑｕａｄｒａｔｉｃ　ｃｏｓｔ　ｆｕｎｃｔｉｏｎ．Ｅｘｐｅ￣Ｓｙｓｔｅｍｓ　ｗｉｔｈ　Ａｐｐｌｉｃａｔｉｏｎｓ，２０１　１，３８：８５８０－－８５８５．　１　３　Ｌｉｕ　Ｙｕ　ＸＨ，Ｈｕａｎｇ　ＪＸ，Ａｎ　Ａ．Ｃｏｍｂｉｎｉｎｇ　ｉｎｔｅｇｒａｔｅｄ　ｓａｍｐｌｉｎｇ　ｗｉｔｈ　ＳＶＭ　ｅｎｓｅｍｂｌｅｓ　ｆｏｒ　ｌｅａｒｎｉｎｇ　ｆｒｏｍ　ｉｍｂａｌａｎｃｅｄ　ｄａｔａｓｅｔｓ．　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　ａｎｄ　Ｍａｎａｇｅｍｅｎｔ，２０１１，４７：６ｌ７—６３１．　１４　Ｄｅｎｄａｍｒｏｎｇｖｉｔ　Ｓ，Ｋｕｂａｔ　Ｍ．Ｕｎｄｅｒｓａｍｐｌｉｎｇ　ａｐｐｒｏａｃｈ　ｆｏｒ　ｉｍｂａｌａｎｃｅｄ　ｔｒａｉｎｉｎｇ　ｓｅｔｓ　ａｎｄ　ｉｎｄｕｃｔｉｏｎ　ｆｒｏｍ　ｍｕｌｔｉ—ｌａｂｅｌ　ｔｅｘｔ－ｃａｔｅｇｏｒｉｚａｔｉｏｎ　ｄｏｍａｉｎｓ．Ｎｅｗ　Ｆｒｏｎｔｉｅｒｓ　ｉｎ　Ａｐｐｌｉｅｄ　Ｄａｔａ　Ｍｉｎｉｎｇ，２０１０，５６６９：４Ｏ一５２．　１　５曾一平．中文文本情感分类的研究［硕士学位论文】．北京：北　京交通大学．２０１　１．　１６余桂兰，陈珂，左敬龙．基于云模型的并行蚁群．ＳＶＭ分类方　法．计算机技术与发展，２０１４，（４）：１３１－１３４．　１　７　Ｆｒａｎｋ　Ａ，Ａｓｕｎｃｉｏｎ　Ａ．ＵＣＩ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ｒｅｐｏｓｉｔｏｒｙ．　Ｉｒｖｉｎｅ．ＣＡ：Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｃａｌｉｆｏｒｎｉａ，Ｓｃｈｏｏｌ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　图ｌ０分类系统的评测结果　ａｎｄ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，２０１０．　Ｒｅｓｅａｒｃｈ　ａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ研究开发２３５