基于半监督优化分类的入侵检测方法研究

第１２卷第１期２０１２年１月　科学技术与工程　Ｖｏ１．１２　Ｎｏ．１　Ｊａｎ．２０１２　１６７１—１８１５（２０１２）０１—０２００—０４　Ｓｃｉｅｎｃｅ　Ｔｅｃｈｎｏｌｏｇｙ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ　⑥２０１２　Ｓｅｉ．Ｔｅｃｈ．Ｅｎｇｒｇ．　基于半监督优化分类的入侵检测方法研究　黄同心臧洌聂盼盼　（南京航空航天大学计算机科学与技术学院，南京２１００１６）　摘要为解决入侵检测训练集（通常包含大量无标记样本和少量已标记样本），在传统半监督支持向量机（Ｓ３ＶＭ）上确定最　优分类决策面，提出一种优化的多分类决策￥３ＶＭ方法（ＭＬＬ＿Ｓ３ＶＭ）。该方法结合启发式搜索和聚类方法筛选出差异性较大　的分类决策面，采用距离向量法对未标记样本进行标记。实验结果表明，在入侵检测中，该算法明显提高了模型预测精确度。　关键词入侵检测　半监督支持向量机　分类决策面　优化　中图法分类号ＴＰ３９３．０８；　文献标志码Ａ　近年来，随着网络技术和网络规模的迅速发　展，网络入侵可能性越来越大，网络攻击行为和手　段越来越多，网络安全问题日益突出，人侵检测成　为网络安全领域研究的热点。目前机器学习技术　大边　缘决　策面　已经成功应用到入侵检测系统，入侵检测算法和大　多数机器学习算法一样，要依赖于有标记样本数　据。标记数据获取困难，它需要专业人员花费大量　时间去收集和识别。由于无标记样本容易获取，利　用少量标记数据进行指导学习的半监督机器技　图１存在多个与已标记样本（＋，一）　相符合的分类决策面　术　被广泛关注。半监督支持向量机（Ｓｅｍｉ．Ｓｕｐｅｒ．　ｖｉｓｅｄ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅｓ，Ｓ３ＶＭ）是一种通用有　１半监督支持向量机　半监督支持向量机首次相近的研究是Ｖａｐ．　效的半监督机器学习方法。目前已经应用到入侵　检测中，它的主要思想是从学习产生的多个大边缘　低密度分类决策面（见图１）中找到一个最优分类决　策面　Ｊ。虽然提高了训练和检测速度，但Ｓ３ＶＭ舍　弃了相当数量的分类决策面，具有一定的风险，可　ｎｉｋ　提出的直推式支持向量机（Ｔｒａｎｓｄｕｃｔｉｖｅ　Ｓｕｐ．　ｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ，ＴＳＶＭ），Ｊｏａｃｈｉｍｓ等人在１９９９　年首次编码实现，其主要思想是：利用少量已标记　样本和大量的未标记样本，学习到一个通过低样本　能会降低模型的预测精确度，另外在基于数量有限　的已标记样本，很难决定哪个分类决策面是最优　（已标记样本与学习出的分类决策面非常吻　△、［３，４］　Ｉ＝１，　Ｏ　密度区域的分类器模型。　在给定一个训练集中包含ｎ个样本，其中包括ｆ　个有标记样本｛（　，Ｙ　）｝　１，Ｙ∈｛＋ｌ，一１｝。　个　无标记样本｛　，　｝　ｕ，ｎ＝ｆ＋ｕ，那么Ｓ３ＶＭ可以描述　为如下的优化问题　１　针对上述问题，提出一种优化多分类决策面　Ｓ３ＶＭ入侵检测方法（ＭＬＬ—Ｓ３ＶＭ），给出了理论分　析和实验结果。实验结果表明，ＭＬＬ＿Ｓ３ＶＭ与其它　一ｌ　ａｒｉｎ了１　ｌｌ。＋ｃ　∑　＋ｃ　∑岛　‘一　Ｉ＝ｌ　Ｊ＝１　（１）　些￥３ＶＭ算法相比有较高的分类准确率。　约束条件为ｙ（ｗｘ　＋ｂ）≥１一　，１≤　≤ｚ；　（０９Ｘｉ　＋ｂ）≥１一　，１≤　≤　；　专ｊ＞１０，考ｉ　＞－０　ｏ　２０１１年１Ｏ月８日收到，１Ｏ月２６日修改　第一作者简介：黄同心（１９８５一），男，安徽安庆人，硕士研究生，研　究方向：入侵检测。　参数ｃ　为参数有标记样本集上的惩罚因子，Ｇ　为　无标记样本在训练过程中的影响因子。　为有标记　样本　对应的松弛变量，　，　为无标记样本ｘｊ　对应　１期　黄同心，等：基于半监督优化分类的人侵检测方法研究　２０１　的松弛变量。　Ｓ３ＶＭ为了学习出一个最优的分类器，舍弃了　相当数量的分类决策面，另外在已标记样本与学习　出的分类决策面非常吻合的情况下，很难决定哪个　大边缘低密度分类决策面是最优的。如果随便选　择其中之一作为未标记样本的最终分类器，可能会　降低分类的精确度，所以需要一些先验知识来区分　这些分类决策面。　２多低密度分类决策面Ｓ３ＶＭ　为了克服传统的Ｓ３ＶＭ随机选取一个分类面会　降低模型分类精确度的缺陷，提出一种优化多分类　决策面Ｓ３ＶＭ入侵检测方法（ＭＬＬ～Ｓ３ＶＭ），该方法　结合启发式抽样搜索和聚类方法筛选出差异性较　大的分类决策面。　２．１　ＭＬＬ—Ｓ３ＶＭ思想分析　定义１　（分类决策面影响因子）对于已有的训　练集样本学习得到的Ⅳ个大边缘分类决策面，其中　一个分类决策面相异与其他分类决策面的程度，称　为该分类面在Ⅳ个大边缘分类决策面中的影响因　子。　（　｝　）表示分类决策面的影响因子。相异　程度越大，影响因子值越小。式（２）表示影响因子　（…）＝∑　，（“，多。，　）　（２）　式（２）中：，是个恒等式函数。　定义２（临近分类面距离因子）若存在未标记　样本　，　在根据∞　和∞　ｒ的分类决策面下得到不　同的类标记，并且　和　，是距离样本　最近的两　个分类决策面，则称ｄ（　，　）和ｄ（　，　，）为　临近分类面距离因子，其中：∞表示学习出的低密度　分类决策面，ｄ（　，∞）≥０（注：只有不存在满足条　件的　和　，时ｄ（　，∞）＝０）。　用　（　，多）表示式（１）中的Ｓ３ＶＭ目标公式　１　ｌ　“　（∞，多）＝ｍｉｎ寺ＩＩ∞ｌｌ　＋ｃ　∑　＋ｃ　∑岛　‘＝１　Ｊ　１　（３）　目标是获取大边缘低密度分类决策面，同时满　足学习得到的大边缘分类决策面具有边缘和差异　性最大化需求，在式（３）中加入条件来满足需　求。结合式（２），采用式（４）来表示前　个差异性最　大的大边缘低密度分类决策面。　ｍｉｎ∑　：　（∞　，多　）＋　（…Ｙ　）　（４）　式（４）中：　表示学习出的低密度分类决策面，　是　多低密度分类决策面数量，　表示分类决策面影响　因子。　对式（４）进一步变化，也是ＭＬＬ—Ｓ３ＶＭ目标　函数　∑　（ＣＯｔ　９Ｙ　）＋∑。　，Ｙｔ　，　）　（５）　２．２实现步骤描述　为了实现ＭＬＩ＿－．Ｓ３ＶＭ目标函数，从实现的时间　空间复杂度出发，将分两个阶段对目标函数进行实　现：第一阶段先学习出多个大边缘低密度分类决策　面；第二阶段从这些已经学习得到的低密度分类决　策面中采用聚类方法获取差异性较大的分类决策　面。在获取大边缘分类面的基础上，对未标记样本　进行标记，具体过程如下：　步骤１：利用已有的训练集样本学习出多个大　边缘低密度分类决策面；　步骤２：根据公式对已经学习出的大边缘低密　度分类决策面进行迭代优化，直到函数收敛时结束；　步骤３：采用启发式样本抽样的方法从训练结　果集抽样出　个已经学习出的低密度分类决策面；　步骤４：运用经典聚类算法（Ｋ－ｍｅａｎｓ）获取　个　差异性较大的分类决策面；　步骤５：对于未标记样本　，采用临近分类面　距离因子方法对样本进行标记，若ｄ（　，∞）＝０，则　ｉ　的类别信息可以根据其中任一分类决策面确定。　ｄ（Ｘｉ＊，∞　）＜ｄ（　，∞　，），那么　的类标记依据∞　分类决策面决定，如果ｄ（Ｘｉ＊，　）＞ｄ（ｘｉ￣，∞　，），那么　的类标记依据　．：分类决策面决定，如果ｄ（　，　∞　）＝ｄ（　，　，），那么　的类标记采用抽签法　决定。　３实验与分析　３．１数据预处理与参数设置　采用ＫＤＤＣＵＰ９９＿６　中的ｋｄｄｃｕｐ．ｄａｔａ一１０一ｐｅｒ．　ｃｅｎｔ．ｇｚ数据集作为训练集和测试集的选取来源，该　数据集是在入侵检测领域广泛采用的实验数据集，　该数据集中每个连接共有４１种定性和定量的特征　科学技术与工程　１２卷　属性，其中有８个屙Ｉ生是离散型的变量，其余是连　续型的数字变量。将特征属性进行归一化处理，使　得每类特征数据的取值范围在区间［０，１］中，这样　处理一方面避免取值范围大的属性支配取值范围　小的属性，另一方面也可以提高机器的处理能力。　Ｓ３ＶＭ核函数采用高斯径向基核函数（Ｒａｄｉａｌ　Ｂａｓｅ　Ｆｕｎｃｔｉｏｎ，ＲＢＦ），聚类簇数目取。在标记样本占整个　训练集中３％，５％，１０％，１５％的基础上，对传统半　监督支持向量机算法（ＴＳ３ＶＭ）和改进后的ＭＬＬ—　Ｓ３ＶＭ算法进行了对比，每个实验结果是经过３０次　实验结果平均得到。　３．２实验结果分析　通过检测率和误报率评价改进的入侵检测算　法的性能，其中：检测率：检测到的异常数据个　数／样本中的异常数据个数，误报率＝误报为异常　的正常数据个数／样本中正常数据个数。　表１算法改进前后检测结果对比　０．８　０．７５　０．７　０．６５　０．６　０．５５　０．５　０．４５　０．４　Ｏ．３５　０．３　Ｏ．２５　０．２　Ｏ．１５　０．１　图２不同比例Ｆ的误报率对比　从表１中实验结果数据可以看出，在标记样本　占３％，５％，１０％，１５％的数据集样本中，优化改进　后的ＭＬＬ—Ｓ３ＶＭ算法明显优于传统的Ｓ３ＶＭ算法。　传统Ｓ３ＶＭ选取一个分类决策面舍弃了相当数量且　可能有用的分类决策面，ＭＬＬ—Ｓ３ＶＭ综合考虑差异　性较大的分类决策面，在一定程度上克服的Ｓ３ＶＭ　缺陷，在检测率上有了一定的升高，误报率方面有　了一定的降低。　图３不同比例下的检测率对比　４结论　根据传统的Ｓ３ＶＭ方法存在的不足，提出一种　基于多分类面的半监督支持向量机优化方法，一定　程度上克服传统的Ｓ３ＶＭ方法训练不充分的缺陷，　但是该方法在一定程度上给入侵检测增加了算法　的时间、空间复杂度，应用到实时入侵检测系统上　有一定的局限性，因此如何克服算法上的不足，并　且进一步提高分类器的性能将是以后的研究方向。　参考文献　１　Ｂｅｎｎｅｔｔ　Ｋ，Ｄｅｍｉｉｆｚ　Ａ．Ｓｅｍｉ—ｓｕｐｅｒｖｉｓｅｄ　ｓｕｐｐｏ￣ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ．　Ｃａｍｂｒｉｄｇｅ，ＭＡ：ＭＩＴ　Ｐｒｅｓｓ，１９９９：３６８—０７４　２　Ｃｈａｐｅｌｌｅ　Ｏ，Ｚｉｅｎ　Ａ，Ｓｅｍｉ—ｓｕｐｅｒｖｉｓｅｄ　ｌｅａｒｎｉｎｇ　ｂｙ　ｌｏｗ　ｄｅｎｓｉｔｙ　ｓｅｐａｒａ・　ｔｉｏｎ．Ｉｎ：ＡＩＳＴＡＴＳ，２００５：５７　３　Ｃｈａｐｅｌｌｅ　Ｏ，Ｓｉｎｄｈｗａｎｉ　Ｖ，Ｋｅｅｒｔｈｉ　Ｓ．Ｏｐｔｉｍｉｚａｔｉｏｎ　ｔｅｃｈｎｉｑｕｅｓ　ｆｏｒ　ｓｅｍｉ—ｓｕｐｅｒｖｉｓｅｄ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ．Ｊｏｕｒｎａｌ　ｏｆ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎ－　ｉｎｇ　Ｒｅｓｅａｒｃｈ，２００８；９（２）：２Ｏ３—２３３　４　Ｙｕ　Ｆｅｎｇ　Ｌｉ，Ｚｈｉ　Ｈｕａ　Ｚｈｏｕ．Ｔｏｗａｒｄｓ　ｍａｋｉｎｇ　ｕｎｌａｂｅｌｅｄ　ｄａｔａ　ｎｅｖｅｒ　ｈｕｒｔ．Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２８ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　Ｏｆｆ　Ｍａ－　ｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ，Ｂｅｌｌｅｖｕｅ，ＷＡ，２０１１　５　Ｖａｐｎｉｋ，Ｖ，Ｓｔｅｆｉｎ　Ａ．Ｏｎ　ｓｔｒｕｃｔｕｒｌａ　ｒｉｓｋ　ｍｉｎｉｍｉｚａｔｉｏｎ　ｏｒ　ｏｖｅｒａｌｌ　ｒｉｓｋ　ｉｎ　ａ　ｐｒｏｂｌｅｍ　ｏｆ　ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ．Ａｕｔｏｍａｔｉｏｎ　ａｎｄ　Ｒｅｍｏｔｅ　Ｃｏｎｔｏｒｌ，　１９７７；ｌＯ（３）：１４９５—１５ｏ３　６　Ｔｈｅ　ＵＣＩ　ＫＤＤ　Ａｒｃｈｉｖｅ．ＫＤＤｃｕｐ９９　ｄａｔａｓｅｔ．ｈｔｔｐ：／／ｋｄｄ．ｉｃｓ．ｕｃｉ．　ｅｄｕ／ｄａｔａｂａｓｅｓ／ｋｄｄｅｕｐ９９／ｋｄｄｃｕｐ９９．ｈｔｌＩｌ１．１９９９　（下转第２１７页）　李志林，等：ＴｉＯ：／ＳｉＯ：复合粉体的简易研磨法制备　１０　２１７　李志林，安青珍．ＴｉＯ２／凹凸棒土复合催化剂的制备及光催化降　解活性大红．化工环保，２０１１；３１（１）：８２—８５　ｎａｎｏｐｏｗｄｅｒｓ　ｆｒｏｍ　ＴｉＯＳＯ４．Ｍａｔｅｒｉａｌｓ　Ｌｅｔｔｅｒｓ，２００７；６１：１１８３—１１８６　１２李凤生，杨毅，付廷明，等．纳米／微米复合技术及应用．北京：　１１　Ｂｉｌｌｉｋ　Ｐ，Ｐｌｅｓｃｈ　Ｇ．Ｍｅｃｈａｎｏｃｈｅｍｉｃａｌ　ｓｙｎｔｈｅｓｉｓ　ｏｆ　ａｎａｔａｓｅ　ａｎｄ　ｒｕｆｆｌｅ　国防工业出版社，２００２：ｌ５—４１　Ｐｒｅｐａｒａｔｉｏｎ　ｏｆ　ＴｉＯ２／ＳｉＯ２　Ｃｏｍｐｏｓｉｔｅｓ　ｂｙ　ａ　Ｆａｃｉｌｅ　Ｇｒｉｎｄｉｎｇ　Ｍｅｔｈｏｄ　ＬＩ　Ｚｈｉ－ｌｉｎ，ＣＨＥＮＧ　Ｌｉ—ｌｉ　（Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｈｅｍｉｓｔｒｙ　ａｎｄ　Ｅｎｖｉｒｏｎｍｅｎｔａｌ　Ｓｃｉｅｎｃｅ，Ｈｅｂｅｉ　Ｕｎｉｖｅｒｓｉｔｙ，Ｂａｏｄｉｎｇ０７１００２，Ｐ．Ｒ．Ｃｈｉｎａ）　［Ａｂｓｔｒａｃｔ］　Ｂｅｔｔｅｒ　ｓｕｒｆａｃｅ　ａｃｔｉｖｉｔｙ　ａｎｄ　ｐｈｏｔｏｃａｔｌａｙｔｉｃ　ａｃｔｉｖｉｔｙ　ｏｆ　ＴｉＯ２／ＳｉＯ２　ＣＧｍｐｏｓｉｔｅ　ｃａｔａｌｙｓｔ　ｗａｓ　ｄｅｖｅｌｏｐｅｄ　ｂｙ　ａ　ｆａｃｉｌｅ　ｇｒｉｎｄｉｎｇ　ｍｅｔｈｏｄ　ｕｓｉｎｇ　ｔｉｔａｎｙｌ　ｓｕｌｆａｔｅ　ａｓ　ａ　ｔｉｔａｎｉａ　ｓｏｕｒｃｅ，ａｎｄ　ｓｏｄｉｕｍ　ｓｉｌｉｃａｔｅ　ａｓ　ａ　ｓｉｌｉｃａ　ｐｒｅｃｕｒｓｏｒ．Ｔｈｅ　ｅｏｍ—　ｐｏｓｉｔｅ　ｗａｓ　ｃｈａｒａｃｔｅｒｉｚｅｄ　ｂｙ　ｍｅａｎｓ　ｏｆ　Ｘ—ｒａｙ　ｄｉｆｒａｅｔｏｍｅｔｒｙ，ＴＧ—ＤＴＡ　ａｎａｌｙｓｉｓ　ａｎｄ　ＦＴＩＲ．Ｉｔｓ　ｐｈｏｔｏｃａｔｌｙｔａｉｃ　ａｃｔｉｖｉｔｙ　ＯＮ　ｔｈｅ　ｄｅｇｒａｄａｔｉｏｎ　ｏｆ　ｒｅａｃｔｉｖｅ　ｓｃａｒｌｅｔ　ｗａｓ　ａｌｓｏ　ｅｖａｌｕａｔｅｄ　ｂｙ　ＵＶ・Ｖｉｓ　ＳｐｅｃｔｒｏｐｈｏｔｏｍＩｅｔｅｒ．Ｔｈｅ　ｏｐｔｉｍｕｍ　ｐｒｅｐａｒａｔｉｏｎ　ｃｏｎ—　ｄｉｔｉｏｎｓ　ｏｆ　ｔｈｅ　ｃｏｍｐｏｓｉｔｅ　ａｒｅ　ａｓ　ｆｏｌｌｏｗｓ：ｔｈｅ　ｍａｓｓ　ｒａｔｉｏ　ｏｆ　ｔｉｔａｎｙｌ　ｓｕｌｆａｔｅ　ｔｏ　ｓｏｄｉｕｍ　ｓｉｌｉｃａｔｅ　ｉｓ　１：１，ａｎｄ　ｔｈｅ　ｃａｌｃｉｎｉｎｇ　ｔｅｍｐｅｒａｔｕｒｅ　ｉｓ　５００℃．Ｗｈｅｎ　ｔｈｅ　ｉｎｉｔｉａｌ　ｍａｓｓ　ｃｏｎｃｅｎｔｒａｔｉｏｎ　ｏｆ　ｔｈｅ　ｒｅａｃｔｉｖｅ　ｓｃａｒｌｅｔ　ｗａｓ　５Ｏ　ｍｇ／Ｌ．ｔｈｅ　ｄｏｓａｇｅ　ｏｆ　ｔｈｅ　ｃｏｍｐｏｓｉｔｅ　ｗａｓ　０．　ｅｖｅｒｙ　２０　ｍＬ　ｄｙｅ　ｌｉｑｕｏｒ　ａｎｄ　ｔｈｅ　ｒｅａｃｔｉｏｎ　ｔｉｍｅ　ｏｆ　ｄｅｇｒａｄａｔｉｏｎ　ｕｎｄｅｒ　ｕｌｔｒａｖｉｏｌｅｔ　ｗａｓ　６０　ｍｉｎ，　ｔｈｅ　ｄｅｇｒａｄａｔｉｏｎ　ｒａｔｅ　ｏｆ　ｒｅａｃｔｉｖｅ　ｓｃａｒｌｅｔ　ｉｓ　９８．３％．Ｈｏｗｅｖｅｒ，ｔｈｅ　ｐｈｏｔｏｃａｔｌｙｔａｉｃ　ｅｆｆｉｃｉｅｎｃｙ　ｂｙ　ｐｕｒｅ　ＴｉＯ２　ｉｓ　９６．５％　ｔｈｅ　ｓａｍｅ　ｃｏｎｄｉｔｉｏｎｓ．Ｔｈｅ　ｉｎｖｅｓｔｉｇａｔｉｏｎ　ｗｉｌｌ　ｐｒｏｖｉｄｅ　ａ　ｌｅｓｓ　ｅｘｐｅｎｓｉｖｅ　ｒｏｕｔｅ　ｔｏ　ｓｙｎｔｈｅｓｉｚｅ　ｔｈｅ　ｔｉｔａｎｉａ—ｓｉｌｉｃａ　ｃｏｒｎ—　ｕｎｄｅｒ　ｐｏｓｉｔｅ　ｗｉｔｈ　ｈｉｇｈｅｒ　ｐｈｏｔｏｃａｔａｌｙｔｉｃ　ｄｅｇｒａｄａｔｉｏｎ　ｅｆｆｉｃｉｅｎｃｙ　ｆｏｒ　ｔｈｅ　ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　ｗａｓｔｅｗａｔｅｒ　ｔｒｅａｔｍｅｎｔ．　［Ｋｅｙ　ｗｏｒｄｓ］ｔｉｔａｎｉａ　ｓｉｌｉｃａ　ｇｒｉｎｄｉｎｇ　ｍｅｔｈｏｄ　ｔｉｔａｎｙｌ　ｓｕｌｆａｔｅ　ｓｏｄｉｕｍ　ｓｉｌｉｃａｔｅ　、　（上接第２０２页）　Ｏｐｔｉｍｉｚａｔｉｏｎ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ　Ｌｅａｒｎｉｎｇ　ｉｎ　Ｉｎｔｒｕｓｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　ＨＵＡＮＧ　Ｔｏｎｇ－ｘｉｎ，ＺＡＮＧ　Ｌｉｅ，ＮＩＥ　Ｐａｎ－ｐａｎ　（Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｎａｍｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ａｅｒｏｎａｕｔｉｃｓ　ａｎｄ　Ａｓｔｒｏｎａｕｔｉｃｓ，Ｎａｎｊｉｎｇ　２１００１６，Ｐ．Ｒ．Ｃｈｉｎａ）　［Ａｂｓｔｒａｃｔ］　Ｉｎ　ｏｒｄｅｒ　ｔｏ　ｓｏｌｖｅ　ｉｎｔｒｕｓｉｏｎ　ｄｅｔｅｃｔｉｏｎ　ｔｒａｉｎｉｎｇ　ｄａｔａ　ｓｅｔ（ｕｓｕａｌｌｙ　ｃｏｎｔａｉｎｓ　ａ　ｌａｒｇｅ　ｎｕｍｂｅｒ　ｏｆ　ｕｎｌａｂｅｌｅｄ　ｓａｍｐｌｅｓ　ａｎｄ　ａ　ｓｍａｌｌ　ａｍｏｕｎｔ　ｏｆ　ｓａｍｐｌｅｓ　ｈａｓ　ｂｅｅｎ　ｍａｒｋｅｄ）ｏｎ　ｔｈｅ　ｔｒａｄｉｔｉｏｎａｌ　Ｓｅｍｉ－－Ｓｕｐｅｒｖｉｓｅｄ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａ－－　ｃｈｉｎｅｓ（Ｓ３　ＶＭ）ｔｏ　ｄｅｔｅｒｍｉｎｅ　ｔｈｅ　ｏｐｔｉｍａｌ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｄｅｃｉｓｉｏｎ　ｓｕｒｆａｃｅ，ａｎ　ｏｐｔｉｍａｌ　Ｓ３　ＶＭ　ｍｅｔｈｏｄ（ＭＬＬ—Ｓ３　ＶＭ）　ｂａｓｅｄ　ｏｎ　ｍｕｌｔｉｐｌｅ　ｌａｒｇｅ—ｍａｒｇｉｎ　ｌｏｗ—ｄｅｎｓｉｔｙ　ｓｅｐａｒａｔｏｒｓ　ｉｓ　ｐｒｏｐｏｓｅｄ．Ｔｈｅ　ｐｒｏｐｏｓｅｄ　ａｌｇｏｒｉｔｈｍ　ｃｏｍｂｉｎｅｄ　ｈｅｕｒｉｓｔｉｃ　ｓａｍ．　ｐｉｉｎｇ　ｓｅａｒｃｈ　ａｎｄ　ｃｌｕｓｔｅｒｉｎｇ　ｍｅｔｈｏｄ，ｕｎｌａｂｅｌｅｄ　ｅｘａｍｐｌｅｓ　ａｒｅ　ｅｓｔｉｍａｔｅｄ　ｕｓｉｎｇ　ｄｉｓｔａｎｃｅ　ｖｅｃｔｏｒ　ｍｅｔｈｏｄ　ａｔ　ｌａｓｔ．Ｅｘｐｅｆｉ—　ｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｉｔ　ｈａｓ　ｂｅｔｔｅｒ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｃｃｕｒａｃｙ　ｉｎ　ｉｎｔｒｕｓｉｏｎ　ｄｅｔｅｃｔｉｏｎ．　［Ｋｅｙ　ｗｏｒｄｓ］　ｉｎｔｕｓｒｉｏｎ　ｄｅｔｅｃｔｉｏｎ　ａｒａｔｏｒｓ　ｏｐｔｉｍｉｚａｔｉｏｎ　ｓｅｍｉ—ｓｕｐｅｒｖｉｓｅｄ　ｓｕｐｐｏ￣ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ　ｌａｒｇｅ—ｍａｒｇｉｎ　ｌｏｗ—ｄｅｎｓｉｔｙ　ｓｅｐ—