在线客服:
yobo官网 yobo官网
全国服务热线:010-80887545
您的位置:首页 > 新闻中心 >

支持向量机模型参数选择方法概述_自然科学_专业信息

浏览 80次 来源:【jake推荐】 作者:-=Jake=-    时间:2021-02-16 20:21:58
[摘要] 就是没有统一的模型参数选择标准和理论。最后概括了支持向量机模型参数选择方法的现状,以及对其发展趋势进行了展望。主要研究方向为计算机辅助设计和图像处理。模型的参数选择问题就是一个优化搜索问题。模型参数进行选择是可行的。而针对特定问题为以上算法进行改进从而获得更好的性能是目前研究热点之一。

ISSN 1009-3044电子邮件:计算机知识和技术计算机知识和技术卷。 6第28期(2010年10月,计算机知识和技术计算机知识月)第一卷。 6,第28号,2010年10月,第.8081-8082,8085电话:+ 86-551-5690963 5690964支持向量机模型参数选择方法摘要付扬1,李昆仑2(1.南昌大学信息工程学院,南昌330031; 2.南昌大学科学技术学院,江西南昌330029)摘要:支持向量机是机器学习和数据挖掘领域的热门研究主题之一。作为一项尚未完全成熟的技术,仍然存在很多缺点,其中之一就是没有统一的模型参数选择标准和理论。在特定使用中,对支持向量机的性能有重要影响的参数包括罚因子C,核函数及其参数的选择。本文首先分析了模型参数对支持向量机性能的影响,然后介绍,分析和客观评价了几种常用的模型参数选择方法,最后总结了支持向量机模型参数选择方法的现状及其发展趋势。进行了展望。

关键字:支持向量机;模型参数选择;惩罚因素;内核功能;核参数中文图书馆分类号:TP181文件标识号:物品编号:1009-3044(201 0) 28-8081-02A支持向量机的模型参数选择方法综述傅阳1,李坤伦2(1.南昌大学信息工程学院,南昌330031; 2.南昌大学科学技术学院,南昌330029)摘要:支持向量机是机器学习,数据挖掘领域是研究的热点之一,一种技术,目前还没有完全成熟,还存在很多不足,一个是没有统一的模型参数选择标准和理论,在支持向量机的具体使用中对包括罚分在内的参数的性能有重大影响。 C,核函数和参数选择本文分析了支持向量机性能参数的模型,几种常用模型的影响和参数选择方法yabo2020 ,分析总结了最终的目标评价支持向量机模型参数选择方法,并展望了其发展趋势。关键词:支持向量机模型参数选择;罚款;内核功能;核函数参数支持向量机(SVM)是一种基于统计学习理论的机器学习方法。它最初是由Vapnik等人提出的。在1992年的计算机理论会议上,它的主要内容在1995年基本完成,并且仍在不断发展中。舞台[1]。

它的目标是使广义误差的上限最小化。 SVM分类器是线性分类器。选择用于分离的超平面以最小化测试图案的分类误差。最佳超平面由训练矢量子集的加权组合定义。超平面的估计等效于编程以求解带约束条件的线性二阶方程。但是,这种计算在时间和空间上都是昂贵的。因此,支持向量机的训练速度受训练集大小的影响很大。然而,支持向量机在解决诸如小样本,高维和非线性等问题方面具有高性能,并且已成为继神经网络之后在面部性别分类中最常用的方法。支持向量机模型参数是影响其性能的重要因素,但是目前尚无固定的模型参数选择方法和理论,因此支持向量机参数的选择一直是研究的热点。 1模型参数的影响分析后对支持向量机有重要影响的参数是:惩罚因子C,核函数的选择及其参数。惩罚因子C用于控制模型复杂度和逼近误差之间的折衷。 C越大,对数据的拟合度越高,学习机的复杂度就越高,并且可能会发生“过度学习”现象。如果C的值太小,则经验误差的惩罚较小,学习机的复杂度较低,并且会出现“学习不足”现象。

当C值在一定程度上较大时,SVM模型的复杂度将超过空间复杂度的最大范围,因此,当C继续增加时,几乎不会影响SVM的性能。 SVM的内核函数包括线性内核函数,RBF内核函数,多项式内核函数,高斯内核函数等。建立SVM模型的第一件事是选择内核函数和内核参数。根据Vapnik等人的研究。 [2],对于不同类型的核函数,支持向量机模型选择的支持向量的数量基本相同,但是核函数参数和惩罚因子C的选择对支持向量机模型的性能很重要。 RBF核函数的参数gamma的值直接影响模型的分类精度。也就是说,对于带有RBF内核的SVM模型,如果要提高其分类精度,首先需要考虑的是如何选择其内核参数γ和惩罚因子C。2模型参数的选择方法[ 2. 1.所谓穷举法是在确定支持向量机模型后,根据经验初始化惩罚因子C和核函数的内在参数,并进行分配,然后通过实验测试,得到测试数据重复调整参数值直到获得满意的结果。实验表明,随着C的增加,分类精度迅速提高,但如果C继续增加,性能变化不明显。当C的值足够大时,模型的性能将不会随着C的改变而改变。

支持向量机 参数_支持向量机参数_支持向量机 参数

通过分析,我们可以知道,当C开始增加时,接收日期:2010-07-17关于作者:付扬(1985-),男,江西省南昌市人,硕士,主要研究方向是模式识别,并行计算;李昆仑(1982-),女,回族,河南襄城人,硕士学位,主要研究方向是计算机辅助设计和图像处理。本专栏负责编辑:唐一东人工智能与识别技术8081计算机知识与技术计算机知识与技术,第28号(2010年10月)。模型的复杂性增加,支持向量的数量减少。边界的支持向量迅速减小。并且当C的值足够大并且模型中的边界支持向量的数量为0时,C的变化将不再影响模型的性能。穷举法是目前使用最广泛的参数选择方法之一,其操作简单有效。但是,参数的调整完全基于经验,缺乏足够的理论基础。对于不同数量的样本和不同的内核函数,此方法可能具有不同的调整方法。特别是当调整范围相对较大并且核函数参数相对较大时,调整将变得更加复杂。 2. 2交叉验证方法所谓的交叉验证方法是指在训练SVM模型之前,保留其一部分训练数据,然后将这部分数据用于评估训练后的模型。

通常,通常使用K折交叉验证。首先,将训练数据平均分为K组,然后取出一组进行保留,然后将剩余的K-1组用于训练以建立模型,最后使用剩余的组进行评估和测试训练有素的模型。重复上述过程K次,以确保已保留并测试了每组数据,然后基于从K个评估和检测获得的值来估计预期的泛化误差,从而选择最佳参数。交叉验证方法是统计学习中众所周知的方法。称为泛化误差的无偏估计。它可以有效地防止过度学习现象。它不仅具有一定的训练精度,而且具有良好的泛化性能。目前,这种方法被广泛使用,但是如果有更多的参数,该方法将花费大量时间,并且大量的计算也是其缺点之一。 2. 3梯度下降法2002年,Chapelle [3]等人。提出了一种使用梯度下降的方法,通过最小化一般误差分解的上限来实现SVM参数的自动选择。梯度下降法使用负梯度方向为每次迭代确定新的搜索方向,以便每次迭代可以逐渐减少要优化的目标函数。公式如下:xn + 1 = xn-a * gn其中a称为学习率,可以是一个小的常数。 gn是xn的梯度。使用梯度下降法选择支持向量机参数时yabo网页版 ,首先需要根据经验确定一组参数作为梯度下降法的起点,然后再使用梯度下降法寻找最佳参数。

支持向量机 参数_支持向量机参数_支持向量机 参数

尽管与交叉验证法和反复试验法相比,该算法的计算时间明显缩短,但梯度下降法需要较高的初始点,并且是线性搜索方法,因此很容易陷入局部最优。 2. 4网格搜索算法2003年,Hsu,Chang和Lin [4]提出使用网格搜索算法来找到SVM惩罚因子和RBF内核参数的最优解。网格搜索方法是当前最常用的数据搜索方法之一。对于RBF核心SVM模型,算法流程如下:首先,对于惩罚因子C和RBF核心参数gamma,分别确定值范围和搜索步长,从中确定MC值和N个伽玛值获得。然后,根据MC和Nγ构造不同参数的M * N组,使用每个参数构造SVM模型以获得分类精度,从而确定最优参数组C和γ。最后,最佳分类精度仍然不能满足要求,您可以根据分类精度曲线重新选择值范围和搜索步骤,并进行精细搜索直到满足要求。网格搜索法的优点是可以同时搜索多个参数,并且参数之间相互关联,相互制约,从而可以更好,更快地获得最优解。

M * N组参数彼此独立,因此可以执行并行搜索以提高计算效率。缺点是,当有很多参数时,例如,有3个多项式内核参数,加上罚因子C,也就是说,对于多项式内核SVM模型,需要假设同时选择4个参数4个参数的值分别是M,N,P,Q,那么将使用网格搜索方法来计算M * N * P * Q组参数,这是一个巨大的计算量。 2. 5基于遗传算法的SVM模型参数选择通过分析,我们可以知道SVM模型的参数选择问题是一个优化搜索问题。遗传算法本身是一种广泛使用的随机搜索优化算法。遗传算法本身具有很强的鲁棒性,并且不依赖于问题的特定区域。强大的全局搜索功能和并行性使其能够快速有效地搜索全局最佳解决方案。因此,采用遗传算法选择支持向量机模型参数是可行的。算法流程如下:首先,选择SVM模型的核函数,确定惩罚因子C以及核参数的编码方法和染色体结构。根据染色体的结构设计和遗传算法的构建选择,交叉,变异等算子。其次,随机生成初始染色体群体并解码该群体中的所有染色体。每个染色体是一组参数。然后支持向量机 参数,使用每组参数训练SVM分类模型,并使用该模型测试测试数据以获得其识别率。

与识别率相对应的染色体的适应度值作为参数。最后,判断种群中的最优适应度值是否满足要求,如果满足,则对与最优适应度对应的染色体进行解码,得到最优参数集;否则,请开始基因操作,选择种群,杂交,突变等。进行操作以获取新一代种群。 Chen [5]和Zheng [6]使用不同的泛化能力估计作为遗传算法的适应度函数,并提出了两种基于遗传算法的SVM模型参数优化方法。结果表明,使用遗传算法优化支持向量机参数不仅减少了计算时间,而且减少了对初始值选择的依赖。 2. 6基于粒子群算法的SVM模型参数选择2006年,Lee and Cho [7]提出使用粒子群算法解决SVM参数优化问题。粒子群优化算法(PSO)是一种基于种群智能的新型随机全局优化算法。种群智能通过种群中粒子之间的协作和竞争来指导优化搜索。与进化算法相比,PSO算法保留了基于种群的全局搜索策略,使用简单的速度位移模型,避免了诸如杂交,遗传和突变之类的复杂操作。整个粒子群算法反映了以下事实:粒子在寻找食物来源时保持其惯性(最佳解决方案),但也使用个体认知和社会认知继续修改其自身的飞行方向,最终导致该小组接近食物来源。

最佳解决方案是用两个值更新自身,以便整个总体朝着最佳解决方案发展。 PSO算法首先随机生成n组参数作为初始粒子群,然后通过迭代找到最优解。在每次迭代中,粒子通过单独的最优解,并且最多通过(第8085页)。人工智能和识别技术。本专栏负责人编辑:唐一栋8082第6卷,第28期(2010年10月)计算机知识和技术(a)直线ͼ5(b)单圈路径图像采样(c)S曲线4结束语智能汽车卡尔的16位微控制器MC9S12DG128被用作核心控制单元,并使用CCD图像传感器收集黑白路径信息。微控制器通过对检测到的图像进行分析和计算,自动控制汽车的方向和速度,从而实现智能汽车沿黑线的快速稳定行驶。实验证明,该相机电路稳定可靠,可以很好地识别路径信息。参考文献:[1]王明顺,沉某全。传感器与智能车路径识别[J]。电子产品世界,2007(4):142-14 3. [2]杨明,胡晨辉,关军等。上海交通大学赛博智能团队技术报告[R] .200 6. [3]美国国家半导体。LM1881视频同步分离器概述[OL]。html#概述。[4]卓晴支持向量机 参数,黄凯生,邵贝贝等。学习做智能车—挑战“飞思卡尔”杯[M]。北京:北航University Press,200 7.(接第8082页,续)3总结综上所述,反复验证法的交叉验证方法因其操作简单而被广泛使用,但是对于参数很多的情况,它们都有计算量大,速度慢,效果差等缺点。

支持向量机 参数_支持向量机 参数_支持向量机参数

与前两种方法相比,梯度下降方法在速度上有很大的提高。它要求较高的起始点,并且是线性搜索方法,因此很容易陷入局部最优。网格算法的优点是可以并行处理,但缺点是计算量大。遗传算法鲁棒性强,便于并行处理,不需要高功能,不易陷入局部优化,但是运算较为复杂,需要设计和调整选择,交叉和变异算子针对不同的问题。粒子群算法具有收敛精度低,收敛困难等缺点,容易陷入局部最优。以上几种SVM模型参数选择方法是目前较为常用的方法。本文仅介绍各种算法的基本原理。当前的研究热点之一是针对特定问题改进上述算法以获得更好的性能。支持向量机的输入特征子集是另一个影响SVM性能的重要因素。由于支持向量机模型参数的选择和特征子集的选择相互影响和制约,因此如何实现它们的同步优化是当前的主要研究方向之一。 Huang和Wang [8]在2006年提出使用遗传算法来优化模型参数并同时选择SVM的特征。同年,黄和王将基于遗传算法的支持向量机应用到信用评估系统中。 2008年,林世伟和应国庆[9]提出使用粒子群算法同时优化模型参数和选择支持向量机的特征。

通常,随着支持向量机在人工智能,模式识别和数据挖掘领域的深入发展,所有相关专家的共同目标是开发一套标准化的模型参数方法,以更通用。参考文献:[1] Vapnik V.统计学习理论[M]。纽约:199 5. [2] Vapnik V.统计学习理论的实质[M]。张学功,翻译。北京:清华大学出版社,200 0. [3] Chapelle O,Vapnik V,Bousquet O等。为支撑机选择多个参数[J]。机器学习,2002,46(3):13115 9. [4]许成伟。张CC,林成杰。支持向量分类的实用指南[R]。台湾国立大学计算机科学与工程系信息工程,2003:1-1 2. [5]闫新峰,陈大征,胡树新。基于RBF-PLS模型的混沌遗传算法优化运行条件[J]。计算机与化学工程电竞下注 ,2003, 27(1 2):1393-140 4. [6]郑春红,焦立成。基于遗传算法的支持向量机自动参数选择[C]。第五届世界智能控制与自动化大会,皮斯卡塔维,新泽西州: IEEE Press,2004:1869-187 2. [7] Tsair -Fwu Lee,Cho Ming-Yuan Cho,Chin-Shiuh Shieh,Fu-Min Fang。基于粒子群优化的SVM应用:电力变压器初期故障综合诊断[C] [J]。混合信息技术国际会议,2006:468-47 2. [8]黄春丽,王春杰。支持向量机的基于GA的特征选择和参数优化[J]。专家S系统应用凤凰体育平台 ,2006,31:231-24 0. [9]林世伟,应国清,陈世杰,等。关键词:粒子群算法,支持向量机,参数确定,特征选择专家系统的应用,2008(3 5):1817-182 4.负责本专栏的编辑:唐一东人工智能与识别技术8085

老王
本文标签:支持向量机,svm,统计学习

推荐阅读

最新评论