一直觉得基于机器学习的数据挖掘技术是很有意思的东西,尤其是以统计学习理论为基础的SVM技术更是让人觉得充满科学的创意。在一位优秀老师的指导下学习了一些这方面的皮毛,于是总想动笔写下一点东西,算是与大家分享我的体会。就从我觉得最有意思的特征选择开始吧,说不定慢慢就写成一篇不错的review了。内容会有些学术,有些偏理论,我也会尽力的列出参考文献。鉴于我也是菜鸟,有错误的话还请大家拍砖。
特征选择(feature selection)是一种很有实用价值的技术,本质上来说是一种为数据挖掘消除数据噪声的技术。但我们对某件事务进行判断时,我们会根据以往的经验根据某些信息,而不是所有的信息做出判断。比如,判断一辆车的品牌,我们会去看车头车尾的标志,更细致一点会去看车的铭牌,因为这是最权威,也是最容易判断车辆品牌的信息。如果根据车的外形去判断车辆的品牌就有可能把QQ当作Spark,把F3当作花冠;如果根据车的价格去判断,也会把奥迪和大奔弄混。也就是说,人做判断时会选择出最有效的信息来做出自己的抉择。
计算机在面对类似问题的却无法根据已有的经验去选择最有效的信息,而大量无效信息对于计算机来说就是噪声,反而会影响计算机的判断结果。如果是前面对车辆品牌进行判断的例子,还可以人工的选择出最有效的信息。但是如果面对的是DNA序列、复杂的图片,那就只能依靠计算机了。于是这就诞生了特征选择技术,选出与结果最相关的特征,从而提高判断的准确率。
先列个提纲,有时间再来慢慢写。欢迎拍砖,不屑于拍砖的也欢迎~~~
1. 什么是特征选择?
1.1 特征选择的起源
1.2 特征选择的发展历史
1.3 特征选择的研究现状
2. 特征选择的分类及基本原理
3. SVM以及SVM-RFE的基本原理
3.1 统计学习和SVM
3.2 SVM-RFE的基本原理
4. SVM-RFE的应用实例
3.1 SVM-RFE的实现
3.2 数据的编码和预处理
3.3 参数的选择和二重交叉验证
5. 特征选择的缺陷
分享到:
相关推荐
SVM-RFE algorithm:SVM-RFE算法.pdf
基于SVM-RFE支持向量机递归特征消除的回归数据特征选择算法,输出为选择的特征序号(Matlab完整程序和数据) Chinese: Options:可用的选项即表示的涵义如下 -s svm类型:SVM设置类型(默认0) 0 -- C-SVC 1 --v...
基因选择算法 SVMRFE 基因选择算法 SVMRFE 基因选择算法 SVMRFE
针对SNP的全基因组关联分析面临SNP数据的高维小样本特性和遗传疾病病理的复杂性两大难点, 将特征选择引入SNP全基因组关联分析中, 提出基于Relief和SVM-RFE的组合式SNP特征选择方法。该方法包括两个阶段:Filter阶段,...
Matlab基于支持向量机递归特征消除(SVM_RFE)的回归数据特征选择算法,matlab代码,输出为选择的特征序号(Matlab完整程序和数据) Matlab基于支持向量机递归特征消除(SVM_RFE)的回归数据特征选择算法,matlab代码,...
利用遗传基因算法对SVM-RFE算法进行优化,从而获取更优异的特征,提高检测率,该算法的SVMtrain利用matlab自带的函数
本代码使用svm_RFE来循环递归式的对数据特征进行排序,从而筛选出有用的特征,同时可以看到特征排序,已经每次筛选出去的特征
基于SVM-RFE的水稻抗病基因预测,付媛,梁艳春,基因表达数据具有两个主要特征:小样本和高维度,这使传统机器学习方法分析基因表达数据存在很多困难。本文中,我们采用一种基于
SVM_RFE是早期提出的一种特征排序方法,利用SVM在数据集上训练得到的权重向量对特征进行排序 然后剔除无用特征,重新训练,之后再剔除。。。
matlab开发-使用svmrfe选择功能。支持向量机递归特征消除(SVM-RFE),减少相关偏差
svm fre 可以运行,非常好用,建议下载
实现了SVM_RFE算法,进行特征选择并分类
SVM-RFE-master.zip
SVM-RFE.R
基于R语言e1071包在SVM模型中使用递归特征消除法(RFE)筛选出的最优的特征模型
对DNA微阵列用RFE-SVM算法对基因进行分类
首先提出一种滤除分类无关基因的新方法――相似贡献度方法, 然后采有支持向量机递归特征消去方法(SVM-RFE)得到候选特征基因子集, 最后利用支持向量机(SVM)分类方法, 以训练集和测试集的错误分类数两个指标为依据...
该代码利用SVM方法对数据进行分类,在python环境下可运行
使用SVM-RFE和GA组合进行癌症分类的基因选择