本文是我的机器学习笔记,也是我根据我自己所学的知识总结的,对机器学习的零门槛入门读物。由于是我自己总结的,内容或多或少都有些错误。如果有不懂的问题或发现我文中的错误,欢迎大家及时批评指正!
【资料图】
本文会带大家从感知机一路讲到神经网络的训练,在过程中,我会对所需要的前置知识进行讲解。希望大家在看完之后,也能亲手训练出自己的第一个神经网络!
机器学习最常见的任务是分类任务,即给出属于某个样本的一组特征,使机器给出这个样本所属的类别。例如,对动物进行分类,若这个动物是短脖子、长耳朵、没翅膀,那么大概率是兔子;长脖子、短耳朵、没翅膀,那大概率是长颈鹿;长脖子、短耳朵、有翅膀,那么大概率是鸭子……让机器学会根据特征对样本进行分类,就是机器学习中最简单也是最常见的任务。
在本章中,我们需要完成这么一个分类任务:每个学生的分班考试都会考两个科目:一个是语文,一个是数学。当考完两门科目时,根据它们的成绩,对每个学生进行分班。学校并没有给出具体的分班标准,但给出了以往50名学生的语文、数学成绩与它们的分班结果。
以往50名学生的语文、数学成绩如下所示:
我们将它定义为变量x,x的长度为50,其中每一个元素都是一个特征向量,里面记录了样本的特征(语文和数学成绩);
他们的分班结果如下所示:
我们将它定义为变量y,y的长度也为50,其中每一个元素都是标签,在此处,标签即为学生的分班结果(学生被分进1和-1两个班)。
乍一看,根本不会清楚分班的标准究竟是什么。通过图片得知,它似乎是线性的。借助感知机,我们便能够找到这些特征之间隐含的规律,进而使机器学会如何分类。
感知机最适用于线性可分的数据集。线性可分指的是样本的类别可以由线性函数得到。在本文的实例中,特征向量的长度为2,因此我们根据公式
构造我们的感知机。
我们初始化,,,计算所有的样本,得到的分类结果如下图所示:
可以看到,我们随手构造的分类器把所有的点都分类到黄色直线()下方去了,相当于把所有的学生都分到了一个班级,这很显然不是我们最终想要得到的感知机。我们最终期望的感知机能够完美分割属于两个不同班级的样本(如图中的红点和蓝点所示)。因此,我们必须要让感知机根据那些分类错误的点修正自己的参数。
如果希望训练感知机,就必须要让它知道它所输出的结果有多么离谱。这里我们设所预测的标签为,真实的标签为,那么我们要让输出的标签尽可能地靠近真实标签,就需要给它减去我们的偏差,即
因此,我们可以推知,我们训练这个感知机时所需要用到的梯度可以使用
求解得到。利用减去梯度来更新参数的方法在机器学习中就叫做梯度下降法。
求解得到了梯度之后,如何去更新我们的所有参数x呢?我们知道,函数在某一点导数的几何意义是函数在该点切线的斜率。同样地,在很小一段范围之内,可以近似地讲函数(曲线)看作一小段直线,它可以和,组成一个直角三角形。
也正是因此,我们可以使用如下公式来更新我们的参数:
该公式利用偏导值,将输出标签与真实标签的偏差转换为各个参数所需要更新的大小。对于所需要更新的参数、和,利用求导法则,可以得到如下公式:
在更新参数时,只需要让对应的参数减去所需要更新的值即可。需要注意的是,所求出的、和仅仅代表参数更新的趋势(这样更新参数可以使得结果向更准确的方向靠近),并不代表实际更新参数的时候,一定要减去这么多的值(有可能会直接减过头)。因此,加入一个超参数:学习率,指定一次参数更新所更新的大小。学习率一般为一个很小的值,如,加入学习率之后,参数的更新如下所示:
通过上述公式推导,我们便可以写出训练感知机的具体方法:
经过训练之后,感知机的输出结果如下所示:
编写训练代码如下:
我们便可以得到我们的训练结果:
可以看出,在训练了几轮之后,准确率就已经逼近0.9左右,但随后的轮次中,准确率逐渐回落;因为凭机器很难找到最佳的分类函数,但机器会不断学习,在学习时,就有可能偏移最佳的迭代路线。因此出现各种各样用于优化训练的优化器,如ADAM等;同时,通过引入学习率衰减机制,适当地在准确率较高的情况下衰减学习率,也能够维持住准确率。
前面说到,感知机最适合解决线性可分的问题。对于线性不可分的问题,感知机解决起来就会十分吃力。比如说,一个钢铁厂,生产了一批铁棍,要求铁棍的长度在一定长度(允许有一定范围的误差)才能过关。但是现在不知道长度是多少,只知道过往的一批记录中铁棍的长度及其合格与否。
铁棍的长度如下所示:
铁棍是否通过如下所示:
我们通过画图可以得知,只会通过铁棍长度为15周边的那一段。
因此,我们设置一个核函数
通过这个核函数,我们可以使代表铁棍的一维的长度特征变成二维的特征。
由图即可看出,将其通过核函数投影至更高维的特征空间后,就存在通过感知机将其正确分类的可能。
| ||||
Copyright @ 2001-2013 www.chinajk.cn All Rights Reserved 中国健康网 版权所有
网站所登新闻、资讯等内容, 均为相关单位具有著作权,未经书面授权,转载注明出处
未经中国健康网书面授权,请勿建立镜像,转载请注明来源,违者依法必究