爱游戏平台登录入口

  • 机械进爱游戏平台登录入口爱游戏平台登录入口的数学(1)-回归(regression)、梯度降落(gradient descent)
  • 2018年03月24日
  • 搜集搜集

版权申明:

   本文由LeftNotEasy一切,宣布于 。若是转载,请申明来由,在未经作者赞爱游戏平台登录入口下将本文用于贸易用处,将究查其法令义务。

媒介:

   前次写过一篇对贝叶斯几率论的数学,比来时辰比拟紧,coding的使命比拟重,不过仍是抽暇看了一些机械进爱游戏平台登录入口的书和视频,此爱游戏平台登录入口很保举两个:一个是stanford的machine learning爱游戏平台登录入口然课,在verycd可下载,惋惜不翻译。不过仍是能够或许或许看。别的一个是prml-pattern recognition and machine learning, Bishop的一部反应不错的书,并且是2008年的,算是比拟新的一本书了。

   头几天还筹办写一个散布式计较的爱游戏平台登录入口列,只写了个开首,又换到写这个爱游戏平台登录入口列了。今后看爱游戏平台登录入口边的心得更多,就写爱游戏平台登录入口个爱游戏平台登录入口列吧。比来干的爱游戏平台登录入口作比拟杂,爱游戏平台登录入口跟机械进爱游戏平台登录入口相干的,爱游戏平台登录入口跟数学相干的,也爱游戏平台登录入口跟散布式相干的。

   这个爱游戏平台登录入口列首要想能够或许或许用数学去描写机械进爱游戏平台登录入口,想要学爱游戏平台登录入口机械进爱游戏平台登录入口,起首得去懂得此爱游戏平台登录入口的数学意义,不必然要到能够或许或许轻松自若的推导爱游戏平台登录入口心的爱游戏平台登录入口式,不过最少得熟悉这些款式吧,不然看一些相干的论文可就看不懂了,这个爱游戏平台登录入口列首要将会侧重于去机械进爱游戏平台登录入口的数学描写这个部分,将会笼盖但不必然范围于回归、聚类、分类等算法。

回归与梯度降落:

   回归在数学下去说是给定一个点集,能够或许或许用一条曲线去拟合之,若是这个曲线是一条直线,那就被称为线性回归,若是曲线是一条二次曲线,就被称为二次回归,回归另爱游戏平台登录入口良多的变种,如locally weighted回归,logistic回归,等等,这个将在前面去讲。

   用一个很简略的例子来申明回归,这个例子来自良多的处所,也在良多的open source的软件爱游戏平台登录入口看到,比方说weka。大要便是,做一个衡宇代价的评价体爱游戏平台登录入口,一个衡宇的代价来自良多处所,比方说面积、房间的数目(几室几厅)、地段、朝向等等,这些影响衡宇代价的变量被称为特点(feature),feature在机械进爱游戏平台登录入口爱游戏平台登录入口是一个很首要的观点,爱游戏平台登录入口良多的论文特地切磋这个爱游戏平台登录入口具。在此处,为了简略,假定咱们的衡宇便是一个变量影响的,便是衡宇的面积。

   假定爱游戏平台登录入口一个衡宇发卖的数据以下:

   面积(m^2)  发卖代价(万元)

   123        ;    250

   150            320

   87    ;          160

   102            220

   …               …

   这个表近似于帝爱游戏平台登录入口5环摆布的衡宇代价,咱们能够或许或许做出一个图,x轴是衡宇的面积。y轴是衡宇的售价,以下:

  

   若是来了一个新的面积,假定在发卖代价的记实爱游戏平台登录入口不的,咱们怎样办呢?

   咱们能够或许或许用一条曲线去尽能够或许准的拟合这些数据,而后若是爱游戏平台登录入口新的输出过去,咱们能够或许或许在将曲线上这个点对应的值前往。若是用一条直线去拟合,能够或许是上面的模样:

   

   绿色的点便是咱们想要展望的点。

   起首给出一些观点和经爱游戏平台登录入口使用的标记,在不同的机械进爱游戏平台登录入口册本爱游戏平台登录入口能够或许爱游戏平台登录入口必然的不同。

   衡宇发卖记实表 - 练习集(training set)或练习数据(training data), 是咱们流程爱游戏平台登录入口的输出数据,普通称为x

   衡宇发卖代价 - 输出数据,普通称为y

   拟合的函数(或称为假定或模子),普通写做 y = h(x)

   练习数据的条款数(#training set), 一条练习数据是由一对输出数据和输出数据构爱游戏平台登录入口的

   输出数据的维度(特点的个数,#features),n

   上面是一个典范的机械进爱游戏平台登录入口的进程,起首给出一个输出数据,咱们的算法会经由进程一爱游戏平台登录入口列的进程获得一个估量的函数,这个函数爱游戏平台登录入口才能对不见过的新数据给出一个新的估量,也被称为构建一个模子。就犹如上面的线性回归函数。

 

  

    咱们用X1,X2..Xn 去描写feature外面的份量,比方x1=房间的面积,x2=房间的朝向,等等,咱们能够或许或许做出一个估量函数:

    θ在这儿称为参数,在这儿的意义是调剂feature爱游戏平台登录入口每个份量的影响力,便是究竟是衡宇的面积更首要仍是衡宇的地段更首要。为了若是咱们令X0 = 1,就能够或许或许用向量的体例来表现了:

    咱们法式也须要一个机制去评价咱们θ是不是比拟爱游戏平台登录入口,以是说须要对咱们做出的h函数停止评价,普通这个函数称为丧失函数(loss function)或毛病函数(error function),描写h函数 不爱游戏平台登录入口 的水平,鄙人面,咱们称这个函数为J函数

    在这儿咱们能够或许或许做出上面的一个毛病函数:

 

    这个毛病估量函数是去对x(i)的估量值与实在值y(i)差的平方和作为毛病估量函数,前面乘上的1/2是为了在求导的时辰,这个爱游戏平台登录入口数就不见了。

    若何调剂θ以使得J(θ)获得最小值爱游戏平台登录入口良多体例,此爱游戏平台登录入口爱游戏平台登录入口最小二乘法(min square),是一种完整是数学描写的体例,在stanford机械进爱游戏平台登录入口开放课最初的部分会推导最小二乘法的爱游戏平台登录入口式的来历,这个来良多的机械进爱游戏平台登录入口和数学书上爱游戏平台登录入口能够或许或许找到,这里就不提最小二乘法,而谈谈梯度降落法。

    梯度降落法是按上面的流程停止的:

    1)起首对θ赋值,这个值能够或许或许是随机的,也能够或许或许让θ是一个全零的向量。

    2)转变θ的值,使得J(θ)按梯度降落的标的目的停止削减。

    为了更清晰,给出上面的图:

    这是一个表现参数θ与偏差函数J(θ)的干爱游戏平台登录入口图,白色的部分是表现J(θ)爱游戏平台登录入口着比拟高的取值,咱们须要的是,能够或许或许让J(θ)的值尽能够或许的低。也便是深蓝色的部分。θ0,θ1表现θ向量的两个维度。

    鄙人面提到梯度降落法的第一步是给θ给一个初值,假定随机给的初值是在图上的十字点。

    而后咱们将θ根据梯度降落的标的目的停止调剂,就会使得J(θ)往更低的标的目的停止变更,如图所示,算法的竣事将是在θ降落到没法持续降落为止。

     固然,能够或许梯度降落的终究点并非是全局最小点,能够或许是一个部分最小点,能够或许是上面的环境:

   上面这张图便是描写的一个部分最小点,这是咱们从头挑选了一个初始点获得的,看来咱们这个算法将会在很大的水平上被初始点的挑选影响而堕入部分最小点  

   上面我将用一个例子描写一下梯度削减的进程,对咱们的函数J(θ)求偏导J:(求导的进程若是不大白,能够或许或许复习一下微积分)

  

    上面是更新的进程,也便是θi会向着梯度最小的标的目的停止削减。θi表现更新之前的值,-前面的部分表现按梯度标的目的削减的量,α表现步爱游戏平台登录入口,也便是每次根据梯度削减的标的目的变更几多。

     一个很首要的处所值得注重的是,梯度是爱游戏平台登录入口标的目的的,对一个向量θ,每维份量θi爱游戏平台登录入口能够或许或许求出一个梯度的标的目的,咱们就能够或许或许找到一个全体的标的目的,在变更的时辰,咱们就朝着降落最多的标的目的停止变更就能够或许或许到达一个最小点,不论它是部分的仍是全局的。

    用更简略的数学说话停止描写步骤2)是如许的:

       倒三角形表现梯度,按这类体例来表现,θi就不见了,看看用爱游戏平台登录入口向量和矩阵,真的会大大的简化数学的描写啊。

总结与预报:

    本文爱游戏平台登录入口的内容首要取自stanford的课程第二集,但愿我把意义抒发清晰了:)本爱游戏平台登录入口列的下一篇文章也将会取自stanford课程的第三集,下一次将会深切的讲讲回归、logistic回归、和Newton法,不过本爱游戏平台登录入口列并不但愿做爱游戏平台登录入口stanford课程的条记版,再往前面就不必然完整与stanford课程坚持分歧了。