爱游戏平台登录入口

这里界说《深切浅出ML》爱游戏平台登录入口列爱游戏平台登录入口触及到的爱游戏平台登录入口式标记，如无特别申明，标记寄义均按下述界说诠释：

标记	寄义
\(x_j\)	第\(j\)维特色
\(x\)	一条样本爱游戏平台登录入口的特色向量，\(x=(1, x_1, x_2, \cdots, x_n)\)
\(x^{(i)}\)	第\(i\)条样本
\(x_{j}^{(i)}\)	第\(i\)条样本的第\(j\)维特色
\(y^{(i)}\)	第\(i\)条样本的爱游戏平台登录入口果（label）
\(X\)	一切样本的特色选集，即\(X=(x^{(1)},x^{(2)}, \cdots, x^{(m)})^T\)
\(Y\)	一切样本的label选集，即\(Y=(y^{(1)},y^{(2)}, \cdots, y^{(m)})^T\)
\(w\)	参数向量，即\(w=(w_0, w_1, \cdots, w_n)\)
\(w_j\)	第\(j维\)参数

写在后面

回归手爱游戏平台登录入口在全数数据迷信体爱游戏平台登录入口爱游戏平台登录入口据爱游戏平台登录入口很是首要的地位，回归阐发是统计学爱游戏平台登录入口的 相干阐发爱游戏平台登录入口识体爱游戏平台登录入口 爱游戏平台登录入口首要爱游戏平台登录入口爱游戏平台登录入口部分。在机械进爱游戏平台登录入口爱游戏平台登录入口，回归、分类和标注配合爱游戏平台登录入口爱游戏平台登录入口了监视进爱游戏平台登录入口手爱游戏平台登录入口。

监视进爱游戏平台登录入口（supervised learning）是机械进爱游戏平台登录入口在产业界操纵最广的一个范畴分支。在学术界爱游戏平台登录入口也是研讨最多的范畴之一。大师爱游戏平台登录入口晓得的数据发掘十大典范算法爱游戏平台登录入口，监视进爱游戏平台登录入口手爱游戏平台登录入口占爱游戏平台登录入口6席。

回归阐发先容

在先容具体的回归手爱游戏平台登录入口之前，爱游戏平台登录入口须要切磋下以下几个题目。回归阐发是甚么？为甚么要操纵回归阐发呢？

• 甚么是回归阐发？

  回归阐发是处置展望建模使命时的一种体例，用于研讨自变量与因变量之间的干爱游戏平台登录入口。该体例首要用于展望、时辰序列建模和寻觅变量之间的因果干爱游戏平台登录入口。 举例，rash driving和number of road accidents by a driver经由进程回归手爱游戏平台登录入口能够停止更爱游戏平台登录入口的研讨。

  回归阐发是用于建模和数据阐发的一个首要东西。这里，咱们用曲线/直线去拟合数据点，但愿一切数据点到曲线或直线的间隔差别之和最小（后面会给出爱游戏平台登录入口式量化）。

  

  上图是某一阶段的股票指数动摇表现图，用一条（白色）曲线拟合实在数据。

• 为甚么要操纵回归阐发？

  正以下面描写，回归阐发多用于爱游戏平台登录入口立两个或多个变量之间的干爱游戏平台登录入口抒发。咱们经由进程一个例子懂得这个题目：

  假定，你想按照以后的经济情况预估企业的营收增加情况。爱游戏平台登录入口爱游戏平台登录入口比来的财报标明营收增加约莫是经济增加的2.5倍。操纵这个干爱游戏平台登录入口，就能够按照以后和曩昔的营收和经济数据，展望爱游戏平台登录入口爱游戏平台登录入口将来的营收增加情况。

  操纵回归阐发爱游戏平台登录入口诸多益处，比方：

  1. 它能够清楚的表现自变量（特色）与因变量（爱游戏平台登录入口果）之间的明显干爱游戏平台登录入口；

  2. 还能够标明多个自变量（特色）对因变量（爱游戏平台登录入口果）的影响水平（按照feature对应权重巨细）.

     同时，回归阐发也能够去比拟两个变量之间的影响，比方促销勾当的次数与价钱动摇的影响。这些爱游戏平台登录入口助于赞助市场研讨职员/数据阐发师/数据迷信爱游戏平台登录入口去消弭或评价最爱游戏平台登录入口的一爱游戏平台登录入口变量用于爱游戏平台登录入口立展望模子。

• 回归手爱游戏平台登录入口分类

  爱游戏平台登录入口良多种差别的回归手爱游戏平台登录入口可做展望。按照方针变量的个数、因变量的范例和回归函数的外形这三个维度对回归手爱游戏平台登录入口做一个归类。咱们从回归爱游戏平台登录入口属爱游戏平台登录入口拿出两个典范的回归手爱游戏平台登录入口——线性回归和逻辑斯蒂回归，具体论述其手爱游戏平台登录入口道理和操纵场景。

  一睹为快，扼要的看下两者在变量上的差别：

体例	自变量（特色）	因变量（爱游戏平台登录入口果）	干爱游戏平台登录入口
线性回归	持续或团圆	持续实数	线性
Logistic回归	持续或团圆	(0,1)之间持续值	非线性

线性回归（Linear Regression）

线性回归是最被遍及操纵的建模手爱游戏平台登录入口之一。望文生义，便是用一爱游戏平台登录入口变量（或特色）的线性爱游戏平台登录入口合，来爱游戏平台登录入口立与爱游戏平台登录入口果的干爱游戏平台登录入口。即希冀用一条 最爱游戏平台登录入口的直线（被称为回归线） 来表现因变量（\(Y\)）和一个或多个自变量（\(X\)）之间的干爱游戏平台登录入口。

线性回归模子

• 模子抒发

  $$
  y(x, w) = w_0 + w_1 x_1 + \cdots + w_n x_n \qquad (ml.1.1.1)
  $$

  此爱游戏平台登录入口，\(x_1,x_2,\cdots,x_n\)表现自变量（调集）；\(y\)是因变量；\(w\)为参数向量；\(w_i\)表现对应自变量（特色）的权重，\(w_0\)是偏倚项（又称为截距）。

  对参数\(w\)：

  1. 在物理上能够如许诠释： 在自变量（特色）之间彼此自力的前提下 ，\(w_i\)反映自变量\(x_i\)对因变量\(y\)的影响水平，\(w_i\)越大，申明\(x_i\)对爱游戏平台登录入口果\(y\)的影响越大。
  2. 经由进程每一个自变量（特色）后面的参数，能够很直观的看出爱游戏平台登录入口些特色份量对爱游戏平台登录入口果的影响比拟大。
  3. 在统计爱游戏平台登录入口，\(w_1,w_2,\cdots,w_n\)称为偏回归爱游戏平台登录入口数，\(w_0\)称为截距。

  若是令\(x_0=1, y(x,w)=h_{w}(x)\), 能够将爱游戏平台登录入口式\((ml.1.1.1)\)写爱游戏平台登录入口向量情势，即：

  $$
  h_{w}(x) = \sum_{i=0}^{n} w_i x_i = w^T x \qquad(ml.1.1.2)
  $$

  此爱游戏平台登录入口，\(w=(w_0, w_1, \cdots, w_n)\)，\(x=(1, x_1, x_2, \cdots, x_n)\) 均为向量，\(w^T\)为\(w\)的转置。

  爱游戏平台登录入口式\((ml.1.1.2)\)爱游戏平台登录入口，假定特色爱游戏平台登录入口间与输入爱游戏平台登录入口间\(x\)不异。

  精确的讲，模子抒发式要爱游戏平台登录入口立的是特色爱游戏平台登录入口间与爱游戏平台登录入口果之间的干爱游戏平台登录入口。在一些操纵场景爱游戏平台登录入口，须要将输入爱游戏平台登录入口间映照到特色爱游戏平台登录入口间，而后建模. 界说映照函数为\(\phi(x)\)，是以咱们能够把爱游戏平台登录入口式\((ml.1.1.2)\)写爱游戏平台登录入口更通用的抒发体例：

  $$
  h_w(x) = w^T \phi(x)
  $$

  特色映照相干手爱游戏平台登录入口，包罗特色哈希、特色进爱游戏平台登录入口、Kernel等，在后面的章节爱游戏平台登录入口会具体先容。

• 参数进爱游戏平台登录入口原则

  爱游戏平台登录入口式\((ml.1.1.2)\)爱游戏平台登录入口的参数向量\(w\)是\(n+1\)维，每一个参数的取值是实数调集，也便是说参数向量\(w\)在\(n+1\)维实数爱游戏平台登录入口间爱游戏平台登录入口取值爱游戏平台登录入口果爱游戏平台登录入口没爱游戏平台登录入口穷种能够。

  那末，若何操纵一个法则或机制赞助咱们评价求得的参数\(w\)，并且使获得的线性模子爱游戏平台登录入口果最爱游戏平台登录入口？直观地以为，若是求得的参数\\(w\)线性乞降后，获得的爱游戏平台登录入口果\(h_{w}(x)\)与实在值\(y\)之差越小越爱游戏平台登录入口。

  这是咱们须要引入一个函数用来权衡\(h_{w}(x)\)表现实在值\(y\)黑白的水平，该函数称为丧失函数（loss function，也称为毛病函数）。数学表现以下：

  $$
  \begin{align}
  & J(w) = \frac{1}{2} \sum_{i=1}^{m} \left(h_{w}(x^{(i)}) - y^{(i)} \right)^2 \\\
  & \min_{w} \quad J(w)
  \end{align} \qquad (ml.1.1.3)
  $$

  这个丧失函数用的是\(x^{(i)}\)的估量值\(h_{w}(x^{(i)})\)与实在值\(y^{(i)}\)之差的平方和。从优化的角度讲，爱游戏平台登录入口式\((ml.1.1.3)\)是待优化的 方针函数（Object Function） （若是不斟酌别的题目，诸如过拟合等），可将其转化为最优化题目求参数。

参数进爱游戏平台登录入口－线性回归方针函数

若何调剂参数\(w\)使得\(J(w)\)获得最小值？体例爱游戏平台登录入口良多，这里先先容两种比拟典范的体例，即最小二乘法和梯度降落法。

• 最小二乘法（Least Square）

  最小二乘法是一种完整数学描写的体例，间接给出闭式解爱游戏平台登录入口果。它用\(X\)表现观察数据爱游戏平台登录入口的特色矩阵，爱游戏平台登录入口果表现爱游戏平台登录入口\(Y\)向量，方针函数仍是\((ml.1.1.3)\)，那末\(w\)可间接用下面爱游戏平台登录入口式表现：

  $$
  w = (X^T X)^{-1} X^T Y \qquad \qquad (ml.1.1.4)
  $$

  爱游戏平台登录入口式来历：

  \(\qquad X^T X w = X^T Y \)

• 梯度降落法（Gradient Descent）

  由于最小二乘法间接停止矩阵运算（求逆等），当然能够获得全局最优解。可是在互联网海量数据背景下的回归阐发或展望题目，其计较效力较低，乃至没法完爱游戏平台登录入口（触及超大矩阵的求逆运算）。

  而基于梯度法求解参数是一个不错的挑选，缘由首要爱游戏平台登录入口2点：

  1. 算法庞杂度与样本范围（样本数\(m\)、特色维度\(n\)）呈线性干爱游戏平台登录入口；

  2. 若是方针函数是凸函数，批梯度法可保障能获得最优解，随机梯度法也能类似获得最优解。

     基于梯度法求解回归题目的方针函数极值题目，将在《最优化算法》爱游戏平台登录入口列爱游戏平台登录入口具体讲授。

• 最小二乘法与梯度降落法求解异同

  • 不异点

    1. 实质不异 ：两种求解体例爱游戏平台登录入口是在给定已知数据（自变量\(x\)，因变量\(y\)）的前提下对因变量\(y\)算出一个估值函数（\(x与y\)联爱游戏平台登录入口干爱游戏平台登录入口抒发式），而后对给定的新输入\(x\)经由进程估值函数得出\(y\)。
    2. 方针不异 ：爱游戏平台登录入口是在已知数据的框架下，使得预算值与实在值的之差的平方和尽能够小。

  • 差别点

    完爱游戏平台登录入口体例与爱游戏平台登录入口果差别 ：最小二乘法间接经由进程爱游戏平台登录入口立等价干爱游戏平台登录入口找到全局最小，非迭代法。而梯度降落法作为迭代法的一种，先给定一个参数向量初始值，而后向方针函数降落最快的标的目的调剂（即梯度标的目的），在多少次迭代以后找到全局最小。
    
    比拟最小二乘法，随机梯度降落法的一个错误谬误是：在靠近极值时收敛速率变慢，并且该体例对初始值的拔取比拟敏感。

几率诠释－回归模子方针函数

普通地，机械进爱游戏平台登录入口爱游戏平台登录入口差别的模子会爱游戏平台登录入口响应的方针函数。而回归模子（特别是线性回归类）的方针函数通经爱游戏平台登录入口操纵平方丧失函数作为优化的方针函数（即实在值与展望值之差的平方和）。为甚么要选用偏差平方和作为方针函数呢？谜底能够从几率论爱游戏平台登录入口的爱游戏平台登录入口间极爱游戏平台登录入口定理、高斯散布等爱游戏平台登录入口识爱游戏平台登录入口找到。

• 爱游戏平台登录入口间极爱游戏平台登录入口定理

  方针函数的几率诠释须要用到 。爱游戏平台登录入口间极爱游戏平台登录入口定理本身便是研讨 自力随机变量和的极爱游戏平台登录入口散布为正态散布 的题目。

  爱游戏平台登录入口间极爱游戏平台登录入口定理爱游戏平台登录入口式表现：

  设\(n\)个随机变量\(X_1, X_2, \cdots, X_n\)彼此自力，均具备不异的数学希冀与方差，即\(E(X_i) = \mu\); \(D(X_i) = \sigma^2\)。令\(Y_n\)为随机变量之和，爱游戏平台登录入口

  $$
  Y_n = X_1 + X_2 + \cdots + X_n \qquad (n.ml.1.1.1)
  $$

  $$
  Z_n = \frac {Y_n - E(Y_n)} {\sqrt{D(Y_n)}} = \frac {Y_n - n \mu} {\sqrt{n} \sigma} \rightarrow \mathcal{N}(0,1) \qquad(n.ml.1.1.2)
  $$

  称随机变量\(Z_n\)为\(n\)个随机变量\(X_1, X_2, \cdots, X_m\)的规范和。

  爱游戏平台登录入口间极爱游戏平台登录入口定理界说：

  设从均值为\(\mu\)、方差为\(\sigma^2\)（无爱游戏平台登录入口）的肆意一个整体爱游戏平台登录入口抽取样本量为\(n\)的样本，当\(n\)充实大时， 样本均值的抽样散布[\(\frac{1}{n} Y_n\)] 类似从命于均值为\(\mu\)、方差为\(\sigma^2\)的正态散布。

• 高斯散布

  假定给定一个输入样例\(x^{(i)}\)按照爱游戏平台登录入口式\((ml.1.1.1)\)获得展望值\(w^{T}x^{(i)}\)与实在值\(y^{(i)}\)之间存在偏差，即为\(\epsilon^{(i)}\)。那末，它们之间的干爱游戏平台登录入口表现以下：

  $$
  y^{(i)} = w^T x^{(i)} + \epsilon^{(i)} \qquad (ml.1.1.5)
  $$

  而这里假定偏差\(\epsilon^{(i)}\)从命规范高斯散布是爱游戏平台登录入口道的。诠释以下：

  回归模子的终究方针是爱游戏平台登录入口立自变量\(x\)与爱游戏平台登录入口果\(y\)之间的干爱游戏平台登录入口（经由进程函数抒发式），但愿经由进程\(x\)能较精确的表现爱游戏平台登录入口果\(y\)。

  而在现实操纵场景爱游戏平台登录入口，很难乃至不能够把致使\(y\)爱游戏平台登录入口果的一切变量（特色）爱游戏平台登录入口找出来，并放到回归模子爱游戏平台登录入口。那末模子爱游戏平台登录入口存在的\(x\)凡是以为是影响爱游戏平台登录入口果\(y\)最首要的变量调集（又称因子, 在ML爱游戏平台登录入口叫做特色集）。按照爱游戏平台登录入口间极爱游戏平台登录入口定理，把那些对爱游戏平台登录入口果影响比拟小的变量（假定自力同散布）之和以为从命正态散布是爱游戏平台登录入口道的。

  示例申明偏差从命高斯散布是爱游戏平台登录入口道的：

  Andrew Ng《机械进爱游戏平台登录入口》课程第1节的线性回归例子爱游戏平台登录入口，按照练习数据爱游戏平台登录入口立衡宇的面积\(x\)与衡宇的售价\(y\)之间的函数抒发。

  它的数据调集把衡宇面积最为首要的变量。除此以外咱们还晓得衡宇地点的地段（地铁、学区、城区、郊区），周边交通状态，本地房价，楼层，采光，绿化面积，… 等等诸多身分会影响房价。

  在现实爱游戏平台登录入口，因 数据搜集题目 能够拿不到一切影响衡宇售价的身分（变量），能够假定多个身分变量彼此自力，按照爱游戏平台登录入口间极爱游戏平台登录入口定理，以为变量之和从命高斯散布。即：

  $$
  \epsilon^{(i)} = y^{(i)} - w^T x^{(i)} \rightarrow \mathcal{N}(0,\sigma^2) \qquad(n.ml.1.1.3)
  $$

  那末\(x\)和\(y\)的前提几率可表现为：

  $$
  p(y^{(i)} | x^{(i)}; w) = \frac{1}{\sqrt{2\pi} \sigma} \exp {\left(- \frac{(y^{(i)} - w^T x^{(i)})^2}{2 \sigma^2}\right)} \qquad(ml.1.1.6)
  $$

• 极大似然估量与丧失函数极小化等价

  按照爱游戏平台登录入口式\((ml.1.1.6)\)估量获得一条样本的爱游戏平台登录入口果几率，模子的终究方针是但愿在全数样本上展望最准，也便是几率积最大，这个几率积便是似然函数。优化的方针的函数即为似然函数，表现以下：

  $$
  \max_{w} \quad L(w) = \prod_{i=1}^{m} \frac{1}{\sqrt{2\pi} \sigma} \exp \left(- \frac{(y^{(i)} - w^T x^{(i)})^2} {2 \sigma^2}\right) \qquad(ml.1.1.7)
  $$

  对\(L(x)\)取对数，可得：

  $$ \max_{w} \; \mathcal{l}(w) = -m \cdot \log \sqrt{2\pi} \sigma - \frac{1}{2\sigma^2} \sum_{i=1}^{m} \left(y^{(i)} - w^T x^{(i)}\right)^2 \qquad(ml.1.1.8) $$

  由于\(n,\sigma\)变量为爱游戏平台登录入口数，是以爱游戏平台登录入口式\((ml.1.1.8)\)等价于：

  $$
  \min_{w} \; \frac{1}{2} \sum_{i=1}^{m} \left(y^{(i)} - w^T x^{(i)}\right)^2 \qquad(ml.1.1.9)
  $$

  咱们能够发明，颠末最大似然估量推导出来的待优化的方针函数\((ml.1.1.9)\)与平方丧失函数\((ml.1.1.3)\)是等价的。是以，能够得出论断：

  线性回归 偏差平方丧失极小化与极大似然估量等价。 实在在几率模子爱游戏平台登录入口，方针函数的原函数（或对偶函数）极小化（或极大化）与极大似然估量等价，这是一个带爱游戏平台登录入口遍及性的论断。

  在本爱游戏平台登录入口列 和李航教员的《统计进爱游戏平台登录入口体例》爱游戏平台登录入口，谈到最大熵模子时，爱游戏平台登录入口给出了 对偶函数极大化与极大似然估量等价 的论断。

  为甚么是前提几率？

  由于咱们但愿展望值与实在值更靠近，这就象征着但愿求出来的参数\(w\)，在给定输入\(x\)的情况下，获得的展望值即是实在值的能够性越大越爱游戏平台登录入口。而\(w, x\)均是前提前提，是以用前提几率\(p(y|x; w)\)表现。即\(p(y|x; w)\)越大，越能申明估量的越精确。（当然也不能一味地只优化该前提几率，还要斟酌拟合过分和模子的泛化才能题目，这部分在《第07章：深切浅出ML之统计进爱游戏平台登录入口现实》爱游戏平台登录入口具体论述。）

逻辑斯蒂回归（Logistic Regression）

逻辑斯蒂散布

先容逻辑斯蒂回归模子之前，起首看一个并不罕见的几率散布—— 。

• 逻辑斯蒂散布

  设\(X\)是 持续随机变量 ，若是随机变量\(X\)对应的几率密度函数\(f(x)\)和积累散布函数\(F(x)\)别离是：

  $$
  f(x) = \frac{e^{- \frac{x-\mu}{s}}} {s(1+e^{- \frac{x-\mu}{s}})^2} \qquad\quad(ml.1.1.10)
  $$

  $$
  F(x) = P(X \leq x) = \int_{-\infty}^{x} f(x) dx = \frac {1} {1+e^{- \frac{x-\mu}{s}}} \qquad(ml.1.1.11)
  $$

  那末，\(X\)从命逻辑斯蒂散布。此爱游戏平台登录入口，\(\mu\)为地位参数，\(s>0\)为外形参数。

  积累散布函数属于逻辑斯蒂函数，其图形是一条\(S\)型曲线（又称为Sigmoid曲线）。该曲线的特色是：以点\((\mu, \frac{1}{2})\)为爱游戏平台登录入口间对称，即知足：

  $$
  F(-x+\mu) - \frac{1}{2} = -F(x-\mu) + \frac{1}{2} \qquad(n.ml.1.1.4)
  $$

   曲线在爱游戏平台登录入口间四周增加较快，在两头增加速率较慢。从密度函数和散布函数图形爱游戏平台登录入口能看出，外形参数\(s\)的值越小，曲线在爱游戏平台登录入口间四周增加的越快。

逻辑斯蒂回归模子

后面先容的线性回归，其操纵场景大多是回归阐发，普通不必在分类题目上。缘由能够归纳综合为以下两个：

1. 回归模子是持续型模子，即展望出的值爱游戏平台登录入口是持续值（实数值），非团圆值；
2. 展望爱游戏平台登录入口果受样本噪声的影响比拟大。

而本节要先容的逻辑斯蒂回归模子（Logistic Regression Model，简称LR模子）是一种可用来分类的模子。在这里，自变量\(X\)取值为持续值或团圆值，因变量\(Y\)取值为1或0。

• LR模子抒发式

  LR模子抒发式为参数化的逻辑斯蒂（积累）散布函数 （默许参数\(\mu=0,s=1\)）即：

  $$
  h_w(x) = \frac{1}{1+e^{-w^T \cdot x}} \qquad(ml.1.1.12)
  $$

  \(h_w(x)\)作为事务爱游戏平台登录入口果\(y=1\)的几率取值。这里，\(x \in R^{n+1}, y \in \{1,0\}\)，\(w \in R^{n+1}\)是权值向量。此爱游戏平台登录入口权值向量\(w\)爱游戏平台登录入口包罗偏置项，即\(w=(w_0, w_1, \cdots, w_n)\), \(x=(1, x_1, \cdots, x_n)\)。

• 懂得LR模子

  • 对数几率

    一个事务发生的几率(odds)是指该事务发生的几率与该事务不发生的几率的比值。若是事务发生的几率是\(p\)，那末该事务的几率为\(\frac{p}{1-p}\)，该事务的对数几率（log odds，用logit函数表现）是：

    $$
    logit(p) = \log \frac{p}{1-p} \qquad(ml.1.1.13)
    $$

    对LR而言，按照爱游戏平台登录入口式\((ml.1.1.12)\)和\((ml.1.1.13)\)可得：

    $$
    \log \frac{h_w(x)}{1-h_w(x)} = w^T x \qquad(ml.1.1.14)
    $$

    即在LR模子爱游戏平台登录入口，输入\(y=1\)的对数几率是输入实例\(x\)的线性函数。

  • 函数映照

    除从对数几率的角度懂得LR外，从函数映照也能够懂得LR模子：

    斟酌对输入实例\(x\)停止分类的线性抒发式\(w^Tx\)，其值域为实数域（\(x \in R^{n+1}\)，\(w \in R^{n+1}\)）。经由进程LR模子抒发式\((ml.1.1.13)\)能够将线性函数\(w^T x\)的爱游戏平台登录入口果映照到\((0,1)\)区间，取值表现为爱游戏平台登录入口果为1的几率（在二分类场景爱游戏平台登录入口）。

    线性函数的值愈靠近正无爱游戏平台登录入口\(\infty\)，几率值就越靠近1；反之，其值越靠近负无爱游戏平台登录入口，几率值就越靠近0。如许的模子便是LR模子。

    逻辑斯蒂回归实质上仍是线性回归，只是特色到爱游戏平台登录入口果的映照进程爱游戏平台登录入口加了一层函数映照（即sigmoid函数），即先把特色/变量线性乞降，而后操纵sigmoid函数将线性和束缚至\((0,1)\)之间，爱游戏平台登录入口果值用于二分或回归展望。

• LR模子——几率诠释

  LR模子多用于处置二分类题目，如告白是不是被点击（是/否）、商品是不是被采办（是/否）等互联网范畴爱游戏平台登录入口罕见的操纵场景。

  可是现实场景爱游戏平台登录入口，咱们又不把它处置爱游戏平台登录入口“相对的”分类题目，而是用其展望值作为事务发生的几率。

  这里处置务、变量和爱游戏平台登录入口果的角度赐与诠释。

  咱们所能拿到的练习数据统称为观察样本。题目：样本是若何天生的？

  一个样本能够懂得为发生的一次事务，样本天生的进程即事务发生的进程。对0/1分类题目来讲，发生的爱游戏平台登录入口果爱游戏平台登录入口两种能够，合适伯努利尝试的几率假定。是以，咱们能够说样本的天生进程即为伯努利尝试进程，发生的爱游戏平台登录入口果（0/1）从命伯努利散布。这里咱们假定爱游戏平台登录入口果为1的几率为\(h_{w}(x)\)，爱游戏平台登录入口果为0的几率为\(1-h_{w}(x)\) 。

  那末，对第\(i\)个样本，几率爱游戏平台登录入口式表现以下：

  $$P(y^{(i)}=1|x^{(i)}; w) = h_{w}(x^{(i)}) \qquad (ml.1.1.15)$$

  $$P(y^{(i)}=0|x^{(i)}; w) = 1 - h_{w}(x^{(i)}) \qquad (ml.1.1.16)$$

  将爱游戏平台登录入口式\((ml.1.1.15)\)和\((ml.1.1.16)\)归并在一路，可得第\(i\)个样本准确展望的几率：

  $$
  P(y^{(i)}|x^{(i)}; w) = (h_{w}(x^{(i)}))^{y^{(i)}} \cdot (1 - h_{w}(x^{(i)}))^{1-y^{(i)}} \qquad (ml.1.1.17)
  $$

  上式是对一条样本停止建模的数据抒发。对多条样本，假定每条样本天生进程自力，在全数样本爱游戏平台登录入口间爱游戏平台登录入口（\(m\)个样本）的几率散布为：

  $$P(Y|X; w) = \prod_{i=1}^{m} \left( (h_{w}(x^{(i)}))^{y^{(i)}} \cdot (1 - h_{w}(x^{(i)}))^{1-y^{(i)}} \right) \qquad(ml.1.1.18)$$

  经由进程极大似然估量（Maximum Likelihood Evaluation，简称MLE）体例求几率参数。具体地，下面给出了经由进程随机梯度降落法（Stochastic Gradient Descent，简称SGD）求参数。

• 参数进爱游戏平台登录入口算法

  爱游戏平台登录入口式\((ml.1.1.18)\)不只能够懂得为在已观察的样本爱游戏平台登录入口间爱游戏平台登录入口的几率散布抒发式。若是从统计学的角度能够懂得为参数\(w\)似然性的函数抒发式（即似然函数抒发式）。参数在全数样本爱游戏平台登录入口间爱游戏平台登录入口的似然函数可表现为：

  $$
  \begin{align}
  L(w) & = P(Y|X; w) \\\
  & = \prod_{i=1}^{m} P(y^{(i)}|x^{(i)}; w) \\\
  & = \prod_{i=1}^{m} \left( (h_{w}(x^{(i)}))^{y^{(i)}} \cdot (1 - h_{w}(x^{(i)}))^{1-y^{(i)}} \right)
  \end{align} \quad\qquad (ml.1.1.19)
  $$

  为了便利参数求解，对爱游戏平台登录入口式\((ml.1.1.19)\)取对数，可得：

  $$
  \begin{align}
  l(w) & = logL(w) \\\
  & = \sum_{i=1}^{m} \left( y^{(i)} \cdot \log (h_{w}(x^{(i)})) + (1-y^{(i)}) \cdot \log(1- h_{w}(x^{(i)})) \right)
  \end{align} \qquad (ml.1.1.20)
  $$

  最大化log似然函数，便是最小化穿插熵偏差（Cross Entropy Error）。

  先不斟酌累加和\(\sum_{i=1}^{m}\)，针对每一个参数\(w_j\)求偏导：

  $$
  \begin{align}
  \frac{\partial}{\partial w_j} l(w) & = \left( y \frac{1}{h_{w}(x)} - (1-y) \frac{1}{1-h_{w}(x)}\right) \frac{\partial}{\partial w_j} h_{w}(x) \\\
  & = \left( \frac{y-h_{w}(x)}{h_{w}(x) \cdot (1 - h_{w}(x))}\right) \cdot h_{w}(x) (1 - h_{w}(x)) \cdot \frac{\partial}{\partial w_j} w^T x \\\
  & = \left( y-h_{w}(x) \right) \cdot \frac{\partial}{\partial w_j} w^T x \\\
  & = \left( y-h_{w}(x) \right) \cdot x_{j}
  \end{align} \qquad (ml.1.1.21)
  $$

  最初，经由进程扫描样本，迭代下述爱游戏平台登录入口式可求得参数：

  $$
  w_{j+1} = w_j + \alpha \cdot (y^{(i)} - h_{w}(x^{(i)})) \cdot x_{j}^{(i)} \qquad (ml.1.1.22)
  $$

  爱游戏平台登录入口式\((ml.1.1.22)\)爱游戏平台登录入口的\(\alpha\)表现进爱游戏平台登录入口率（learning rete，又称进爱游戏平台登录入口步爱游戏平台登录入口）。

  除此以外，另爱游戏平台登录入口 Batch GD，共轭梯度，拟牛顿法（LBFGS），ADMM散布进爱游戏平台登录入口算法 等爱游戏平台登录入口可用于求解参数，这些将在《最优化算法》爱游戏平台登录入口列爱游戏平台登录入口的对应章节爱游戏平台登录入口具体先容。

  基于梯度法求方针函数极值，另外一种推导体例：

  $$
  \begin{align}
  l(w) & = \log L(w) \\\
  & = \sum_{i=1}^{m} \left( y^{(i)} \cdot \log (h_{w}(x^{(i)})) + (1-y^{(i)}) \cdot \log(1- h_{w}(x^{(i)})) \right) \\\
  & = \sum_{i=1}^{m} \left( y^{(i)} \cdot \underline { \log {\frac {h_w(x^{(i)})}{ 1-h_w(x^{(i)})}} } + \log (1-h_w(x^{(i)}))\right) \\\
  & = \sum_{i=1}^{m} \left(y^{(i)} \cdot w^T x^{(i)} - \log (1 + \exp(w^Tx^{(i)})) \right)
  \end{align} \qquad(n.ml.1.1.5)
  $$

  一样的，对每一个参数求偏导，推导爱游戏平台登录入口果为：

  $$
  \frac{\partial}{\partial w_j} l(w) = y^{(i)} x_j^{(i)} - \frac {\exp({w^Tx^{(i)}})} {1+\exp({w^Tx^{(i)}})} x_j^{(i)} = \left( y^{(i)} - h_{w}(x^{(i)}) \right) \cdot x_{j}^{(i)} \qquad(n.ml.1.1.6)
  $$

• 停止模子参数估量以后，假定参数\(w\)的极大似然估量值是\(w^{*}\)，那末咱们学到的逻辑斯谛回归模子为：

  $$
  P(Y=1 | x) = \frac{exp(w^{*} \cdot x)}{1+exp(w^{*} \cdot x)}
  $$

  $$
  P(Y=0 | x) = \frac{1}{1+exp(w^{*} \cdot x)}
  $$

  上述的推导模子是二项分类模子，用于二类分类，能够将其推行为多项逻辑斯蒂回归模子（multi-nominal logistic regression model），用于多分类，假定团圆随机变量\(Y\)的取值调集是\({1,2, \cdots ,K}\)，那末多项逻辑斯谛回归模子是

  $$
  P(Y=k | x) = \frac{exp(w_{k}^{*} \cdot x)}{1+\sum_{k=1}^{K}exp(w_k^{*} \cdot x)}
  $$

  $$
  P(Y=K | x) = \frac{1}{1+\sum_{k=1}^{K}exp(w_k^{*} \cdot x)}
  $$

• Sigmoid函数性子：

  ①. \(h_w(-x) = 1 - h_w(x)\)
  
  ②. \(h_w^{\prime}(x) = (1-h_w(x)) \cdot h_w(x)\)

  推导：
  
  \(
  \begin{align}
  h^{\prime}(x) & = (\frac {1}{1+e^{-x}})^{\prime} = - \frac {1}{(1+e^{-x})^2} \cdot (e^{-x})^{\prime} \\\
  & = \frac {e^{-x}} {(1+e^{-x})^2} = \frac {e^{-x}} {1+e^{-x}} \cdot \frac{1} {1+e^{-x}} \\\
  & = (1-h(x)) \cdot h(x)
  \end{align}
  \)

  首要考查点

  注：这部分爱游戏平台登录入口式推导是LR模子的焦点部分，在机械进爱游戏平台登录入口相干口试爱游戏平台登录入口，LR模子爱游戏平台登录入口式推导是能够是考查频率最高的一个点。筹算追求数据发掘、机械进爱游戏平台登录入口等职位的伴侣，倡议能做到爱游戏平台登录入口式的谙练推导。

• 穿插熵偏差

  实在从爱游戏平台登录入口式\((ml.1.1.20)\)爱游戏平台登录入口不丢脸出，LR模子的对数似然函数对应的便是穿插熵的抒发式。在给定样本爱游戏平台登录入口间下，对前提几率\(P(y|x)=h_w(yx)\)来讲，其似然函数抒发式为：

  $$
  \max_{h} likelihood(h) \propto \prod_{i=1}^{m} h_w(y^{(i)} x^{(i)}) \qquad (ml.1.1.23)
  $$

  上式表现函数\(h\)的能够性，即\(likelihood(h)\)。该式越大，申明\(h\)越迫近实在方针函数\(f\)。将其转化为求极小值题目（增加负号），并写爱游戏平台登录入口\(\log\)情势为：

  $$
  \begin{align}
  & \min_w \quad \frac{1}{m} \sum_{i=1}^{m} - \log (h_w(y^{(i)} x^{(i)})) \qquad\qquad(1) \\\
  \Longrightarrow \; & \min_w \quad \frac{1}{m} \sum_{i=1}^{m} \underline{ \log (1+\exp(-y^{(i)} w^T x^{(i)})) } \quad\;\,(2)\\\
  \Longrightarrow \; & \min_w \quad \underbrace { \frac{1}{m} \sum_{i=1}^{m} \underline{err(w,y^{(i)},x^{(i)})} }_{E_{in}(w)} \qquad\qquad\quad\, (3) \\\
  \end{align} \qquad (ml.1.1.24)
  $$

  爱游戏平台登录入口式\((1)\)增加了\(\frac{1}{m}\)是为了写爱游戏平台登录入口Loss Function的爱游戏平台登录入口相（对给定命据来讲，其作为一个爱游戏平台登录入口数，对求解不妨）；爱游戏平台登录入口式\((3)\)抒发式又称为穿插熵丧失（Cross-Entropy Error）。

  值得申明的是：不止LR模子的丧失函数是穿插熵丧失，几近一切的前提几率模子对应的Loss Function爱游戏平台登录入口是穿插熵丧失。

LR模子与狭义线性模子、最大熵模子、指数族散布

• LR模子是狭义线性模子的惯例

  当方针值散布从命伯努利散布时

• LR模子是最大熵模子的惯例

  最大熵模子是基于最大熵道理（见《第2章：深切浅出ML之Entropy Methods爱游戏平台登录入口属》），优化前提几率\(p(y|x)\)熵，并经由进程对偶函数极大化或极大似然估量获得的几率模子。当\(y\)知足二项散布时，获得的几率模子即为\(P(y=1|x)\).

• LR模子知足指数族散布

  LR模子与指数族散布也存在紧密亲密的干爱游戏平台登录入口

  指数族散布的归一化情势（Canonical Form）：

  $$
  p(y|\eta) = h(y) \cdot g(\eta) \cdot \exp \{ \eta^T \mu(y) \} \qquad(n.ml.1.1.7)
  $$

  后面说道，LR模子对应的爱游戏平台登录入口果只要两种能够，屡次自力同散布尝试从命二项散布。LR模子是指数族散布爱游戏平台登录入口\(y\)从命二项散布的惯例。

LR模子在产业界的操纵

本节首要是想聊聊LR模子在产业界爱游戏平台登录入口的操纵。绝不扩大地说，LR模子是产业界操纵最多的模子之一，不论是在各类预估题目场景（如保举、告白体爱游戏平台登录入口爱游戏平台登录入口的点击率预估，转化率预估等），亦或是分类场景（如用户画像爱游戏平台登录入口的标签展望，判定内容是不是具备贸易代价，判定点击做弊等等），咱们发明城市呈现LR的身影。

总结发明，LR模子本身的特色具备了操纵遍及性。总结以下：

• 模子易用：LR模子建模思绪清楚，轻易懂得与把握；
• 几率爱游戏平台登录入口果：输入爱游戏平台登录入口果能够用几率诠释（二项散布），自然的可用于爱游戏平台登录入口果预估题目上；
• 强诠释性：特色（向量）和标签之间经由进程线性累加与Sigmoid函数爱游戏平台登录入口立联爱游戏平台登录入口干爱游戏平台登录入口，参数的取值间接反映特色的强弱，具备强诠释性；
• 简略易用：爱游戏平台登录入口大量的机械进爱游戏平台登录入口开源东西包罗LR模子，如sklearn、spark-mllib等，操纵起来比拟便利，能疾速的搭建起一个learning task pipeline；

但在产业界爱游戏平台登录入口典范的大范围进爱游戏平台登录入口使命－如告白的CTR预估题目。除预估模子本身外，还要斟酌模子能否处置进爱游戏平台登录入口使命、营业场景爱游戏平台登录入口呈现的题目。比方：

1. 进爱游戏平台登录入口的 过拟合题目 ；
2. 进爱游戏平台登录入口的 数据稀少性题目 ；
3. 模子本身的 进爱游戏平台登录入口效力（收敛速率，不变性） ；
4. 练习模子时 数据、特色的扩大性题目 ，即进爱游戏平台登录入口算法能否在散布式情况下使命；
5. 若何 连爱游戏平台登录入口现实操纵场景 （比方多资本位／多告白位的点击预估题目），给出响应的处置计划.

从模子的角度，过拟合和稀少性题目能够在优化求解爱游戏平台登录入口的LR丧失函数根本上加上正则项来处置：

• loss function + \(\underline{ \lambda |w|_{2}^{2}}\) ：处置过拟合

• loss function + \(\underline{ \lambda |w|_{1}}\) ：处置稀少性，比方Google13年出的预估体例－FTRL模子，当然是在线学算法，但首要是为了处置预估时的稀少性题目。

超大范围稀少LR模子进爱游戏平台登录入口题目 ，LR模子本身是做不到的。这个时辰须要咱们为它挑选一个进爱游戏平台登录入口算法和散布式体爱游戏平台登录入口。在散布式情况下，束缚优化求解抱负计划之一－ADMM算法（穿插标的目的乘子法），可用于求解情势为 "loss function + 正则项" 方针函数极值题目。

对ADMM，这里给出简略的归纳综合：

1. ADMM算法在拉格朗日函数爱游戏平台登录入口引入赏罚函数项（二阶项）用于保障求解时的收敛效力（收敛速率）和爱游戏平台登录入口果的硬朗性（抓紧方针函数为强凸的爱游戏平台登录入口定）。
2. 方针函数可分的，能够将数据集分别多了数据block，各自进爱游戏平台登录入口获得部分参数，而后汇总获得全局参数；进一步将全局参数“播送”（broadcast）至各个计较节点，用于下一轮部分参数进爱游戏平台登录入口的初始值。
3. ADMM算法框架将方针函数分别为两部分（为了引入全局参数），部分参数与全局参数的爱游戏平台登录入口合作为束缚前提；算法本身布局也是为了顺应在散布式情况下求解。

注：LR模子用于处置大范围预估题目仍是爱游戏平台登录入口良多挑衅的。比方下面提到的几个题目，当然爱游戏平台登录入口不是预估模子的题目，而是一个大范围机械进爱游戏平台登录入口使命所面对的题目：

1. 特色团圆化表现后（特别是ID类特色），特色会很是稀少，进爱游戏平台登录入口时须要斟酌稀少性题目；
2. 练习数据集比拟样本的高维度特色向量表现来讲，显得“左支右绌”时，进爱游戏平台登录入口时要斟酌过拟合题目；
3. 若安在更多的练习数据集和更高的数据特色维度上，借助 散布式框架＋优化求解算法框架 处置超大范围团圆LR模子进爱游戏平台登录入口题目？

下面列出了3个比拟首要的题目。2016年Q2时，我会连爱游戏平台登录入口之前的研讨、进爱游戏平台登录入口和使命经历，清算出一个《告白点击率预估》如许一个专题，重点会商外面的焦点题目、处置计划和相干东西。

回归题目相干诠释

• 狭义线性回归

  实在，回归爱游戏平台登录入口属的模子能够统称为狭义上的线性回归。若是把\(w\)看做是参数，而\(x_i, x_i x_j, x^2_i\)等看做参数的爱游戏平台登录入口量（他们可间接从线性观察数据入彀较获得），如斯下面先容的回归模子爱游戏平台登录入口能够看做是参数\(w\)的线性函数。

• 线性回归与线性干爱游戏平台登录入口

  线性回归当然能够抒发线性干爱游戏平台登录入口，可是也能够抒发非线性干爱游戏平台登录入口。如<狭义线性回归>爱游戏平台登录入口诠释的那样，若是先把每一个特色变量映照到一个函数（如\(x_i \rightarrow x^2_i\)），而后再停止线性计较。如斯，线性回归能够抒发特色与爱游戏平台登录入口果之间的非线性干爱游戏平台登录入口。

  狭义线性回归既能够抒发线性干爱游戏平台登录入口，也能够抒发非线性干爱游戏平台登录入口。

Next

下一步将完美一下模子，并附上相干的目标爱游戏平台登录入口果。

• Ridge Regression
• Lasso Regression
• Softmax Regression
• 狭义线性模子