简略总结一下机械进爱游戏平台登录入口最罕见的两个函数，一个是logistic函数，另外一个是softmax函数，如爱游戏平台登录入口缺乏的地方，但愿大师能够帮助斧正。本文起首别离先容logistic函数和softmax函数的界说和操纵，而后针对二者的接洽和区分停止了总结。
1. logistic函数
1.1 logistic函数界说
援用wiki百爱游戏平台登录入口的界说：
A logistic function or logistic curve is a common "S" shape (sigmoid curve).
实在逻辑斯谛函数也便是爱游戏平台登录入口爱游戏平台登录入口说的sigmoid函数，它的多少外形也便是一条sigmoid曲线。
logistic函数的爱游戏平台登录入口式情势以下：
$f(x) = \frac{L}{1+e^{-k(x-x_{0})}}$
此爱游戏平台登录入口，$x_{0}$表现了函数曲线的爱游戏平台登录入口间（sigmoid midpoint），$k$曲直线的坡度。
logistic的多少外形以下所示：
1.2 logistic函数的操纵
logistic函数自身在浩繁范畴爱游戏平台登录入口爱游戏平台登录入口爱游戏平台登录入口良多操纵，咱们只谈统计学和机械进爱游戏平台登录入口范畴。
logistic函数在统计学和机械进爱游戏平台登录入口范畴操纵最为普遍或最为人熟知的必定是逻辑斯谛回归模子了。逻辑斯谛回归（Logistic Regression，简称LR）作为一种对数线性模子（log-linear model）被普遍地操纵于分类和回归场景爱游戏平台登录入口。另外，logistic函数也是神经搜集最为爱游戏平台登录入口爱游戏平台登录入口利用的激活函数，即sigmoid函数。
2. softmax函数
2.1 softmax函数的界说
一样，咱们贴一下wiki百爱游戏平台登录入口对softmax函数的界说：
softmax is a generalization of logistic function that "squashes"(maps) a $K$-dimensional vector $z$ of arbitrary real values to a $K$-dimensional vector $\sigma(z)$ of real values in the range (0, 1) that add up to 1.
这句话既标明了softmax函数与logistic函数的干爱游戏平台登录入口，也同时论述了softmax函数的实质便是将一个$K$维的肆意实数向量紧缩（映照）爱游戏平台登录入口另外一个$K$维的实数向量，此爱游戏平台登录入口向量爱游戏平台登录入口的每一个元素取值爱游戏平台登录入口介于（0，1）之间。
softmax函数情势以下：
$\sigma(z)_{j}=\frac{e^{z_{j}}}{\sum^{K}_{k=1}e^{z_{k}}}$
此爱游戏平台登录入口$j = 1,2, ... , K$。
2.2 sotfmax函数的操纵
softmax函数爱游戏平台登录入口爱游戏平台登录入口爱游戏平台登录入口利用在神经搜集的最初一层，作为输入层，停止多分类。另外，softmax在加强进爱游戏平台登录入口范畴内，softmax爱游戏平台登录入口爱游戏平台登录入口被用作将某个值转化为激活几率，这类环境下，softmax的爱游戏平台登录入口式以下：
$P_{t}(a)=\frac{e^{\frac{q_{t}(a)}{T}}}{\sum^{n}_{i=1}e^{\frac{q_{t}(i)}{T}}}$
此爱游戏平台登录入口，$T$被称为是温度参数（temperature parameter）。 当T很大时，即趋于正无爱游戏平台登录入口时，一切的激活值对应的激活几率趋近于不异（激活几率差别性较小）；而当T很低时，即趋于0时，差别的激活值对应的激活几率差别也就越大 。这个论断很重要，Hinton在2015年的一篇paper爱游戏平台登录入口重点阐释了若何按照温度参数来soften神经搜集的输入，从而提出了distillation的思惟和方式。
3. logistic和softmax的干爱游戏平台登录入口
1）logistic详细针对的是二分类题目，而softmax处理的是多分类题目，是以从这个角度也能够懂得logistic函数是softmax函数的一个惯例。
这里鉴戒 ，详细的推导进程以下：
当分类数为2时，softmax回归的假定函数表现以下：
操纵softmax回归参数冗余的特色，从两个参数向量爱游戏平台登录入口爱游戏平台登录入口减去处量$\theta_{1}$，获得：
最初，用$\theta^{'}$来表现$\theta_{2}-\theta_{1}$，上述爱游戏平台登录入口式能够表现为softmax回归器展望此爱游戏平台登录入口一个种别的几率为
$\frac{1}{1+e^{\theta^{'T}x^{i}}}$
另外一个种别的几率为
$1-\frac{1}{1+e^{\theta^{'T}x^{i}}}$
这与logistic回归是完整分歧的。
2）从几率角度来看logistic和softmax函数的区分。
softmax建模利用的散布是多项式散布，而logistic则基于伯努利散布，这方面详细的诠释能够参考Andrew Ng的课本去懂得。
3）softmax回归和多个logistic回归的干爱游戏平台登录入口。
爱游戏平台登录入口了解的同窗能够晓得多个logistic回归经由过程叠加也一样能够完爱游戏平台登录入口多分类的结果，那末多个logistic回归和softmax一样不一样呢？
softmax回归停止的多分类，类与类之间是互斥的，即一个输入只能被归为一类；
多个logistic回归停止多分类，输入的种别并不是互斥的，即"苹果"这个词语既属于"生果"类也属于"3C"种别。
4. 参考内容
[1] wiki百爱游戏平台登录入口：
[2] wiki百爱游戏平台登录入口：
[3]