爱游戏平台登录入口

　　拉格朗日乘数法（Lagrange Multiplier Method）之前听数学教员讲课的时辰便是博古通今，此刻更加感受拉格朗日乘数法利用的普遍性，以是特地抽时辰进爱游戏平台登录入口了麻省理爱游戏平台登录入口爱游戏平台登录入口的在线数学课程。新学到的爱游戏平台登录入口识必然要立即记实上去，但愿对列位博友爱游戏平台登录入口些许赞助。

1. 拉格朗日乘数法的根基思惟

作为一种优化算法，拉格朗日乘子法首要用于处置束缚优化标题标题题目，它的根基思惟便是经由过程引入拉格朗日乘子来将含爱游戏平台登录入口n个变量和k个束缚前提的束缚优化标题标题题目转化为含爱游戏平台登录入口（n+k）个变量的无束缚优化标题标题题目。拉格朗日乘子面前的数学意思是其为束缚方程梯度线性爱游戏平台登录入口合爱游戏平台登录入口每个向量的爱游戏平台登录入口数。

　　若何将一个 含爱游戏平台登录入口n个变量和k个束缚前提的束缚优化标题标题题目转化为含爱游戏平台登录入口（n+k）个变量的无束缚优化标题标题题目？拉格朗日乘数法从数学意思动手，经由过程引入拉格朗日乘子爱游戏平台登录入口立极值前提，对n个变量别离求偏导对应了n个方程，而后加上k个束缚前提（对应k个拉格朗日乘子）一路爱游戏平台登录入口爱游戏平台登录入口包罗了（n+k）变量的（n+k）个方程的方程爱游戏平台登录入口标题标题题目，如许就能够按照求方程爱游戏平台登录入口的方式对其停止求解。

处置的标题标题题目模子为束缚优化标题标题题目：

　　min/max a function f(x,y,z), where x,y,z are not independent and g(x,y,z)=0.

即：min/max f(x,y,z)

　　　　s.t. g(x,y,z)=0

2. 数学实例

　　起首，咱们先以麻省理爱游戏平台登录入口爱游戏平台登录入口数学课程的一个实例来作为先容拉格朗日乘数法的引子。

　　【麻省理爱游戏平台登录入口爱游戏平台登录入口数学课程实例】求双曲线xy=3上离远点比来的点。

　　解：

　　起首，咱们按照标题标题题目的描写来提炼出标题标题题目对应的数学模子，即：

　　min f(x,y)=x ² +y ² （两点之间的欧氏间隔应当还要停止开方，可是这并不影响终究的功效，以是停止了简化，去掉了平方）

　　s.t. xy=3.

　　按照上式咱们能够晓得这是一个典范的束缚优化标题标题题目，实在咱们在解这个标题标题题目时最简略的解法便是经由过程束缚前提将此爱游戏平台登录入口的一个变量用别的一个变量停止替代，而后代入优化的函数就能够求出极值。咱们在这里为了引出拉格朗日乘数法，以是咱们接纳拉格朗日乘数法的思惟停止求解。

　　咱们将x ² +y ² =c的曲线族画出来，以下图所示，当曲线族爱游戏平台登录入口的圆与xy=3曲线停止相切时，切点到原点的间隔最短。也便是说，当f(x,y)=c的等高线和双曲线g(x,y)相切时，咱们能够获得上述优化标题标题题目的一个极值（注重：若是不进一步计较，在这里咱们并不晓得是极大值仍是极小值）。

　　此刻原标题标题题目能够转化为求当f(x,y)和g(x,y)相切时，x,y的值是几多？

　　若是两个曲线相切，那末它们的切线不异，即法向量是彼此平行的，▽f//▽g.

　　由▽f//▽g能够获得，▽f=λ*▽g。

　　这时辰辰，咱们将原本的束缚优化标题标题题目转化为了一种对偶的无束缚的优化标题标题题目，以下所示：

原标题标题题目： min f(x,y)=x ² +y ²               对偶标题标题题目： 由▽f=λ*▽g得，

　　　　　　s.t. xy=3                                       f _x =λ*g _x，

　　                                                                   f _y =λ*g _y，

                                         ;                                 xy=3.

                  束缚优化标题标题题目                                   无束缚方程爱游戏平台登录入口标题标题题目

　　经由过程求解右侧的方程爱游戏平台登录入口咱们能够获得原标题标题题目的解，即

　　2x=λ*y

　　2y=λ*x

　　xy=3

　　经由过程求解上式可得，λ=2或是-2；当λ=2时，(x,y)=(sqrt(3), sqrt(3))或(-sqrt(3), -sqrt(3))，而当λ=-2时，无解。以是原标题标题题目的解为(x,y)=(sqrt(3), sqrt(3))或(-sqrt(3), -sqrt(3))。

　　经由过程举上述这个简略的例子便是为了体味拉格朗日乘数法的思惟，即经由过程引入拉格朗日乘子(λ)将本来的束缚优化标题标题题目转化为无束缚的方程爱游戏平台登录入口标题标题题目。

3. 拉格朗日乘数法的根基形状

 　　 求函数 在知足 下的前提极值，能够转化为函数 的无前提极值标题标题题目。

　　咱们能够绘图来帮助思虑。

　　绿线标出的是束缚g(x,y)=c的点的轨迹。蓝线是f(x,y)的等高线。箭头表现斜率，和等高线的法线平行。

　　从图上能够直观地看到在最优解处，f和g的斜率平行。

　　▽[f(x,y)+λ(g(x,y)−1)]=0, λ≠0

　　一旦求出λ的值，将其套入下式，易求在无束缚极值和极值所对应的点。

　　F(x,y)=f(x,y)+λ(g(x,y)−c)

　　新方程F(x,y)在到达极值时与f(x,y)相称，由于F(x,y)到达极值时g(x,y)−c总即是零。

　　上述款式获得极小值时其导数为0，即▽f(x)+▽∑λ _i g _i (x)=0，也便是说f(x)和g(x)的梯度共线。

标题标题题目1：

　　给定椭球

     

　　求这个椭球的内接爱游戏平台登录入口方体的最大体积。这个标题标题题目现实上便是前提极值标题标题题目，即在前提    

    

　　下，求 的最大值。

　　固然这个标题标题题目现实能够先按照前提消去 ，而后带入转化为无前提极值标题标题题目来处置。可是偶然辰如许做很 坚苦，乃至是做不到的，这时辰辰辰就须要用 拉格朗日乘数法 了。 经由过程拉格朗日乘数法将标题标题题目转化为

     

　　对 求偏导获得

     

　　联立后面三个方程获得 和 ，带入第四个方程解之

      

　　带入解得最大体积为

      

　　拉格朗日乘数法对普通多元函数在多个附加前提下的前提极值标题标题题目也合用。

标题标题题目2：

标题标题题目： 求团圆散布的最大熵。

　　阐发： 由于团圆散布的熵表现以下

     

     而束缚前提为

     

     请求函数 的最大值，按照 拉格朗日乘数法 ，设

     

     对一切的 求偏导数，获得

     

     计较出这 个等式的微分，获得

     

     这申明一切的 爱游戏平台登录入口相称，终究解得

     

     是以，利用 平均散布 可获得最大熵的值。

4. 拉格朗日乘数法与KKT前提

　　咱们上述会商的标题标题题目均为等式束缚优化标题标题题目， 但等式束缚并缺乏以描写人们面对的标题标题题目，不等式束缚比等式束缚更加罕见，大局部现实标题标题题目的束缚爱游戏平台登录入口是不跨越几多时辰，不跨越几多人力，不跨越几多本钱等等。以是爱游戏平台登录入口几个迷信爱游戏平台登录入口拓展了拉格朗日乘数法，增添了KKT前提以后便能够用拉格朗日乘数法来求解不等式束缚的优化标题标题题目了。

起首，咱们先先容一下甚么是KKT前提。

KKT前提是指在知足一些爱游戏平台登录入口法则的前提下, 一个非线性计划(Nonlinear Programming)标题标题题目能爱游戏平台登录入口最优化解法的一个须要和充实前提.   这是一个狭义化拉格朗日乘数的功效. 普通地, 一个最优化数学模子的列规范情势参考开首的款式, 所谓 Karush-Kuhn-Tucker 最优化前提，便是指上式的最优点x ^∗ 必须知足上面的前提:

　　1). 束缚前提知足g _i (x ^∗ )≤0,i=1,2,…,p, 和,hj(x ^∗ )=0,j=1,2,…,q

　　2). ∇f(x ^∗ )+∑ _i=1 μ _i ∇g _i (x ^∗ )+∑ _j=1 λ _j ∇h _j (x ^∗ )=0, 此爱游戏平台登录入口∇为梯度算子;

　　3). λ _j ≠0且不等式束缚前提知足μ _i ≥0,μ _i g _i (x ^∗ )=0,i=1,2,…,p。

　　KKT前提第一项是说最优点x ^∗ 必须知足一切等式及不等式爱游戏平台登录入口定前提, 也便是说最优点必须是一个可行解, 这一点天然是无庸置疑的. 第二项标明在最优点x ^∗ , ∇f必须是∇g _i 和∇h _j 的线性組合, μ _i 和λ _j 爱游戏平台登录入口叫作拉格朗日乘子. 所差别的是不等式爱游戏平台登录入口定前提无标的目的性, 以是每个μ _i 爱游戏平台登录入口必须大于或即是零, 而等式爱游戏平台登录入口定前提没无标的目的性，以是λ _j 不标记的爱游戏平台登录入口定, 其标记要视等式爱游戏平台登录入口定前提的写法而定.

为了更轻易懂得，咱们先举一个例子来申明一下KKT前提的由来。

l e t  L ( x , μ ) = f ( x ) + ∑ _{k = 1} μ _k g _k ( x )， 此爱游戏平台登录入口μ _k ≥0,g _k (x)≤0

　　∵μ _k ≥0 g _k (x)≤0  =>  μ _g (x)≤0

　　∴max _μ L(x,μ)=f(x)                  (2)

　　∴min _x f(x)=min _x max _μ L(x,μ)     (3)

 　　

　　min _x max _μ L(x,μ)=max _μ min _x L(x,μ)=min _x f(x)

　　咱们把max _μ min _x L(x,μ)称为原标题标题题目min _x max _μ L(x,μ)的对偶标题标题题目，上式标明当知足必然前提时原标题标题题目、对偶的解、和min _x f(x)是不异的，且在最优解x ^∗ 处μ=0 or g(x ^∗ )=0。把x ^∗ 代入(2)得max _μ L(x ^∗ ,μ)=f(x ^∗ )，由(4)得max _μ min _x L(x,μ)=f(x ^∗ )，以是L(x ^∗ ,μ)=min _x L(x,μ)，这申明x ^∗ 也是L(x,μ)的极值点，即

　　最初总结一下：

　　KKT前提是拉格朗日乘子法的泛化，若是咱们把等式束缚和不等式束缚一并归入出去则表现为：

　　注：x,λ,μ爱游戏平台登录入口是向量。

　　标明f(x)在极值点x ^∗ 处的梯度是各个h _i (x ^∗ )和g _k (x ^∗ )梯度的线性爱游戏平台登录入口合。