18video性欧美19sex,欧美高清videosddfsexhd,性少妇videosexfreexxx片中国,激情五月激情综合五月看花,亚洲人成网77777色在线播放

您好,歡迎來電子發(fā)燒友網(wǎng)! ,新用戶?[免費(fèi)注冊]

您的位置:電子發(fā)燒友網(wǎng)>源碼下載>數(shù)值算法/人工智能>

如何搞定機(jī)器學(xué)習(xí)中的拉格朗日?看看這個(gè)乘子法與KKT條件大招

大?。?/span>0.4 MB 人氣: 2017-12-06 需要積分:1
 一 前置知識(shí)
  拉格朗日乘子法是一種尋找多元函數(shù)在一組約束下的極值方法,通過引入拉格朗日乘子,可將有m個(gè)變量和n個(gè)約束條件的最優(yōu)化問題轉(zhuǎn)化為具有m+n個(gè)變量的無約束優(yōu)化問題。在介紹拉格朗日乘子法之前,先簡要的介紹一些前置知識(shí),然后就拉格朗日乘子法談一下自己的理解。
  1.梯度
  梯度是一個(gè)與方向?qū)?shù)有關(guān)的概念,它是一個(gè)向量。在二元函數(shù)的情形,設(shè)函數(shù)f(x,y)在平面區(qū)域D內(nèi)具有一階連續(xù)偏導(dǎo),則對(duì)于每一點(diǎn)P(x0,y0)∈D,都可以定義出一個(gè)向量:fx(x0,y0)i+fy(x0,y0)j ,稱該向量為函數(shù)f(x,y)在點(diǎn)P(x0,y0)
  的梯度。并記作grad f(x0,y0) 或者?f(x0,y0),即 grad f(x0,y0) = ?f(x0,y0) = fx(x0,y0)i+fy(x0,y0)j=(fx(x0,y0),fy(x0,y0)) 。
  再來看看梯度和方向?qū)?shù)的關(guān)系:如果函數(shù)f(x,y)在P(x0,y0)點(diǎn)可微,el = (cosα,cosβ)是與方向L同向的單位向量,則?f/?L|(x0,y0) = fx(x0,y0)cosα+fy(x0,y0)cosβ = grad f(x0,y0).el = |grad f(x0,y0)|.cosθ ,其中θ表示的梯度與el 的夾角。由此可知,當(dāng)θ = 0時(shí),el 與梯度的方向相同時(shí),此時(shí)方向?qū)?shù)最大,函數(shù)f(x,y)增長最快;當(dāng)θ = π時(shí),el 與梯度的方向相反時(shí),此時(shí)方向?qū)?shù)最小且為負(fù),函數(shù)f(x,y)減小最快。
  2.等高線(等值線)
  通常來說,二元函數(shù) z = f(x,y)在幾何上表示一個(gè)曲面,這個(gè)曲面被平面 z = c(c為常數(shù))所截得的曲線L的方程為:
  如何搞定機(jī)器學(xué)習(xí)中的拉格朗日?看看這個(gè)乘子法與KKT條件大招
  這是一條空間曲線,這條曲線L在xOy平面上的投影是一條平面曲線L*,它在xOy平面直角坐標(biāo)系中的方程為:f(x,y) = c 。對(duì)于曲線L*上的一切點(diǎn),已給函數(shù)的函數(shù)值都是c,所以我們稱平面曲線L*為函數(shù)z = f(x,y)的等值線(等高線)。再來看看等高線的一些性質(zhì):
  若fx,fy不同時(shí)為零,則等高線 f(x,y) = c上任一點(diǎn)P(x0,y0)處的一個(gè)單位法向量為:
  如何搞定機(jī)器學(xué)習(xí)中的拉格朗日?看看這個(gè)乘子法與KKT條件大招
  這表明函數(shù)f(x,y)在一點(diǎn)(x0,y0)的梯度?f(x0,y0)的方向就是等高線f(x,y) = c在這點(diǎn)的法向量的方向,而梯度的模|?f(x0,y0)|就是沿這個(gè)法線方向的方向?qū)?shù)?f/?n,于是有:
  如何搞定機(jī)器學(xué)習(xí)中的拉格朗日?看看這個(gè)乘子法與KKT條件大招

非常好我支持^.^

(0) 0%

不好我反對(duì)

(1) 100%

      發(fā)表評(píng)論

      用戶評(píng)論
      評(píng)價(jià):好評(píng)中評(píng)差評(píng)

      發(fā)表評(píng)論,獲取積分! 請遵守相關(guān)規(guī)定!

      ?