要使用梯度下降法找到一个函数的局部极小值#xff0c;必须向函数上当前点对应梯度#xff08…

文章目录方向角与方向余弦方向角方向余弦方向导数定义性质梯度下降梯度下降法Gradient

要使用梯度下降法找到一个函数的局部极小值必须向函数上当前点对应梯度或者是近似梯度的反方向的规定步长距离点进行迭代搜索。

如果相反地向梯度正方向迭代进行搜索则会接近函数的局部极大值点这个过程则被称为梯度上升法。

方向角与方向余弦

方向角

向量或有向直线与坐标轴正向或基向量的交角称为向量的方向角。

定义域为[0,π][0,\pi][0,π]。

方向余弦

{cos⁡αx∣r∣cos⁡βy∣r∣cos⁡γz∣r∣\begin{cases}

\cos\alpha

\end{cases}⎩⎨⎧​cosα∣r∣x​cosβ∣r∣y​cosγ∣r∣z​​

且有cos⁡2αcos⁡2βcos⁡2γ1\cos^2\alpha\cos^2\beta\cos^2\gamma1cos2αcos2βcos2γ1

方向导数

给定标量函数f(x,y,z)f(x,y,z)f(x,y,z)和任意向量l⃗\vec{l}l该向量与三个坐标轴的夹角分别为α\alphaα、β\betaβ、γ\gammaγ从定义域中一定P0(x,y,z)P_0(x,y,z)P0​(x,y,z)出发沿着向量l⃗\vec{l}l方向移动距离Δs\Delta

sΔs到达点P1(xΔscos⁡α,yΔscos⁡β,zΔscos⁡γ)P_1(x\Delta

\cos\alpha,y\Delta

\cos\gamma)P1​(xΔscosα,yΔscosβ,zΔscosγ)定义方向导数

dfdl⃗lim⁡Δs→0f(xΔscos⁡α,yΔscos⁡β,zΔscos⁡γ)−f(x,y,z)Δs\frac{df}{d\vec{l}}\lim_{\Delta

\to

s}dldf​limΔs→0​Δsf(xΔscosα,yΔscosβ,zΔscosγ)−f(x,y,z)​

dfdl⃗∂f∂xcos⁡α∂f∂ycos⁡β∂f∂zcos⁡γ(∂f∂x,∂f∂y,∂f∂z)⋅(cos⁡α,cos⁡β,cos⁡γ)∇f⋅n⃗∣∇f∣cos⁡⟨∇f,l⃗⟩\begin{aligned}

\frac{df}{d\vec{l}}

z})\cdot(\cos\alpha,\cos\beta,\cos\gamma)\nabla

\cdot\vec{n}|\nabla

\end{aligned}dldf​​∂x∂f​cosα∂y∂f​cosβ∂z∂f​cosγ(∂x∂f​,∂y∂f​,∂z∂f​)⋅(cosα,cosβ,cosγ)∇f⋅n∣∇f∣cos⟨∇f,l⟩​

当l⃗\vec{l}l取fff的梯度方向时cos⁡⟨∇f,l⃗⟩1\cos\lang\nabla

f,\vec{l}\rang1cos⟨∇f,l⟩1变化率绝对值最大且为正当l⃗\vec{l}l取fff的负梯度方向时cos⁡⟨∇f,l⃗⟩−1\cos\lang\nabla

f,\vec{l}\rang-1cos⟨∇f,l⟩−1变化率绝对值最大且为负。

梯度下降

3、参数更新θj1θj−α∂J∂θj\***ta_{j1}\***ta_j

\alpha

J}{\partial\***ta_j}θj1​θj​−α∂θj​∂J​