深度学习的数学基础(三) 导数与梯度下降法

  • 时间:
  • 来源:互联网
  • 文章标签:

(一) 导数的定义:

        设函数 y=f(x) 在点 x_{0} 的某个邻域内有定义,当自变量 x 在 x_{0} 处取得增量 \Delta x, 相应的函数 y 取得增量 \Delta y ,如果 \Delta y 与 \Delta x 之比在 \Delta x -> 0 时存在,则称函数 y=f(x)  在在点  x_{0} 处可导, 并称这个极限为函数  y=f(x) 在点 x_{0} 处的导数。

(二) 导数的意义:

1. 几何意义:

导数是函数在某一点处的切线斜率,如下图

当 \Delta x 无穷小时,P点接近于 P_{0}  ,直线 T 与函数 y=f(x) 相切。

2. 物理意义:

导数是速度的变化率。速度的计算公式 v = s / t ,计算的是平均速度。有时我们需要知道瞬时的速度:

v=(s-s_{0})/(t-t_{0})

当 t-t_{0} 接近于零时,移动了一小段距离,这段距离和 t-t_{0} 之比就是瞬时速度。

(三) 导数的记法

函数 y=f(x) 的导数采用以下两种记法:

{f}' 或  \frac{\mathrm{d}y }{\mathrm{d} x}

在 x_{0} 处的导数记作:

{f}'(x_{0}) 或 \frac{\mathrm{d}y }{\mathrm{d} x}|x_{0}

(四) 导数的公式

 

 

 

 

本文链接http://www.taodudu.cc/news/show-83073.html