前文描述了利用Computational Graph计算单个sample下Loss Function的偏导数。

那么如何求多个samples下的Cost Function的偏导数,并且进一步使用梯度下降求解Cost Function

1. 求多个samples下Cost Function的偏导数

已知Logistic Regression:

Loss Fucntion:

Cost Fucntion:

已知Cost Function是bowl shape,可以用梯度下降求解极小值,迭代

所以,目标是求

前文提到对于(2)式Loss Function,其对于的偏导数:

由(5)式和(3)式可得Cost Function的对于的偏导数:

2. 梯度下降解Logistic Regression

利用(6)式,Andrew提出一个完整的计算Logistic Regression算法:

首先令,

初始化:

遍历所有的samples:

最后求平均:

这个算法得到了对所有features:和b的偏导数。进而可以使用梯度下降,不断迭代,求得cost function的极小值,并得到相应的

是learning rate。

PS:Andrew另外提到上述算法有两个遍历loop:

  1. 1 to m, m是sample的数目
  2. 1 to n, n是feature的数目

可以利用Vectorization方法去掉loop,提高算法的performance。

(Update 2/13/19)