梯度下降法和随机梯度下降法的区别

梯度下降和随机梯度下降之间的关键区别：
1、标准梯度下降是在权值更新前对所有样例汇总误差，而随机梯度下降的权值是通过考查某个训练样例来更新的。
2、标准梯度下降中，权值更新的每一步对多个样例求和，需要更多的计算。
3、标准梯度下降，由于使用真正的梯度，标准梯度下降对于每一次权值更新经常使用比随机梯度下降大的步长。
4、标准误差曲面有多个局部极小值，随机梯度下降有时可能避免陷入这些局部极小值中。