常见的一些优化器有：SGD、Adagrad、Adadelta、RMSprop、Adam、Adamax、Nadam、TFOptimizer等等。标准梯度下降法: 标准梯度下降法计算所有样本汇总误差，然后根据总误差来更新权值。 随机梯度下降法: 随机梯度下降法随机抽取一个样本来计算误差，然后更新权值。 批量梯度下降法: 批量梯度下降算是一种折中的方案，从总样本中选取一个批次（比如一共有10000个样本，随机选取100个样本作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值。标准梯度下降法