Tensorflow 简明教程

TensorFlow - Optimizers

优化器是扩展类，其中包括用于训练特定模型的附加信息。优化器类使用给定的参数进行初始化，但重要的是要记住不需要张量。优化器用于提高训练特定模型的速度和性能。

TensorFlow 的基本优化器是-

tf.train.Optimizer

此类在 tensorflow/python/training/optimizer.py 的指定路径中定义。

以下是 Tensorflow 中的一些优化器-

  1. Stochastic Gradient descent

  2. 梯度裁剪的随机梯度下降

  3. Momentum

  4. Nesterov momentum

  5. Adagrad

  6. Adadelta

  7. RMSProp

  8. Adam

  9. Adamax

  10. SMORMS3

我们将专注于随机梯度下降。为其创建优化器的说明如下：

def sgd(cost, params, lr = np.float32(0.01)):
   g_params = tf.gradients(cost, params)
   updates = []

   for param, g_param in zip(params, g_params):
      updates.append(param.assign(param - lr*g_param))
   return updates

基本参数在特定函数内定义。在随后的章节中，我们将专注于具有优化器实现的梯度下降优化。