paddle.optimizer

paddle.optimizer 目录下包含飞桨框架支持的优化器算法相关的 API 与学习率衰减相关的 API。具体如下:

优化器算法相关 API

API 名称

API 功能

Adadelta 优化器

Adagrad 优化器

Adam 优化器

Adamax 优化器

AdamW 优化器

Lamb 优化器

Momentum 优化器

飞桨框架优化器基类

RMSProp 优化器

SGD

SGD 优化器

学习率衰减相关 API

API 名称

API 功能

Cosine Annealing 学习率衰减

Exponential 学习率衰减

Inverse Time 学习率衰减

学习率衰减的基类

Lambda 学习率衰减

Linear Warmup 学习率衰减

MultiStep 学习率衰减

NatualExp 学习率衰减

Norm 学习率衰减

分段设置学习率

多项式学习率衰减

loss 自适应学习率衰减

按指定间隔轮数学习率衰减

根据 lambda 函数进行学习率衰减

One Cycle 学习率衰减

Cyclic 学习率衰减