paddle.nn

paddle.nn 目录下包含飞桨框架支持的神经网络层和相关函数的相关API。具体如下:

容器相关

API名称

API功能

基于OOD实现的动态图Layer

用于保存子层列表

参数列表容器

顺序容器;子Layer将按构造函数参数的顺序添加到此容器中

保存子层到有序字典中,它包含的子层将被正确地注册和添加

卷积层

API名称

API功能

一维卷积层

一维转置卷积层

二维卷积层

二维转置卷积层

三维卷积层

三维转置卷积层

pooling层

API名称

API功能

一维自适应平均池化层

二维自适应平均池化层

三维自适应平均池化层

一维自适应最大池化层

二维自适应最大池化层

三维自适应最大池化层

一维平均池化层

二维平均池化层

三维平均池化层

一维最大池化层

二维最大池化层

三维最大池化层

二维最大反池化层

Padding层

API名称

API功能

一维填充层

二维填充层

三维填充层

激活层

API名称

API功能

ELU激活层

GELU激活层

Hardshrink激活层

Hardsigmoid激活层

Hardswish激活层

Hardtanh激活层

LeakyReLU 激活层

LogSigmoid激活层

LogSoftmax激活层

Maxout激活层

PReLU激活层

ReLU激活层

ReLU6激活层

SELU激活层

Sigmoid激活层

Silu激活层

Softmax激活层

Softplus激活层

Softshrink激活层

Softsign激活层

Swish激活层

Tanh激活层

Tanhshrink激活层

Thresholded ReLU激活层

Normalization层

API名称

API功能

Batch Normalization层

一维Batch Normalization层

二维Batch Normalization层

三维Batch Normalization层

Group Normalization层

一维Instance Normalization层

二维Instance Normalization层

三维Instance Normalization层

用于保存Normalization层列表

Local Response Normalization层

Spectral Normalization层

Synchronized Batch Normalization层

循环神经网络层

API名称

API功能

双向循环神经网络

门控循环单元网络

门控循环单元

长短期记忆网络

长短期记忆网络单元

循环神经网络

循环神经网络单元基类

简单循环神经网络

简单循环神经网络单元

Transformer相关

API名称

API功能

多头注意力机制

Transformer模型

Transformer解码器

Transformer解码器层

Transformer编码器

Transformer编码器层

线性层

API名称

API功能

对两个输入执行双线性张量积

线性变换层

Dropout层

API名称

API功能

具有自归一化性质的dropout

Dropout

一维Dropout

二维Dropout

Embedding层

API名称

API功能

嵌入层(Embedding Layer)

Loss层

API名称

API功能

BCELoss层

BCEWithLogitsLoss层

交叉熵损失层

CTCLoss层

层次sigmoid损失层

Kullback-Leibler散度损失层

L1损失层

MarginRankingLoss层

均方差误差损失层

NLLLoss层

平滑L1损失层

Vision层

API名称

API功能

将一个形为[N, C, H, W]或是[N, H, W, C]的Tensor重新排列成形为 [N, C/r**2, H*r, W*r]或 [N, H*r, W*r, C/r**2] 的Tensor

用于调整一个batch中图片的大小

用于调整一个batch中图片的大小(使用双线性插值方法)

用于调整一个batch中图片的大小(使用最近邻插值方法)

Clip相关

API名称

API功能

将一个 Tensor列表 t_list 中所有Tensor的L2范数之和,限定在 clip_norm 范围内

将输入的多维Tensor X 的L2范数限制在 clip_norm 范围之内

将输入的多维Tensor X 的值限制在 [min, max] 范围

公共层

API名称

API功能

带beam search解码策略的解码器

余弦相似度计算

循环解码

将一个连续维度的Tensor展平成一维Tensor

计算两个向量之间pairwise的距离

实现的功能与卷积中用到的im2col函数一样,通常也被称作为im2col过程

卷积相关函数

API名称

API功能

一维卷积函数

一维转置卷积函数

二维卷积函数

二维转置卷积函数

三维卷积函数

三维转置卷积函数

Pooling相关函数

API名称

API功能

一维自适应平均池化

二维自适应平均池化

三维自适应平均池化

一维自适应最大池化

二维自适应最大池化

三维自适应最大池化

一维平均池化

二维平均池化

三维平均池化

一维最大池化

二维最大池化

三维最大池化

Padding相关函数

API名称

API功能

依照 pad 和 mode 属性对input进行填充

激活函数

API名称

API功能

elu激活函数

Inplace 版本的 elu API,对输入 x 采用 Inplace 策略

gelu激活函数

gumbel_softmax采样激活函数

hardshrink激活函数

sigmoid的分段线性逼近激活函数

hardswish激活函数

hardtanh激活函数

leaky_relu激活函数

log_sigmoid激活函数

log_softmax激活函数

maxout激活函数

prelu激活函数

relu激活函数

Inplace 版本的 relu API,对输入 x 采用 Inplace 策略

relu6激活函数

selu激活函数

sigmoid激活函数

silu激活函数

softmax激活函数

Inplace 版本的 softmax API,对输入 x 采用 Inplace 策略

softplus激活函数

softshrink激活函数

softsign激活函数

swish激活函数

tanhshrink激活函数

thresholded_relu激活函数

Normalization方法

API名称

API功能

Local Response Normalization函数

归一化方法

移除传入 layer 中的权重归一化

对传入的 layer 中的权重参数进行归一化

paddle.nn.functional.spectral_norm

对传入的 layer 中的权重参数进行谱归一化

线性处理相关函数

API名称

API功能

对两个输入执行双线性张量积

线性变换

Dropout方法

API名称

API功能

一种具有自归一化性质的dropout

Dropout

一维Dropout

二维Dropout

Embedding相关函数

API名称

API功能

对角线Embedding 方法

Embedding 方法

损失函数

API名称

API功能

二值交叉熵损失值

logits二值交叉熵损失值

用于计算ctc损失

用于比较预测结果跟标签之间的相似度

层次sigmoid损失函数

用于计算L1损失

用于计算KL散度损失

用于计算负对数损失

paddle.nn.functional.sampled_softmax_with_cross_entropy

为所有示例采样若干个样本,并计算每行采样张量的SoftMax标准化值,然后计算交叉熵损失

用于计算margin rank loss 损失

用于计算均方差误差

用于计算nll损失

成对数据损失计算

用于计算分类任务中前景类-背景类数量不均衡问题的损失

用于计算平滑L1损失

将softmax操作、交叉熵损失函数的计算过程进行合并

支持 ArcfaceCosfaceSphereface 的结合 Margin 损失函数

公用方法

API名称

API功能

用于生成仿射变换前后的feature maps的坐标映射关系

用于计算x1与x2沿axis维度的余弦相似度

计算输入input和标签label间的交叉熵

用于调整一个batch中图片的大小

标签平滑

将输入'x'中的每个id转换为一个one-hot向量

将Tensor重新排列

用于计算预测值和目标值的方差估计

对每一个卷积核覆盖下的区域,将元素重新排成一列

整个束搜索结束后使用,获得每个时间步选择的的候选词 id 及其对应的在搜索树中的 parent 节点

门控线性单元

用于调整一个batch中图片的大小

根据输入 x 和 maxlen 输出一个掩码,数据类型为 dtype

用于对输入X做时序通道T上的位移操作,为TSM中使用的操作

用于调整一个batch中图片的大小

用于PartialFC类别中心采样

初始化相关

API名称

API功能

使用Numpy数组、Python列表、Tensor来初始化参数

该接口为参数初始化函数,用于转置卷积函数中

用于权重初始化,通过输入的value值初始化输入变量

实现Kaiming正态分布方式的权重初始化

实现Kaiming均匀分布方式的权重初始化

随机正态(高斯)分布初始化函数

用于设置Paddle框架中全局的参数初始化方法

随机截断正态(高斯)分布初始化函数

随机均匀分布初始化函数

实现Xavier权重初始化方法( Xavier weight initializer)

实现Xavier权重初始化方法( Xavier weight initializer)