fused_feedforward

paddle.incubate.nn.functional.fused_feedforward(x, linear1_weight, linear2_weight, linear1_bias=None, linear2_bias=None, ln1_scale=None, ln1_bias=None, ln2_scale=None, ln2_bias=None, dropout1_rate=0.5, dropout2_rate=0.5,activation="relu", ln1_epsilon=1e-5, ln2_epsilon=1e-5, pre_layer_norm=False, training=True, mode='upscale_in_train', name=None):

这是一个融合算子,该算子是对 transformer 模型中 feed forward 层的多个算子进行融合,该算子只支持在 GPU 下运行,该算子与如下伪代码表达一样的功能:

residual = src;
if pre_layer_norm:
    src = layer_norm(src)
src = linear(dropout(activation(linear(src))))
src = residual + dropout(src)
if not pre_layer_norm:
    src = layer_norm(src)

参数

  • x (Tensor) - 输入 Tensor,数据类型支持 float16, float32 和 float64,输入的形状是 [batch_size, sequence_length, d_model]

  • linear1_weight (Tensor) - 第一个 linear 算子的权重数据,数据类型与 x 一样,形状是 [d_model, dim_feedforward]

  • linear2_weight (Tensor) - 第二个 linear 算子的权重数据,数据类型与 x 一样,形状是 [dim_feedforward, d_model]

  • linear1_bias (Tensor,可选) - 第一个 linear 算子的偏置数据,数据类型与 x 一样,形状是 [dim_feedforward]。默认值为 None。

  • linear2_bias (Tensor,可选) - 第二个 linear 算子的偏置数据,数据类型与 x 一样,形状是 [d_model]。默认值为 None。

  • ln1_scale (Tensor,可选) - 第一个 layer_norm 算子的权重数据,数据类型可以是 float32 或者 float64,形状和 x 一样。默认值为 None。

  • ln1_bias (Tensor,可选) - 第一个 layer_norm 算子的偏置数据,数据类型和 ln1_scale 一样,形状是 x.shape[-1]。默认值为 None。

  • ln2_scale (Tensor,可选) - 第二个 layer_norm 算子的权重数据,数据类型可以是 float32 或者 float64,形状和 x 一样。默认值为 None。

  • ln2_bias (Tensor,可选) - 第二个 layer_norm 算子的偏置数据,数据类型和 ln2_scale 一样,形状是 x.shape[-1]。默认值为 None。

  • dropout1_rate (float,可选) - 第一个 dropout 算子置零的概率。默认是 0.5。

  • dropout2_rate (float,可选) - 第二个 dropout 算子置零的概率。默认是 0.5。

  • activation (string,可选) - 激活函数,当前只支持 relu 和 gelu。默认值是 relu。

  • ln1_epsilon (float,可选) - 一个很小的浮点数,被第一个 layer_norm 算子加到分母,避免出现除零的情况。默认值是 1e-5。

  • ln2_epsilon (float,可选) - 一个很小的浮点数,被第二个 layer_norm 算子加到分母,避免出现除零的情况。默认值是 1e-5。

  • pre_layer_norm (bool,可选) - 在预处理阶段加上 layer_norm,或者在后处理阶段加上 layer_norm。默认值是 False。

  • training (bool):标记是否为训练阶段。默认:True。

  • mode (str):丢弃单元的方式,有两种'upscale_in_train'和'downscale_in_infer',默认:'upscale_in_train'。计算方法如下:

    1. upscale_in_train,在训练时增大输出结果。

      • train: out = input * mask / ( 1.0 - p )

      • inference: out = input

    2. downscale_in_infer,在预测时减小输出结果

      • train: out = input * mask

      • inference: out = input * (1.0 - p)

  • name (str,可选) - 具体用法请参见 Name,一般无需设置,默认值为 None。

返回

  • Tensor,输出 Tensor,数据类型与 x 一样。

代码示例

# required: gpu
import paddle
import paddle.incubate.nn.functional as F

x = paddle.randn(shape=(1, 8, 8), dtype="float32")
linear1_weight = paddle.randn(shape=(8, 8), dtype="float32")
linear2_weight = paddle.randn(shape=(8, 8), dtype="float32")
out = F.fused_feedforward(x, linear1_weight, linear2_weight)
print(out.shape)
# (1, 8, 8)