glu

paddle.fluid.nets. glu ( input, dim=- 1 ) [源代码]

门控线性单元 Gated Linear Units (GLU) 由 splitsigmoidcn_api_fluid_layers_elementwise_mul 组成。特定的,沿着给定维度将输入拆分成两个大小相同的部分,\(a\)\(b\),按如下方式计算:

\[GLU(a,b) = a \bigotimes \sigma (b)\]

参考论文:Language Modeling with Gated Convolutional Networks

参数

  • input (Variable) - 输入变量,多维 Tensor 或 LoDTensor,支持的数据类型为float32、float64 和 float16(GPU)。

  • dim (int) - 拆分的维度。如果 \(dim<0\),拆分的维为 \(rank(input) + dim\)。默认为 -1,即最后一维。

返回

计算结果,尺寸为输入大小的一半,数据类型与输入的数据类型相同

返回类型

变量(Variable)

代码示例

import paddle.fluid as fluid
import paddle
paddle.enable_static()

data = fluid.data(
    name="words", shape=[-1, 6, 3, 9], dtype="float32")
# shape of output: [-1, 3, 3, 9]
output = fluid.nets.glu(input=data, dim=1)