forked from mindspore-Ecosystem/mindspore
28 lines
827 B
ReStructuredText
28 lines
827 B
ReStructuredText
|
mindspore.ops.silu
|
|||
|
|
==================
|
|||
|
|
|
|||
|
|
.. py:function:: mindspore.ops.silu(x)
|
|||
|
|
|
|||
|
|
激活函数SiLU（Sigmoid Linear Unit）。
|
|||
|
|
|
|||
|
|
该激活函数定义为：
|
|||
|
|
|
|||
|
|
.. math::
|
|||
|
|
\text{SiLU}(x) = x * \sigma(x),
|
|||
|
|
|
|||
|
|
其中 :math:`x_i` 是输入的元素， math:`\sigma(x)` Logistic Sigmoid函数。
|
|||
|
|
|
|||
|
|
.. math::
|
|||
|
|
|
|||
|
|
\text{sigma}(x_i) = \frac{1}{1 + \exp(-x_i)},
|
|||
|
|
|
|||
|
|
关于SiLU的图例见 `SiLU <https://en.wikipedia.org/wiki/Activation_function#/media/File:Swish.svg>`_ 。
|
|||
|
|
|
|||
|
|
参数：
|
|||
|
|
- **x** (Tensor) - 数据类型为float16, float32, float64, complex64 或 complex128的输入。任意维度的Tensor。
|
|||
|
|
|
|||
|
|
返回：
|
|||
|
|
Tensor，数据类型和shape与 `x` 的相同。
|
|||
|
|
|
|||
|
|
异常：
|
|||
|
|
- **TypeError** - `x` 的数据类型不是float16, float32, float64, complex64 或 complex128。
|