forked from mindspore-Ecosystem/mindspore
modify chinese python api files.
This commit is contained in:
zhangyi
parent
96cab0260f
commit
ebba554086
|
|
@ -1,3 +1,10 @@
|
|||
此模块用于音频数据增强，包括 `transforms` 和 `utils` 两个子模块。
|
||||
`transforms` 是一个高性能音频数据增强模块，支持常见的音频数据增强操作。
|
||||
`utils` 提供了一些音频处理的工具方法。
|
||||
|
||||
API样例中常用的导入模块如下：
|
||||
|
||||
.. code-block::
|
||||
|
||||
import mindspore.dataset as ds
|
||||
import mindspore.dataset.audio.transforms as audio
|
||||
|
|
@ -1,5 +1,235 @@
|
|||
mindspore.boost
|
||||
================
|
||||
==============================
|
||||
|
||||
Boost能够自动加速网络，如减少BN/梯度冻结/累积梯度等。
|
||||
|
||||
注：此特性为测试版本，我们仍在改进其功能。
|
||||
|
||||
.. py:class:: mindspore.boost.AdaSum(rank, device_number, group_number, parameter_tuple)
|
||||
|
||||
Adaptive Summation(AdaSum)是一种优化深度学习模型并行训练的算法，它可以提升不同规模集群训练的精度，减小不同规模集群调参难度。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **network** (Cell) – 训练网络，当前网络只支持单个输出。
|
||||
- **optimizer** (Union[Cell]) – 用于更新权重的优化器。
|
||||
- **sens** (numbers.Number) – 作为反向传播输入要填充的缩放数，默认值为1.0。
|
||||
|
||||
**输入：**
|
||||
|
||||
- **delta_weights** (Tuple(Tensor)) – 梯度tuple。
|
||||
- **parameters** (Tuple(Parameter)) – 当前权重组成的元组。
|
||||
- **old_parameters** (Tuple(Parameter)) – 旧的权重组成的元组。
|
||||
|
||||
**输出：**
|
||||
|
||||
Tuple(Tensor), adasum处理后更新的权重。
|
||||
|
||||
.. py:class:: mindspore.boost.AutoBoost(level="O0", boost_config_dict="")
|
||||
|
||||
MindSpore自动优化算法库。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **level** (str) – Boost的配置级别。
|
||||
- **boost_config_dict** (dict) – 用户可配置的超参字典，建议的格式如下：
|
||||
|
||||
.. code-block::
|
||||
|
||||
{
|
||||
"boost": {
|
||||
"mode": "auto",
|
||||
"less_bn": False,
|
||||
"grad_freeze": False,
|
||||
"adasum": False,
|
||||
"grad_accumulation": False,
|
||||
"dim_reduce": False},
|
||||
|
||||
"common": {
|
||||
"gradient_split_groups": [50, 100],
|
||||
"device_number": 8},
|
||||
|
||||
"less_bn": {
|
||||
"fn_flag": True,
|
||||
"gc_flag": True},
|
||||
|
||||
"grad_freeze": {
|
||||
"param_groups": 10,
|
||||
"freeze_type": 1,
|
||||
"freeze_p": 0.7,
|
||||
"total_steps": 65536},
|
||||
|
||||
"grad_accumulation": {
|
||||
"grad_accumulation_step": 1},
|
||||
|
||||
"dim_reduce": {
|
||||
"rho": 0.55,
|
||||
"gamma": 0.9,
|
||||
"alpha": 0.001,
|
||||
"sigma": 0.4,
|
||||
"n_components": 32,
|
||||
"pca_mat_path": None,
|
||||
"weight_load_dir": None,
|
||||
"timeout": 1800}
|
||||
|
||||
}
|
||||
|
||||
**异常：**
|
||||
|
||||
- **Valuerror** – Boost的模式不在["auto", "manual", "enable_all", "disable_all"]这个列表中。
|
||||
|
||||
.. py:method:: network_auto_process_train()
|
||||
|
||||
使用Boost算法训练。
|
||||
|
||||
**返回：**
|
||||
|
||||
- network (Cell)，训练网络。
|
||||
- optimizer (Union[Cell])，用于更新权重的优化器。
|
||||
|
||||
.. py:method:: network_auto_process_eval()
|
||||
|
||||
使用Boost算法推理。
|
||||
|
||||
**返回：**
|
||||
|
||||
network(Cell)，推理网络。
|
||||
|
||||
.. py:class:: mindspore.boost.BoostTrainOneStepCell(network, optimizer, sens=1.0)
|
||||
|
||||
Boost网络训练封装类,.
|
||||
|
||||
用优化器封装网络，使用输入训练网络来获取结果。反向图在*construct*函数中自动创建，并且支持多种不同的并行模式。
|
||||
|
||||
|
||||
**参数：**
|
||||
|
||||
- **network** (Cell) – 训练网络，当前网络只支持单个输出。
|
||||
- **optimizer** (Union[Cell]) – 用于更新权重的优化器。
|
||||
- **sens** (numbers.Number) – 作为反向传播输入要填充的缩放数，默认值为1.0。
|
||||
|
||||
**输入：**
|
||||
|
||||
- **inputs** (Tuple(Tensor)) – 网络的所有输入组成的元组。
|
||||
|
||||
**输出：**
|
||||
|
||||
- loss (Tensor)，标量Tensor。
|
||||
- overflow (Tensor)，标量Tensor，类型为bool。
|
||||
- loss scaling value (Tensor)，标量Tensor。
|
||||
|
||||
**异常：**
|
||||
|
||||
- **Typerror** – 如果*sens*不是一个数字。
|
||||
|
||||
.. py:method:: gradient_freeze_process(*inputs)
|
||||
|
||||
使用梯度冻结算法训练。
|
||||
|
||||
**返回：**
|
||||
|
||||
number，网络训练过程中得到的loss值。
|
||||
|
||||
.. py:method:: gradient_accumulation_process(loss, grads, sens, *inputs)
|
||||
|
||||
使用梯度累积算法训练。
|
||||
|
||||
**返回：**
|
||||
|
||||
number，网络训练过程中得到的loss值。
|
||||
|
||||
.. py:method:: adasum_process(loss, grads)
|
||||
|
||||
使用Adasum算法训练。
|
||||
|
||||
**返回：**
|
||||
|
||||
number，网络训练过程中得到的loss值。
|
||||
|
||||
.. py:method:: check_adasum_enable()
|
||||
|
||||
Adasum算法仅在多卡或者多机场景生效，并且要求卡数符合2的n次方，该函数用来判断adasum算法能否生效。
|
||||
|
||||
**返回：**
|
||||
|
||||
enable_adasum (bool)，Adasum算法是否生效。
|
||||
|
||||
.. py:method:: check_dim_reduce_enable()
|
||||
|
||||
使用降维二阶训练算法训练。
|
||||
|
||||
**返回：**
|
||||
|
||||
enable_dim_reduce (bool)，降维二阶训练算法是否生效。
|
||||
|
||||
.. py:class:: mindspore.boost.GradientFreeze(param_groups, freeze_type, freeze_p, total_steps)
|
||||
|
||||
梯度冻结算法，根据指定策略随机冻结某些层的梯度，来提升网络训练性能。
|
||||
冻结的层数和冻结的概率均可由用户配置。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **param_groups** (Union[tuple, list]) – 梯度冻结训练的权重。
|
||||
- **freeze_type** (int) – 梯度冻结训练的策略。
|
||||
- **freeze_p** (float) – 梯度冻结训练的概率。
|
||||
- **total_steps** (numbers.Number) – 整个训练过程的总的步数。
|
||||
|
||||
.. py:method:: freeze_generate(network, optimizer)
|
||||
|
||||
生成梯度冻结的网络与优化器。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **network** (Cell) – 训练网络。
|
||||
- **optimizer** (Union[Cell]) – 用于更新权重的优化器。
|
||||
|
||||
.. py:method:: generate_freeze_index_sequence(parameter_groups_number, freeze_strategy, freeze_p, total_steps)
|
||||
|
||||
生成梯度冻结每一步需要冻结的层数。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **parameter_groups_number** (numbers.Number) – 梯度冻结训练的权重个数。
|
||||
- **freeze_strategy** (int) – 梯度冻结训练的策略。
|
||||
- **freeze_p** (float) – 梯度冻结训练的概率。
|
||||
- **total_steps** (numbers.Number) – 整个训练过程的总的步数。
|
||||
|
||||
.. py:method:: split_parameters_groups(net, freeze_para_groups_number)
|
||||
|
||||
拆分用于梯度冻结训练的权重。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **net** (Cell) – 训练网络。
|
||||
- **freeze_para_groups_number** (numbers.Number) – 梯度冻结训练的权重个数。
|
||||
|
||||
.. py:class:: mindspore.boost.FreezeOpt(opt, train_parameter_groups=None, train_strategy=None)
|
||||
|
||||
支持梯度冻结训练的优化器。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **opt** (Cell) – 非冻结优化器实例，如*Momentum*，*SGD*。
|
||||
- **train_parameter_groups** (Union[tuple, list]) – 梯度冻结训练的权重。
|
||||
- **train_strategy** (Union[tuple(int), list(int), Tensor]) – 梯度冻结训练的策略。
|
||||
|
||||
.. py:class:: mindspore.boost.GradientAccumulation(max_accumulation_step, optimizer)
|
||||
|
||||
梯度累积算法，在累积多个step的梯度之后，再用来更新网络权重，可以提高训练效率。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **max_accumulation_step** (int) – 累积梯度的步数。
|
||||
- **optimizer** (Cell) – 网络训练使用的优化器。
|
||||
|
||||
.. py:class:: mindspore.boost.LessBN(network, fn_flag=False)
|
||||
|
||||
LessBN算法，可以在不损失网络精度的前提下，自动减少网络中批归一化（Batch Normalization）的数量，来提升网络性能。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **network** (Cell) – 待训练的网络模型。
|
||||
- **fn_flag** (bool) – 是否将网络中最后一个全连接层替换为全归一化层。默认值：False。
|
||||
|
||||
.. automodule:: mindspore.boost
|
||||
:members:
|
||||
:members:
|
||||
|
|
|
|||
|
|
@ -1,6 +1,8 @@
|
|||
mindspore.compression
|
||||
=====================
|
||||
|
||||
Quantization module, including base class of the quantizer, the quantization aware training algorithm, and quantization utils.
|
||||
|
||||
mindspore.compression.quant
|
||||
---------------------------
|
||||
|
||||
|
|
|
|||
|
|
@ -1,5 +1,13 @@
|
|||
mindspore.dataset.config
|
||||
========================
|
||||
|
||||
The configuration module provides various functions to set and get the supported configuration parameters, and read a configuration file.
|
||||
|
||||
Common imported modules in corresponding API examples are as follows:
|
||||
|
||||
.. code-block::
|
||||
|
||||
import mindspore.dataset as ds
|
||||
|
||||
.. automodule:: mindspore.dataset.config
|
||||
:members:
|
||||
|
|
|
|||
|
|
@ -1,7 +1,14 @@
|
|||
mindspore.dataset.text
|
||||
======================
|
||||
|
||||
.. automodule:: mindspore.dataset.text
|
||||
This module is to support text processing for NLP. It includes two parts: transforms and utils. transforms is a high performance NLP text processing module which is developed with ICU4C and cppjieba. utils provides some general methods for NLP text processing.
|
||||
|
||||
Common imported modules in corresponding API examples are as follows:
|
||||
|
||||
.. code-block::
|
||||
|
||||
import mindspore.dataset as ds
|
||||
from mindspore.dataset import text
|
||||
|
||||
mindspore.dataset.text.transforms
|
||||
---------------------------------
|
||||
|
|
|
|||
|
|
@ -1,7 +1,17 @@
|
|||
mindspore.dataset.transforms
|
||||
============================
|
||||
|
||||
.. automodule:: mindspore.dataset.transforms
|
||||
This module is to support common augmentations. C_transforms is a high performance image augmentation module which is developed with C++ OpenCV. Py_transforms provide more kinds of image augmentations which are developed with Python PIL.
|
||||
|
||||
Common imported modules in corresponding API examples are as follows:
|
||||
|
||||
.. code-block::
|
||||
|
||||
import mindspore.dataset as ds
|
||||
import mindspore.dataset.vision.c_transforms as c_vision
|
||||
import mindspore.dataset.vision.py_transforms as py_vision
|
||||
from mindspore.dataset.transforms import c_transforms
|
||||
from mindspore.dataset.transforms import py_transforms
|
||||
|
||||
mindspore.dataset.transforms.c_transforms
|
||||
-----------------------------------------
|
||||
|
|
|
|||
|
|
@ -1,7 +1,15 @@
|
|||
mindspore.dataset.vision
|
||||
===================================
|
||||
|
||||
.. automodule:: mindspore.dataset.vision
|
||||
his module is to support vision augmentations. It includes two parts: c_transforms and py_transforms. C_transforms is a high performance image augmentation module which is developed with c++ opencv. Py_transforms provide more kinds of image augmentations which are developed with Python PIL.
|
||||
|
||||
Common imported modules in corresponding API examples are as follows:
|
||||
|
||||
.. code-block::
|
||||
|
||||
import mindspore.dataset.vision.c_transforms as c_vision
|
||||
import mindspore.dataset.vision.py_transforms as py_vision
|
||||
from mindspore.dataset.transforms import c_transforms
|
||||
|
||||
mindspore.dataset.vision.c_transforms
|
||||
------------------------------------------------
|
||||
|
|
|
|||
|
|
@ -1,5 +1,9 @@
|
|||
mindspore.mindrecord
|
||||
====================
|
||||
|
||||
Introduction of MindRecord.
|
||||
|
||||
MindRecord is a module to implement reading, writing, searching and converting for MindSpore format dataset. Users could use the FileWriter API to generate MindRecord data and use the MindDataset API to load MindRecord data. Users could also convert other format datasets to mindrecord data through corresponding sub-module.
|
||||
|
||||
.. automodule:: mindspore.mindrecord
|
||||
:members:
|
||||
|
|
@ -1,5 +1,8 @@
|
|||
mindspore.nn.transformer
|
||||
========================
|
||||
|
||||
.. note::
|
||||
Transformer Networks. This is an experimental interface that is subject to change or deletion.
|
||||
|
||||
.. automodule:: mindspore.nn.transformer
|
||||
:members:
|
||||
|
|
|
|||
|
|
@ -1,7 +1,24 @@
|
|||
mindspore.numpy
|
||||
===============
|
||||
|
||||
.. automodule:: mindspore.numpy
|
||||
Numpy-like interfaces in mindspore.
|
||||
|
||||
**Examples**
|
||||
|
||||
.. code-block::
|
||||
|
||||
import mindspore.numpy as np
|
||||
|
||||
.. note::
|
||||
array_ops.py defines all the array operation interfaces.
|
||||
|
||||
array_creations.py defines all the array generation interfaces.
|
||||
|
||||
math_ops.py defines all the math operations on tensors.
|
||||
|
||||
logic_ops.py defines all the logical operations on tensors.
|
||||
|
||||
dtypes.py defines all the mindspore.numpy dtypes (mainly redirected from mindspore)
|
||||
|
||||
Array Generation
|
||||
----------------
|
||||
|
|
|
|||
|
|
@ -1,6 +1,14 @@
|
|||
mindspore.ops
|
||||
=============
|
||||
|
||||
可用于Cell的构造函数的算子。
|
||||
|
||||
.. code-block::
|
||||
|
||||
import mindspore.ops as ops
|
||||
|
||||
MindSpore中 `mindspore.ops` 接口与上一版本相比，新增、删除和支持平台的变化信息请参考 `API Updates <https://gitee.com/mindspore/docs/blob/master/resource/api_updates/ops_api_updates.md>`_ 。
|
||||
|
||||
.. include:: operations.rst
|
||||
|
||||
functional
|
||||
|
|
|
|||
|
|
@ -1,5 +1,7 @@
|
|||
mindspore.parallel
|
||||
==================
|
||||
|
||||
Interfaces for parallel-related functionality.
|
||||
|
||||
.. automodule:: mindspore.parallel
|
||||
:members:
|
||||
|
|
|
|||
|
|
@ -1,12 +1,14 @@
|
|||
mindspore.scipy
|
||||
===============
|
||||
|
||||
.. automodule:: mindspore.scipy
|
||||
Scipy-like interfaces in mindspore.
|
||||
|
||||
mindspore.scipy.linalg
|
||||
----------------------
|
||||
|
||||
.. mscnplatformautosummary::
|
||||
Linear algebra submodule.
|
||||
|
||||
.. msplatformautosummary::
|
||||
:toctree: scipy
|
||||
:nosignatures:
|
||||
:template: classtemplate_inherited.rst
|
||||
|
|
@ -20,9 +22,9 @@ mindspore.scipy.linalg
|
|||
mindspore.scipy.optimize
|
||||
------------------------
|
||||
|
||||
.. automodule:: mindspore.scipy.optimize
|
||||
Optimize submodule.
|
||||
|
||||
.. mscnplatformautosummary::
|
||||
.. msplatformautosummary::
|
||||
:toctree: scipy
|
||||
:nosignatures:
|
||||
:template: classtemplate_inherited.rst
|
||||
|
|
@ -33,9 +35,9 @@ mindspore.scipy.optimize
|
|||
mindspore.scipy.sparse.linalg
|
||||
-----------------------------
|
||||
|
||||
.. automodule:: mindspore.scipy.sparse.linalg
|
||||
Sparse linear algebra submodule.
|
||||
|
||||
.. mscnplatformautosummary::
|
||||
.. msplatformautosummary::
|
||||
:toctree: scipy
|
||||
:nosignatures:
|
||||
:template: classtemplate_inherited.rst
|
||||
|
|
|
|||
|
|
@ -1,232 +0,0 @@
|
|||
mindspore.boost
|
||||
==============================
|
||||
|
||||
Boost能够自动加速网络，如减少BN/梯度冻结/累积梯度等。
|
||||
|
||||
注：此特性为测试版本，我们仍在改进其功能。
|
||||
|
||||
.. py:class:: mindspore.boost.AdaSum(rank, device_number, group_number, parameter_tuple)
|
||||
|
||||
Adaptive Summation(AdaSum)是一种优化深度学习模型并行训练的算法，它可以提升不同规模集群训练的精度，减小不同规模集群调参难度。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **network** (Cell) – 训练网络，当前网络只支持单个输出。
|
||||
- **optimizer** (Union[Cell]) – 用于更新权重的优化器。
|
||||
- **sens** (numbers.Number) – 作为反向传播输入要填充的缩放数，默认值为1.0。
|
||||
|
||||
**输入：**
|
||||
|
||||
- **delta_weights** (Tuple(Tensor)) – 梯度tuple。
|
||||
- **parameters** (Tuple(Parameter)) – 当前权重组成的元组。
|
||||
- **old_parameters** (Tuple(Parameter)) – 旧的权重组成的元组。
|
||||
|
||||
**输出：**
|
||||
|
||||
Tuple(Tensor), adasum处理后更新的权重。
|
||||
|
||||
.. py:class:: mindspore.boost.AutoBoost(level="O0", boost_config_dict="")
|
||||
|
||||
MindSpore自动优化算法库。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **level** (str) – Boost的配置级别。
|
||||
- **boost_config_dict** (dict) – 用户可配置的超参字典，建议的格式如下：
|
||||
{
|
||||
"boost": {
|
||||
"mode": "auto",
|
||||
"less_bn": False,
|
||||
"grad_freeze": False,
|
||||
"adasum": False,
|
||||
"grad_accumulation": False,
|
||||
"dim_reduce": False},
|
||||
|
||||
"common": {
|
||||
"gradient_split_groups": [50, 100],
|
||||
"device_number": 8},
|
||||
|
||||
"less_bn": {
|
||||
"fn_flag": True,
|
||||
"gc_flag": True},
|
||||
|
||||
"grad_freeze": {
|
||||
"param_groups": 10,
|
||||
"freeze_type": 1,
|
||||
"freeze_p": 0.7,
|
||||
"total_steps": 65536},
|
||||
|
||||
"grad_accumulation": {
|
||||
"grad_accumulation_step": 1},
|
||||
|
||||
"dim_reduce": {
|
||||
"rho": 0.55,
|
||||
"gamma": 0.9,
|
||||
"alpha": 0.001,
|
||||
"sigma": 0.4,
|
||||
"n_components": 32,
|
||||
"pca_mat_path": None,
|
||||
"weight_load_dir": None,
|
||||
"timeout": 1800}
|
||||
|
||||
}
|
||||
|
||||
**异常：**
|
||||
|
||||
- **Valuerror** – Boost的模式不在["auto", "manual", "enable_all", "disable_all"]这个列表中。
|
||||
|
||||
.. py:method:: network_auto_process_train()
|
||||
|
||||
使用Boost算法训练。
|
||||
|
||||
**返回：**
|
||||
|
||||
network(Cell)，训练网络。
|
||||
optimizer(Union[Cell])，用于更新权重的优化器。
|
||||
|
||||
.. py:method:: network_auto_process_eval()
|
||||
|
||||
使用Boost算法推理。
|
||||
|
||||
**返回：**
|
||||
|
||||
network(Cell)，推理网络。
|
||||
|
||||
.. py:class:: mindspore.boost.BoostTrainOneStepCell(network, optimizer, sens=1.0)
|
||||
|
||||
Boost网络训练封装类,.
|
||||
|
||||
用优化器封装网络，使用输入训练网络来获取结果。反向图在*construct*函数中自动创建，并且支持多种不同的并行模式。
|
||||
|
||||
|
||||
**参数：**
|
||||
|
||||
- **network** (Cell) – 训练网络，当前网络只支持单个输出。
|
||||
- **optimizer** (Union[Cell]) – 用于更新权重的优化器。
|
||||
- **sens** (numbers.Number) – 作为反向传播输入要填充的缩放数，默认值为1.0。
|
||||
|
||||
**输入：**
|
||||
|
||||
- **inputs** (Tuple(Tensor)) – 网络的所有输入组成的元组。
|
||||
|
||||
**输出：**
|
||||
|
||||
loss(Tensor)，标量Tensor。
|
||||
overflow(Tensor)，标量Tensor，类型为bool。
|
||||
loss scaling value(Tensor)，标量Tensor。
|
||||
|
||||
**异常：**
|
||||
|
||||
- **Typerror** – 如果*sens*不是一个数字。
|
||||
|
||||
.. py:method:: gradient_freeze_process(*inputs)
|
||||
|
||||
使用梯度冻结算法训练。
|
||||
|
||||
**返回：**
|
||||
|
||||
number，网络训练过程中得到的loss值。
|
||||
|
||||
.. py:method:: gradient_accumulation_process(loss, grads, sens, *inputs)
|
||||
|
||||
使用梯度累积算法训练。
|
||||
|
||||
**返回：**
|
||||
|
||||
number，网络训练过程中得到的loss值。
|
||||
|
||||
.. py:method:: adasum_process(loss, grads)
|
||||
|
||||
使用Adasum算法训练。
|
||||
|
||||
**返回：**
|
||||
|
||||
number，网络训练过程中得到的loss值。
|
||||
|
||||
.. py:method:: check_adasum_enable()
|
||||
|
||||
Adasum算法仅在多卡或者多机场景生效，并且要求卡数符合2的n次方，该函数用来判断adasum算法能否生效。
|
||||
|
||||
**返回：**
|
||||
|
||||
enable_adasum(bool)，Adasum算法是否生效。
|
||||
|
||||
.. py:method:: check_dim_reduce_enable()
|
||||
|
||||
使用降维二阶训练算法训练。
|
||||
|
||||
**返回：**
|
||||
|
||||
enable_dim_reduce(bool)，降维二阶训练算法是否生效。
|
||||
|
||||
.. py:class:: mindspore.boost.GradientFreeze(param_groups, freeze_type, freeze_p, total_steps)
|
||||
|
||||
梯度冻结算法，根据指定策略随机冻结某些层的梯度，来提升网络训练性能。
|
||||
冻结的层数和冻结的概率均可由用户配置。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **param_groups** (Union[tuple, list]) – 梯度冻结训练的权重。
|
||||
- **freeze_type** (int) – 梯度冻结训练的策略。
|
||||
- **freeze_p** (float) – 梯度冻结训练的概率。
|
||||
- **total_steps** (numbers.Number) – 整个训练过程的总的步数。
|
||||
|
||||
.. py:method:: freeze_generate(network, optimizer)
|
||||
|
||||
生成梯度冻结的网络与优化器。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **network** (Cell) – 训练网络。
|
||||
- **optimizer** (Union[Cell]) – 用于更新权重的优化器。
|
||||
|
||||
.. py:method:: generate_freeze_index_sequence(parameter_groups_number, freeze_strategy, freeze_p, total_steps)
|
||||
|
||||
生成梯度冻结每一步需要冻结的层数。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **parameter_groups_number** (numbers.Number) – 梯度冻结训练的权重个数。
|
||||
- **freeze_strategy** (int) – 梯度冻结训练的策略。
|
||||
- **freeze_p** (float) – 梯度冻结训练的概率。
|
||||
- **total_steps** (numbers.Number) – 整个训练过程的总的步数。
|
||||
|
||||
.. py:method:: split_parameters_groups(net, freeze_para_groups_number)
|
||||
|
||||
拆分用于梯度冻结训练的权重。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **net** (Cell) – 训练网络。
|
||||
- **freeze_para_groups_number** (numbers.Number) – 梯度冻结训练的权重个数。
|
||||
|
||||
.. py:class:: mindspore.boost.FreezeOpt(opt, train_parameter_groups=None, train_strategy=None)
|
||||
|
||||
支持梯度冻结训练的优化器。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **opt** (Cell) – 非冻结优化器实例，如*Momentum*，*SGD*。
|
||||
- **train_parameter_groups** (Union[tuple, list]) – 梯度冻结训练的权重。
|
||||
- **train_strategy** (Union[tuple(int), list(int), Tensor]) – 梯度冻结训练的策略。
|
||||
|
||||
.. py:class:: mindspore.boost.GradientAccumulation(max_accumulation_step, optimizer)
|
||||
|
||||
梯度累积算法，在累积多个step的梯度之后，再用来更新网络权重，可以提高训练效率。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **max_accumulation_step** (int) – 累积梯度的步数。
|
||||
- **optimizer** (Cell) – 网络训练使用的优化器。
|
||||
|
||||
.. py:class:: mindspore.boost.LessBN(network, fn_flag=False)
|
||||
|
||||
LessBN算法，可以在不损失网络精度的前提下，自动减少网络中批归一化（Batch Normalization）的数量，来提升网络性能。
|
||||
|
||||
**参数：**
|
||||
|
||||
- **network** (Cell) – 待训练的网络模型。
|
||||
- **fn_flag** (bool) – 是否将网络中最后一个全连接层替换为全归一化层。默认值：False。
|
||||
|
||||
.. automodule:: mindspore.boost
|
||||
:members:
|
||||
|
|
@ -40,7 +40,7 @@ mindspore.dtype
|
|||
============================ =================
|
||||
类型 描述
|
||||
============================ =================
|
||||
``Tensor`` MindSpore中的张量类型。数据格式采用NCHW。详情请参考 `tensor <https://www.gitee.com/mindspore/mindspore/blob/master/mindspore/python/mindspore/common/tensor.py>_` 。
|
||||
``Tensor`` MindSpore中的张量类型。数据格式采用NCHW。详情请参考 `tensor <https://www.gitee.com/mindspore/mindspore/blob/master/mindspore/python/mindspore/common/tensor.py>`_ 。
|
||||
``bool_`` 布尔型，值为 ``True`` 或者 ``False`` 。
|
||||
``int_`` 整数标量。
|
||||
``uint`` 无符号整数标量。
|
||||
|
|
|
|||
Loading…
Reference in New Issue