forked from mindspore-Ecosystem/mindspore
!41089 modify the inconsistence in files 0829
Merge pull request !41089 from 宦晓玲/code_docs_0829
This commit is contained in:
Gitee
commit
5fedef5a83
|
|
@ -3,7 +3,7 @@ mindspore.dataset.transforms.Concatenate
|
|||
|
||||
.. py:class:: mindspore.dataset.transforms.Concatenate(axis=0, prepend=None, append=None)
|
||||
|
||||
在Tensor的某一个轴上进行元素拼接。目前仅支持拼接形状为1D的Tensor。
|
||||
在Tensor的某一个轴上进行元素拼接，目前仅支持拼接形状为1D的Tensor。
|
||||
|
||||
参数：
|
||||
- **axis** (int, 可选) - 指定一个轴用于拼接Tensor，默认值：0。
|
||||
|
|
|
|||
|
|
@ -3,7 +3,7 @@ mindspore.dataset.transforms.Fill
|
|||
|
||||
.. py:class:: mindspore.dataset.transforms.Fill(fill_value)
|
||||
|
||||
将Tensor的所有元素都赋值为指定的值，输出Tensor将与输入Tensor具有与具有相同的shape和数据类型。
|
||||
将Tensor的所有元素都赋值为指定的值。输出Tensor将与输入Tensor具有与具有相同的shape和数据类型。
|
||||
|
||||
参数：
|
||||
- **fill_value** (Union[str, bytes, int, float, bool]) - 用于填充Tensor的值。
|
||||
|
|
|
|||
|
|
@ -3,7 +3,7 @@ mindspore.dataset.transforms.Relational
|
|||
|
||||
.. py:class:: mindspore.dataset.transforms.Relational
|
||||
|
||||
关系操作符，可以取值为Relational.EQ、Relational.NE、Relational.GT、Relational.GE、Relational.LT、Relational.LE。
|
||||
关系操作符。可以取值为Relational.EQ、Relational.NE、Relational.GT、Relational.GE、Relational.LT、Relational.LE。
|
||||
|
||||
- **Relational.EQ** - 相等关系。
|
||||
- **Relational.NE** - 不相等关系。
|
||||
|
|
|
|||
|
|
@ -3,7 +3,7 @@ mindspore.dataset.transforms.Slice
|
|||
|
||||
.. py:class:: mindspore.dataset.transforms.Slice(*slices)
|
||||
|
||||
对Tensor进行切片操作，功能类似于NumPy的索引(目前只支持1D形状的Tensor)。
|
||||
使用给定的slices，对Tensor进行切片操作。功能类似于NumPy的索引(目前只支持1D形状的Tensor)。
|
||||
|
||||
参数：
|
||||
- **slices** ((Union[int, list[int], slice, None, Ellipsis]) - 指定切片的信息，可以为
|
||||
|
|
|
|||
|
|
@ -80,7 +80,7 @@ mindspore.COOTensor
|
|||
.. py:method:: dtype
|
||||
:property:
|
||||
|
||||
返回稀疏矩阵非零元素值数据类型。
|
||||
返回COOTensor数据类型（:class:`mindspore.dtype`）。
|
||||
|
||||
.. py:method:: indices
|
||||
:property:
|
||||
|
|
|
|||
|
|
@ -60,7 +60,7 @@ mindspore.CSRTensor
|
|||
.. py:method:: dtype
|
||||
:property:
|
||||
|
||||
返回稀疏矩阵非零元素值数据类型。
|
||||
返回稀疏矩阵非零元素值数据类型（:class:`mindspore.dtype`）。
|
||||
|
||||
.. py:method:: indices
|
||||
:property:
|
||||
|
|
@ -77,20 +77,6 @@ mindspore.CSRTensor
|
|||
|
||||
返回每个非零元素所占字节数。
|
||||
|
||||
.. py:method:: mv(dense_vector)
|
||||
|
||||
返回CSRTensor右乘稠密矩阵的矩阵乘法运算结果。
|
||||
形状为 `[M, N]` 的CSRTensor，需要适配形状为 `[N, 1]` 的稠密向量，得到结果为 `[M, 1]` 的稠密向量。
|
||||
|
||||
.. note::
|
||||
如果运行后端是CPU，那么仅支持在安装了LLVM12.0.1的机器运行。
|
||||
|
||||
参数：
|
||||
- **dense_vector** (Tensor) - 形状为 `[N，1]` 的二维张量，其中N等于CSRTensor的列数。
|
||||
|
||||
返回：
|
||||
Tensor。
|
||||
|
||||
.. py:method:: mm(dense_matrix)
|
||||
|
||||
返回CSRTensor右乘稠密矩阵的矩阵乘法运算结果。
|
||||
|
|
@ -105,6 +91,20 @@ mindspore.CSRTensor
|
|||
返回：
|
||||
Tensor。
|
||||
|
||||
.. py:method:: mv(dense_vector)
|
||||
|
||||
返回CSRTensor右乘稠密矩阵的矩阵乘法运算结果。
|
||||
形状为 `[M, N]` 的CSRTensor，需要适配形状为 `[N, 1]` 的稠密向量，得到结果为 `[M, 1]` 的稠密向量。
|
||||
|
||||
.. note::
|
||||
如果运行后端是CPU，那么仅支持在安装了LLVM12.0.1的机器运行。
|
||||
|
||||
参数：
|
||||
- **dense_vector** (Tensor) - 形状为 `[N，1]` 的二维张量，其中N等于CSRTensor的列数。
|
||||
|
||||
返回：
|
||||
Tensor。
|
||||
|
||||
.. py:method:: ndim
|
||||
:property:
|
||||
|
||||
|
|
|
|||
|
|
@ -9,7 +9,7 @@ mindspore.Callback
|
|||
Callback类的每个方法对应了训练或推理过程的不同阶段，这些方法有相同的入参 `run_context`，用于保存训练或推理过程中模型的相关信息。定义Callback子类或自定义Callback时，请根据需要重写名称前缀为"on_train"或"on_eval"的方法，否则自定义的Callback在 `model.fit` 中使用时会产生错误。
|
||||
|
||||
自定义Callback场景下，在类方法中通过 `RunContext.original_args()` 方法可以获取模型训练或推理过程中已有
|
||||
的上下文信息，此信息为一个存储了已有属性的字典型变量；用户也可以在此信息中添加其他的自定义属性；此外，
|
||||
的上下文信息，此信息为一个存储了已有属性的字典型变量。用户也可以在此信息中添加其他的自定义属性。此外，
|
||||
通过调用 `request_stop` 方法来停止训练过程。有关自定义Callback的具体用法，请查看
|
||||
`Callback <https://www.mindspore.cn/tutorials/experts/zh-CN/master/debug/custom_debug.html>`_。
|
||||
|
||||
|
|
@ -41,16 +41,44 @@ mindspore.Callback
|
|||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的一些基本信息。
|
||||
|
||||
.. py:method:: step_begin(run_context)
|
||||
.. py:method:: on_eval_begin(run_context)
|
||||
|
||||
在每个step开始之前被调用。与 `on_train_step_begin` 和 `on_eval_step_begin` 方法具有兼容性。
|
||||
在网络执行推理之前调用。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的一些基本信息。
|
||||
|
||||
.. py:method:: step_end(run_context)
|
||||
.. py:method:: on_eval_end(run_context)
|
||||
|
||||
在每个step完成后被调用。与 `on_train_step_end` 和 `on_eval_step_end` 方法具有兼容性。
|
||||
网络执行推理之后调用。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的一些基本信息。
|
||||
|
||||
.. py:method:: on_eval_epoch_begin(run_context)
|
||||
|
||||
在推理的epoch开始之前被调用。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的一些基本信息。
|
||||
|
||||
.. py:method:: on_eval_epoch_end(run_context)
|
||||
|
||||
在推理的epoch结束后被调用。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的一些基本信息。
|
||||
|
||||
.. py:method:: on_eval_step_begin(run_context)
|
||||
|
||||
在推理的每个step开始之前被调用。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的一些基本信息。
|
||||
|
||||
.. py:method:: on_eval_step_end(run_context)
|
||||
|
||||
在推理的每个step完成后被调用。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的一些基本信息。
|
||||
|
|
@ -97,44 +125,16 @@ mindspore.Callback
|
|||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的一些基本信息。
|
||||
|
||||
.. py:method:: on_eval_begin(run_context)
|
||||
.. py:method:: step_begin(run_context)
|
||||
|
||||
在网络执行推理之前调用。
|
||||
在每个step开始之前被调用。与 `on_train_step_begin` 和 `on_eval_step_begin` 方法具有兼容性。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的一些基本信息。
|
||||
|
||||
.. py:method:: on_eval_end(run_context)
|
||||
.. py:method:: step_end(run_context)
|
||||
|
||||
网络执行推理之后调用。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的一些基本信息。
|
||||
|
||||
.. py:method:: on_eval_epoch_begin(run_context)
|
||||
|
||||
在推理的epoch开始之前被调用。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的一些基本信息。
|
||||
|
||||
.. py:method:: on_eval_epoch_end(run_context)
|
||||
|
||||
在推理的epoch结束后被调用。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的一些基本信息。
|
||||
|
||||
.. py:method:: on_eval_step_begin(run_context)
|
||||
|
||||
在推理的每个step开始之前被调用。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的一些基本信息。
|
||||
|
||||
.. py:method:: on_eval_step_end(run_context)
|
||||
|
||||
在推理的每个step完成后被调用。
|
||||
在每个step完成后被调用。与 `on_train_step_end` 和 `on_eval_step_end` 方法具有兼容性。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的一些基本信息。
|
||||
|
|
|
|||
|
|
@ -26,7 +26,7 @@ mindspore.DynamicLossScaleManager
|
|||
|
||||
.. py:method:: get_update_cell()
|
||||
|
||||
返回用于更新梯度放大系数的 `Cell` 实例，:class:`mindspore.nn.TrainOneStepWithLossScaleCell` 会调用该实例。
|
||||
返回用于更新梯度放大系数的 :class:`mindspore.nn.Cell` 实例，:class:`mindspore.nn.TrainOneStepWithLossScaleCell` 会调用该实例。
|
||||
|
||||
返回：
|
||||
:class:`mindspore.nn.DynamicLossScaleUpdateCell` 实例，用于更新梯度放大系数。
|
||||
|
|
|
|||
|
|
@ -5,7 +5,7 @@ mindspore.EarlyStopping
|
|||
|
||||
当监控的指标停止改进时停止训练。
|
||||
|
||||
假设 `monitor` 是"accuracy"，那么，`mode` 将为"max"，因为训练的目标是准确率的提高，`model.fit()` 边训练边验证场景下，将记录 `monitor` 的变化，当在 `patience` 个epoch范围内指标效果变好的程度没有超过 `min_delta` 时，将调用 `run_context.request_stop()` 方法来终止训练。
|
||||
假设 `monitor` 是"accuracy"，那么，`mode` 将为"max"，因为训练的目标是准确率的提高，`model.fit()` 边训练边验证场景下，将记录 `monitor` 的变化。当在 `patience` 个epoch范围内指标效果变好的程度没有超过 `min_delta` 时，将调用 `run_context.request_stop()` 方法来终止训练。
|
||||
|
||||
参数：
|
||||
- **monitor** (str) - 监控指标。如果是边训练边推理场景，合法的monitor配置值可以为"loss", "eval_loss"以及实例化 `Model` 时传入的metric名称；如果在训练时不做推理，合法的monitor配置值为"loss"。当monitor为"loss"时，如果训练网络有多个输出，默认取第一个值为训练损失值。默认值："eval_loss"。
|
||||
|
|
@ -27,6 +27,13 @@ mindspore.EarlyStopping
|
|||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的相关信息。详情请参考 :class:`mindspore.RunContext`。
|
||||
|
||||
.. py:method:: on_train_end(run_context)
|
||||
|
||||
打印是第几个epoch执行早停。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的相关信息。详情请参考 :class:`mindspore.RunContext`。
|
||||
|
||||
.. py:method:: on_train_epoch_end(run_context)
|
||||
|
||||
训练过程中，若监控指标在等待 `patience` 个epoch后仍没有改善，则停止训练。
|
||||
|
|
@ -34,9 +41,3 @@ mindspore.EarlyStopping
|
|||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的相关信息。详情请参考 :class:`mindspore.RunContext`。
|
||||
|
||||
.. py:method:: on_train_end(run_context)
|
||||
|
||||
打印是第几个epoch执行早停。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的相关信息。详情请参考 :class:`mindspore.RunContext`。
|
||||
|
|
|
|||
|
|
@ -25,7 +25,7 @@ mindspore.FixedLossScaleManager
|
|||
|
||||
.. py:method:: get_update_cell()
|
||||
|
||||
返回用于更新 `loss_scale` 值的 `Cell` 实例， :class:`mindspore.nn.TrainOneStepWithLossScaleCell` 会调用该实例。该类使用固定的梯度放大系数，因此该实例不执行任何操作。
|
||||
返回用于更新 `loss_scale` 值的 :class:`mindspore.nn.Cell` 实例， :class:`mindspore.nn.TrainOneStepWithLossScaleCell` 会调用该实例。该类使用固定的梯度放大系数，因此该实例不执行任何操作。
|
||||
|
||||
返回：
|
||||
None或 `Cell` 。当 `drop_overflow_update` 为True时，返回 :class:`mindspore.nn.FixedLossScaleUpdateCell` 实例，当 `drop_overflow_update` 为False时，返回None。
|
||||
|
|
|
|||
|
|
@ -16,16 +16,16 @@ mindspore.LossMonitor
|
|||
异常：
|
||||
- **ValueError** - 当 `per_print_times` 不是整数或小于零。
|
||||
|
||||
.. py:method:: step_end(run_context)
|
||||
|
||||
step结束时打印训练loss。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的相关信息。详情请参考 :class:`mindspore.RunContext`。
|
||||
|
||||
.. py:method:: on_train_epoch_end(run_context)
|
||||
|
||||
LossMoniter用于 `model.fit`，即边训练边推理场景时，打印训练的loss和当前epoch推理的metrics。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的相关信息。详情请参考 :class:`mindspore.RunContext`。
|
||||
|
||||
.. py:method:: step_end(run_context)
|
||||
|
||||
step结束时打印训练loss。
|
||||
|
||||
参数：
|
||||
- **run_context** (RunContext) - 包含模型的相关信息。详情请参考 :class:`mindspore.RunContext`。
|
||||
|
|
|
|||
|
|
@ -5,7 +5,7 @@ mindspore.LossScaleManager
|
|||
|
||||
使用混合精度时，用于管理损失缩放系数（loss scale）的抽象类。
|
||||
|
||||
派生类需要实现该类的所有方法。 `get_loss_scale` 用于获取当前的梯度放大系数。 `update_loss_scale` 用于更新梯度放大系数，该方法将在训练过程中被调用。 `get_update_cell` 用于获取更新梯度放大系数的 `Cell` 实例，该实例将在训练过程中被调用。当前多使用 `get_update_cell` 方式。
|
||||
派生类需要实现该类的所有方法。 `get_loss_scale` 用于获取当前的梯度放大系数。 `update_loss_scale` 用于更新梯度放大系数，该方法将在训练过程中被调用。 `get_update_cell` 用于获取更新梯度放大系数的 :class:`mindspore.nn.Cell` 实例，该实例将在训练过程中被调用。当前多使用 `get_update_cell` 方式。
|
||||
|
||||
例如：:class:`mindspore.FixedLossScaleManager` 和 :class:`mindspore.DynamicLossScaleManager` 。
|
||||
|
||||
|
|
@ -15,7 +15,7 @@ mindspore.LossScaleManager
|
|||
|
||||
.. py:method:: get_update_cell()
|
||||
|
||||
获取用于更新梯度放大系数的Cell实例。
|
||||
获取用于更新梯度放大系数的 :class:`mindspore.nn.Cell` 实例。
|
||||
|
||||
.. py:method:: update_loss_scale(overflow)
|
||||
|
||||
|
|
|
|||
|
|
@ -77,9 +77,28 @@
|
|||
返回：
|
||||
评估网络实例。
|
||||
|
||||
.. py:method:: fit(epoch, train_dataset, valid_dataset=None, valid_frequency=1, callbacks=None, dataset_sink_mode=True, valid_dataset_sink_mode=True, sink_size=-1, initial_epoch=0)
|
||||
|
||||
模型边训练边推理接口。
|
||||
|
||||
如果 `valid_dataset` 不为None，在训练过程中同时执行推理。
|
||||
|
||||
更多详细信息请参考 `mindspore.Model.train` 和 `mindspore.Model.eval`。
|
||||
|
||||
参数：
|
||||
- **epoch** (int) - 训练执行轮次。通常每个epoch都会使用全量数据集进行训练。当 `dataset_sink_mode` 设置为True且 `sink_size` 大于零时，则每个epoch训练次数为 `sink_size` 而不是数据集的总步数。如果 `epoch` 与 `initial_epoch` 一起使用，它表示训练的最后一个 `epoch` 是多少。
|
||||
- **train_dataset** (Dataset) - 训练数据集迭代器。如果定义了 `loss_fn` ，则数据和标签会被分别传给 `network` 和 `loss_fn` ，此时数据集需要返回一个元组（data, label）。如果数据集中有多个数据或者标签，可以设置 `loss_fn` 为None，并在 `network` 中实现损失函数计算，此时数据集返回的所有数据组成的元组（data1, data2, data3, ...）会传给 `network` 。
|
||||
- **valid_dataset** (Dataset) - 评估模型的数据集迭代器。默认值：None。
|
||||
- **valid_frequency** (int, list) - 此参数只有在valid_dataset不为None时生效。如果为int类型，表示执行推理的频率，例如 `valid_frequency=2`，则每2个训练epoch执行一次推理；如果为list类型，指明在哪几个epoch时执行推理，例如 `valid_frequency=[1, 5]`，则在第1个和第5个epoch执行推理。默认值：1。
|
||||
- **callbacks** (Optional[list[Callback], Callback]) - 训练过程中需要执行的回调对象或者回调对象列表。默认值：None。
|
||||
- **dataset_sink_mode** (bool) - 训练数据是否直接下沉至处理器进行处理。使用PYNATIVE_MODE模式或CPU处理器时，模型训练流程将以非下沉模式执行。默认值：True。
|
||||
- **valid_dataset_sink_mode** (bool) - 推理数据是否直接下沉至处理器进行处理。默认值：True。
|
||||
- **sink_size** (int) - 控制每次数据下沉的数据量。`dataset_sink_mode` 为False时 `sink_size` 无效。如果sink_size=-1，则每一次epoch下沉完整数据集。如果sink_size>0，则每一次epoch下沉数据量为sink_size的数据集。默认值：-1。
|
||||
- **initial_epoch** (int) - 从哪个epoch开始训练，一般用于中断恢复训练场景。
|
||||
|
||||
.. py:method:: infer_predict_layout(*predict_data)
|
||||
|
||||
在 `AUTO_PARALLEL` 或 `SEMI_AUTO_PARALLEL` 模式下为预测网络生成参数layout，数据可以是单个或多个张量。
|
||||
在 `AUTO_PARALLEL` 或 `SEMI_AUTO_PARALLEL` 模式下为预测网络生成参数layout。数据可以是单个或多个张量。
|
||||
|
||||
.. note:: 同一批次数据应放在一个张量中。
|
||||
|
||||
|
|
@ -94,7 +113,7 @@
|
|||
|
||||
.. py:method:: infer_train_layout(train_dataset, dataset_sink_mode=True, sink_size=-1)
|
||||
|
||||
在 `AUTO_PARALLEL` 或 `SEMI_AUTO_PARALLEL` 模式下为训练网络生成参数layout，当前仅支持在数据下沉模式下使用。
|
||||
在 `AUTO_PARALLEL` 或 `SEMI_AUTO_PARALLEL` 模式下为训练网络生成参数layout。当前仅支持在数据下沉模式下使用。
|
||||
|
||||
.. warning:: 这是一个实验性的原型，可能会被改变或删除。
|
||||
|
||||
|
|
@ -147,23 +166,6 @@
|
|||
- **sink_size** (int) - 控制每次数据下沉的数据量。`dataset_sink_mode` 为False时 `sink_size` 无效。如果sink_size=-1，则每一次epoch下沉完整数据集。如果sink_size>0，则每一次epoch下沉数据量为sink_size的数据集。默认值：-1。
|
||||
- **initial_epoch** (int) - 从哪个epoch开始训练，一般用于中断恢复训练场景。
|
||||
|
||||
.. py:method:: fit(epoch, train_dataset, valid_dataset=None, valid_frequency=1, callbacks=None, dataset_sink_mode=True, valid_dataset_sink_mode=True, sink_size=-1, initial_epoch=0)
|
||||
|
||||
模型边训练边推理接口。
|
||||
|
||||
如果 `valid_dataset` 不为None，在训练过程中同时执行推理。更多详细信息请参考 `mindspore.Model.model.train`。
|
||||
|
||||
参数：
|
||||
- **epoch** (int) - 训练执行轮次。通常每个epoch都会使用全量数据集进行训练。当 `dataset_sink_mode` 设置为True且 `sink_size` 大于零时，则每个epoch训练次数为 `sink_size` 而不是数据集的总步数。如果 `epoch` 与 `initial_epoch` 一起使用，它表示训练的最后一个 `epoch` 是多少。
|
||||
- **train_dataset** (Dataset) - 训练数据集迭代器。如果定义了 `loss_fn` ，则数据和标签会被分别传给 `network` 和 `loss_fn` ，此时数据集需要返回一个元组（data, label）。如果数据集中有多个数据或者标签，可以设置 `loss_fn` 为None，并在 `network` 中实现损失函数计算，此时数据集返回的所有数据组成的元组（data1, data2, data3, ...）会传给 `network` 。
|
||||
- **valid_dataset** (Dataset) - 评估模型的数据集迭代器。默认值：None。
|
||||
- **valid_frequency** (int, list) - 此参数只有在valid_dataset不为None时生效。如果为int类型，表示执行推理的频率，例如 `valid_frequency=2`，则每2个训练epoch执行一次推理；如果为list类型，指明在哪几个epoch时执行推理，例如 `valid_frequency=[1, 5]`，则在第1个和第5个epoch执行推理。默认值：1。
|
||||
- **callbacks** (Optional[list[Callback], Callback]) - 训练过程中需要执行的回调对象或者回调对象列表。默认值：None。
|
||||
- **dataset_sink_mode** (bool) - 训练数据是否直接下沉至处理器进行处理。使用PYNATIVE_MODE模式或CPU处理器时，模型训练流程将以非下沉模式执行。默认值：True。
|
||||
- **valid_dataset_sink_mode** (bool) - 推理数据是否直接下沉至处理器进行处理。默认值：True。
|
||||
- **sink_size** (int) - 控制每次数据下沉的数据量。`dataset_sink_mode` 为False时 `sink_size` 无效。如果sink_size=-1，则每一次epoch下沉完整数据集。如果sink_size>0，则每一次epoch下沉数据量为sink_size的数据集。默认值：-1。
|
||||
- **initial_epoch** (int) - 从哪个epoch开始训练，一般用于中断恢复训练场景。
|
||||
|
||||
.. py:method:: train_network
|
||||
:property:
|
||||
|
||||
|
|
|
|||
|
|
@ -12,3 +12,5 @@ mindspore.ParallelMode
|
|||
- HYBRID_PARALLEL：手动实现数据并行和模型并行。
|
||||
- SEMI_AUTO_PARALLEL：半自动并行模式。
|
||||
- AUTO_PARALLEL：自动并行模式。
|
||||
|
||||
MODE_LIST：所有支持的并行模式列表。
|
||||
|
|
@ -5,7 +5,7 @@ mindspore.ReduceLROnPlateau
|
|||
|
||||
当 `monitor` 停止改进时降低学习率。
|
||||
|
||||
模型通常受益于学习率的改变，此回调监控训练过程，当在 `patience` 个epoch范围内指标效果变好的程度没有超过 `min_delta` 时，根据 `factor` 的设置值降低学习率。
|
||||
一旦学习停止，模型通常受益于降低2-10倍的学习率。此回调监控训练过程，当在 `patience` 个epoch范围内指标效果没有变好时，学习率就会降低。
|
||||
|
||||
.. note::
|
||||
暂不支持分组学习率场景。
|
||||
|
|
|
|||
|
|
@ -31,6 +31,11 @@ mindspore.RowTensor
|
|||
返回：
|
||||
RowTensor，由 `indices` 、 `values` 和 `dense_shape` 组成。
|
||||
|
||||
.. py:method:: dense_shape
|
||||
:property:
|
||||
|
||||
返回稀疏矩阵的稠密形状。
|
||||
|
||||
.. py:method:: indices
|
||||
:property:
|
||||
|
||||
|
|
@ -40,8 +45,3 @@ mindspore.RowTensor
|
|||
:property:
|
||||
|
||||
返回RowTensor的非零元素值。
|
||||
|
||||
.. py:method:: dense_shape
|
||||
:property:
|
||||
|
||||
返回稀疏矩阵的稠密形状。
|
||||
|
|
@ -3,15 +3,13 @@ mindspore.RunContext
|
|||
|
||||
.. py:class:: mindspore.RunContext(original_args)
|
||||
|
||||
|
||||
保存和管理模型的相关信息。
|
||||
|
||||
`RunContext` 主要用于收集训练或推理过程中模型的上下文相关信息并作为入参传入callback对象中来实现信息的共享。
|
||||
|
||||
Callback的类方法中，调用 `RunContext.original_args()` 可以获取模型当前的上下文信息，用户也可以为此信息添加额外的自定义属性，同时 `request_stop()` 方法可以控制训练过程的停止。具体用法请查看 `Callback <https://www.mindspore.cn/tutorials/experts/zh-CN/master/debug/custom_debug.html>`_。
|
||||
|
||||
|
||||
`RunContext.original_args()` 存储的模型信息为一个字典型变量，在训练和推理过程会存储不同的属性，详情如下：
|
||||
`RunContext.original_args()` 存储的模型信息为一个字典型变量，在训练和推理过程会存储不同的属性。详情如下：
|
||||
|
||||
+--------------------------+------------------------+---------------------------------------+
|
||||
| 训练过程支持的属性 | 推理过程支持的属性 | 说明 |
|
||||
|
|
|
|||
|
|
@ -5,7 +5,7 @@ mindspore.dtype
|
|||
|
||||
创建一个MindSpore数据类型的对象。
|
||||
|
||||
`dtype` 的实际路径为 `/mindspore/common/dtype.py` ，运行以下命令导入环境：
|
||||
`dtype` 的实际路径为 `/mindspore/common/dtype.py` 。运行以下命令导入环境：
|
||||
|
||||
.. code-block::
|
||||
|
||||
|
|
@ -13,7 +13,7 @@ mindspore.dtype
|
|||
|
||||
- **数值型**
|
||||
|
||||
目前，MindSpore支持 ``Int``，``Uint`` 和 ``Float`` 数据类型，详情请参照以下表格。
|
||||
目前，MindSpore支持 ``Int``，``Uint`` 和 ``Float`` 数据类型。详情请参照以下表格。
|
||||
|
||||
============================================== =============================
|
||||
定义 描述
|
||||
|
|
|
|||
|
|
@ -5,7 +5,7 @@ mindspore.nn.BiDense
|
|||
|
||||
双线性全连接层。
|
||||
|
||||
公式如下：
|
||||
两个输入的密集连接层。公式如下：
|
||||
|
||||
.. math::
|
||||
y = x_1^T A x_2 + b,
|
||||
|
|
|
|||
|
|
@ -156,7 +156,7 @@
|
|||
|
||||
.. py:method:: get_flags()
|
||||
|
||||
获取该Cell的自定义属性。自定义属性通过 `add_flags` 方法添加。
|
||||
获取该Cell的自定义属性，自定义属性通过 `add_flags` 方法添加。
|
||||
|
||||
.. py:method:: get_func_graph_proto()
|
||||
|
||||
|
|
@ -176,6 +176,8 @@
|
|||
|
||||
返回Cell中parameter的迭代器。
|
||||
|
||||
获取Cell的参数。如果 `expand` 为true，获取此cell和所有subcells的参数。
|
||||
|
||||
参数：
|
||||
- **expand** (bool) - 如果为True，则递归地获取当前Cell和所有子Cell的parameter。否则，只生成当前Cell的子Cell的parameter。默认值：True。
|
||||
|
||||
|
|
@ -406,21 +408,6 @@
|
|||
|
||||
.. note:: 如果一个Cell需要使用自动并行或半自动并行模式来进行训练、评估或预测，则该Cell需要调用此接口。
|
||||
|
||||
.. py:method:: set_jit_config(jit_config)
|
||||
|
||||
为Cell设置编译时所使用的JitConfig配置项。
|
||||
|
||||
参数：
|
||||
- **jit_config** (JitConfig) - Cell的Jit配置信息。目前支持下面两个配置项。
|
||||
|
||||
- **jit_level** (str) - 用于设置优化图的'level'参数。 取值范围['O0'、'O1'、'O2']。默认值：'O1'。
|
||||
|
||||
- O0：基本优化。
|
||||
- O1：手动优化。
|
||||
- O2：手动优化和图算融合。
|
||||
|
||||
- **task_sink** (bool) - 是否通过数据集方式传递数据。默认值：True。
|
||||
|
||||
.. py:method:: set_boost(boost_type)
|
||||
|
||||
为了提升网络性能，可以配置boost内的算法让框架自动使能该算法来加速网络训练。
|
||||
|
|
@ -483,6 +470,21 @@
|
|||
.. note::
|
||||
这是一个实验接口，可能会被更改或者删除。
|
||||
|
||||
.. py:method:: set_jit_config(jit_config)
|
||||
|
||||
为Cell设置编译时所使用的JitConfig配置项。
|
||||
|
||||
参数：
|
||||
- **jit_config** (JitConfig) - Cell的Jit配置信息。目前支持下面两个配置项。
|
||||
|
||||
- **jit_level** (str) - 用于设置优化图的'level'参数。 取值范围['O0'、'O1'、'O2']。默认值：'O1'。
|
||||
|
||||
- O0：基本优化。
|
||||
- O1：手动优化。
|
||||
- O2：手动优化和图算融合。
|
||||
|
||||
- **task_sink** (bool) - 是否通过数据集方式传递数据。默认值：True。
|
||||
|
||||
.. py:method:: set_parallel_input_with_inputs(*inputs)
|
||||
|
||||
通过并行策略对输入张量进行切分。
|
||||
|
|
@ -524,7 +526,7 @@
|
|||
.. py:method:: shard(in_strategy, out_strategy, device="Ascend", level=0)
|
||||
|
||||
指定输入/输出Tensor的分布策略，其余算子的策略推导得到。在PyNative模式下，可以利用此方法指定某个Cell以图模式进行分布式执行。 in_strategy/out_strategy需要为元组类型，
|
||||
其中的每一个元素指定对应的输入/输出的Tensor分布策略，可参考： `mindspore.ops.Primitive.shard` 的描述，也可以设置为None，会默认以数据并行执行。
|
||||
其中的每一个元素指定对应的输入/输出的Tensor分布策略，可参考： `mindspore.ops.Primitive.shard` 的描述。也可以设置为None，会默认以数据并行执行。
|
||||
其余算子的并行策略由输入输出指定的策略推导得到。
|
||||
|
||||
.. note:: 需设置为PyNative模式，并且ParallelMode.AUTO_PARALLEL，同时设置 `set_auto_parallel_context` 中的搜索模式(search mode)为"sharding_propagation"。
|
||||
|
|
|
|||
|
|
@ -6,7 +6,6 @@ mindspore.nn.FTRL
|
|||
|
||||
FTRL是一种在线凸优化算法，根据损失函数自适应地选择正则化函数。详见论文 `Adaptive Bound Optimization for Online Convex Optimization <https://arxiv.org/abs/1002.4908>`_。工程文档参阅 `Ad Click Prediction: a View from the Trenches <https://www.eecs.tufts.edu/~dsculley/papers/ad-click-prediction.pdf>`_。
|
||||
|
||||
|
||||
更新公式如下：
|
||||
|
||||
.. math::
|
||||
|
|
|
|||
|
|
@ -3,7 +3,7 @@ mindspore.nn.SequentialCell
|
|||
|
||||
.. py:class:: mindspore.nn.SequentialCell(*args)
|
||||
|
||||
构造Cell顺序容器。关于Cell的介绍，可参考 `<https://www.mindspore.cn/docs/zh-CN/master/api_python/nn/mindspore.nn.Cell.html#mindspore.nn.Cell>`_。
|
||||
构造Cell顺序容器。关于Cell的介绍，可参考 `Cell <https://www.mindspore.cn/docs/zh-CN/master/api_python/nn/mindspore.nn.Cell.html#mindspore.nn.Cell>`_。
|
||||
|
||||
SequentialCell将按照传入List的顺序依次将Cell添加。此外，也支持OrderedDict作为构造器传入。
|
||||
|
||||
|
|
|
|||
|
|
@ -89,7 +89,7 @@ def _get_unique_parameter_key():
|
|||
class Parameter(Tensor_):
|
||||
"""
|
||||
`Parameter` is a `Tensor` subclass, when they are assigned as Cell attributes they are automatically added to
|
||||
the list of its parameters, and will appear e.g. in `cell.get_parameters()` iterator.
|
||||
the list of its parameters, and will appear, e.g. in `cell.get_parameters()` iterator.
|
||||
|
||||
Note:
|
||||
In auto_parallel mode of "semi_auto_parallel" and "auto_parallel", if init `Parameter` by
|
||||
|
|
@ -407,9 +407,10 @@ class Parameter(Tensor_):
|
|||
"""
|
||||
Get the communication recompute status(bool) of optimizer parallel for the parameter.
|
||||
|
||||
In `AUTO_PARALLEL` and `SEMI_AUTO_PARALLEL` mode, when applying parallel optimizer, some AllGather operators
|
||||
In `AUTO_PARALLEL` and `SEMI_AUTO_PARALLEL` mode, when applying parallel optimizer,
|
||||
some :class:`mindspore.ops.AllGather` operators
|
||||
used for parameters gathering are inserted automatically. It is used to control the recompute attr for those
|
||||
AllGather operators.
|
||||
:class:`mindspore.ops.AllGather` operators.
|
||||
|
||||
Note:
|
||||
- Only `Graph` mode is supported.
|
||||
|
|
@ -535,10 +536,6 @@ class Parameter(Tensor_):
|
|||
def requires_grad(self):
|
||||
"""
|
||||
Return whether the parameter requires gradient.
|
||||
|
||||
The main function of requires_grad is to tell auto grad to start recording operations on a Tensor.
|
||||
If a Tensor has requires_grad=False, then Tensor requires_grad will make auto grad start recording
|
||||
operations on the tensor.
|
||||
"""
|
||||
return self.param_info.requires_grad
|
||||
|
||||
|
|
|
|||
|
|
@ -5517,7 +5517,7 @@ class COOTensor(COOTensor_):
|
|||
|
||||
def coalesce(self):
|
||||
"""
|
||||
Return the coalesced sparse tensor of the input
|
||||
Return the coalesced sparse tensor of the input.
|
||||
|
||||
Returns:
|
||||
COOTensor.
|
||||
|
|
|
|||
|
|
@ -203,9 +203,9 @@ class Compose(CompoundOperation):
|
|||
Compose a list of transforms into a single transform.
|
||||
|
||||
.. Note::
|
||||
Compose takes a list of transformations either provided in transforms.py or from user-defined implementation;
|
||||
each can be an initialized transformation class or a lambda function, as long as the output from the last
|
||||
transformation is a single tensor of type numpy.ndarray.
|
||||
Compose takes a list of transformations in `mindspore.dataset.transforms` / `mindspore.dataset.vision`
|
||||
and user-defined Python callable objects to combine as single data augmentation.
|
||||
For user-defined Python callable objects, the return value is required to be type numpy.ndarray.
|
||||
|
||||
Args:
|
||||
transforms (list): List of transformations to be applied.
|
||||
|
|
@ -425,7 +425,7 @@ class Fill(TensorOperation):
|
|||
The output tensor will have the same shape and type as the input tensor.
|
||||
|
||||
Args:
|
||||
fill_value (Union[str, bytes, int, float, bool]) : scalar value
|
||||
fill_value (Union[str, bytes, int, float, bool]): scalar value
|
||||
to fill the tensor with.
|
||||
|
||||
Raises:
|
||||
|
|
|
|||
|
|
@ -49,7 +49,7 @@ class Cell(Cell_):
|
|||
base class.
|
||||
|
||||
Layers in `mindspore.nn` are also the subclass of Cell, such as :class:`mindspore.nn.Conv2d`,
|
||||
:class:`mindspore.nn.ReLU`, etc. Cell will be compiled into a calculation
|
||||
:class:`mindspore.nn.ReLU` and :class:`mindspore.nn.BatchNorm`, etc. Cell will be compiled into a calculation
|
||||
graph in GRAPH_MODE (static graph mode) and used as the basic module of neural networks in
|
||||
PYNATIVE_MODE (dynamic graph mode).
|
||||
|
||||
|
|
@ -202,7 +202,7 @@ class Cell(Cell_):
|
|||
|
||||
def update_cell_prefix(self):
|
||||
"""
|
||||
Update the all child cells' self.param_prefix.
|
||||
Update the `param_prefix` of all child cells.
|
||||
|
||||
After being invoked, it can get all the cell's children's name prefix by '_param_prefix'.
|
||||
"""
|
||||
|
|
@ -490,9 +490,13 @@ class Cell(Cell_):
|
|||
def shard(self, in_strategy, out_strategy, parameter_plan=None, device="Ascend", level=0):
|
||||
"""
|
||||
Defining the input and output layouts of this cell and the parallel strategies of remaining ops will be
|
||||
generated by sharding propagation. in_strategy and out_strategy define the input and output layout respectively.
|
||||
in_strategy/out_strategy should be a tuple each element of which corresponds to the desired layout of
|
||||
this input/output and None represents data_parallel.
|
||||
generated by sharding propagation. In PyNative mode, use this method
|
||||
to specify a Cell for distributed execution in graph mode.
|
||||
in_strategy and out_strategy define the input and output layout respectively.
|
||||
in_strategy/out_strategy should be a tuple, each element of which corresponds to the desired layout of
|
||||
this input/output, and None represents data_parallel,
|
||||
which can refer to the description of `mindspore.ops.Primitive.shard`.
|
||||
The parallel strategies of remaining operators are derived from the strategy specified by the input and output.
|
||||
|
||||
Note:
|
||||
Only effective in PYNATIVE_MODE and in either ParallelMode.AUTO_PARALLEL with
|
||||
|
|
@ -1171,8 +1175,6 @@ class Cell(Cell_):
|
|||
|
||||
def parameters_dict(self, recurse=True):
|
||||
"""
|
||||
Gets parameters dictionary.
|
||||
|
||||
Gets the parameters dictionary of this cell.
|
||||
|
||||
Args:
|
||||
|
|
@ -1206,9 +1208,7 @@ class Cell(Cell_):
|
|||
|
||||
def update_parameters_name(self, prefix='', recurse=True):
|
||||
"""
|
||||
Updates the names of parameters with given prefix string.
|
||||
|
||||
Adds the given prefix to the names of parameters.
|
||||
Adds the `prefix` string to the names of parameters.
|
||||
|
||||
Args:
|
||||
prefix (str): The prefix string. Default: ''.
|
||||
|
|
@ -1348,9 +1348,7 @@ class Cell(Cell_):
|
|||
|
||||
def cells_and_names(self, cells=None, name_prefix=''):
|
||||
"""
|
||||
Returns an iterator over all cells in the network.
|
||||
|
||||
Includes the cell's name and itself.
|
||||
Returns an iterator over all cells in the network, including the cell's name and itself.
|
||||
|
||||
Args:
|
||||
cells (str): Cells to iterate over. Default: None.
|
||||
|
|
@ -1558,7 +1556,7 @@ class Cell(Cell_):
|
|||
In order to improve the network performance, configure the network auto enable to
|
||||
accelerate the algorithm in the algorithm library.
|
||||
|
||||
If `boost_type` is not in the algorithm library. Please view the algorithm in the algorithm library through
|
||||
If `boost_type` is not in the algorithm library, please view the algorithm in the algorithm library through
|
||||
`algorithm library <https://gitee.com/mindspore/mindspore/tree/master/mindspore/python/mindspore/boost>`_.
|
||||
|
||||
Note:
|
||||
|
|
|
|||
|
|
@ -111,7 +111,7 @@ class CELU(Cell):
|
|||
|
||||
class Softmin(Cell):
|
||||
r"""
|
||||
Softmin activation function. It is a two-category function :class:`mindspore.nn.Sigmoid` in the promotion of
|
||||
Softmin activation function, which is a two-category function :class:`mindspore.nn.Sigmoid` in the promotion of
|
||||
multi-classification, and the purpose is to show the results of multi-classification in the form of probability.
|
||||
|
||||
Calculate the value of the exponential function for the elements of the input Tensor on the `axis`, and then
|
||||
|
|
@ -328,7 +328,7 @@ class ReLU(Cell):
|
|||
|
||||
\text{ReLU}(x) = (x)^+ = \max(0, x),
|
||||
|
||||
It returns element-wise :math:`\max(0, x)`, specially, the neurons with the negative output
|
||||
It returns element-wise :math:`\max(0, x)`. Specially, the neurons with the negative output
|
||||
will be suppressed and the active neurons will stay the same.
|
||||
|
||||
The picture about ReLU looks like this `ReLU <https://en.wikipedia.org/wiki/
|
||||
|
|
@ -574,7 +574,7 @@ class SiLU(Cell):
|
|||
|
||||
\text{SiLU}(x) = x * \sigma(x),
|
||||
|
||||
where :math:`x_i` is input, :math:`\sigma(x)` is Sigmoid function, which is defined as:
|
||||
where :math:`x_i` is input, :math:`\sigma(x)` is Sigmoid function.
|
||||
|
||||
.. math::
|
||||
|
||||
|
|
|
|||
|
|
@ -1405,7 +1405,7 @@ class MatrixDiagPart(Cell):
|
|||
|
||||
Assume `x` has :math:`k` dimensions :math:`[I, J, K, ..., M, N]`, then the output is a tensor of rank
|
||||
:math:`k-1` with dimensions :math:`[I, J, K, ..., min(M, N)]` where:
|
||||
:math:`output[i, j, k, ..., n] = x[i, j, k, ..., n, n]`
|
||||
:math:`output[i, j, k, ..., n] = x[i, j, k, ..., n, n]`.
|
||||
|
||||
Inputs:
|
||||
- **x** (Tensor) - The batched tensor. It can be one of the following data types:
|
||||
|
|
|
|||
|
|
@ -1100,8 +1100,8 @@ class Conv1dTranspose(_Conv):
|
|||
r"""
|
||||
1D transposed convolution layer.
|
||||
|
||||
Calculates a 1D transposed convolution, which can be regarded as Conv1d for the gradient of the input.
|
||||
It also called deconvolution (although it is not an actual deconvolution).
|
||||
Calculates a 1D transposed convolution, which can be regarded as Conv1d for the gradient of the input,
|
||||
also called deconvolution (although it is not an actual deconvolution).
|
||||
|
||||
The input is typically of shape :math:`(N, C, L)`, where :math:`N` is batch size, :math:`C` is a number of channels
|
||||
and :math:`L_{in}` is a length of sequence.
|
||||
|
|
|
|||
|
|
@ -27,7 +27,7 @@ class ConfusionMatrix(Metric):
|
|||
including binary classification and multiple classification.
|
||||
|
||||
If you only need confusion matrix, use this class. If you want to calculate other metrics, such as 'PPV',
|
||||
'TPR', 'TNR', etc., use class 'mindspore.metrics.ConfusionMatrixMetric'.
|
||||
'TPR', 'TNR', etc., use class 'mindspore.nn.ConfusionMatrixMetric'.
|
||||
|
||||
Args:
|
||||
num_classes (int): Number of classes in the dataset.
|
||||
|
|
|
|||
|
|
@ -291,8 +291,7 @@ class DistributedGradReducer(Cell):
|
|||
"""
|
||||
A distributed optimizer.
|
||||
|
||||
Constructs a gradient reducer Cell, which applies communication and average operations on
|
||||
single-process gradient values. Used in data parallel.
|
||||
Aggregate the gradients for all cards by using AllReduce in data parallel.
|
||||
|
||||
Args:
|
||||
parameters (list): the parameters to be updated.
|
||||
|
|
|
|||
|
|
@ -85,7 +85,7 @@ class Callback:
|
|||
Each method of Callback class corresponds to a stage in training or eval process, and those methods
|
||||
have the same input `run_context`, which hold context information of the model in
|
||||
training or eval process. When defining a Callback subclass or creating a custom Callback,
|
||||
Note that you should override methods with names prefixed with "on_train" or "on_eval",
|
||||
note that you should override methods with names prefixed with "on_train" or "on_eval",
|
||||
otherwise ValueError will be raised if the custimized Callbacks used in `model.fit`.
|
||||
|
||||
When creating a custom Callback, model context information can be obtained in Callback
|
||||
|
|
|
|||
|
|
@ -99,7 +99,7 @@ class FixedLossScaleManager(LossScaleManager):
|
|||
|
||||
def update_loss_scale(self, overflow):
|
||||
"""
|
||||
Update loss scale value. The interface at `FixedLossScaleManager` will do nothing.
|
||||
Update loss scale value. The interface at :class:`mindspore.FixedLossScaleManager` will do nothing.
|
||||
|
||||
Args:
|
||||
overflow (bool): Whether it overflows.
|
||||
|
|
|
|||
|
|
@ -22,7 +22,7 @@ from mindspore import context
|
|||
|
||||
class ConvertNetUtils:
|
||||
"""
|
||||
Convert net to thor layer net
|
||||
Convert net to thor layer net, used to compute and store second-order information matrix.
|
||||
"""
|
||||
def __init__(self):
|
||||
self._convert_method_map = {nn.Dense: ConvertNetUtils._convert_dense,
|
||||
|
|
|
|||
Loading…
Reference in New Issue