modify links adapt to the new version of docs

This commit is contained in:
lvmingfu 2022-04-12 15:45:19 +08:00
parent 846da4eaeb
commit af8dd9729e
50 changed files with 96 additions and 96 deletions

View File

@ -6,23 +6,23 @@
#### OS
* [STABLE] Support macOS with CPU(X86)
* [BETA] Supoport macOS with CPU(M1)
- [STABLE] Support macOS with CPU(X86)
- [BETA] Supoport macOS with CPU(M1)
#### FrontEnd
* [STABLE] Support JIT Fallback feature in Graph mode.
* [STABLE] Support compile cache feature in Graph mode.
* [STABLE] Add new optimizers, including ASGD and Rprop.
* [STABLE] Add new initializers, including Identity, Orthogonal, Dirac, Sparse and VarianceScaling.
* [STABLE] Support resuming training when an exception occurs in the process.
* [STABLE] Change `mindspore.nn.LSTMCell` from single-layer LSTM to single-cell LSTM.
* [BETA] Introduce `mindspore.ops.Custom` to customize your own operators for Ascend(AICore, AICPU), GPU, CPU backends, and the custom type can be one of TBE, AKG, pure Python function or prebuild binary(called aot operator).
- [STABLE] Support JIT Fallback feature in Graph mode.
- [STABLE] Support compile cache feature in Graph mode.
- [STABLE] Add new optimizers, including ASGD and Rprop.
- [STABLE] Add new initializers, including Identity, Orthogonal, Dirac, Sparse and VarianceScaling.
- [STABLE] Support resuming training when an exception occurs in the process.
- [STABLE] Change `mindspore.nn.LSTMCell` from single-layer LSTM to single-cell LSTM.
- [BETA] Introduce `mindspore.ops.Custom` to customize your own operators for Ascend(AICore, AICPU), GPU, CPU backends, and the custom type can be one of TBE, AKG, pure Python function or prebuild binary(called aot operator).
#### PyNative
* [STABLE] Support heterogeneous feature in PyNative mode.
* [STABLE] Optimize memory allocation in PyNative mode.
- [STABLE] Support heterogeneous feature in PyNative mode.
- [STABLE] Optimize memory allocation in PyNative mode.
#### Auto Parallel
@ -39,33 +39,33 @@
#### Executor
* [STABLE] Support multigraph sink and subgraph sink of MindRT.
* [STABLE] Support memory swap to break the device memory size limit on Ascend platform.
* [STABLE] Support dynamic deployment of distributed training cluster(GPU).
* [BETA] Support automatic failover of parameter server.
- [STABLE] Support multigraph sink and subgraph sink of MindRT.
- [STABLE] Support memory swap to break the device memory size limit on Ascend platform.
- [STABLE] Support dynamic deployment of distributed training cluster(GPU).
- [BETA] Support automatic failover of parameter server.
#### DataSet
* [STABLE] Support overwrite feature in MindRecord.
* [STABLE] Log improvement and more friendly to users.
* [BETA] Support new feature [Dataset Offload](https://www.mindspore.cn/docs/programming_guide/zh-CN/master/enable_dataset_offload.html) to speed up data processing by heterogeneous computing.
* [BETA] Support new feature [Dataset Autotune](https://www.mindspore.cn/docs/programming_guide/zh-CN/master/enable_dataset_autotune.html) to adjust parallelism of dataset pipeline automatically.
- [STABLE] Support overwrite feature in MindRecord.
- [STABLE] Log improvement and more friendly to users.
- [BETA] Support new feature [Dataset Offload](https://www.mindspore.cn/docs/zh-CN/master/design/dataset_offload.html) to speed up data processing by heterogeneous computing.
- [BETA] Support new feature [Dataset Autotune](https://www.mindspore.cn/tutorials/experts/zh-CN/master/debug/auto_tune.html) to adjust parallelism of dataset pipeline automatically.
#### GraphKernel Fusion
* [STABLE] Support kernel fusion and generation for CPU backend.
- [STABLE] Support kernel fusion and generation for CPU backend.
#### Federated Learning
* [STABLE] FL-Client framework and model decoupling.
* [BETA] Support Cross-silo federated learning framework.
- [STABLE] FL-Client framework and model decoupling.
- [BETA] Support Cross-silo federated learning framework.
#### Debug
* [STABLE] Support dump in cell level(Ascend).
* [STABLE] Support dump Tensor statistics(Ascend/GPU).
* [STABLE] Support displaying corresponding code lines for fusion nodes.
* [STABLE] Support passing dump flag in Ascend backend in order to dump correct operators after fusion transformation.
- [STABLE] Support dump in cell level(Ascend).
- [STABLE] Support dump Tensor statistics(Ascend/GPU).
- [STABLE] Support displaying corresponding code lines for fusion nodes.
- [STABLE] Support passing dump flag in Ascend backend in order to dump correct operators after fusion transformation.
### API Change
@ -105,14 +105,14 @@
#### Executor
* Fix process hanging while calling MPI_comm_create in asymmetric pipeline split scenario. ([!28707](https://gitee.com/mindspore/mindspore/pulls/28707))
* Fix the execution error when the weights are shared between graph mode and PyNative mode.([!26635](https://gitee.com/mindspore/mindspore/pulls/26635))
* Fixed the probability coredump when free memory under PyNative mode.([!25472](https://gitee.com/mindspore/mindspore/pulls/25472))
- Fix process hanging while calling MPI_comm_create in asymmetric pipeline split scenario. ([!28707](https://gitee.com/mindspore/mindspore/pulls/28707))
- Fix the execution error when the weights are shared between graph mode and PyNative mode.([!26635](https://gitee.com/mindspore/mindspore/pulls/26635))
- Fixed the probability coredump when free memory under PyNative mode.([!25472](https://gitee.com/mindspore/mindspore/pulls/25472))
#### Dataset
* Fix memory increase abnormally when running dataset for a long time. ([!26237](https://gitee.com/mindspore/mindspore/pulls/26237))
* Fix saving MindRecord files with Chinese path on Windows. ([!28378](https://gitee.com/mindspore/mindspore/pulls/28378))
- Fix memory increase abnormally when running dataset for a long time. ([!26237](https://gitee.com/mindspore/mindspore/pulls/26237))
- Fix saving MindRecord files with Chinese path on Windows. ([!28378](https://gitee.com/mindspore/mindspore/pulls/28378))
## MindSpore Lite
@ -120,29 +120,29 @@
#### Converter and runtime
* [STABLE] Add more fusion patterns in the converter tool to improve runtime performance.
* [STABLE] Support take OpenGL texture as input and output of inference.
* [STABLE] Refactor the JAVA API.
* [BETA] Support inference on Ascend310.
- [STABLE] Add more fusion patterns in the converter tool to improve runtime performance.
- [STABLE] Support take OpenGL texture as input and output of inference.
- [STABLE] Refactor the JAVA API.
- [BETA] Support inference on Ascend310.
#### x86 backend optimization
* [STABLE] Optimize kernels for x86 using Advanced Vector Extensions(AVX512).
- [STABLE] Optimize kernels for x86 using Advanced Vector Extensions(AVX512).
#### ARM backend optimization
* [STABLE] Support heterogeneous parallel inference, including splitting operators, constructing heterogeneous subgraphs, and heterogeneous parallel scheduling between CPUs and GPUs.
* [STABLE] Add more FP16 operators.
- [STABLE] Support heterogeneous parallel inference, including splitting operators, constructing heterogeneous subgraphs, and heterogeneous parallel scheduling between CPUs and GPUs.
- [STABLE] Add more FP16 operators.
#### Post quantization
* [STABLE] Post quantization supports debugging.
* [STABLE] Full quantization supports choosing non-quantized nodes.
* [STABLE] Mixed bit quantization supports auto-tune.
- [STABLE] Post quantization supports debugging.
- [STABLE] Full quantization supports choosing non-quantized nodes.
- [STABLE] Mixed bit quantization supports auto-tune.
#### Training on Device
* [STABLE] Support user-defined algorithm models to access the federated learning framework.
- [STABLE] Support user-defined algorithm models to access the federated learning framework.
### Contributors
@ -571,7 +571,7 @@ thor(net, learning_rate, damping, momentum, weight_decay=0.0, loss_scale=1.0, ba
##### Dump Config
Previously, we could only dump tensor data for one or all steps. To make the dump feature easier to use, we changed the dump configuration format and dump structure. View the [New Dump Tutorial](https://www.mindspore.cn/docs/programming_guide/en/master/dump_in_graph_mode.html#dump).
Previously, we could only dump tensor data for one or all steps. To make the dump feature easier to use, we changed the dump configuration format and dump structure. View the [New Dump Tutorial](https://www.mindspore.cn/tutorials/experts/zh-CN/master/debug/dump.html#dump).
| 1.2.1 | 1.3.0 |
| ------------------------------------------------------ | ------------------------------------------------------------------------------------------- |

View File

@ -23,7 +23,7 @@ mindspore.dataset.CLUEDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
根据给定的 `task` 参数 和 `usage` 配置,数据集会生成不同的输出列:

View File

@ -22,7 +22,7 @@
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**异常:**

View File

@ -17,7 +17,7 @@ mindspore.dataset.Caltech256Dataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**异常:**

View File

@ -19,7 +19,7 @@ mindspore.dataset.CelebADataset
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**异常:**

View File

@ -18,7 +18,7 @@ mindspore.dataset.Cifar100Dataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**异常:**

View File

@ -18,7 +18,7 @@ mindspore.dataset.Cifar10Dataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**异常:**

View File

@ -22,7 +22,7 @@ mindspore.dataset.CityscapesDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**异常:**

View File

@ -17,7 +17,7 @@
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None表2中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **extra_metadata** (bool, 可选) - 用于指定是否额外输出一个数据列用于表示图片元信息。如果为True则将额外输出一个名为 `[_meta-filename, dtype=string]` 的数据列默认值False。
[表1] 根据不同 `task` 参数设置,生成数据集具有不同的输出列:

View File

@ -21,7 +21,7 @@ mindspore.dataset.DIV2KDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**异常:**

View File

@ -174,7 +174,7 @@
- **column_order** (Union[str, list[str]], 可选) - 指定传递到下一个数据集操作的数据列的顺序。如果 `input_columns` 长度不等于 `output_columns` 长度,则必须指定此参数。 注意:参数的列名不限定在 `input_columns``output_columns` 中指定的列也可以是上一个操作输出的未被处理的数据列。默认值None按照原输入顺序排列。
- **num_parallel_workers** (int, 可选) - 指定map操作的多进程/多线程并发数加快处理速度。默认值None将使用 `set_num_parallel_workers` 设置的并发数。
- **python_multiprocessing** (bool, 可选) - 启用Python多进程模式加速map操作。当传入的 `operations` 计算量很大时开启此选项可能会有较好效果。默认值False。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **callbacks** (DSCallback, list[DSCallback], 可选) - 要调用的Dataset回调函数列表。默认值None。
- **max_rowsize** (int, 可选) - 指定在多进程之间复制数据时,共享内存分配的最大空间,仅当 `python_multiprocessing` 为True时该选项有效。默认值16单位为MB。
- **offload** (bool, 可选) - 是否进行异构硬件加速,详情请阅读 `数据准备异构加速 <https://www.mindspore.cn/docs/zh-CN/master/design/dataset_offload.html>`_ 。默认值None。

View File

@ -5,7 +5,7 @@ mindspore.dataset.DatasetCache
创建数据缓存客户端实例。
关于单节点数据缓存的使用,请参阅 `单节点数据缓存教程 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/enable_cache.html>`_
关于单节点数据缓存的使用,请参阅 `单节点数据缓存教程 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_
**参数:**

View File

@ -35,7 +35,7 @@ mindspore.dataset.GraphData
**参数:**
- **edge_type** (int) - 指定边的类型在数据集转换为MindRecord格式时需要指定 `edge_type` 的值并在此API中对应使用。详见 `加载图数据集 <https://www.mindspore.cn/docs/programming_guide/zh-CN/master/load_dataset_gnn.html>`_
- **edge_type** (int) - 指定边的类型在数据集转换为MindRecord格式时需要指定 `edge_type` 的值并在此API中对应使用。详见 `加载图数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/enhanced_graph_data.html>`_
**返回:**
@ -154,7 +154,7 @@ mindspore.dataset.GraphData
**参数:**
- **node_type** (int) - 指定节点的类型。在数据集转换为MindRecord格式时需要指定 `node_type` 的值并在此API中对应使用。详见 `加载图数据集 <https://www.mindspore.cn/docs/programming_guide/zh-CN/master/load_dataset_gnn.html>`_
- **node_type** (int) - 指定节点的类型。在数据集转换为MindRecord格式时需要指定 `node_type` 的值并在此API中对应使用。详见 `加载图数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/enhanced_graph_data.html>`_
**返回:**

View File

@ -19,7 +19,7 @@ mindspore.dataset.ImageFolderDataset
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作默认值False不解码。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**异常:**

View File

@ -19,7 +19,7 @@
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作默认值False不解码。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**异常:**

View File

@ -24,7 +24,7 @@
- **padded_sample** (dict, 可选): 指定额外添加到数据集的样本,可用于在分布式训练时补齐分片数据,注意字典的键名需要与 `column_list` 指定的列名相同。默认值None不添加样本。需要与 `num_padded` 参数同时使用。
- **num_padded** (int, 可选) - 指定额外添加的数据集样本的数量。在分布式训练时可用于为数据集补齐样本,使得总样本数量可被 `num_shards` 整除。默认值None不添加样本。需要与 `padded_sample` 参数同时使用。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取所有样本。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**异常:**

View File

@ -18,7 +18,7 @@ mindspore.dataset.MnistDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**异常:**

View File

@ -27,7 +27,7 @@ mindspore.dataset.TFRecordDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **shard_equal_rows** (bool, 可选) - 分布式训练时为所有分片获取等量的数据行数。默认值False。如果 `shard_equal_rows` 为False则可能会使得每个分片的数据条目不相等从而导致分布式训练失败。因此当每个TFRecord文件的数据数量不相等时建议将此参数设置为True。注意只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**异常:**

View File

@ -19,7 +19,7 @@
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**异常:**

View File

@ -22,7 +22,7 @@ mindspore.dataset.VOCDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **extra_metadata** (bool, 可选) - 用于指定是否额外输出一个数据列用于表示图片元信息。如果为True则将额外输出一个名为 `[_meta-filename, dtype=string]` 的数据列默认值False。
根据给定的 `task` 配置,生成数据集具有不同的输出列:

View File

@ -4,7 +4,7 @@
将CIFAR-100数据集转换为MindRecord格式数据集。
.. note::
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://mindspore.cn/docs/programming_guide/zh-CN/master/dataset_conversion.html#转换CIFAR-10数据集>`_
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#转换CIFAR-10数据集>`_
**参数:**

View File

@ -4,7 +4,7 @@
将CIFAR-10数据集转换为MindRecord格式数据集。
.. note::
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://mindspore.cn/docs/programming_guide/zh-CN/master/dataset_conversion.html#转换CIFAR-10数据集>`_
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#转换CIFAR-10数据集>`_
**参数:**

View File

@ -4,7 +4,7 @@
将CSV格式数据集转换为MindRecord格式数据集。
.. note::
示例的详细信息,请参见 `转换CSV数据集 <https://mindspore.cn/docs/programming_guide/zh-CN/master/dataset_conversion.html#转换CSV数据集>`_
示例的详细信息,请参见 `转换CSV数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#转换CSV数据集>`_
**参数:**

View File

@ -4,7 +4,7 @@
将ImageNet数据集转换为MindRecord格式数据集。
.. note::
示例的详细信息,请参见 `Converting the ImageNet Dataset <https:// www.mindspore.cn/docs/programming_guide/en/master/dataset_conversion.html#converting-the-imagenet-dataset>`_
示例的详细信息,请参见 `Converting the ImageNet Dataset <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#converting-the-imagenet-dataset>`_
**参数:**

View File

@ -4,7 +4,7 @@
将TFRecord格式数据集转换为MindRecord格式数据集。
.. note::
示例的详细信息,请参见 `转换TFRecord数据集 <https://mindspore.cn/docs/programming_guide/zh-CN/master/dataset_conversion.html#转换TFRecord数据集>`_
示例的详细信息,请参见 `转换TFRecord数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#转换TFRecord数据集>`_
**参数:**

View File

@ -3,9 +3,9 @@ mindspore.communication
集合通信接口。
注意集合通信接口需要预先设置环境变量。对于Ascend用户需要配置rank_table设置rank_id和device_id相关教程可参考
`Ascend指导文档 <https://www.mindspore.cn/docs/programming_guide/zh-CN/master/distributed_training_ascend.html>`_
`Ascend指导文档 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/train_ascend.html>`_
对于GPU用户需要预先配置host_file以及mpi相关教程参考
`GPU指导文档 <https://www.mindspore.cn/docs/programming_guide/zh-CN/master/distributed_training_gpu.html>`_
`GPU指导文档 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/train_gpu.html>`_
目前尚不支持CPU。

View File

@ -8,7 +8,7 @@ mindspore.dataset
大多数数据集可以通过指定参数 `cache` 启用缓存服务,以提升整体数据处理效率。
请注意Windows平台上还不支持缓存服务因此在Windows上加载和处理数据时请勿使用。更多介绍和限制
请参考 `Single-Node Tensor Cache <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_
请参考 `Single-Node Tensor Cache <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_
在API示例中常用的模块导入方法如下

View File

@ -518,10 +518,10 @@ Parameter操作算子
注意,以下列表中的接口需要先配置好通信环境变量。
针对Ascend设备用户需要准备rank表设置rank_id和device_id详见 `Ascend指导文档 \
<https://www.mindspore.cn/docs/programming_guide/zh-CN/master/distributed_training_ascend.html#id12>`_ 。
<https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/train_ascend.html#id12>`_ 。
针对GPU设备用户需要准备host文件和mpi详见 `GPU指导文档 \
<https://www.mindspore.cn/docs/programming_guide/zh-CN/master/distributed_training_gpu.html#id6>`_ 。
<https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/train_gpu.html#id6>`_ 。
.. mscnplatformautosummary::
:toctree: ops

View File

@ -5,7 +5,7 @@ mindspore.set_dump
启用或者禁用 `target` 及其子节点的Dump数据功能。
`target` 为 :class:`mindspore.nn.Cell` 或 :class:`mindspore.ops.Primitive` 的实例。请注意此API仅在开启异步Dump功能且Dump配置文件中的 `dump_mode` 字段为"2"时生效。有关详细信息,请参阅 `Dump功能文档 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/debug/dump_in_graph_mode.html>`_ 。默认状态下, :class:`mindspore.nn.Cell`:class:`mindspore.ops.Primitive` 实例不使能Dump数据功能。
`target` 为 :class:`mindspore.nn.Cell` 或 :class:`mindspore.ops.Primitive` 的实例。请注意此API仅在开启异步Dump功能且Dump配置文件中的 `dump_mode` 字段为"2"时生效。有关详细信息,请参阅 `Dump功能文档 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/debug/dump.html>`_ 。默认状态下, :class:`mindspore.nn.Cell`:class:`mindspore.ops.Primitive` 实例不使能Dump数据功能。
.. Warning::
此类中的所有API均为实验版本将来可能更改或者删除。

View File

@ -3,7 +3,7 @@ mindspore.nn.Jvp
.. py:class:: mindspore.nn.Jvp(fn)
计算给定网络的雅可比向量积(Jacobian-vector product, JVP)。JVP对应 `前向模式自动微分 <https://mindspore.cn/docs/programming_guide/zh-CN/master/design/gradient.html#id3>`_
计算给定网络的雅可比向量积(Jacobian-vector product, JVP)。JVP对应 `前向模式自动微分 <https://www.mindspore.cn/docs/zh-CN/master/design/gradient.html#id3>`_
**参数:**

View File

@ -3,7 +3,7 @@ mindspore.nn.Vjp
.. py:class:: mindspore.nn.Vjp(fn)
计算给定网络的向量雅可比积(vector-Jacobian product, VJP)。VJP对应 `反向模式自动微分 <https://mindspore.cn/docs/programming_guide/zh-CN/master/design/gradient.html#id4>`_
计算给定网络的向量雅可比积(vector-Jacobian product, VJP)。VJP对应 `反向模式自动微分 <https://www.mindspore.cn/docs/zh-CN/master/design/gradient.html#id4>`_
**参数:**

View File

@ -10,7 +10,7 @@ mindspore.ops.Add
out_{i} = x_{i} + y_{i}
.. note::
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html>`_ ,使数据类型保持一致。
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html>`_ ,使数据类型保持一致。
- 输入必须是两个Tensor或一个Tensor和一个Scalar。
- 当输入是两个Tensor时它们的数据类型不能同时是bool并保证其shape可以广播。
- 当输入是一个Tensor和一个Scalar时Scalar只能是一个常数。

View File

@ -5,7 +5,7 @@ mindspore.ops.Custom
`Custom` 算子是MindSpore自定义算子的统一接口。用户可以利用该接口自行定义MindSpore内置算子库尚未包含的算子。
根据输入函数的不用,你可以创建多个自定义算子,并且把它们用在神经网络中。
关于自定义算子的详细说明和介绍,包括参数的正确书写,见编程指南 https://www.mindspore.cn/docs/programming_guide/zh-CN/master/custom_operator_custom.html 。
关于自定义算子的详细说明和介绍,包括参数的正确书写,见编程指南 https://www.mindspore.cn/tutorials/experts/zh-CN/master/operation/op_custom.html 。
.. warning::
这是一个实验性接口,后续可能删除或修改。

View File

@ -10,7 +10,7 @@ mindspore.ops.Div
out_{i} = \frac{x_i}{y_i}
.. note::
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html>`_ ,使数据类型保持一致。
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html>`_ ,使数据类型保持一致。
- 输入必须是两个Tensor或一个Tensor和一个Scalar。
- 当输入是两个Tensor时它们的数据类型不能同时是bool并保证其shape可以广播。
- 当输入是一个Tensor和一个Scalar时Scalar只能是一个常数。

View File

@ -13,7 +13,7 @@ mindspore.ops.LessEqual
\end{cases}
.. note::
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html>`_ ,使数据类型保持一致。
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html>`_ ,使数据类型保持一致。
- 输入必须是两个Tensor或一个Tensor和一个Scalar。
- 当输入是两个Tensor时它们的数据类型不能同时是bool并保证其shape可以广播。
- 当输入是一个Tensor和一个Scalar时Scalar只能是一个常数。

View File

@ -10,7 +10,7 @@ mindspore.ops.Mul
out_{i} = x_{i} * y_{i}
.. note::
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html>`_ ,使数据类型保持一致。
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html>`_ ,使数据类型保持一致。
- 输入必须是两个Tensor或一个Tensor和一个Scalar。
- 当输入是两个Tensor时它们的数据类型不能同时是bool并保证其shape可以广播。
- 当输入是一个Tensor和一个Scalar时Scalar只能是一个常数。

View File

@ -6,7 +6,7 @@ mindspore.ops.NotEqual
计算两个Tensor是否不相等。
.. note::
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html>`_ ,使数据类型保持一致。
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html>`_ ,使数据类型保持一致。
- 输入必须是两个Tensor或一个Tensor和一个Scalar。
- 当输入是两个Tensor时它们的shape可以广播。
- 当输入是一个Tensor和一个Scalar时Scalar只能是一个常数。

View File

@ -10,7 +10,7 @@ mindspore.ops.Pow
out_{i} = x_{i} ^{ y_{i}}
.. note::
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html>`_ ,使数据类型保持一致。
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html>`_ ,使数据类型保持一致。
- 输入必须是两个Tensor或一个Tensor和一个Scalar。
- 当输入是两个Tensor时它们的数据类型不能同时是bool并保证其shape可以广播。
- 当输入是一个Tensor和一个Scalar时Scalar只能是一个常数。

View File

@ -10,7 +10,7 @@ mindspore.ops.Sub
out_{i} = x_{i} - y_{i}
.. note::
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html>`_ ,使数据类型保持一致。
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html>`_ ,使数据类型保持一致。
- 输入必须是两个Tensor或一个Tensor和一个Scalar。
- 当输入是两个Tensor时它们的数据类型不能同时是bool它们的shape可以广播。
- 当输入是一个Tensor和一个Scalar时Scalar只能是一个常数。

View File

@ -47,7 +47,7 @@ constexpr char kDetailedFailureReason[] =
"Maybe you are trying to call 'mindspore.communication.init()' without using 'mpirun', which will make MindSpore "
"load several environment variables and check their validation. Please use 'mpirun' to launch this process to fix "
"this issue, or refer to this link if you want to run distributed training without using 'mpirun': "
"https://www.mindspore.cn/docs/programming_guide/zh-CN/master/distributed_training_gpu.html#openmpi.";
"https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/train_gpu.html#openmpi.";
// Node role based cluster built by MindSpore communication framework.
class BACKEND_EXPORT ClusterContext {

View File

@ -373,7 +373,7 @@ void RaiseExceptionForConvertRefDtype(const std::string &, const std::string &re
MS_LOG(EXCEPTION) << "Data type conversion of 'Parameter' is not supported, so data type " << ref_type
<< " cannot be converted to data type " << target_type << " automatically.\n"
<< "For more details, please refer at "
<< "https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html.";
<< "https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html.";
}
void RaiseExceptionForCheckParameter(const std::string &func_name, size_t i, const std::string &source_type) {
MS_EXCEPTION(TypeError) << "Function " << func_name << "'s input " << i << " should be a Parameter, but "

View File

@ -26,7 +26,7 @@ def set_dump(target, enabled=True):
`target` should be an instance of :class:`mindspore.nn.Cell` or :class:`mindspore.ops.Primitive` .
Please note that this API takes effect only when Asynchronous Dump is enabled and the `dump_mode`
field in dump config file is "2". See the `dump document <https://www.mindspore.cn/tutorials/
experts/en/master/debug/dump_in_graph_mode.html>`_ for details. The default enabled status for
experts/en/master/debug/dump.html>`_ for details. The default enabled status for
a :class:`mindspore.nn.Cell` or :class:`mindspore.ops.Primitive` is False.
.. warning::

View File

@ -15,9 +15,9 @@
"""
Collective communication interface. Note the API in the file needs to preset communication environment variables. For
the Ascend cards, users need to prepare the rank table, set rank_id and device_id. Please see the `Ascend tutorial \
<https://www.mindspore.cn/docs/programming_guide/zh-CN/master/distributed_training_ascend.html>`_ for more details.
<https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/train_ascend.html>`_ for more details.
For the GPU device, users need to prepare the host file and mpi, please see the `GPU tutorial \
<https://www.mindspore.cn/docs/programming_guide/zh-CN/master/distributed_training_gpu.html>`_
<https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/train_gpu.html>`_
for more details.
"""

View File

@ -21,7 +21,7 @@ Besides, this module provides APIs to sample data while loading.
We can enable cache in most of the dataset with its key arguments 'cache'. Please notice that cache is not supported
on Windows platform yet. Do not use it while loading and processing data on Windows. More introductions and limitations
can refer `Single-Node Tensor Cache <https://www.mindspore.cn/tutorials/experts/en/master/data_engine/cache.html>`_.
can refer `Single-Node Tensor Cache <https://www.mindspore.cn/tutorials/experts/en/master/dataset/cache.html>`_.
Common imported modules in corresponding API examples are as follows:

View File

@ -27,7 +27,7 @@ class DatasetCache:
A client to interface with tensor caching service.
For details, please check `Tutorial <https://www.mindspore.cn/
tutorials/experts/en/master/data_engine/enable_cache.html>`_.
tutorials/experts/en/master/dataset/cache.html>`_.
Args:
session_id (int): A user assigned session id for the current pipeline.

View File

@ -40,7 +40,7 @@ class Cifar100ToMR:
Note:
For details about Examples, please refer to `Converting the CIFAR-10 Dataset <https://
www.mindspore.cn/docs/programming_guide/en/master/dataset_conversion.html#converting-the-cifar-10-dataset>`_.
www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#converting-the-cifar-10-dataset>`_.
Args:
source (str): The cifar100 directory to be transformed.

View File

@ -40,7 +40,7 @@ class Cifar10ToMR:
Note:
For details about Examples, please refer to `Converting the CIFAR-10 Dataset <https://
www.mindspore.cn/docs/programming_guide/en/master/dataset_conversion.html#converting-the-cifar-10-dataset>`_.
www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#converting-the-cifar-10-dataset>`_.
Args:
source (str): The cifar10 directory to be transformed.

View File

@ -36,7 +36,7 @@ class CsvToMR:
Note:
For details about Examples, please refer to `Converting CSV Dataset <https://
www.mindspore.cn/docs/programming_guide/en/master/dataset_conversion.html#converting-csv-dataset>`_.
www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#converting-csv-dataset>`_.
Args:
source (str): The file path of csv.

View File

@ -32,7 +32,7 @@ class ImageNetToMR:
Note:
For details about Examples, please refer to `Converting the ImageNet Dataset <https://
www.mindspore.cn/docs/programming_guide/en/master/dataset_conversion.html#converting-the-imagenet-dataset>`_.
www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#converting-the-imagenet-dataset>`_.
Args:
map_file (str): The map file that indicates label. The map file content should be like this:

View File

@ -69,7 +69,7 @@ class TFRecordToMR:
Note:
For details about Examples, please refer to `Converting TFRecord Dataset <https://
www.mindspore.cn/docs/programming_guide/en/master/dataset_conversion.html#converting-tfrecord-dataset>`_.
www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#converting-tfrecord-dataset>`_.
Args:
source (str): TFRecord file to be transformed.