forked from mindspore-Ecosystem/mindspore
modify links adapt to the new version of docs
This commit is contained in:
parent
846da4eaeb
commit
af8dd9729e
86
RELEASE.md
86
RELEASE.md
|
@ -6,23 +6,23 @@
|
|||
|
||||
#### OS
|
||||
|
||||
* [STABLE] Support macOS with CPU(X86)
|
||||
* [BETA] Supoport macOS with CPU(M1)
|
||||
- [STABLE] Support macOS with CPU(X86)
|
||||
- [BETA] Supoport macOS with CPU(M1)
|
||||
|
||||
#### FrontEnd
|
||||
|
||||
* [STABLE] Support JIT Fallback feature in Graph mode.
|
||||
* [STABLE] Support compile cache feature in Graph mode.
|
||||
* [STABLE] Add new optimizers, including ASGD and Rprop.
|
||||
* [STABLE] Add new initializers, including Identity, Orthogonal, Dirac, Sparse and VarianceScaling.
|
||||
* [STABLE] Support resuming training when an exception occurs in the process.
|
||||
* [STABLE] Change `mindspore.nn.LSTMCell` from single-layer LSTM to single-cell LSTM.
|
||||
* [BETA] Introduce `mindspore.ops.Custom` to customize your own operators for Ascend(AICore, AICPU), GPU, CPU backends, and the custom type can be one of TBE, AKG, pure Python function or prebuild binary(called aot operator).
|
||||
- [STABLE] Support JIT Fallback feature in Graph mode.
|
||||
- [STABLE] Support compile cache feature in Graph mode.
|
||||
- [STABLE] Add new optimizers, including ASGD and Rprop.
|
||||
- [STABLE] Add new initializers, including Identity, Orthogonal, Dirac, Sparse and VarianceScaling.
|
||||
- [STABLE] Support resuming training when an exception occurs in the process.
|
||||
- [STABLE] Change `mindspore.nn.LSTMCell` from single-layer LSTM to single-cell LSTM.
|
||||
- [BETA] Introduce `mindspore.ops.Custom` to customize your own operators for Ascend(AICore, AICPU), GPU, CPU backends, and the custom type can be one of TBE, AKG, pure Python function or prebuild binary(called aot operator).
|
||||
|
||||
#### PyNative
|
||||
|
||||
* [STABLE] Support heterogeneous feature in PyNative mode.
|
||||
* [STABLE] Optimize memory allocation in PyNative mode.
|
||||
- [STABLE] Support heterogeneous feature in PyNative mode.
|
||||
- [STABLE] Optimize memory allocation in PyNative mode.
|
||||
|
||||
#### Auto Parallel
|
||||
|
||||
|
@ -39,33 +39,33 @@
|
|||
|
||||
#### Executor
|
||||
|
||||
* [STABLE] Support multigraph sink and subgraph sink of MindRT.
|
||||
* [STABLE] Support memory swap to break the device memory size limit on Ascend platform.
|
||||
* [STABLE] Support dynamic deployment of distributed training cluster(GPU).
|
||||
* [BETA] Support automatic failover of parameter server.
|
||||
- [STABLE] Support multigraph sink and subgraph sink of MindRT.
|
||||
- [STABLE] Support memory swap to break the device memory size limit on Ascend platform.
|
||||
- [STABLE] Support dynamic deployment of distributed training cluster(GPU).
|
||||
- [BETA] Support automatic failover of parameter server.
|
||||
|
||||
#### DataSet
|
||||
|
||||
* [STABLE] Support overwrite feature in MindRecord.
|
||||
* [STABLE] Log improvement and more friendly to users.
|
||||
* [BETA] Support new feature [Dataset Offload](https://www.mindspore.cn/docs/programming_guide/zh-CN/master/enable_dataset_offload.html) to speed up data processing by heterogeneous computing.
|
||||
* [BETA] Support new feature [Dataset Autotune](https://www.mindspore.cn/docs/programming_guide/zh-CN/master/enable_dataset_autotune.html) to adjust parallelism of dataset pipeline automatically.
|
||||
- [STABLE] Support overwrite feature in MindRecord.
|
||||
- [STABLE] Log improvement and more friendly to users.
|
||||
- [BETA] Support new feature [Dataset Offload](https://www.mindspore.cn/docs/zh-CN/master/design/dataset_offload.html) to speed up data processing by heterogeneous computing.
|
||||
- [BETA] Support new feature [Dataset Autotune](https://www.mindspore.cn/tutorials/experts/zh-CN/master/debug/auto_tune.html) to adjust parallelism of dataset pipeline automatically.
|
||||
|
||||
#### GraphKernel Fusion
|
||||
|
||||
* [STABLE] Support kernel fusion and generation for CPU backend.
|
||||
- [STABLE] Support kernel fusion and generation for CPU backend.
|
||||
|
||||
#### Federated Learning
|
||||
|
||||
* [STABLE] FL-Client framework and model decoupling.
|
||||
* [BETA] Support Cross-silo federated learning framework.
|
||||
- [STABLE] FL-Client framework and model decoupling.
|
||||
- [BETA] Support Cross-silo federated learning framework.
|
||||
|
||||
#### Debug
|
||||
|
||||
* [STABLE] Support dump in cell level(Ascend).
|
||||
* [STABLE] Support dump Tensor statistics(Ascend/GPU).
|
||||
* [STABLE] Support displaying corresponding code lines for fusion nodes.
|
||||
* [STABLE] Support passing dump flag in Ascend backend in order to dump correct operators after fusion transformation.
|
||||
- [STABLE] Support dump in cell level(Ascend).
|
||||
- [STABLE] Support dump Tensor statistics(Ascend/GPU).
|
||||
- [STABLE] Support displaying corresponding code lines for fusion nodes.
|
||||
- [STABLE] Support passing dump flag in Ascend backend in order to dump correct operators after fusion transformation.
|
||||
|
||||
### API Change
|
||||
|
||||
|
@ -105,14 +105,14 @@
|
|||
|
||||
#### Executor
|
||||
|
||||
* Fix process hanging while calling MPI_comm_create in asymmetric pipeline split scenario. ([!28707](https://gitee.com/mindspore/mindspore/pulls/28707))
|
||||
* Fix the execution error when the weights are shared between graph mode and PyNative mode.([!26635](https://gitee.com/mindspore/mindspore/pulls/26635))
|
||||
* Fixed the probability coredump when free memory under PyNative mode.([!25472](https://gitee.com/mindspore/mindspore/pulls/25472))
|
||||
- Fix process hanging while calling MPI_comm_create in asymmetric pipeline split scenario. ([!28707](https://gitee.com/mindspore/mindspore/pulls/28707))
|
||||
- Fix the execution error when the weights are shared between graph mode and PyNative mode.([!26635](https://gitee.com/mindspore/mindspore/pulls/26635))
|
||||
- Fixed the probability coredump when free memory under PyNative mode.([!25472](https://gitee.com/mindspore/mindspore/pulls/25472))
|
||||
|
||||
#### Dataset
|
||||
|
||||
* Fix memory increase abnormally when running dataset for a long time. ([!26237](https://gitee.com/mindspore/mindspore/pulls/26237))
|
||||
* Fix saving MindRecord files with Chinese path on Windows. ([!28378](https://gitee.com/mindspore/mindspore/pulls/28378))
|
||||
- Fix memory increase abnormally when running dataset for a long time. ([!26237](https://gitee.com/mindspore/mindspore/pulls/26237))
|
||||
- Fix saving MindRecord files with Chinese path on Windows. ([!28378](https://gitee.com/mindspore/mindspore/pulls/28378))
|
||||
|
||||
## MindSpore Lite
|
||||
|
||||
|
@ -120,29 +120,29 @@
|
|||
|
||||
#### Converter and runtime
|
||||
|
||||
* [STABLE] Add more fusion patterns in the converter tool to improve runtime performance.
|
||||
* [STABLE] Support take OpenGL texture as input and output of inference.
|
||||
* [STABLE] Refactor the JAVA API.
|
||||
* [BETA] Support inference on Ascend310.
|
||||
- [STABLE] Add more fusion patterns in the converter tool to improve runtime performance.
|
||||
- [STABLE] Support take OpenGL texture as input and output of inference.
|
||||
- [STABLE] Refactor the JAVA API.
|
||||
- [BETA] Support inference on Ascend310.
|
||||
|
||||
#### x86 backend optimization
|
||||
|
||||
* [STABLE] Optimize kernels for x86 using Advanced Vector Extensions(AVX512).
|
||||
- [STABLE] Optimize kernels for x86 using Advanced Vector Extensions(AVX512).
|
||||
|
||||
#### ARM backend optimization
|
||||
|
||||
* [STABLE] Support heterogeneous parallel inference, including splitting operators, constructing heterogeneous subgraphs, and heterogeneous parallel scheduling between CPUs and GPUs.
|
||||
* [STABLE] Add more FP16 operators.
|
||||
- [STABLE] Support heterogeneous parallel inference, including splitting operators, constructing heterogeneous subgraphs, and heterogeneous parallel scheduling between CPUs and GPUs.
|
||||
- [STABLE] Add more FP16 operators.
|
||||
|
||||
#### Post quantization
|
||||
|
||||
* [STABLE] Post quantization supports debugging.
|
||||
* [STABLE] Full quantization supports choosing non-quantized nodes.
|
||||
* [STABLE] Mixed bit quantization supports auto-tune.
|
||||
- [STABLE] Post quantization supports debugging.
|
||||
- [STABLE] Full quantization supports choosing non-quantized nodes.
|
||||
- [STABLE] Mixed bit quantization supports auto-tune.
|
||||
|
||||
#### Training on Device
|
||||
|
||||
* [STABLE] Support user-defined algorithm models to access the federated learning framework.
|
||||
- [STABLE] Support user-defined algorithm models to access the federated learning framework.
|
||||
|
||||
### Contributors
|
||||
|
||||
|
@ -571,7 +571,7 @@ thor(net, learning_rate, damping, momentum, weight_decay=0.0, loss_scale=1.0, ba
|
|||
|
||||
##### Dump Config
|
||||
|
||||
Previously, we could only dump tensor data for one or all steps. To make the dump feature easier to use, we changed the dump configuration format and dump structure. View the [New Dump Tutorial](https://www.mindspore.cn/docs/programming_guide/en/master/dump_in_graph_mode.html#dump).
|
||||
Previously, we could only dump tensor data for one or all steps. To make the dump feature easier to use, we changed the dump configuration format and dump structure. View the [New Dump Tutorial](https://www.mindspore.cn/tutorials/experts/zh-CN/master/debug/dump.html#dump).
|
||||
|
||||
| 1.2.1 | 1.3.0 |
|
||||
| ------------------------------------------------------ | ------------------------------------------------------------------------------------------- |
|
||||
|
|
|
@ -23,7 +23,7 @@ mindspore.dataset.CLUEDataset
|
|||
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
根据给定的 `task` 参数 和 `usage` 配置,数据集会生成不同的输出列:
|
||||
|
||||
|
|
|
@ -22,7 +22,7 @@
|
|||
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
|
|
@ -17,7 +17,7 @@ mindspore.dataset.Caltech256Dataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器,默认值:None,下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
|
|
@ -19,7 +19,7 @@ mindspore.dataset.CelebADataset
|
|||
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数,可以小于数据集总数。默认值:None,读取全部样本图片。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
|
|
@ -18,7 +18,7 @@ mindspore.dataset.Cifar100Dataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器,默认值:None,下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
|
|
@ -18,7 +18,7 @@ mindspore.dataset.Cifar10Dataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器,默认值:None,下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
|
|
@ -22,7 +22,7 @@ mindspore.dataset.CityscapesDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器,默认值:None,下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
|
|
@ -17,7 +17,7 @@
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器,默认值:None,表2中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **extra_metadata** (bool, 可选) - 用于指定是否额外输出一个数据列用于表示图片元信息。如果为True,则将额外输出一个名为 `[_meta-filename, dtype=string]` 的数据列,默认值:False。
|
||||
|
||||
[表1] 根据不同 `task` 参数设置,生成数据集具有不同的输出列:
|
||||
|
|
|
@ -21,7 +21,7 @@ mindspore.dataset.DIV2KDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器,默认值:None,下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
|
|
@ -174,7 +174,7 @@
|
|||
- **column_order** (Union[str, list[str]], 可选) - 指定传递到下一个数据集操作的数据列的顺序。如果 `input_columns` 长度不等于 `output_columns` 长度,则必须指定此参数。 注意:参数的列名不限定在 `input_columns` 和 `output_columns` 中指定的列,也可以是上一个操作输出的未被处理的数据列。默认值:None,按照原输入顺序排列。
|
||||
- **num_parallel_workers** (int, 可选) - 指定map操作的多进程/多线程并发数,加快处理速度。默认值:None,将使用 `set_num_parallel_workers` 设置的并发数。
|
||||
- **python_multiprocessing** (bool, 可选) - 启用Python多进程模式加速map操作。当传入的 `operations` 计算量很大时,开启此选项可能会有较好效果。默认值:False。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **callbacks** (DSCallback, list[DSCallback], 可选) - 要调用的Dataset回调函数列表。默认值:None。
|
||||
- **max_rowsize** (int, 可选) - 指定在多进程之间复制数据时,共享内存分配的最大空间,仅当 `python_multiprocessing` 为True时,该选项有效。默认值:16,单位为MB。
|
||||
- **offload** (bool, 可选) - 是否进行异构硬件加速,详情请阅读 `数据准备异构加速 <https://www.mindspore.cn/docs/zh-CN/master/design/dataset_offload.html>`_ 。默认值:None。
|
||||
|
|
|
@ -5,7 +5,7 @@ mindspore.dataset.DatasetCache
|
|||
|
||||
创建数据缓存客户端实例。
|
||||
|
||||
关于单节点数据缓存的使用,请参阅 `单节点数据缓存教程 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/enable_cache.html>`_ 。
|
||||
关于单节点数据缓存的使用,请参阅 `单节点数据缓存教程 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。
|
||||
|
||||
**参数:**
|
||||
|
||||
|
|
|
@ -35,7 +35,7 @@ mindspore.dataset.GraphData
|
|||
|
||||
**参数:**
|
||||
|
||||
- **edge_type** (int) - 指定边的类型,在数据集转换为MindRecord格式时,需要指定 `edge_type` 的值,并在此API中对应使用。详见 `加载图数据集 <https://www.mindspore.cn/docs/programming_guide/zh-CN/master/load_dataset_gnn.html>`_ 。
|
||||
- **edge_type** (int) - 指定边的类型,在数据集转换为MindRecord格式时,需要指定 `edge_type` 的值,并在此API中对应使用。详见 `加载图数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/enhanced_graph_data.html>`_ 。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
@ -154,7 +154,7 @@ mindspore.dataset.GraphData
|
|||
|
||||
**参数:**
|
||||
|
||||
- **node_type** (int) - 指定节点的类型。在数据集转换为MindRecord格式时,需要指定 `node_type` 的值,并在此API中对应使用。详见 `加载图数据集 <https://www.mindspore.cn/docs/programming_guide/zh-CN/master/load_dataset_gnn.html>`_ 。
|
||||
- **node_type** (int) - 指定节点的类型。在数据集转换为MindRecord格式时,需要指定 `node_type` 的值,并在此API中对应使用。详见 `加载图数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/enhanced_graph_data.html>`_ 。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
|
|
@ -19,7 +19,7 @@ mindspore.dataset.ImageFolderDataset
|
|||
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作,默认值:False,不解码。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
|
|
@ -19,7 +19,7 @@
|
|||
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作,默认值:False,不解码。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
|
|
@ -24,7 +24,7 @@
|
|||
- **padded_sample** (dict, 可选): 指定额外添加到数据集的样本,可用于在分布式训练时补齐分片数据,注意字典的键名需要与 `column_list` 指定的列名相同。默认值:None,不添加样本。需要与 `num_padded` 参数同时使用。
|
||||
- **num_padded** (int, 可选) - 指定额外添加的数据集样本的数量。在分布式训练时可用于为数据集补齐样本,使得总样本数量可被 `num_shards` 整除。默认值:None,不添加样本。需要与 `padded_sample` 参数同时使用。
|
||||
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值:None,读取所有样本。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
|
|
@ -18,7 +18,7 @@ mindspore.dataset.MnistDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器,默认值:None,下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
|
|
@ -27,7 +27,7 @@ mindspore.dataset.TFRecordDataset
|
|||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **shard_equal_rows** (bool, 可选) - 分布式训练时,为所有分片获取等量的数据行数。默认值:False。如果 `shard_equal_rows` 为False,则可能会使得每个分片的数据条目不相等,从而导致分布式训练失败。因此当每个TFRecord文件的数据数量不相等时,建议将此参数设置为True。注意,只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
|
|
@ -19,7 +19,7 @@
|
|||
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
|
|
@ -22,7 +22,7 @@ mindspore.dataset.VOCDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器,默认值:None,下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数,默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号,默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **extra_metadata** (bool, 可选) - 用于指定是否额外输出一个数据列用于表示图片元信息。如果为True,则将额外输出一个名为 `[_meta-filename, dtype=string]` 的数据列,默认值:False。
|
||||
|
||||
根据给定的 `task` 配置,生成数据集具有不同的输出列:
|
||||
|
|
|
@ -4,7 +4,7 @@
|
|||
将CIFAR-100数据集转换为MindRecord格式数据集。
|
||||
|
||||
.. note::
|
||||
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://mindspore.cn/docs/programming_guide/zh-CN/master/dataset_conversion.html#转换CIFAR-10数据集>`_。
|
||||
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#转换CIFAR-10数据集>`_。
|
||||
|
||||
**参数:**
|
||||
|
||||
|
|
|
@ -4,7 +4,7 @@
|
|||
将CIFAR-10数据集转换为MindRecord格式数据集。
|
||||
|
||||
.. note::
|
||||
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://mindspore.cn/docs/programming_guide/zh-CN/master/dataset_conversion.html#转换CIFAR-10数据集>`_。
|
||||
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#转换CIFAR-10数据集>`_。
|
||||
|
||||
**参数:**
|
||||
|
||||
|
|
|
@ -4,7 +4,7 @@
|
|||
将CSV格式数据集转换为MindRecord格式数据集。
|
||||
|
||||
.. note::
|
||||
示例的详细信息,请参见 `转换CSV数据集 <https://mindspore.cn/docs/programming_guide/zh-CN/master/dataset_conversion.html#转换CSV数据集>`_。
|
||||
示例的详细信息,请参见 `转换CSV数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#转换CSV数据集>`_。
|
||||
|
||||
**参数:**
|
||||
|
||||
|
|
|
@ -4,7 +4,7 @@
|
|||
将ImageNet数据集转换为MindRecord格式数据集。
|
||||
|
||||
.. note::
|
||||
示例的详细信息,请参见 `Converting the ImageNet Dataset <https:// www.mindspore.cn/docs/programming_guide/en/master/dataset_conversion.html#converting-the-imagenet-dataset>`_。
|
||||
示例的详细信息,请参见 `Converting the ImageNet Dataset <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#converting-the-imagenet-dataset>`_。
|
||||
|
||||
**参数:**
|
||||
|
||||
|
|
|
@ -4,7 +4,7 @@
|
|||
将TFRecord格式数据集转换为MindRecord格式数据集。
|
||||
|
||||
.. note::
|
||||
示例的详细信息,请参见 `转换TFRecord数据集 <https://mindspore.cn/docs/programming_guide/zh-CN/master/dataset_conversion.html#转换TFRecord数据集>`_。
|
||||
示例的详细信息,请参见 `转换TFRecord数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#转换TFRecord数据集>`_。
|
||||
|
||||
**参数:**
|
||||
|
||||
|
|
|
@ -3,9 +3,9 @@ mindspore.communication
|
|||
集合通信接口。
|
||||
|
||||
注意,集合通信接口需要预先设置环境变量。对于Ascend,用户需要配置rank_table,设置rank_id和device_id,相关教程可参考:
|
||||
`Ascend指导文档 <https://www.mindspore.cn/docs/programming_guide/zh-CN/master/distributed_training_ascend.html>`_。
|
||||
`Ascend指导文档 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/train_ascend.html>`_。
|
||||
对于GPU,用户需要预先配置host_file以及mpi,相关教程参考:
|
||||
`GPU指导文档 <https://www.mindspore.cn/docs/programming_guide/zh-CN/master/distributed_training_gpu.html>`_。
|
||||
`GPU指导文档 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/train_gpu.html>`_。
|
||||
|
||||
目前尚不支持CPU。
|
||||
|
||||
|
|
|
@ -8,7 +8,7 @@ mindspore.dataset
|
|||
|
||||
大多数数据集可以通过指定参数 `cache` 启用缓存服务,以提升整体数据处理效率。
|
||||
请注意Windows平台上还不支持缓存服务,因此在Windows上加载和处理数据时,请勿使用。更多介绍和限制,
|
||||
请参考 `Single-Node Tensor Cache <https://www.mindspore.cn/tutorials/experts/zh-CN/master/data_engine/cache.html>`_。
|
||||
请参考 `Single-Node Tensor Cache <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_。
|
||||
|
||||
在API示例中,常用的模块导入方法如下:
|
||||
|
||||
|
|
|
@ -518,10 +518,10 @@ Parameter操作算子
|
|||
注意,以下列表中的接口需要先配置好通信环境变量。
|
||||
|
||||
针对Ascend设备,用户需要准备rank表,设置rank_id和device_id,详见 `Ascend指导文档 \
|
||||
<https://www.mindspore.cn/docs/programming_guide/zh-CN/master/distributed_training_ascend.html#id12>`_ 。
|
||||
<https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/train_ascend.html#id12>`_ 。
|
||||
|
||||
针对GPU设备,用户需要准备host文件和mpi,详见 `GPU指导文档 \
|
||||
<https://www.mindspore.cn/docs/programming_guide/zh-CN/master/distributed_training_gpu.html#id6>`_ 。
|
||||
<https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/train_gpu.html#id6>`_ 。
|
||||
|
||||
.. mscnplatformautosummary::
|
||||
:toctree: ops
|
||||
|
|
|
@ -5,7 +5,7 @@ mindspore.set_dump
|
|||
|
||||
启用或者禁用 `target` 及其子节点的Dump数据功能。
|
||||
|
||||
`target` 为 :class:`mindspore.nn.Cell` 或 :class:`mindspore.ops.Primitive` 的实例。请注意,此API仅在开启异步Dump功能且Dump配置文件中的 `dump_mode` 字段为"2"时生效。有关详细信息,请参阅 `Dump功能文档 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/debug/dump_in_graph_mode.html>`_ 。默认状态下, :class:`mindspore.nn.Cell` 和 :class:`mindspore.ops.Primitive` 实例不使能Dump数据功能。
|
||||
`target` 为 :class:`mindspore.nn.Cell` 或 :class:`mindspore.ops.Primitive` 的实例。请注意,此API仅在开启异步Dump功能且Dump配置文件中的 `dump_mode` 字段为"2"时生效。有关详细信息,请参阅 `Dump功能文档 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/debug/dump.html>`_ 。默认状态下, :class:`mindspore.nn.Cell` 和 :class:`mindspore.ops.Primitive` 实例不使能Dump数据功能。
|
||||
|
||||
.. Warning::
|
||||
此类中的所有API均为实验版本,将来可能更改或者删除。
|
||||
|
|
|
@ -3,7 +3,7 @@ mindspore.nn.Jvp
|
|||
|
||||
.. py:class:: mindspore.nn.Jvp(fn)
|
||||
|
||||
计算给定网络的雅可比向量积(Jacobian-vector product, JVP)。JVP对应 `前向模式自动微分 <https://mindspore.cn/docs/programming_guide/zh-CN/master/design/gradient.html#id3>`_。
|
||||
计算给定网络的雅可比向量积(Jacobian-vector product, JVP)。JVP对应 `前向模式自动微分 <https://www.mindspore.cn/docs/zh-CN/master/design/gradient.html#id3>`_。
|
||||
|
||||
**参数:**
|
||||
|
||||
|
|
|
@ -3,7 +3,7 @@ mindspore.nn.Vjp
|
|||
|
||||
.. py:class:: mindspore.nn.Vjp(fn)
|
||||
|
||||
计算给定网络的向量雅可比积(vector-Jacobian product, VJP)。VJP对应 `反向模式自动微分 <https://mindspore.cn/docs/programming_guide/zh-CN/master/design/gradient.html#id4>`_。
|
||||
计算给定网络的向量雅可比积(vector-Jacobian product, VJP)。VJP对应 `反向模式自动微分 <https://www.mindspore.cn/docs/zh-CN/master/design/gradient.html#id4>`_。
|
||||
|
||||
**参数:**
|
||||
|
||||
|
|
|
@ -10,7 +10,7 @@ mindspore.ops.Add
|
|||
out_{i} = x_{i} + y_{i}
|
||||
|
||||
.. note::
|
||||
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html>`_ ,使数据类型保持一致。
|
||||
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html>`_ ,使数据类型保持一致。
|
||||
- 输入必须是两个Tensor,或一个Tensor和一个Scalar。
|
||||
- 当输入是两个Tensor时,它们的数据类型不能同时是bool,并保证其shape可以广播。
|
||||
- 当输入是一个Tensor和一个Scalar时,Scalar只能是一个常数。
|
||||
|
|
|
@ -5,7 +5,7 @@ mindspore.ops.Custom
|
|||
|
||||
`Custom` 算子是MindSpore自定义算子的统一接口。用户可以利用该接口自行定义MindSpore内置算子库尚未包含的算子。
|
||||
根据输入函数的不用,你可以创建多个自定义算子,并且把它们用在神经网络中。
|
||||
关于自定义算子的详细说明和介绍,包括参数的正确书写,见编程指南 https://www.mindspore.cn/docs/programming_guide/zh-CN/master/custom_operator_custom.html 。
|
||||
关于自定义算子的详细说明和介绍,包括参数的正确书写,见编程指南 https://www.mindspore.cn/tutorials/experts/zh-CN/master/operation/op_custom.html 。
|
||||
|
||||
.. warning::
|
||||
这是一个实验性接口,后续可能删除或修改。
|
||||
|
|
|
@ -10,7 +10,7 @@ mindspore.ops.Div
|
|||
out_{i} = \frac{x_i}{y_i}
|
||||
|
||||
.. note::
|
||||
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html>`_ ,使数据类型保持一致。
|
||||
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html>`_ ,使数据类型保持一致。
|
||||
- 输入必须是两个Tensor,或一个Tensor和一个Scalar。
|
||||
- 当输入是两个Tensor时,它们的数据类型不能同时是bool,并保证其shape可以广播。
|
||||
- 当输入是一个Tensor和一个Scalar时,Scalar只能是一个常数。
|
||||
|
|
|
@ -13,7 +13,7 @@ mindspore.ops.LessEqual
|
|||
\end{cases}
|
||||
|
||||
.. note::
|
||||
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html>`_ ,使数据类型保持一致。
|
||||
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html>`_ ,使数据类型保持一致。
|
||||
- 输入必须是两个Tensor,或一个Tensor和一个Scalar。
|
||||
- 当输入是两个Tensor时,它们的数据类型不能同时是bool,并保证其shape可以广播。
|
||||
- 当输入是一个Tensor和一个Scalar时,Scalar只能是一个常数。
|
||||
|
|
|
@ -10,7 +10,7 @@ mindspore.ops.Mul
|
|||
out_{i} = x_{i} * y_{i}
|
||||
|
||||
.. note::
|
||||
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html>`_ ,使数据类型保持一致。
|
||||
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html>`_ ,使数据类型保持一致。
|
||||
- 输入必须是两个Tensor,或一个Tensor和一个Scalar。
|
||||
- 当输入是两个Tensor时,它们的数据类型不能同时是bool,并保证其shape可以广播。
|
||||
- 当输入是一个Tensor和一个Scalar时,Scalar只能是一个常数。
|
||||
|
|
|
@ -6,7 +6,7 @@ mindspore.ops.NotEqual
|
|||
计算两个Tensor是否不相等。
|
||||
|
||||
.. note::
|
||||
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html>`_ ,使数据类型保持一致。
|
||||
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html>`_ ,使数据类型保持一致。
|
||||
- 输入必须是两个Tensor,或一个Tensor和一个Scalar。
|
||||
- 当输入是两个Tensor时,它们的shape可以广播。
|
||||
- 当输入是一个Tensor和一个Scalar时,Scalar只能是一个常数。
|
||||
|
|
|
@ -10,7 +10,7 @@ mindspore.ops.Pow
|
|||
out_{i} = x_{i} ^{ y_{i}}
|
||||
|
||||
.. note::
|
||||
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html>`_ ,使数据类型保持一致。
|
||||
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html>`_ ,使数据类型保持一致。
|
||||
- 输入必须是两个Tensor,或一个Tensor和一个Scalar。
|
||||
- 当输入是两个Tensor时,它们的数据类型不能同时是bool,并保证其shape可以广播。
|
||||
- 当输入是一个Tensor和一个Scalar时,Scalar只能是一个常数。
|
||||
|
|
|
@ -10,7 +10,7 @@ mindspore.ops.Sub
|
|||
out_{i} = x_{i} - y_{i}
|
||||
|
||||
.. note::
|
||||
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html>`_ ,使数据类型保持一致。
|
||||
- 输入 `x` 和 `y` 遵循 `隐式类型转换规则 <https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html>`_ ,使数据类型保持一致。
|
||||
- 输入必须是两个Tensor,或一个Tensor和一个Scalar。
|
||||
- 当输入是两个Tensor时,它们的数据类型不能同时是bool,它们的shape可以广播。
|
||||
- 当输入是一个Tensor和一个Scalar时,Scalar只能是一个常数。
|
||||
|
|
|
@ -47,7 +47,7 @@ constexpr char kDetailedFailureReason[] =
|
|||
"Maybe you are trying to call 'mindspore.communication.init()' without using 'mpirun', which will make MindSpore "
|
||||
"load several environment variables and check their validation. Please use 'mpirun' to launch this process to fix "
|
||||
"this issue, or refer to this link if you want to run distributed training without using 'mpirun': "
|
||||
"https://www.mindspore.cn/docs/programming_guide/zh-CN/master/distributed_training_gpu.html#openmpi.";
|
||||
"https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/train_gpu.html#openmpi.";
|
||||
|
||||
// Node role based cluster built by MindSpore communication framework.
|
||||
class BACKEND_EXPORT ClusterContext {
|
||||
|
|
|
@ -373,7 +373,7 @@ void RaiseExceptionForConvertRefDtype(const std::string &, const std::string &re
|
|||
MS_LOG(EXCEPTION) << "Data type conversion of 'Parameter' is not supported, so data type " << ref_type
|
||||
<< " cannot be converted to data type " << target_type << " automatically.\n"
|
||||
<< "For more details, please refer at "
|
||||
<< "https://www.mindspore.cn/docs/note/zh-CN/master/operator_list_implicit.html.";
|
||||
<< "https://www.mindspore.cn/docs/zh-CN/master/note/operator_list_implicit.html.";
|
||||
}
|
||||
void RaiseExceptionForCheckParameter(const std::string &func_name, size_t i, const std::string &source_type) {
|
||||
MS_EXCEPTION(TypeError) << "Function " << func_name << "'s input " << i << " should be a Parameter, but "
|
||||
|
|
|
@ -26,7 +26,7 @@ def set_dump(target, enabled=True):
|
|||
`target` should be an instance of :class:`mindspore.nn.Cell` or :class:`mindspore.ops.Primitive` .
|
||||
Please note that this API takes effect only when Asynchronous Dump is enabled and the `dump_mode`
|
||||
field in dump config file is "2". See the `dump document <https://www.mindspore.cn/tutorials/
|
||||
experts/en/master/debug/dump_in_graph_mode.html>`_ for details. The default enabled status for
|
||||
experts/en/master/debug/dump.html>`_ for details. The default enabled status for
|
||||
a :class:`mindspore.nn.Cell` or :class:`mindspore.ops.Primitive` is False.
|
||||
|
||||
.. warning::
|
||||
|
|
|
@ -15,9 +15,9 @@
|
|||
"""
|
||||
Collective communication interface. Note the API in the file needs to preset communication environment variables. For
|
||||
the Ascend cards, users need to prepare the rank table, set rank_id and device_id. Please see the `Ascend tutorial \
|
||||
<https://www.mindspore.cn/docs/programming_guide/zh-CN/master/distributed_training_ascend.html>`_ for more details.
|
||||
<https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/train_ascend.html>`_ for more details.
|
||||
For the GPU device, users need to prepare the host file and mpi, please see the `GPU tutorial \
|
||||
<https://www.mindspore.cn/docs/programming_guide/zh-CN/master/distributed_training_gpu.html>`_
|
||||
<https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/train_gpu.html>`_
|
||||
for more details.
|
||||
"""
|
||||
|
||||
|
|
|
@ -21,7 +21,7 @@ Besides, this module provides APIs to sample data while loading.
|
|||
|
||||
We can enable cache in most of the dataset with its key arguments 'cache'. Please notice that cache is not supported
|
||||
on Windows platform yet. Do not use it while loading and processing data on Windows. More introductions and limitations
|
||||
can refer `Single-Node Tensor Cache <https://www.mindspore.cn/tutorials/experts/en/master/data_engine/cache.html>`_.
|
||||
can refer `Single-Node Tensor Cache <https://www.mindspore.cn/tutorials/experts/en/master/dataset/cache.html>`_.
|
||||
|
||||
Common imported modules in corresponding API examples are as follows:
|
||||
|
||||
|
|
|
@ -27,7 +27,7 @@ class DatasetCache:
|
|||
A client to interface with tensor caching service.
|
||||
|
||||
For details, please check `Tutorial <https://www.mindspore.cn/
|
||||
tutorials/experts/en/master/data_engine/enable_cache.html>`_.
|
||||
tutorials/experts/en/master/dataset/cache.html>`_.
|
||||
|
||||
Args:
|
||||
session_id (int): A user assigned session id for the current pipeline.
|
||||
|
|
|
@ -40,7 +40,7 @@ class Cifar100ToMR:
|
|||
|
||||
Note:
|
||||
For details about Examples, please refer to `Converting the CIFAR-10 Dataset <https://
|
||||
www.mindspore.cn/docs/programming_guide/en/master/dataset_conversion.html#converting-the-cifar-10-dataset>`_.
|
||||
www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#converting-the-cifar-10-dataset>`_.
|
||||
|
||||
Args:
|
||||
source (str): The cifar100 directory to be transformed.
|
||||
|
|
|
@ -40,7 +40,7 @@ class Cifar10ToMR:
|
|||
|
||||
Note:
|
||||
For details about Examples, please refer to `Converting the CIFAR-10 Dataset <https://
|
||||
www.mindspore.cn/docs/programming_guide/en/master/dataset_conversion.html#converting-the-cifar-10-dataset>`_.
|
||||
www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#converting-the-cifar-10-dataset>`_.
|
||||
|
||||
Args:
|
||||
source (str): The cifar10 directory to be transformed.
|
||||
|
|
|
@ -36,7 +36,7 @@ class CsvToMR:
|
|||
|
||||
Note:
|
||||
For details about Examples, please refer to `Converting CSV Dataset <https://
|
||||
www.mindspore.cn/docs/programming_guide/en/master/dataset_conversion.html#converting-csv-dataset>`_.
|
||||
www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#converting-csv-dataset>`_.
|
||||
|
||||
Args:
|
||||
source (str): The file path of csv.
|
||||
|
|
|
@ -32,7 +32,7 @@ class ImageNetToMR:
|
|||
|
||||
Note:
|
||||
For details about Examples, please refer to `Converting the ImageNet Dataset <https://
|
||||
www.mindspore.cn/docs/programming_guide/en/master/dataset_conversion.html#converting-the-imagenet-dataset>`_.
|
||||
www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#converting-the-imagenet-dataset>`_.
|
||||
|
||||
Args:
|
||||
map_file (str): The map file that indicates label. The map file content should be like this:
|
||||
|
|
|
@ -69,7 +69,7 @@ class TFRecordToMR:
|
|||
|
||||
Note:
|
||||
For details about Examples, please refer to `Converting TFRecord Dataset <https://
|
||||
www.mindspore.cn/docs/programming_guide/en/master/dataset_conversion.html#converting-tfrecord-dataset>`_.
|
||||
www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#converting-tfrecord-dataset>`_.
|
||||
|
||||
Args:
|
||||
source (str): TFRecord file to be transformed.
|
||||
|
|
Loading…
Reference in New Issue