p60975123
/
mindspore
forked from mindspore-Ecosystem/mindspore
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity

add Note for map and generatorDataset

This commit is contained in:
ms_yan 2021-12-07 20:58:19 +08:00
parent e2790c37bd
commit 2a2d73406f
3 changed files with 15 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

4
docs/api/api_python/dataset/mindspore.dataset.Dataset.rst
View File

@ -447,6 +447,10 @@
- **cache** (DatasetCache, optional) - 使用Tensor缓存服务加快数据集处理速度（默认为None，即不使用缓存）。 - **cache** (DatasetCache, optional) - 使用Tensor缓存服务加快数据集处理速度（默认为None，即不使用缓存）。
- **callbacks** (DSCallback, list[DSCallback], optional) - 要调用的Dataset回调函数列表（默认为None）。 - **callbacks** (DSCallback, list[DSCallback], optional) - 要调用的Dataset回调函数列表（默认为None）。
.. note::
- `operations` 参数主要接收 `mindspore.dataset` 模块中c_transforms、py_transforms算子，以及用户定义的Python函数(PyFuncs)。
- 不要将 `mindspore.nn` 和 `mindspore.ops` 或其他的网络计算算子添加到 `operations` 中。
**返回：** **返回：**
MapDataset，map操作后的数据集。 MapDataset，map操作后的数据集。

5
docs/api/api_python/dataset/mindspore.dataset.GeneratorDataset.rst
View File

@ -37,7 +37,10 @@
- **RuntimeError** - 指定了 `shard_id` 参数，但是未指定 `num_shards` 参数。 - **RuntimeError** - 指定了 `shard_id` 参数，但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数错误（小于0或者大于等于 `num_shards` ）。 - **ValueError** - `shard_id` 参数错误（小于0或者大于等于 `num_shards` ）。
.. note:: 此数据集可以指定 `sampler` 参数，但 `sampler` 和 `shuffle` 是互斥的。下表展示了几种合法的输入参数及预期的行为。 .. note::
- `source` 参数接收用户自定义的Python函数（PyFuncs），不要将 `mindspore.nn` 和 `mindspore.ops` 目录下或其他的网络计算算子添加
到 `source` 中。
- 此数据集可以指定 `sampler` 参数，但 `sampler` 和 `shuffle` 是互斥的。下表展示了几种合法的输入参数及预期的行为。
.. list-table:: 配置 `sampler` 和 `shuffle` 的不同组合得到的预期排序结果 .. list-table:: 配置 `sampler` 和 `shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50 :widths: 25 25 50

7
mindspore/dataset/engine/datasets.py
View File

@ -712,6 +712,11 @@ class Dataset:
data between processes. This is only used if python_multiprocessing is set to True (Default=16). data between processes. This is only used if python_multiprocessing is set to True (Default=16).
offload (bool, optional): Flag to indicate whether offload is used (Default=None). offload (bool, optional): Flag to indicate whether offload is used (Default=None).
Note:
- Input `operations` mainly accept c_transforms, py_transforms operator in mindspore.dataset part, plus user
defined Python function(PyFuncs).
- Do not add network computing operators from mindspore.nn and mindspore.ops or others into this
`operations`.
Returns: Returns:
MapDataset, dataset after mapping operation. MapDataset, dataset after mapping operation.
@ -4832,6 +4837,8 @@ class GeneratorDataset(MappableDataset):
ValueError: If shard_id is invalid (< 0 or >= num_shards). ValueError: If shard_id is invalid (< 0 or >= num_shards).
Note: Note:
- Input `source` accept user defined Python function(PyFuncs), Do not add network computing operators from
mindspore.nn and mindspore.ops or others into this `source`.
- This dataset can take in a `sampler`. `sampler` and `shuffle` are mutually exclusive. - This dataset can take in a `sampler`. `sampler` and `shuffle` are mutually exclusive.
The table below shows what input arguments are allowed and their expected behavior. The table below shows what input arguments are allowed and their expected behavior.