From 2a2d73406f94e46e6430b099637a1a53e334aafa Mon Sep 17 00:00:00 2001 From: ms_yan Date: Tue, 7 Dec 2021 20:58:19 +0800 Subject: [PATCH] add Note for map and generatorDataset --- docs/api/api_python/dataset/mindspore.dataset.Dataset.rst | 4 ++++ .../dataset/mindspore.dataset.GeneratorDataset.rst | 5 ++++- mindspore/dataset/engine/datasets.py | 7 +++++++ 3 files changed, 15 insertions(+), 1 deletion(-) diff --git a/docs/api/api_python/dataset/mindspore.dataset.Dataset.rst b/docs/api/api_python/dataset/mindspore.dataset.Dataset.rst index c541c298182..a13ea7236ac 100644 --- a/docs/api/api_python/dataset/mindspore.dataset.Dataset.rst +++ b/docs/api/api_python/dataset/mindspore.dataset.Dataset.rst @@ -447,6 +447,10 @@ - **cache** (DatasetCache, optional) - 使用Tensor缓存服务加快数据集处理速度(默认为None,即不使用缓存)。 - **callbacks** (DSCallback, list[DSCallback], optional) - 要调用的Dataset回调函数列表(默认为None)。 + .. note:: + - `operations` 参数主要接收 `mindspore.dataset` 模块中c_transforms、py_transforms算子,以及用户定义的Python函数(PyFuncs)。 + - 不要将 `mindspore.nn` 和 `mindspore.ops` 或其他的网络计算算子添加到 `operations` 中。 + **返回:** MapDataset,map操作后的数据集。 diff --git a/docs/api/api_python/dataset/mindspore.dataset.GeneratorDataset.rst b/docs/api/api_python/dataset/mindspore.dataset.GeneratorDataset.rst index 030a35049f0..49cd403bf76 100644 --- a/docs/api/api_python/dataset/mindspore.dataset.GeneratorDataset.rst +++ b/docs/api/api_python/dataset/mindspore.dataset.GeneratorDataset.rst @@ -37,7 +37,10 @@ - **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。 - **ValueError** - `shard_id` 参数错误(小于0或者大于等于 `num_shards` )。 - .. note:: 此数据集可以指定 `sampler` 参数,但 `sampler` 和 `shuffle` 是互斥的。下表展示了几种合法的输入参数及预期的行为。 + .. note:: + - `source` 参数接收用户自定义的Python函数(PyFuncs),不要将 `mindspore.nn` 和 `mindspore.ops` 目录下或其他的网络计算算子添加 + 到 `source` 中。 + - 此数据集可以指定 `sampler` 参数,但 `sampler` 和 `shuffle` 是互斥的。下表展示了几种合法的输入参数及预期的行为。 .. list-table:: 配置 `sampler` 和 `shuffle` 的不同组合得到的预期排序结果 :widths: 25 25 50 diff --git a/mindspore/dataset/engine/datasets.py b/mindspore/dataset/engine/datasets.py index 36d3bac39bc..9a74e896eb0 100644 --- a/mindspore/dataset/engine/datasets.py +++ b/mindspore/dataset/engine/datasets.py @@ -712,6 +712,11 @@ class Dataset: data between processes. This is only used if python_multiprocessing is set to True (Default=16). offload (bool, optional): Flag to indicate whether offload is used (Default=None). + Note: + - Input `operations` mainly accept c_transforms, py_transforms operator in mindspore.dataset part, plus user + defined Python function(PyFuncs). + - Do not add network computing operators from mindspore.nn and mindspore.ops or others into this + `operations`. Returns: MapDataset, dataset after mapping operation. @@ -4832,6 +4837,8 @@ class GeneratorDataset(MappableDataset): ValueError: If shard_id is invalid (< 0 or >= num_shards). Note: + - Input `source` accept user defined Python function(PyFuncs), Do not add network computing operators from + mindspore.nn and mindspore.ops or others into this `source`. - This dataset can take in a `sampler`. `sampler` and `shuffle` are mutually exclusive. The table below shows what input arguments are allowed and their expected behavior.