diff --git a/docs/api/api_python/dataset/mindspore.dataset.deserialize.rst b/docs/api/api_python/dataset/mindspore.dataset.deserialize.rst index ebe3a280924..c358e8ac53d 100644 --- a/docs/api/api_python/dataset/mindspore.dataset.deserialize.rst +++ b/docs/api/api_python/dataset/mindspore.dataset.deserialize.rst @@ -5,9 +5,6 @@ mindspore.dataset.deserialize 数据处理管道反序列化,支持输入Python字典或使用 `mindspore.dataset.serialize()` 接口生成的JSON文件。 - .. note:: - 反序列化包含自定义Python函数的数据处理管道时,部分参数信息可能丢失;当 `input_dict` 和 `json_filepath` 同时不为None时,返回反序列化JSON文件的结果。 - 参数: - **input_dict** (dict) - 以Python字典存储的数据处理管道。默认值:None。 - **json_filepath** (str) - 数据处理管道JSON文件的路径,该文件以通用JSON格式存储了数据处理管道信息,用户可通过 `mindspore.dataset.serialize()` 接口生成。默认值:None。 @@ -16,4 +13,4 @@ mindspore.dataset.deserialize 当反序列化成功时,将返回Dataset对象;当无法被反序列化时,deserialize将会失败,且返回None。 异常: - - **OSError** - `json_filepath` 不为None且JSON文件解析失败时。 + - **OSError** - 无法打开 `json_filepath` 指定的文件。 diff --git a/docs/api/api_python/dataset/mindspore.dataset.serialize.rst b/docs/api/api_python/dataset/mindspore.dataset.serialize.rst index 5f51541befd..30fcf04a454 100644 --- a/docs/api/api_python/dataset/mindspore.dataset.serialize.rst +++ b/docs/api/api_python/dataset/mindspore.dataset.serialize.rst @@ -12,7 +12,7 @@ 参数: - **dataset** (Dataset) - 数据处理管道对象。 - - **json_filepath** (str) - 生成序列化JSON文件的路径。 + - **json_filepath** (str) - 生成序列化JSON文件的路径,默认值:'',不指定JSON路径。 返回: Dict,包含序列化数据集图的字典。 diff --git a/docs/api/api_python/dataset_audio/mindspore.dataset.audio.ComputeDeltas.rst b/docs/api/api_python/dataset_audio/mindspore.dataset.audio.ComputeDeltas.rst index cb38099ebb4..c25121fcc8c 100644 --- a/docs/api/api_python/dataset_audio/mindspore.dataset.audio.ComputeDeltas.rst +++ b/docs/api/api_python/dataset_audio/mindspore.dataset.audio.ComputeDeltas.rst @@ -10,4 +10,11 @@ mindspore.dataset.audio.ComputeDeltas 参数: - **win_length** (int, 可选) - 计算窗口长度,长度必须不小于3,默认值:5。 - - **pad_mode** (:class:`mindspore.dataset.audio.BorderType`, 可选) - 边界填充模式,默认值:BorderType.EDGE。 + - **pad_mode** (:class:`mindspore.dataset.audio.BorderType`, 可选) - 边界填充模式,可以是 + [BorderType.CONSTANT, BorderType.EDGE, BorderType.REFLECT, BordBorderTypeer.SYMMETRIC]中任何一个。 + 默认值:BorderType.EDGE。 + + - BorderType.CONSTANT,用常量值填充边界。 + - BorderType.EDGE,使用各边的边界像素值进行填充。 + - BorderType.REFLECT,以各边的边界为轴进行镜像填充,忽略边界像素值。例如,对 [1,2,3,4] 的两侧分别填充2个元素,结果为 [3,2,1,2,3,4,3,2]。 + - BorderType.SYMMETRIC,以各边的边界为轴进行对称填充,包括边界像素值。例如,对 [1,2,3,4] 的两侧分别填充2个元素,结果为 [2,1,1,2,3,4,4,3]。 diff --git a/docs/api/api_python/mindspore.dataset.config.rst b/docs/api/api_python/mindspore.dataset.config.rst index 9660f087bcc..d785f1bdc4b 100644 --- a/docs/api/api_python/mindspore.dataset.config.rst +++ b/docs/api/api_python/mindspore.dataset.config.rst @@ -321,5 +321,22 @@ API示例所需模块的导入代码如下: 返回: int,表示多进程/多线程下,主进程/主线程获取数据超时时,告警日志打印的时间间隔(默认300秒)。 +.. py:function:: mindspore.dataset.config.set_fast_recovery(fast_recovery) + + 在数据集管道故障恢复时,是否开启快速恢复模式(快速恢复模式下,无法保证随机性的数据增强操作得到与故障之前相同的结果)。 + + 参数: + - **fast_recovery** (bool) - 是否开启快速恢复模式。 + + 异常: + - **TypeError** - `fast_recovery` 不是bool类型。 + +.. py:function:: mindspore.dataset.config.get_fast_recovery() + + 获取当前数据管道是否开启快速恢复模式。 + + 返回: + bool,当前数据管道是否开启快速恢复模式。 + .. automodule:: mindspore.dataset.config :members: diff --git a/mindspore/python/mindspore/dataset/engine/datasets_standard_format.py b/mindspore/python/mindspore/dataset/engine/datasets_standard_format.py index 6c70de11176..a5bae752bbc 100644 --- a/mindspore/python/mindspore/dataset/engine/datasets_standard_format.py +++ b/mindspore/python/mindspore/dataset/engine/datasets_standard_format.py @@ -41,7 +41,7 @@ from . import samplers class CSVDataset(SourceDataset, UnionBaseDataset): """ A source dataset that reads and parses comma-separated values - `(CSV) `_ files as dataset. + `(CSV) `_ files as dataset. The columns of generated dataset depend on the source CSV files. diff --git a/mindspore/python/mindspore/dataset/engine/serializer_deserializer.py b/mindspore/python/mindspore/dataset/engine/serializer_deserializer.py index 14cc23d010c..a3b47f17824 100644 --- a/mindspore/python/mindspore/dataset/engine/serializer_deserializer.py +++ b/mindspore/python/mindspore/dataset/engine/serializer_deserializer.py @@ -63,7 +63,8 @@ def deserialize(input_dict=None, json_filepath=None): Args: input_dict (dict): A Python dictionary containing a serialized dataset graph (default=None). - json_filepath (str): A path to the JSON file (default=None). + json_filepath (str): A path to the JSON file containing dataset graph. + User can obtain this file by calling API `mindspore.dataset.serialize()` (default=None). Returns: de.Dataset or None if error occurs.