forked from mindspore-Ecosystem/mindspore
57 lines
2.3 KiB
Plaintext
57 lines
2.3 KiB
Plaintext
|
Class mindspore.DatasetHelper(dataset, dataset_sink_mode=True, sink_size=-1, epoch_num=1)
|
|||
|
|
|
|||
|
|
DatasetHelper是一个处理MindData数据集的类，提供数据集信息。
|
|||
|
|
|
|||
|
|
根据不同的上下文，改变数据集的迭代，在不同的上下文中使用相同的迭代。
|
|||
|
|
|
|||
|
|
注：
|
|||
|
|
DatasetHelper的迭代将提供一个epoch的数据。
|
|||
|
|
|
|||
|
|
参数：
|
|||
|
|
dataset (Dataset)：训练数据集迭代器。数据集可以由数据集生成器API在:class:`mindspore.dataset`中生成，例如:class:`mindspore.dataset.ImageFolderDataset`。
|
|||
|
|
dataset_sink_mode (bool)：如果值为True，使用:class:`mindspore.ops.GetNext`在设备（Device）上通过数据通道中获取数据，否则在主机直接遍历数据集获取数据。默认值：True。
|
|||
|
|
sink_size (int)：控制每个下沉中的数据量。
|
|||
|
|
如果`sink_size`为-1，则下沉每个epoch的完整数据集。
|
|||
|
|
如果`sink_size`大于0，则下沉每个epoch的`sink_size`数据。
|
|||
|
|
默认值：-1。
|
|||
|
|
epoch_num (int)：控制待发送的epoch数据量。默认值：1。
|
|||
|
|
|
|||
|
|
样例：
|
|||
|
|
>>> from mindspore import DatasetHelper
|
|||
|
|
>>>
|
|||
|
|
>>> train_dataset = create_custom_dataset()
|
|||
|
|
>>> set_helper = DatasetHelper(train_dataset, dataset_sink_mode=False)
|
|||
|
|
>>> # DatasetHelper对象是可迭代的
|
|||
|
|
>>> for next_element in set_helper:
|
|||
|
|
... next_element
|
|||
|
|
|
|||
|
|
|
|||
|
|
continue_send()
|
|||
|
|
在epoch开始时继续向设备发送数据。
|
|||
|
|
|
|||
|
|
dynamic_min_max_shapes()
|
|||
|
|
返回动态数据的形状(shape)范围（最小形状(shape)，最大形状(shape)）。
|
|||
|
|
|
|||
|
|
get_data_info()
|
|||
|
|
下沉模式下，获取当前批次数据的类型和形状(shape)。
|
|||
|
|
通常在数据形状(shape)动态变化的场景使用。
|
|||
|
|
|
|||
|
|
样例：
|
|||
|
|
>>> from mindspore import DatasetHelper
|
|||
|
|
>>>
|
|||
|
|
>>> train_dataset = create_custom_dataset()
|
|||
|
|
>>> dataset_helper = DatasetHelper(train_dataset, dataset_sink_mode=True)
|
|||
|
|
>>>
|
|||
|
|
>>> types, shapes = dataset_helper.get_data_info()
|
|||
|
|
|
|||
|
|
release()
|
|||
|
|
释放数据下沉资源。
|
|||
|
|
|
|||
|
|
sink_size()
|
|||
|
|
获取每次迭代的`sink_size`。
|
|||
|
|
|
|||
|
|
stop_send()
|
|||
|
|
停止发送数据下沉数据。
|
|||
|
|
|
|||
|
|
types_shapes()
|
|||
|
|
从当前配置中的数据集获取类型和形状(shape)。
|