modify api annotation
This commit is contained in:
parent
d408b2b731
commit
fc2a76ab46
|
@ -1,61 +1,60 @@
|
|||
.. py:method:: add_child(sampler)
|
||||
|
||||
为给定采样器添加子采样器。子采样器将接收父采样器输出的所有数据,并应用其采样逻辑返回新的采样。
|
||||
为给定采样器添加子采样器。子采样器将接收父采样器输出的所有数据,并应用其采样逻辑返回新的采样。
|
||||
|
||||
**参数:**
|
||||
|
||||
**参数:**
|
||||
**sampler** (Sampler):用于从数据集中选择样本的对象。仅支持内置采样器(DistributedSampler、PKSampler、RandomSampler、SequentialSampler、SubsetRandomSampler、WeightedRandomSampler)。
|
||||
|
||||
**sampler** (Sampler):用于从数据集中选择样本的对象。仅支持内置采样器(DistributedSampler、PKSampler、RandomSampler、SequentialSampler、SubsetRandomSampler、WeightedRandomSampler)。
|
||||
**样例:**
|
||||
|
||||
**样例:**
|
||||
|
||||
>>> sampler = ds.SequentialSampler(start_index=0, num_samples=3)
|
||||
>>> sampler.add_child(ds.RandomSampler(num_samples=2))
|
||||
>>> dataset = ds.Cifar10Dataset(cifar10_dataset_dir, sampler=sampler)
|
||||
>>> sampler = ds.SequentialSampler(start_index=0, num_samples=3)
|
||||
>>> sampler.add_child(ds.RandomSampler(num_samples=2))
|
||||
>>> dataset = ds.Cifar10Dataset(cifar10_dataset_dir, sampler=sampler)
|
||||
|
||||
.. py:method:: get_child()
|
||||
|
||||
获取给定采样器的子采样器。
|
||||
获取给定采样器的子采样器。
|
||||
|
||||
.. py:method:: get_num_samples()
|
||||
|
||||
所有采样器都可以包含num_samples数值(也可以将其设置为None)。子采样器可以存在,也可以为None。如果存在子采样器,则子采样器计数可以是数值或None。这些条件会影响最终的采样结果。
|
||||
所有采样器都可以包含 `num_samples` 数值(也可以将其设置为None)。子采样器可以存在,也可以为None。如果存在子采样器,则子采样器计数可以是数值或None。这些条件会影响最终的采样结果。
|
||||
|
||||
下表显示了调用此函数的可能结果。
|
||||
下表显示了调用此函数的可能结果。
|
||||
|
||||
.. list-table::
|
||||
:widths: 25 25 25 25
|
||||
:header-rows: 1
|
||||
.. list-table::
|
||||
:widths: 25 25 25 25
|
||||
:header-rows: 1
|
||||
|
||||
* - 子采样器
|
||||
- num_samples
|
||||
- child_samples
|
||||
- 结果
|
||||
* - T
|
||||
- x
|
||||
- y
|
||||
- min(x, y)
|
||||
* - T
|
||||
- x
|
||||
- None
|
||||
- x
|
||||
* - T
|
||||
- None
|
||||
- y
|
||||
- y
|
||||
* - T
|
||||
- None
|
||||
- None
|
||||
- None
|
||||
* - None
|
||||
- x
|
||||
- n/a
|
||||
- x
|
||||
* - None
|
||||
- None
|
||||
- n/a
|
||||
- None
|
||||
* - 子采样器
|
||||
- num_samples
|
||||
- child_samples
|
||||
- 结果
|
||||
* - T
|
||||
- x
|
||||
- y
|
||||
- min(x, y)
|
||||
* - T
|
||||
- x
|
||||
- None
|
||||
- x
|
||||
* - T
|
||||
- None
|
||||
- y
|
||||
- y
|
||||
* - T
|
||||
- None
|
||||
- None
|
||||
- None
|
||||
* - None
|
||||
- x
|
||||
- n/a
|
||||
- x
|
||||
* - None
|
||||
- None
|
||||
- n/a
|
||||
- None
|
||||
|
||||
**返回:**
|
||||
**返回:**
|
||||
|
||||
int,样本数,可为None。
|
||||
int,样本数,可为None。
|
|
@ -40,14 +40,14 @@ mindspore.dataset.CLUEDataset
|
|||
**参数:**
|
||||
|
||||
- **dataset_files** (Union[str, list[str]]):数据集文件路径,支持单文件路径字符串、多文件路径字符串列表或可被glob库模式匹配的字符串,文件列表将在内部进行字典排序。
|
||||
- **task** (str, 可选):任务类型,可取值为 `AFQMC` 、`Tnews`、`IFLYTEK`、`CMNLI`、`WSC` 或 `CSL`(默认为 `AFQMC` )。
|
||||
- **usage** (str, 可选):指定数据集的子集,可取值为 `train`、`test` 或 `eval`(默认为 `train` )。
|
||||
- **task** (str, 可选):任务类型,可取值为 `AFQMC` 、`Tnews`、`IFLYTEK`、`CMNLI`、`WSC` 或 `CSL` (默认为: `AFQMC` )。
|
||||
- **usage** (str, 可选):指定数据集的子集,可取值为 `train`、`test` 或 `eval` (默认为: `train` )。
|
||||
- **num_samples** (int, 可选):指定从数据集中读取的样本数(默认为None,即读取所有图像样本)。
|
||||
- **num_parallel_workers** (int, 可选):指定读取数据的工作线程数(默认值None,即使用mindspore.dataset.config中配置的线程数)。
|
||||
- **shuffle** (Union[bool, Shuffle level], 可选):每个epoch中数据混洗的模式(默认为为mindspore.dataset.Shuffle.GLOBAL)。如果为False,则不混洗;如果为True,等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。另外也可以传入枚举变量设置shuffle级别:
|
||||
|
||||
- Shuffle.GLOBAL:混洗文件和样本。
|
||||
- Shuffle.FILES:仅混洗文件。
|
||||
- **Shuffle.GLOBAL**:混洗文件和样本。
|
||||
- **Shuffle.FILES**:仅混洗文件。
|
||||
|
||||
- **num_shards** (int, 可选):指定分布式训练时将数据集进行划分的分片数(默认值None)。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选):指定分布式训练时使用的分片ID号(默认值None)。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
|
|
|
@ -13,7 +13,6 @@ mindspore.dataset.DistributedSampler
|
|||
- **num_samples** (int, optional):要采样的样本数(默认为None,对所有元素进行采样)。
|
||||
- **offset** (int, optional):将数据集中的元素发送到的起始分片ID,不应超过 `num_shards` 。仅当ConcatDataset以DistributedSampler为采样器时,此参数才有效。此参数影响每个分片的样本数(默认为-1,每个分片具有相同的样本数)。
|
||||
|
||||
|
||||
**样例:**
|
||||
|
||||
>>> # 创建一个分布式采样器,共10个分片。当前分片为分片5。
|
||||
|
|
|
@ -11,14 +11,14 @@ mindspore.dataset.GraphData
|
|||
- **num_parallel_workers** (int, 可选):读取数据的工作线程数(默认为None)。
|
||||
- **working_mode** (str, 可选):设置工作模式,目前支持'local'/'client'/'server'(默认为'local')。
|
||||
|
||||
- 'local',用于非分布式训练场景。
|
||||
- 'client',用于分布式训练场景。客户端不加载数据,而是从服务器获取数据。
|
||||
- 'server',用于分布式训练场景。服务器加载数据并可供客户端使用。
|
||||
- **local**:用于非分布式训练场景。
|
||||
- **client**:用于分布式训练场景。客户端不加载数据,而是从服务器获取数据。
|
||||
- **server**:用于分布式训练场景。服务器加载数据并可供客户端使用。
|
||||
|
||||
- **hostname** (str, 可选):图数据集服务器的主机名。该参数仅在工作模式设置为'client'或'server'时有效(默认为'127.0.0.1')。
|
||||
- **port** (int, 可选):图数据服务器的端口,取值范围为1024-65535。此参数仅当工作模式设置为'client'或'server'(默认为50051)时有效。
|
||||
- **num_client** (int, 可选):期望连接到服务器的最大客户端数。服务器将根据该参数分配资源。该参数仅在工作模式设置为'server'时有效(默认为1)。
|
||||
- **auto_shutdown** (bool, 可选):当工作模式设置为'server'时有效。当连接的客户端数量达到 `num_client` ,且没有客户端正在连接时,服务器将自动退出(默认为True)。
|
||||
- **hostname** (str, 可选):图数据集服务器的主机名。该参数仅在工作模式设置为 'client' 或 'server' 时有效(默认为'127.0.0.1')。
|
||||
- **port** (int, 可选):图数据服务器的端口,取值范围为1024-65535。此参数仅当工作模式设置为 'client' 或 'server' (默认为50051)时有效。
|
||||
- **num_client** (int, 可选):期望连接到服务器的最大客户端数。服务器将根据该参数分配资源。该参数仅在工作模式设置为 'server' 时有效(默认为1)。
|
||||
- **auto_shutdown** (bool, 可选):当工作模式设置为 'server' 时有效。当连接的客户端数量达到 `num_client` ,且没有客户端正在连接时,服务器将自动退出(默认为True)。
|
||||
|
||||
**样例:**
|
||||
|
||||
|
@ -48,7 +48,6 @@ mindspore.dataset.GraphData
|
|||
|
||||
**TypeError**:参数 `edge_type` 的类型不为整型。
|
||||
|
||||
|
||||
.. py:method:: get_all_neighbors(node_list, neighbor_type, output_format=<OutputFormat.NORMAL: 0。
|
||||
|
||||
获取 `node_list` 所有节点的邻居,以 `neighbor_type` 类型返回。格式的定义参见以下示例:1表示两个节点之间连接,0表示不连接。
|
||||
|
@ -162,7 +161,6 @@ mindspore.dataset.GraphData
|
|||
- **TypeError**:参数 `node_list` 的类型不为列表或numpy.ndarray。
|
||||
- **TypeError**:参数 `neighbor_type` 的类型不为整型。
|
||||
|
||||
|
||||
.. py:method:: get_all_nodes(node_type)
|
||||
|
||||
获取图中的所有节点。
|
||||
|
@ -183,7 +181,6 @@ mindspore.dataset.GraphData
|
|||
|
||||
**TypeError**:参数 `node_type` 的类型不为整型。
|
||||
|
||||
|
||||
.. py:method:: get_edges_from_nodes(node_list)
|
||||
|
||||
从节点获取边。
|
||||
|
@ -204,7 +201,6 @@ mindspore.dataset.GraphData
|
|||
|
||||
**TypeError**:参数 `edge_list` 的类型不为列表或numpy.ndarray。
|
||||
|
||||
|
||||
.. py:method:: get_edge_feature(edge_list, feature_types)
|
||||
|
||||
获取 `edge_list` 列表中边的特征,以 `feature_types` 类型返回。
|
||||
|
@ -255,7 +251,6 @@ mindspore.dataset.GraphData
|
|||
- **TypeError**:参数 `neg_neighbor_num` 的类型不为整型。
|
||||
- **TypeError**:参数 `neg_neighbor_type` 的类型不为整型。
|
||||
|
||||
|
||||
.. py:method:: get_nodes_from_edges(edge_list)
|
||||
|
||||
从图中的边获取节点。
|
||||
|
@ -272,7 +267,6 @@ mindspore.dataset.GraphData
|
|||
|
||||
**TypeError:** 参数 `edge_list` 不为列表或ndarray。
|
||||
|
||||
|
||||
.. py:method:: get_node_feature(node_list, feature_types)
|
||||
|
||||
获取 `node_list` 中节点的特征,以 `feature_types` 类型返回。
|
||||
|
@ -296,7 +290,6 @@ mindspore.dataset.GraphData
|
|||
- **TypeError**:参数 `node_list` 的类型不为列表或numpy.ndarray。
|
||||
- **TypeError**:参数 `feature_types` 的类型不为列表或numpy.ndarray。
|
||||
|
||||
|
||||
.. py:method:: get_sampled_neighbors(node_list, neighbor_nums, neighbor_types, strategy=<SamplingStrategy.RANDOM: 0>)
|
||||
|
||||
获取已采样邻居信息。此API支持多跳邻居采样。即将上一次采样结果作为下一跳采样的输入,最多允许6跳。采样结果平铺成列表,格式为[input node, 1-hop sampling result, 2-hop samling result ...]
|
||||
|
@ -308,8 +301,8 @@ mindspore.dataset.GraphData
|
|||
- **neighbor_types** (Union[list, numpy.ndarray]):每跳采样的邻居类型。
|
||||
- **strategy** (SamplingStrategy, 可选):采样策略(默认为mindspore.dataset.engine.SamplingStrategy.RANDOM)。取值范围:[SamplingStrategy.RANDOM, SamplingStrategy.EDGE_WEIGHT]。
|
||||
|
||||
- SamplingStrategy.RANDOM,随机抽样,带放回采样。
|
||||
- SamplingStrategy.EDGE_WEIGHT,以边缘权重为概率进行采样。
|
||||
- **SamplingStrategy.RANDOM**:随机抽样,带放回采样。
|
||||
- **SamplingStrategy.EDGE_WEIGHT**:以边缘权重为概率进行采样。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
@ -334,7 +327,7 @@ mindspore.dataset.GraphData
|
|||
|
||||
**返回:**
|
||||
|
||||
dict,图的元信息。键为node_num、node_type、node_feature_type、edge_num、edge_type、和edge_feature_type。
|
||||
dict,图的元信息。键为 `node_num` 、 `node_type` 、 `node_feature_type` 、 `edge_num` 、 `edge_type` 、和 `edge_feature_type` 。
|
||||
|
||||
|
||||
.. py:method:: random_walk(target_nodes, meta_path, step_home_param=1.0, step_away_param=1.0, default_node=-1)
|
||||
|
|
|
@ -9,28 +9,28 @@ mindspore.dataset.ImageFolderDataset
|
|||
|
||||
**参数:**
|
||||
|
||||
- **dataset_dir** (str):包含数据集文件的根目录的路径。
|
||||
- **num_samples** (int, 可选): 指定从数据集中读取的样本数(可以小于数据集总数,默认值为None,即全部样本图片)。
|
||||
- **num_parallel_workers** (int, 可选): 指定读取数据的工作线程数(默认值None,即使用 `mindspore.dataset.config` 中配置的线程数)。
|
||||
- **shuffle** (bool, 可选): 是否混洗数据集(默认为None,下表中会展示不同配置的预期行为)。
|
||||
- **sampler** (Sampler, 可选): 指定从数据集中选取样本的采样器(默认为None,下表中会展示不同配置的预期行为)。
|
||||
- **extensions** (list[str], 可选):指定文件扩展后缀,仅读取这些后续的文件到数据集中(默认为None)。
|
||||
- **class_indexing** (dict, 可选):指定文件夹名称到类标签的映射,要求映射规则为str到int(默认为None,文件夹名称将按字母顺序排列,每类都有一个唯一的索引,从0开始)。
|
||||
- **decode** (bool, 可选):是否对读取的图像进行解码操作(默认为False)。
|
||||
- **num_shards** (int, 可选): 分布式训练时,将数据集划分成指定的分片数(默认值None)。指定此参数后,`num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选): 分布式训练时,指定使用的分片ID号(默认值None)。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选): 单节点数据缓存,能够加快数据加载和处理的速度(默认值None, 即不使用缓存加速)。
|
||||
- **dataset_dir** (str) - 包含数据集文件的根目录的路径。
|
||||
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数(可以小于数据集总数,默认值为None,即全部样本图片)。
|
||||
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数(默认值None,即使用 `mindspore.dataset.config` 中配置的线程数)。
|
||||
- **shuffle** (bool, 可选) - 是否混洗数据集(默认为None,下表中会展示不同配置的预期行为)。
|
||||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器(默认为None,下表中会展示不同配置的预期行为)。
|
||||
- **extensions** (list[str], 可选) - 指定文件扩展后缀,仅读取这些后续的文件到数据集中(默认为None)。
|
||||
- **class_indexing** (dict, 可选) - 指定文件夹名称到类标签的映射,要求映射规则为str到int(默认为None,文件夹名称将按字母顺序排列,每类都有一个唯一的索引,从0开始)。
|
||||
- **decode** (bool, 可选) - 是否对读取的图像进行解码操作(默认为False)。
|
||||
- **num_shards** (int, 可选) - 分布式训练时,将数据集划分成指定的分片数(默认值None)。指定此参数后,`num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 分布式训练时,指定使用的分片ID号(默认值None)。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存,能够加快数据加载和处理的速度(默认值None, 即不使用缓存加速)。
|
||||
|
||||
**异常:**
|
||||
|
||||
- **RuntimeError**:`dataset_dir` 不包含任何数据文件。
|
||||
- **RuntimeError**:`num_parallel_workers` 超过系统最大线程数。
|
||||
- **RuntimeError**:同时指定了采样器和 `shuffle` 。
|
||||
- **RuntimeError**:同时指定了采样器和分片。
|
||||
- **RuntimeError**: 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
|
||||
- **RuntimeError**: 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
|
||||
- **RuntimeError**:`class_indexing` 的类型不是字典。
|
||||
- **ValueError**: `shard_id` 参数错误(小于0或者大于等于 `num_shards`)。
|
||||
- **RuntimeError** - `dataset_dir` 不包含任何数据文件。
|
||||
- **RuntimeError** - `num_parallel_workers` 超过系统最大线程数。
|
||||
- **RuntimeError** - 同时指定了采样器和 `shuffle` 。
|
||||
- **RuntimeError** - 同时指定了采样器和分片。
|
||||
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
|
||||
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
|
||||
- **RuntimeError** - `class_indexing` 的类型不是字典。
|
||||
- **ValueError** - `shard_id` 参数错误(小于0或者大于等于 `num_shards`)。
|
||||
|
||||
.. note::
|
||||
- 如果 `decode` 参数指定为False,则 `image` 列的shape为[image_size],否则为[H,W,C]。
|
||||
|
|
|
@ -9,25 +9,25 @@ mindspore.dataset.MnistDataset
|
|||
|
||||
**参数:**
|
||||
|
||||
- **dataset_dir** (str): 包含数据集文件的根目录路径。
|
||||
- **usage** (str, 可选): 指定数据集的子集,可取值为 `train`、`test` 或 `all`。使用 `train` 参数将会读取60,000个训练样本,`test` 将会读取10,000个测试样本,`all` 将会读取全部70,000个样本(默认值为None,即全部样本图片)。
|
||||
- **num_samples** (int, 可选): 指定从数据集中读取的样本数(可以小于数据集总数,默认值为None,即全部样本图片)。
|
||||
- **num_parallel_workers** (int, 可选): 指定读取数据的工作线程数(默认值None,即使用mindspore.dataset.config中配置的线程数)。
|
||||
- **shuffle** (bool, 可选): 是否混洗数据集(默认为None,下表中会展示不同配置的预期行为)。
|
||||
- **sampler** (Sampler, 可选): 指定从数据集中选取样本的采样器(默认为None,下表中会展示不同配置的预期行为)。
|
||||
- **num_shards** (int, 可选): 分布式训练时,将数据集划分成指定的分片数(默认值None)。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选): 分布式训练时,指定使用的分片ID号(默认值None)。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选): 单节点数据缓存,能够加快数据加载和处理的速度(默认值None,即不使用缓存加速)。
|
||||
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
|
||||
- **usage** (str, 可选) - 指定数据集的子集,可取值为 `train`、`test` 或 `all`。使用 `train` 参数将会读取60,000个训练样本,`test` 将会读取10,000个测试样本,`all` 将会读取全部70,000个样本(默认值为None,即全部样本图片)。
|
||||
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数(可以小于数据集总数,默认值为None,即全部样本图片)。
|
||||
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数(默认值None,即使用mindspore.dataset.config中配置的线程数)。
|
||||
- **shuffle** (bool, 可选) - 是否混洗数据集(默认为None,下表中会展示不同配置的预期行为)。
|
||||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器(默认为None,下表中会展示不同配置的预期行为)。
|
||||
- **num_shards** (int, 可选) - 分布式训练时,将数据集划分成指定的分片数(默认值None)。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 分布式训练时,指定使用的分片ID号(默认值None)。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存,能够加快数据加载和处理的速度(默认值None,即不使用缓存加速)。
|
||||
|
||||
**异常:**
|
||||
|
||||
- **RuntimeError**: `dataset_dir` 路径下不包含数据文件。
|
||||
- **RuntimeError**: `num_parallel_workers` 超过系统最大线程数。
|
||||
- **RuntimeError**: 同时指定了 `sampler` 和 `shuffle` 参数。
|
||||
- **RuntimeError**: 同时指定了 `sampler` 和 `num_shards` 参数。
|
||||
- **RuntimeError**: 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
|
||||
- **RuntimeError**: 指定了 `shard_id` 参数,但是未指定`num_shards` 参数。
|
||||
- **ValueError**: `shard_id` 参数错误(小于0或者大于等于 `num_shards` )。
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
|
||||
- **RuntimeError** - `num_parallel_workers` 超过系统最大线程数。
|
||||
- **RuntimeError** - 同时指定了 `sampler` 和 `shuffle` 参数。
|
||||
- **RuntimeError** - 同时指定了 `sampler` 和 `num_shards` 参数。
|
||||
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
|
||||
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定`num_shards` 参数。
|
||||
- **ValueError** - `shard_id` 参数错误(小于0或者大于等于 `num_shards` )。
|
||||
|
||||
.. note:: 此数据集可以指定 `sampler` 参数,但 `sampler` 和 `shuffle` 是互斥的。下表展示了几种合法的输入参数及预期的行为。
|
||||
|
||||
|
|
|
@ -26,8 +26,8 @@ mindspore.dataset.PKSampler
|
|||
- **TypeError:** `shuffle` 不是bool值。
|
||||
- **TypeError:** `class_column` 不是str值。
|
||||
- **TypeError:** `num_samples` 不是整数值。
|
||||
- **NotImplementedError:** `num_class` 不为None。
|
||||
- **RuntimeError:** `num_val` 不是正值。
|
||||
- **NotImplementedError:** `num_class` 不为None。
|
||||
- **RuntimeError:** `num_val` 不是正值。
|
||||
- **ValueError:** `num_samples` 为负值。
|
||||
|
||||
.. include:: mindspore.dataset.BuiltinSampler.rst
|
|
@ -15,7 +15,7 @@ mindspore.dataset.Schema
|
|||
|
||||
**异常:**
|
||||
|
||||
**RuntimeError:** 模式文件加载失败。
|
||||
**RuntimeError**: 模式文件加载失败。
|
||||
|
||||
**样例:**
|
||||
|
||||
|
@ -25,7 +25,6 @@ mindspore.dataset.Schema
|
|||
>>> schema = ds.Schema()
|
||||
>>> schema.add_column(name='col1', de_type=mstype.int64, shape=[2])
|
||||
|
||||
|
||||
.. py:method::add_column(name, de_type, shape=None)
|
||||
|
||||
向schema中添加新列。
|
||||
|
@ -40,7 +39,6 @@ mindspore.dataset.Schema
|
|||
|
||||
**ValueError:** 列类型未知。
|
||||
|
||||
|
||||
.. py:method::from_json(json_obj)
|
||||
|
||||
从JSON对象获取schema文件。
|
||||
|
@ -55,7 +53,6 @@ mindspore.dataset.Schema
|
|||
- **RuntimeError:** 对象中缺少数据集类型。
|
||||
- **RuntimeError:** 对象中缺少列。
|
||||
|
||||
|
||||
.. py:method::parse_columns(columns)
|
||||
|
||||
解析传入的数据列的属性并将其添加到自身的schema中。
|
||||
|
@ -64,8 +61,8 @@ mindspore.dataset.Schema
|
|||
|
||||
- **columns** (Union[dict, list[dict], tuple[dict]]): 数据集属性信息,从schema文件解码。
|
||||
|
||||
- list[dict],'name'和'type'必须为key值,'shape'可选。
|
||||
- dict,columns.keys()作为名称,columns.values()是dict,其中包含'type','shape'可选。
|
||||
- **list**[dict]:'name'和'type'必须为key值,'shape'可选。
|
||||
- **dict**:columns.keys()作为名称,columns.values()是dict,其中包含'type','shape'可选。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
|
|
@ -22,7 +22,7 @@ mindspore.dataset.SequentialSampler
|
|||
|
||||
- **TypeError:** `start_index` 不是整数值。
|
||||
- **TypeError:** `num_samples` 不是整数值。
|
||||
- **RuntimeError:** `start_index` 为负值。
|
||||
- **RuntimeError:** `start_index` 为负值。
|
||||
- **ValueError:** `num_samples` 为负值。
|
||||
|
||||
.. include:: mindspore.dataset.BuiltinSampler.rst
|
|
@ -1,5 +1,5 @@
|
|||
mindspore.dataset.SequentialSampler
|
||||
====================================
|
||||
mindspore.dataset.SubsetRandomSampler
|
||||
======================================
|
||||
|
||||
.. py:class:: mindspore.dataset.SubsetRandomSampler(indices, num_samples=None)
|
||||
|
||||
|
|
|
@ -1,4 +1,4 @@
|
|||
mindspore.dataset.SequentialSampler
|
||||
mindspore.dataset.SubsetSampler
|
||||
====================================
|
||||
|
||||
.. py:class:: mindspore.dataset.SubsetSampler(indices, num_samples=None)
|
||||
|
|
|
@ -16,7 +16,7 @@ mindspore.dataset.VOCDataset
|
|||
- **task** (str, 可选): 指定读取VOC数据的任务类型,现在只支持 `Segmentation` 或 `Detection` (默认值 `Segmentation` )。
|
||||
- **usage** (str, 可选): 指定数据集的子集(默认值 `train` )。如果 `task` 参数为 `Segmentation` ,则将在./ImageSets/Segmentation/usage + ".txt"中加载数据集图像和标注信息;如果 `task` 参数为 `Detection` ,则将在./ImageSets/Main/usage + ".txt"中加载数据集图像和标注信息;如果未设置任务和用法,默认将加载./ImageSets/Segmentation/train.txt中的数据集图像和标注信息。
|
||||
- **class_indexing** (dict, 可选): 指定标签名称到类标签的映射,要求映射规则为str到int,
|
||||
仅在`Detection`任务中有效(默认值None,文件夹名称将按字母顺序排列,每类都有一个唯一的索引,从0开始)。
|
||||
仅在 `Detection` 任务中有效(默认值None,文件夹名称将按字母顺序排列,每类都有一个唯一的索引,从0开始)。
|
||||
- **num_samples** (int, 可选): 指定从数据集中读取的样本数(默认值为None,所有图像样本)。
|
||||
- **num_parallel_workers** (int, 可选): 指定读取数据的工作线程数(默认值None,即使用mindspore.dataset.config中配置的线程数)。
|
||||
- **shuffle** (bool, 可选): 是否混洗数据集(默认为None,下表中会展示不同配置的预期行为)。
|
||||
|
@ -34,14 +34,14 @@ mindspore.dataset.VOCDataset
|
|||
- **RuntimeError**: 标注的xml文件格式异常或无效。
|
||||
- **RuntimeError**: 标注的xml文件缺失 `object` 属性。
|
||||
- **RuntimeError**: 标注的xml文件缺失 `bndbox` 属性。
|
||||
- **RuntimeError**: 同时指定了 `sampler `和 `shuffle` 。
|
||||
- **RuntimeError**: 同时指定了 `sampler` 和 `shuffle` 。
|
||||
- **RuntimeError**: 同时指定了 `sampler` 和 `num_shards` 。
|
||||
- **RuntimeError**: 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
|
||||
- **RuntimeError**: 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
|
||||
- **ValueError**: 指定的任务不为'Segmentation'或'Detection'。
|
||||
- **ValueError**: 指定任务为'Segmentation'时,class_indexing不为None。
|
||||
- **ValueError**: 与usage相关的txt文件不存在。
|
||||
- **ValueError**: `shard_id` 参数错误(小于0或者大于等于 `num_shards` )。
|
||||
- **ValueError**: `shard_id` 参数错误(小于0或者大于等于 `num_shards` )。
|
||||
|
||||
.. note::
|
||||
- 当指定 `extra_metadata` 为True时,除非显式使用rename算子以删除元信息列明的前缀('_meta-'),
|
||||
|
|
|
@ -5,7 +5,7 @@ mindspore.dataset.deserialize
|
|||
|
||||
数据处理管道反序列化,支持输入Python字典或使用 `mindspore.dataset.serialize()` 接口生成的JSON文件。
|
||||
|
||||
.. note::
|
||||
.. note::
|
||||
反序列化包含自定义Python函数的数据处理管道时,部分参数信息可能丢失;当 `input_dict` 和 `json_filepath` 同时不为None时,返回反序列化JSON文件的结果。
|
||||
|
||||
**参数:**
|
||||
|
|
|
@ -9,7 +9,7 @@ mindspore.dataset.audio.transforms.BandBiquad
|
|||
|
||||
- **sample_rate** (int):采样率,例如44100 (Hz),不能为零。
|
||||
- **central_freq** (float):中心频率(单位:Hz)。
|
||||
- **Q** (float, optional):品质因子,参考https://en.wikipedia.org/wiki/Q_factor,取值范围(0, 1](默认值为0.707)。
|
||||
- **Q** (float, optional):品质因子,参考 https://en.wikipedia.org/wiki/Q_factor,取值范围(0, 1](默认值为0.707)。
|
||||
- **noise** (bool, optional):若为True,则使用非音调音频(如打击乐)模式;若为False,则使用音调音频(如语音、歌曲或器乐)模式(默认为False)。
|
||||
|
||||
**样例:**
|
||||
|
|
|
@ -9,7 +9,7 @@ mindspore.dataset.audio.transforms.BandpassBiquad
|
|||
|
||||
- **sample_rate** (int):采样率,例如44100 (Hz),不能为零。
|
||||
- **central_freq** (float):中心频率(单位:Hz)。
|
||||
- **Q** (float, optional):品质因子,参考https://en.wikipedia.org/wiki/Q_factor,取值范围(0, 1](默认值为0.707)。
|
||||
- **Q** (float, optional):品质因子,参考 https://en.wikipedia.org/wiki/Q_factor,取值范围(0, 1](默认值为0.707)。
|
||||
- **const_skirt_gain** (bool, optional):若为True,则使用恒定裙边增益(峰值增益为Q)。若为False,则使用恒定的0dB峰值增益(默认为False)。
|
||||
|
||||
**样例:**
|
||||
|
|
|
@ -9,7 +9,7 @@ mindspore.dataset.audio.transforms.BandrejectBiquad
|
|||
|
||||
- **sample_rate** (int):采样率,例如44100 (Hz),不能为零。
|
||||
- **central_freq** (float):中心频率(单位:Hz)。
|
||||
- **Q** (float, optional):品质因子,参考https://en.wikipedia.org/wiki/Q_factor,取值范围(0, 1](默认值为0.707)。
|
||||
- **Q** (float, optional):品质因子,参考 https://en.wikipedia.org/wiki/Q_factor,取值范围(0, 1](默认值为0.707)。
|
||||
|
||||
**样例:**
|
||||
|
||||
|
|
|
@ -10,7 +10,7 @@ mindspore.dataset.audio.transforms.BassBiquad
|
|||
- **sample_rate** (int):采样率,例如44100 (Hz),不能为零。
|
||||
- **gain** (float):期望提升(或衰减)的音频增益,单位为dB。
|
||||
- **central_freq** (float):中心频率(单位:Hz)。
|
||||
- **Q** (float, optional):品质因子,参考https://en.wikipedia.org/wiki/Q_factor,取值范围(0, 1](默认值为0.707)。
|
||||
- **Q** (float, optional):品质因子,参考 https://en.wikipedia.org/wiki/Q_factor,取值范围(0, 1](默认值为0.707)。
|
||||
|
||||
**样例:**
|
||||
|
||||
|
|
|
@ -9,7 +9,7 @@ mindspore.dataset.audio.transforms.LowpassBiquad
|
|||
|
||||
- **sample_rate** (int):采样率,例如44100 (Hz),不能为零。
|
||||
- **cutoff_freq** (float):中心频率(单位:Hz)。
|
||||
- **Q** (float, optional):品质因子,参考https://en.wikipedia.org/wiki/Q_factor,取值范围(0, 1](默认值为0.707)。
|
||||
- **Q** (float, optional):品质因子,参考 https://en.wikipedia.org/wiki/Q_factor,取值范围(0, 1](默认值为0.707)。
|
||||
|
||||
**样例:**
|
||||
|
||||
|
|
|
@ -9,7 +9,7 @@ mindspore.common.initializer
|
|||
|
||||
**参数:**
|
||||
|
||||
**kwargs** (dict) – **Initializer** 的关键字参数。
|
||||
**kwargs** (dict) – `Initializer` 的关键字参数。
|
||||
|
||||
.. py:method:: mindspore.common.initializer.initializer(init, shape=None, dtype=mstype.float32)
|
||||
|
||||
|
@ -19,8 +19,8 @@ mindspore.common.initializer
|
|||
|
||||
- **init** (Union[Tensor, str, Initializer, numbers.Number]) – 初始化方式。
|
||||
|
||||
- **str** - `init` 是继承自 Initializer 的类的别名,实际使用时会调用相应的类。`init` 的值可以是"normal"、"ones"或"zeros"等。
|
||||
- **Initializer** - `init` 是继承自Initializer,用于初始化Tensor的类。
|
||||
- **str** - `init` 是继承自 `Initializer` 的类的别名,实际使用时会调用相应的类。`init` 的值可以是"normal"、"ones"或"zeros"等。
|
||||
- **Initializer** - `init` 是继承自 `Initializer` ,用于初始化Tensor的类。
|
||||
- **numbers.Number** - 调用常量来初始化张量。
|
||||
|
||||
- **shape** (Union[[tuple, list, int]) - 被初始化的Tensor的shape,默认值为None。
|
||||
|
|
|
@ -42,7 +42,7 @@ mindspore.DynamicLossScaleManager
|
|||
|
||||
**返回:**
|
||||
|
||||
:class:`mindspore.DynamicLossScaleUpdateCell` 实例,用于更新梯度放大系数。
|
||||
:class:`mindspore.DynamicLossScaleUpdateCell` 实例,用于更新梯度放大系数。
|
||||
|
||||
.. py:method:: update_loss_scale(overflow)
|
||||
|
||||
|
@ -50,5 +50,5 @@ mindspore.DynamicLossScaleManager
|
|||
|
||||
**参数:**
|
||||
|
||||
overflow (bool):表示是否溢出。
|
||||
**overflow** (bool) - 表示是否溢出。
|
||||
|
|
@ -3,7 +3,7 @@ mindspore.FixedLossScaleManager
|
|||
|
||||
.. py:class:: mindspore.FixedLossScaleManager(loss_scale=128.0, drop_overflow_update=True)
|
||||
|
||||
梯度放大系数不变的管理器,继承自:class: `mindspore.LossScaleManager` 。
|
||||
梯度放大系数不变的管理器,继承自 :class:`mindspore.LossScaleManager` 。
|
||||
|
||||
**参数:**
|
||||
|
||||
|
|
|
@ -5,7 +5,7 @@ mindspore.LossScaleManager
|
|||
|
||||
混合精度梯度放大系数(loss scale)管理器的抽象类。
|
||||
|
||||
派生类需要该类的所有方法。 `get_loss_scale` 用于获取当前的梯度放大系数。 `update_loss_scale` 用于更新梯度放大系数,该方法将在训练过程中被调用。 `get_update_cell` 用于获取更新梯度放大系数的 `Cell` 实例,该实例在将训练过程中被调用。下沉模式下仅 `get_update_cell` 方式生效,非下沉模式下两种更新梯度放大系数的方式均生效。
|
||||
派生类需要该类的所有方法。 `get_loss_scale` 用于获取当前的梯度放大系数。`update_loss_scale` 用于更新梯度放大系数,该方法将在训练过程中被调用。`get_update_cell` 用于获取更新梯度放大系数的 `Cell` 实例,该实例在将训练过程中被调用。下沉模式下仅 `get_update_cell` 方式生效,非下沉模式下两种更新梯度放大系数的方式均生效。
|
||||
例如::class:`mindspore.FixedLossScaleManager` 和 :class:`mindspore.DynamicLossScaleManager` 。
|
||||
|
||||
.. py:method:: get_loss_scale()
|
||||
|
|
|
@ -6,18 +6,15 @@
|
|||
通常表示网络的参数( `Parameter` 是 `Tensor` 的子类)。
|
||||
|
||||
.. note::
|
||||
在"semi_auto_parallel"和"auto_parallel"的并行模式下,如果使用 `Initializer` 模块初始化参数,参数的类型将为 `Tensor` ,:class:`mindspore.ops.AllGather`
|
||||
`Tensor` 仅保存张量的形状和类型信息,而不占用内存来保存实际数据。并行场景下存在参数的形状发生变化的情况,用户可以调用 `Parameter` 的 `init_data` 方法得到原始数据。
|
||||
如果网络中存在需要部分输入为 `Parameter` 的算子,则不允许这部分输入的 `Parameter` 进行转换。
|
||||
如果在 `Cell` 里初始化一个 `Parameter` 作为 `Cell` 的属性时,建议使用默认值None,否则 `Parameter` 的 `name` 可能与预期不一致。
|
||||
在"semi_auto_parallel"和"auto_parallel"的并行模式下,如果使用 `Initializer` 模块初始化参数,参数的类型将为 `Tensor` ,:class:`mindspore.ops.AllGather`,`Tensor` 仅保存张量的形状和类型信息,而不占用内存来保存实际数据。并行场景下存在参数的形状发生变化的情况,用户可以调用 `Parameter` 的 `init_data` 方法得到原始数据。如果网络中存在需要部分输入为 `Parameter` 的算子,则不允许这部分输入的 `Parameter` 进行转换。如果在 `Cell` 里初始化一个 `Parameter` 作为 `Cell` 的属性时,建议使用默认值None,否则 `Parameter` 的 `name` 可能与预期不一致。
|
||||
|
||||
**参数:**
|
||||
|
||||
- **default_input** (Union[Tensor, int, float, numpy.ndarray, list]):初始化参数的输入值。
|
||||
- **name** (str):参数的名称。默认值:None。
|
||||
- **requires_grad** (bool):是否需要微分求梯度。默认值:True。
|
||||
- **layerwise_parallel** (bool):在数据/混合并行模式下, `layerwise_parallel` 配置为True时,参数广播和梯度聚合时会过滤掉该参数。默认值:False。
|
||||
- **parallel_optimizer** (bool):用于在 `semi_auto_parallel` 或 `auto_parallel` 并行模式下区分参数是否进行优化器切分。仅在 `mindspore.context.set_auto_parallel_context()` 并行配置模块中设置 `enable_parallel_optimizer` 启用优化器并行时有效。默认值:True。
|
||||
- **default_input** (Union[Tensor, int, float, numpy.ndarray, list]) - 初始化参数的输入值。
|
||||
- **name** (str) - 参数的名称。默认值:None。
|
||||
- **requires_grad** (bool) - 是否需要微分求梯度。默认值:True。
|
||||
- **layerwise_parallel** (bool) - 在数据/混合并行模式下,`layerwise_parallel` 配置为True时,参数广播和梯度聚合时会过滤掉该参数。默认值:False。
|
||||
- **parallel_optimizer** (bool) - 用于在 `semi_auto_parallel` 或 `auto_parallel` 并行模式下区分参数是否进行优化器切分。仅在 `mindspore.context.set_auto_parallel_context()` 并行配置模块中设置 `enable_parallel_optimizer` 启用优化器并行时有效。默认值:True。
|
||||
|
||||
**样例:**
|
||||
|
||||
|
@ -60,11 +57,11 @@
|
|||
|
||||
**参数:**
|
||||
|
||||
**init** (Union[Tensor, str, numbers.Number]):初始化参数的形状和数据类型。如果 `init` 是 `Tensor` 或 `numbers.Number` ,则克隆一个具有相同数值、形状和数据类型的新参数。 如果 `init` 是 `str` ,则 `init` 将继承 `Initializer` 模块中对应的同名的类。例如,如果 `init` 是'same',则克隆一个具有相同数据、形状和数据类型的新参数。默认值:'same'。
|
||||
**init** (Union[Tensor, str, numbers.Number]) - 初始化参数的形状和数据类型。如果 `init` 是 `Tensor` 或 `numbers.Number` ,则克隆一个具有相同数值、形状和数据类型的新参数。 如果 `init` 是 `str` ,则 `init` 将继承 `Initializer` 模块中对应的同名的类。例如,如果 `init` 是'same',则克隆一个具有相同数据、形状和数据类型的新参数。默认值:'same'。
|
||||
|
||||
**返回:**
|
||||
|
||||
`Parameter` ,返回克隆的新参数。
|
||||
Parameter,返回克隆的新参数。
|
||||
|
||||
.. py:method:: comm_fusion
|
||||
:property:
|
||||
|
@ -84,22 +81,22 @@
|
|||
|
||||
**参数:**
|
||||
|
||||
- **layout** (Union[None, tuple]):参数的layout信息。layout[dev_mat, tensor_map, slice_shape, filed_size, uniform_split, opt_shard_group]:默认值:None。仅在 `SEMI_AUTO_PARALLEL` 或 `AUTO_PARALLEL` 模式下layout不是None。
|
||||
- **layout** (Union[None, tuple]) - 参数的layout信息。layout[dev_mat, tensor_map, slice_shape, filed_size, uniform_split, opt_shard_group]:默认值:None。仅在 `SEMI_AUTO_PARALLEL` 或 `AUTO_PARALLEL` 模式下layout不是None。
|
||||
|
||||
- **dev_mat** (list(int)):该参数的设备矩阵。
|
||||
- **tensor_map** (list(int)):该参数的张量映射。
|
||||
- **slice_shape** (list(int)):该参数的切片shape。
|
||||
- **filed_size** (int):该权重的行数。
|
||||
- **uniform_split** (bool):该参数是否进行均匀切分。
|
||||
- **opt_shard_group** (str):该参数进行优化器切分时的group。
|
||||
- **dev_mat** (list(int)) - 该参数的设备矩阵。
|
||||
- **tensor_map** (list(int)) - 该参数的张量映射。
|
||||
- **slice_shape** (list(int)) - 该参数的切片shape。
|
||||
- **filed_size** (int) - 该权重的行数。
|
||||
- **uniform_split** (bool) - 该参数是否进行均匀切分。
|
||||
- **opt_shard_group** (str) - 该参数进行优化器切分时的group。
|
||||
|
||||
- **set_sliced** (bool):参数初始化时被设定为分片,则为True。默认值:False。
|
||||
- **set_sliced** (bool) - 参数初始化时被设定为分片,则为True。默认值:False。
|
||||
|
||||
**异常:**
|
||||
|
||||
- **RuntimeError:** 参数使用 `Initializer` 模块进行初始化,初始化后并行模式发生更改。
|
||||
- **ValueError:** `layout` 长度小于6。
|
||||
- **TypeError:** `layout` 不是元组。
|
||||
- **RuntimeError** - 参数使用 `Initializer` 模块进行初始化,初始化后并行模式发生更改。
|
||||
- **ValueError** - `layout` 长度小于6。
|
||||
- **TypeError** - `layout` 不是元组。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
@ -153,8 +150,8 @@
|
|||
|
||||
**参数:**
|
||||
|
||||
- **data** (Union[Tensor, int, float]):新数据。
|
||||
- **slice_shape** (bool):如果 `slice_shape` 设为True,则不检查 `data` 和当前参数shape的一致性。默认值:False。
|
||||
- **data** (Union[Tensor, int, float]) - 新数据。
|
||||
- **slice_shape** (bool) - 如果 `slice_shape` 设为True,则不检查 `data` 和当前参数shape的一致性。默认值:False。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
@ -166,9 +163,9 @@
|
|||
|
||||
**参数:**
|
||||
|
||||
- **push_to_server** (bool):表示是否将参数推送到服务器。默认值:False。
|
||||
- **pull_from_server** (bool):表示是否应从服务器中拉取参数。默认值:False。
|
||||
- **requires_aggr** (bool):表示是否应在服务器中聚合参数。默认值:True。
|
||||
- **push_to_server** (bool) - 表示是否将参数推送到服务器。默认值:False。
|
||||
- **pull_from_server** (bool) - 表示是否应从服务器中拉取参数。默认值:False。
|
||||
- **requires_aggr** (bool) - 表示是否应在服务器中聚合参数。默认值:True。
|
||||
|
||||
.. py:method:: set_param_ps(init_in_server=False)
|
||||
|
||||
|
@ -178,7 +175,7 @@
|
|||
|
||||
**参数:**
|
||||
|
||||
**init_in_server** (bool):表示参数服务器更新的可训练参数是否在服务器上初始化。默认值:False。
|
||||
**init_in_server** (bool) - 表示参数服务器更新的可训练参数是否在服务器上初始化。默认值:False。
|
||||
|
||||
.. py:method:: sliced
|
||||
:property:
|
||||
|
|
|
@ -13,8 +13,8 @@ mindspore.ParameterTuple
|
|||
|
||||
**参数:**
|
||||
|
||||
- **prefix** (str):参数的命名空间。
|
||||
- **init** (Union[Tensor, str, numbers.Number]):初始化参数的shape和dtype。 `init` 的定义与 `Parameter` API中的定义相同。默认值:'same'。
|
||||
- **prefix** (str) - 参数的命名空间。
|
||||
- **init** (Union[Tensor, str, numbers.Number]) - 初始化参数的shape和dtype。 `init` 的定义与 `Parameter` API中的定义相同。默认值:'same'。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
|
|
@ -17,9 +17,9 @@ mindspore.RowTensor
|
|||
|
||||
**参数:**
|
||||
|
||||
- **indices** (Tensor):形状为[D0]的一维整数张量。
|
||||
- **values** (Tensor):形状为[D0, D1, ..., Dn]中任意类型的张量。
|
||||
- **dense_shape** (tuple(int)):包含相应稠密张量形状的整数元组。
|
||||
- **indices** (Tensor) - 形状为[D0]的一维整数张量。
|
||||
- **values** (Tensor) - 形状为[D0, D1, ..., Dn]中任意类型的张量。
|
||||
- **dense_shape** (tuple(int)) - 包含相应稠密张量形状的整数元组。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
|
|
@ -13,9 +13,9 @@ mindspore.SparseTensor
|
|||
|
||||
**参数:**
|
||||
|
||||
- **indices** (Tensor):形状为 `[N, ndims]` 的二维整数张量,其中N和ndims分别表示稀疏张量中 `values` 的数量和SparseTensor维度的数量。
|
||||
- **values** (Tensor):形状为[N]的一维张量,其内部可以为任何数据类型,用来给 `indices` 中的每个元素提供数值。
|
||||
- **dense_shape** (tuple(int)):形状为ndims的整数元组,用来指定稀疏矩阵的稠密形状。
|
||||
- **indices** (Tensor) - 形状为 `[N, ndims]` 的二维整数张量,其中N和ndims分别表示稀疏张量中 `values` 的数量和SparseTensor维度的数量。
|
||||
- **values** (Tensor) - 形状为[N]的一维张量,其内部可以为任何数据类型,用来给 `indices` 中的每个元素提供数值。
|
||||
- **dense_shape** (tuple(int)) - 形状为ndims的整数元组,用来指定稀疏矩阵的稠密形状。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
|
|
@ -7,10 +7,10 @@ mindspore.Tensor
|
|||
|
||||
**参数:**
|
||||
|
||||
- **input_data** (Union[Tensor, float, int, bool, tuple, list, numpy.ndarray]):张量的输入数据。
|
||||
- **dtype** (:class:`mindspore.dtype`):输入数据应是在 `mindspore.dtype` 中定义的None、bool或numeric类型。该参数用于定义输出张量的数据类型。如果值为None,则输出张量的数据类型与 `input_data` 的相同。默认值:None。
|
||||
- **shape** (Union[tuple, list, int]):用来表示张量的形状,可以是整数列表、整数元组或单一整数。如果 `input_data` 已经被设置,则不需要再设置 `shape` 。默认值:None。
|
||||
- **init** (Initializer):用来表示初始化数据的信息。init用于在并行模式下的延迟初始化。一般情况下,不建议在其他条件下使用init接口来初始化参数。如果使用init接口来初始化参数,需要调用 `Tensor.init_data` 接口把 `Tensor` 转换为实际数据。
|
||||
- **input_data** (Union[Tensor, float, int, bool, tuple, list, numpy.ndarray]) - 张量的输入数据。
|
||||
- **dtype** (:class:`mindspore.dtype`) - 输入数据应是在 `mindspore.dtype` 中定义的None、bool或numeric类型。该参数用于定义输出张量的数据类型。如果值为None,则输出张量的数据类型与 `input_data` 的相同。默认值:None。
|
||||
- **shape** (Union[tuple, list, int]) - 用来表示张量的形状,可以是整数列表、整数元组或单一整数。如果 `input_data` 已经被设置,则不需要再设置 `shape` 。默认值:None。
|
||||
- **init** (Initializer) - 用来表示初始化数据的信息。init用于在并行模式下的延迟初始化。一般情况下,不建议在其他条件下使用init接口来初始化参数。如果使用init接口来初始化参数,需要调用 `Tensor.init_data` 接口把 `Tensor` 转换为实际数据。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
@ -70,8 +70,8 @@ mindspore.Tensor
|
|||
|
||||
**参数:**
|
||||
|
||||
- **axis** (Union[None, int, tuple(int)):被简化的维度。 当 `axis` 为None或者空元组的时候,简化所有维度。 默认值:()。
|
||||
- **keep_dims** (bool):是否会保留被简化的维度。 默认值: False。
|
||||
- **axis** (Union[None, int, tuple(int)) - 被简化的维度。 当 `axis` 为None或者空元组的时候,简化所有维度。 默认值:()。
|
||||
- **keep_dims** (bool) - 是否会保留被简化的维度。 默认值: False。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
@ -95,8 +95,8 @@ mindspore.Tensor
|
|||
|
||||
**参数:**
|
||||
|
||||
- **axis** (Union[None, int, tuple(int)):简化的维度。当轴为None或空元组时,简化所有维度。默认值:()。
|
||||
- **keep_dims** (bool):表示是否保留简化后的维度。默认值:False。
|
||||
- **axis** (Union[None, int, tuple(int)) - 简化的维度。当轴为None或空元组时,简化所有维度。默认值:()。
|
||||
- **keep_dims** (bool) - 表示是否保留简化后的维度。默认值:False。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
@ -129,7 +129,7 @@ mindspore.Tensor
|
|||
|
||||
**参数:**
|
||||
|
||||
**x** (Tensor):输入的张量。该张量的形状必须遵守广播规则。
|
||||
**x** (Tensor) - 输入的张量。该张量的形状必须遵守广播规则。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
@ -142,7 +142,7 @@ mindspore.Tensor
|
|||
|
||||
**参数:**
|
||||
|
||||
array (numpy.array):输入数组。
|
||||
**array** (numpy.array) - 输入数组。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
@ -154,8 +154,8 @@ mindspore.Tensor
|
|||
|
||||
**参数:**
|
||||
|
||||
- **axis** (Union[None, int, tuple(int), list(int)]):简化的维度。当轴为None或空元组时,简化所有维度。默认值:()。
|
||||
- **keep_dims** (bool):表示是否保留简化后的维度。默认值:False。
|
||||
- **axis** (Union[None, int, tuple(int), list(int)]) - 简化的维度。当轴为None或空元组时,简化所有维度。默认值:()。
|
||||
- **keep_dims** (bool) - 表示是否保留简化后的维度。默认值:False。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
@ -367,7 +367,7 @@ mindspore.Tensor
|
|||
**参数:**
|
||||
|
||||
- **axis** (int, optional) - 轴,在该轴方向上的累积和。其默认值(None)用来计算扁平轴上的累加和。
|
||||
- **dtype** (`mindspore.dtype`, optional) - 如果未指定参数值,则保持与原始Tensor相同,除非参数值是一个精度小于 :class:`float32` 的整数。在这种情况下,使用 `float32` 。默认值:None。
|
||||
- **dtype** (`mindspore.dtype`, optional) - 如果未指定参数值,则保持与原始Tensor相同,除非参数值是一个精度小于 `float32` 的整数。在这种情况下,使用 `float32` 。默认值:None。
|
||||
|
||||
**异常:**
|
||||
|
||||
|
@ -500,7 +500,7 @@ mindspore.Tensor
|
|||
.. py:method:: init_data(slice_index=None, shape=None, opt_shard_group=None)
|
||||
|
||||
获取此Tensor的数据。
|
||||
对于同一个Tensor,只可以调用一次init_data函数。
|
||||
对于同一个Tensor,只可以调用一次 `init_data` 函数。
|
||||
|
||||
**参数:**
|
||||
|
||||
|
@ -834,7 +834,7 @@ mindspore.Tensor
|
|||
**参数:**
|
||||
|
||||
- **v** (Union[int, float, bool, list, tuple, Tensor]) - 要插入元素的值。
|
||||
- **side** ('left', 'right', optional) - 如果参数值为'left',则给出找到的第一个合适位置的索引。如果参数值为'right',则返回最后一个这样的索引。如果没有合适的索引,则返回0或N(其中N是Tensor的长度)。默认值:`left` 。
|
||||
- **side** ('left', 'right', optional) - 如果参数值为'left',则给出找到的第一个合适位置的索引。如果参数值为'right',则返回最后一个这样的索引。如果没有合适的索引,则返回0或N(其中N是Tensor的长度)。默认值:'left'。
|
||||
- **sorter** (Union[int, float, bool, list, tuple, Tensor]) - 整数索引的可选一维数组,将Tensor按升序排序。它们通常是NumPy argsort方法的结果。
|
||||
|
||||
**返回:**
|
||||
|
@ -946,8 +946,8 @@ mindspore.Tensor
|
|||
|
||||
- **axis** (Union[None, int, tuple(int)]) - 指定维度,在该维度方向上进行求和运算。默认值:None。如果参数值为None,会计算输入数组中所有元素的和。如果axis为负数,则从最后一维开始往第一维计算。如果axis为整数元组,会对该元组指定的所有轴方向上的元素进行求和。
|
||||
- **dtype** (`mindspore.dtype`, optional) - 默认值为None。会覆盖输出Tensor的dtype。
|
||||
- **keepdims** (bool) - 如果这个参数为True,被删去的维度保留在结果中,且维度大小设为1。有了这个选项,结果就可以与输入数组进行正确的广播运算。如果设为默认值,那么keepdims不会被传递给ndarray子类的sum方法。但是任何非默认值都会被传递。如果子类的方法未实现keepdims,则引发异常。默认值:`False`。
|
||||
- **initial** (scalar) - 初始化的起始值。默认值:`None` 。
|
||||
- **keepdims** (bool) - 如果这个参数为True,被删去的维度保留在结果中,且维度大小设为1。有了这个选项,结果就可以与输入数组进行正确的广播运算。如果设为默认值,那么 `keepdims` 不会被传递给ndarray子类的sum方法。但是任何非默认值都会被传递。如果子类的方法未实现 `keepdims` ,则引发异常。默认值:False。
|
||||
- **initial** (scalar) - 初始化的起始值。默认值:None。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
@ -1015,7 +1015,7 @@ mindspore.Tensor
|
|||
**参数:**
|
||||
|
||||
- **indices** (Tensor) - 待提取的值的shape为 `(Nj...)` 的索引。
|
||||
- **axis** (int, optional) - 在指定维度上选择值。默认情况下,使用展开的输入数组。默认值:`None` 。
|
||||
- **axis** (int, optional) - 在指定维度上选择值。默认情况下,使用展开的输入数组。默认值:None。
|
||||
- **mode** ('raise', 'wrap', 'clip', optional)
|
||||
|
||||
- edge:填充Tensor的边缘值。
|
||||
|
@ -1119,7 +1119,7 @@ mindspore.Tensor
|
|||
|
||||
**参数:**
|
||||
|
||||
**axes** (Union[None, tuple(int), list(int), int], optional) - 如果axes为None或未设置,则该方法将反转维度。如果axes为tuple(int)或list(int),则Tensor.transpose()把Tensor转置为新的维度。如果axes为整数,则此表单仅作为元组/列表表单的备选。
|
||||
**axes** (Union[None, tuple(int), list(int), int], optional) - 如果 `axes` 为None或未设置,则该方法将反转维度。如果 `axes` 为tuple(int)或list(int),则Tensor.transpose()把Tensor转置为新的维度。如果 `axes` 为整数,则此表单仅作为元组/列表表单的备选。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
@ -1156,9 +1156,9 @@ mindspore.Tensor
|
|||
|
||||
**参数:**
|
||||
|
||||
- **axis** (Union[None, int, tuple(int)]) - 维度,在指定维度上计算方差。其默认值是展开Tensor的方差。默认值:`None` 。
|
||||
- **axis** (Union[None, int, tuple(int)]) - 维度,在指定维度上计算方差。其默认值是展开Tensor的方差。默认值:None。
|
||||
- **ddof** (int) - δ自由度。默认值:0。计算中使用的除数是 :math:`N - ddof` ,其中 :math:`N` 表示元素的数量。
|
||||
- **keepdims** (bool) - 默认值:`False` 。
|
||||
- **keepdims** (bool) - 默认值:False。
|
||||
|
||||
**支持平台:**
|
||||
|
||||
|
|
|
@ -7,7 +7,7 @@ mindspore.build_searched_strategy
|
|||
|
||||
**参数:**
|
||||
|
||||
**strategy_filename** (str):策略文件的名称。
|
||||
**strategy_filename** (str) - 策略文件的名称。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
@ -15,6 +15,6 @@ mindspore.build_searched_strategy
|
|||
|
||||
**异常:**
|
||||
|
||||
- **ValueError:** 策略文件不正确。
|
||||
- **TypeError:** `strategy_filename` 不是str。
|
||||
- **ValueError** - 策略文件不正确。
|
||||
- **TypeError** - `strategy_filename` 不是str。
|
||||
|
|
@ -8,8 +8,7 @@ mindspore.connect_network_with_dataset
|
|||
此函数使用 :class:`mindspore.ops.GetNext` 包装输入网络,以便在正向计算期间可以自动从与队列名称对应的数据通道中提取数据,并将数据传递到输入网络。
|
||||
|
||||
.. note::
|
||||
如果以图模式在Ascend/GPU上运行网络,此函数将使用 :class:`mindspore.ops.GetNext` 包装输入网络。在其他情况下,输入网络将在没有改动的情况下返回。
|
||||
仅在下沉模式下获取数据需要使用 :class:`mindspore.ops.GetNext` ,因此此函数不适用于非下沉模式。
|
||||
如果以图模式在Ascend/GPU上运行网络,此函数将使用 :class:`mindspore.ops.GetNext` 包装输入网络。在其他情况下,输入网络将在没有改动的情况下返回。仅在下沉模式下获取数据需要使用 :class:`mindspore.ops.GetNext` ,因此此函数不适用于非下沉模式。
|
||||
|
||||
**参数:**
|
||||
|
||||
|
|
|
@ -7,7 +7,7 @@ mindspore.export
|
|||
|
||||
.. note::
|
||||
- 当导出文件格式为AIR、ONNX时,单个Tensor的大小不能超过2GB。
|
||||
- 当file_name 没有后缀时,系统会根据file_format 自动添加后缀。
|
||||
- 当 `file_name` 没有后缀时,系统会根据 `file_format` 自动添加后缀。
|
||||
|
||||
**参数:**
|
||||
|
||||
|
@ -22,7 +22,7 @@ mindspore.export
|
|||
|
||||
- **kwargs** (dict) – 配置选项字典。
|
||||
|
||||
- **quant_mode** (str) - 如果网络是量化感知训练网络,那么quant_mode需要设置为"QUANT",否则 `quant_mode` 需要设置为"NONQUANT"。
|
||||
- **quant_mode** (str) - 如果网络是量化感知训练网络,那么 `quant_mode` 需要设置为"QUANT",否则 `quant_mode` 需要设置为"NONQUANT"。
|
||||
- **mean** (float) - 预处理后输入数据的平均值,用于量化网络的第一层。默认值:127.5。
|
||||
- **std_dev** (float) - 预处理后输入数据的方差,用于量化网络的第一层。默认值:127.5。
|
||||
- **enc_key** (str) - 用于加密的字节类型密钥,有效长度为16、24或者32。
|
||||
|
|
|
@ -9,7 +9,7 @@ mindspore.load_checkpoint
|
|||
|
||||
- **ckpt_file_name** (str) – checkpoint的文件名称。
|
||||
- **net** (Cell) – 加载checkpoint参数的网络。默认值:None。
|
||||
- **strict_load** (bool) – 是否将严格加载参数到网络中。如果是False, 它将根据相同的后缀名将参数字典中的参数加载到网络中,并会在精度不匹配时,进行强制精度转换,比如将float32转换为float16。默认值:False。
|
||||
- **strict_load** (bool) – 是否将严格加载参数到网络中。如果是False, 它将根据相同的后缀名将参数字典中的参数加载到网络中,并会在精度不匹配时,进行强制精度转换,比如将 `float32` 转换为 `float16` 。默认值:False。
|
||||
- **filter_prefix** (Union[str, list[str], tuple[str]]) – 以 `filter_prefix` 开头的参数将不会被加载。默认值:None。
|
||||
- **dec_key** (Union[None, bytes]) – 用于解密的字节类型密钥,如果值为None,则不需要解密。默认值:None。
|
||||
- **dec_mode** (str) – 该参数仅当 `dec_key` 不为None时有效。指定解密模式,目前支持“AES-GCM”和“AES-CBC”。默认值:“AES-GCM”。
|
||||
|
|
|
@ -9,7 +9,7 @@ mindspore.load_param_into_net
|
|||
|
||||
- **net** (Cell) – 将要加载参数的网络。
|
||||
- **parameter_dict** (dict) – 加载checkpoint文件得到的字典。
|
||||
- **strict_load** (bool) – 是否将参数严格加载到网络中。如果是False, 它将以相同的后缀名将参数字典中的参数加载到网络中,并会在精度不匹配时,进行精度转换,比如将float32转换为float16。默认值:False。
|
||||
- **strict_load** (bool) – 是否将参数严格加载到网络中。如果是False, 它将以相同的后缀名将参数字典中的参数加载到网络中,并会在精度不匹配时,进行精度转换,比如将 `float32` 转换为 `float16` 。默认值:False。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
|
|
@ -7,8 +7,8 @@ mindspore.merge_sliced_parameter
|
|||
|
||||
**参数:**
|
||||
|
||||
- **sliced_parameters** (list[Parameter]):参数切片,按rank id进行排列。
|
||||
- **strategy** (Optional[dict]):参数切片策略,key为参数名称,value为该参数的切片策略。如果strategy为None,则只需按0轴顺序合并参数切片。默认值:None。
|
||||
- **sliced_parameters** (list[Parameter]) - 参数切片,按rank id进行排列。
|
||||
- **strategy** (Optional[dict]) - 参数切片策略,key为参数名称,value为该参数的切片策略。如果 `strategy` 为None,则只需按0轴顺序合并参数切片。默认值:None。
|
||||
|
||||
**返回:**
|
||||
|
||||
|
@ -16,9 +16,9 @@ mindspore.merge_sliced_parameter
|
|||
|
||||
**异常:**
|
||||
|
||||
- **ValueError:** 合并失败。
|
||||
- **TypeError:** `sliced_parameters` 不正确或strategy不是dict。
|
||||
- **KeyError:** 参数名称不在策略的key中。
|
||||
- **ValueError** - 合并失败。
|
||||
- **TypeError** - `sliced_parameters` 不正确或 `strategy` 不是dict。
|
||||
- **KeyError** - 参数名称不在策略的key中。
|
||||
|
||||
**样例:**
|
||||
|
||||
|
|
|
@ -204,8 +204,7 @@
|
|||
**参数:**
|
||||
|
||||
**predict_data** (Tensor) – 预测样本,数据可以是单个张量、张量列表或张量元组。
|
||||
|
||||
|
||||
|
||||
**返回:**
|
||||
|
||||
返回预测结果,类型是张量或数组。
|
||||
|
|
|
@ -9,9 +9,9 @@ mindspore.ms_function
|
|||
|
||||
**参数:**
|
||||
|
||||
- **fn** (Function):要编译成图的Python函数。默认值:None。
|
||||
- **obj** (Object):用于区分编译后函数的Python对象。默认值:None。
|
||||
- **input_signature** (Tensor):用于表示输入参数的Tensor。Tensor的shape和dtype将作为函数的输入shape和dtype。如果指定了 `input_signature` ,则 `fn` 的每个输入都必须是 `Tensor` 。
|
||||
- **fn** (Function) - 要编译成图的Python函数。默认值:None。
|
||||
- **obj** (Object) - 用于区分编译后函数的Python对象。默认值:None。
|
||||
- **input_signature** (Tensor) - 用于表示输入参数的Tensor。Tensor的shape和dtype将作为函数的输入shape和dtype。如果指定了 `input_signature` ,则 `fn` 的每个输入都必须是Tensor。
|
||||
|
||||
并且 `fn` 的输入参数将不会接受 `\**kwargs` 参数。实际输入的shape和dtype必须与 `input_signature` 的相同。否则,将引发TypeError。默认值:None。
|
||||
|
||||
|
|
Loading…
Reference in New Issue