!29546 Fx Chinese api

Merge pull request !29546 from huangxinjing/code_docs_fx_api
This commit is contained in:
i-robot 2022-01-27 06:21:25 +00:00 committed by Gitee
commit c7c427d0ad
No known key found for this signature in database
GPG Key ID: 173E9B9CA92EEF8F
1 changed files with 8 additions and 1 deletions

View File

@ -198,7 +198,7 @@ MindSpore context用于配置当前执行环境包括执行模式、执行
- semi_auto_parallel半自动并行模式。 - semi_auto_parallel半自动并行模式。
- auto_parallel自动并行模式。 - auto_parallel自动并行模式。
- **auto_parallel_search_mode** (str) - 表示有两种策略搜索模式分别是recursive_programming和dynamic_programming。默认值dynamic_programming。 - **search_mode** (str) - 表示有两种策略搜索模式分别是recursive_programming和dynamic_programming。默认值dynamic_programming。
- recursive_programming表示双递归搜索模式。 - recursive_programming表示双递归搜索模式。
- dynamic_programming表示动态规划搜索模式。 - dynamic_programming表示动态规划搜索模式。
@ -212,6 +212,13 @@ MindSpore context用于配置当前执行环境包括执行模式、执行
- **all_reduce_fusion_config** (list) - 通过参数索引设置 AllReduce 融合策略。仅支持ReduceOp.SUM和HCCL_WORLD_GROUP/NCCL_WORLD_GROUP。没有默认值。如果不设置则关闭算子融合。 - **all_reduce_fusion_config** (list) - 通过参数索引设置 AllReduce 融合策略。仅支持ReduceOp.SUM和HCCL_WORLD_GROUP/NCCL_WORLD_GROUP。没有默认值。如果不设置则关闭算子融合。
- **pipeline_stages** (int) - 设置pipeline并行的阶段信息。这表明了设备如何单独分布在pipeline上。所有的设备将被划分为pipeline_stags个阶段。目前这只能在启动semi_auto_parallel模式的情况下使用。默认值1。 - **pipeline_stages** (int) - 设置pipeline并行的阶段信息。这表明了设备如何单独分布在pipeline上。所有的设备将被划分为pipeline_stags个阶段。目前这只能在启动semi_auto_parallel模式的情况下使用。默认值1。
- **grad_accumulation_step** (int) - 在自动和半自动并行模式下设置梯度的累积step。其值应为正整数。默认值1。 - **grad_accumulation_step** (int) - 在自动和半自动并行模式下设置梯度的累积step。其值应为正整数。默认值1。
- **parallel_optimizer_config** (dict) - 用于开启优化器并行后的行为配置。仅在enable_parallel_optimizer=True的时候生效。目前它支持关键字如下的关键字
- gradient_accumulation_shard设置累积梯度变量是否在数据并行维度上进行切分。开启后将进一步减小模型的显存占用但是会在反向计算梯度时引入额外的通信算子ReduceScatter。此配置仅在流水线并行训练和梯度累积模式下生效。默认值True。
- **comm_fusion** (dict) - 用于设置通信算子的融合配置。可以同一类型的通信算子按梯度张量的大小或者顺序分块传输。输入格式为{"通信类型": {"mode":str, "config": None int 或者 list}},每种通信算子的融合配置有两个键:"mode"和"config"。支持以下通信类型的融合类型和配置:
- allreduce: 进行allreduce算子的通信融合。"mode"包含:"auto"、"size"和"index"。在"auto"模式下allreduce融合的是梯度变量的大小默认值阈值为"64"MB"config"对应的值为None。在"size"模式下需要用户在config的字典中指定梯度大小阈值这个值必须大于"0"MB。在"mode"为"index"时,它与"all_reduce_fusion_config"相同,用户需要给"config"传入一个列表,里面每个值表示梯度的索引。
**异常:** **异常:**