2021-12-04 15:18:50 +08:00
|
|
|
|
mindspore.nn.DistributedGradReducer
|
|
|
|
|
|
===================================
|
|
|
|
|
|
|
2021-12-30 19:27:21 +08:00
|
|
|
|
.. py:class:: mindspore.nn.DistributedGradReducer(parameters, mean=True, degree=None, fusion_type=1, group=GlobalComm.WORLD_COMM_GROUP)
|
2021-12-04 15:18:50 +08:00
|
|
|
|
|
|
|
|
|
|
分布式优化器。
|
|
|
|
|
|
|
2022-01-10 16:58:33 +08:00
|
|
|
|
用于数据并行模式中，对所有卡的梯度利用AllReduce进行聚合。
|
2021-12-04 15:18:50 +08:00
|
|
|
|
|
|
|
|
|
|
**参数：**
|
|
|
|
|
|
|
2021-12-30 19:27:21 +08:00
|
|
|
|
- **parameters** (list) - 需要更新的参数。
|
|
|
|
|
|
- **mean** (bool) - 当mean为True时，对AllReduce之后的梯度求均值。默认值：False。
|
|
|
|
|
|
- **degree** (int) - 平均系数，通常等于设备编号。默认值：None。
|
|
|
|
|
|
- **fusion_type** (int) - AllReduce算子的融合类型。默认值：1。
|
2022-01-21 18:53:52 +08:00
|
|
|
|
- **group** (str) - AllReduce算子的通信域，若需要自定义通信域，需要调用create_group接口。默认值：GlobalComm.WORLD_COMM_GROUP。
|
2021-12-04 15:18:50 +08:00
|
|
|
|
|
|
|
|
|
|
**异常：**
|
|
|
|
|
|
|
|
|
|
|
|
**ValueError**：如果degree不是int或小于0。
|
