Compare commits

...

408 Commits

Author SHA1 Message Date
i-robot 936a7e6862
!49312 modify format
Merge pull request !49312 from 俞涵/code_docs_2.0.0al
2023-02-23 08:22:47 +00:00
huodagu 8c9a2b0a28 modify url link with api_updates 2023-02-23 16:12:09 +08:00
i-robot bcd1e1c643
!49131 correct labels of api_python released interfaces
Merge pull request !49131 from hedongdong/code_docs_r2.0.0-alpha_labels
2023-02-22 07:57:02 +00:00
hedongdong a4993e2f32 correct labels of api_python released interfaces 2023-02-21 10:10:00 +08:00
i-robot 0facad6495
!48486 modify format
Merge pull request !48486 from 俞涵/code_docs_2.0.0al
2023-02-07 09:36:39 +00:00
i-robot 0c97e96ff1
!48502 update r2.0.0-alpha releasenotes
Merge pull request !48502 from fangwenyi/code_docs_r2.0.0-alpha
2023-02-07 03:50:16 +00:00
fangwenyi e82b49d4f9 update r2.0.0-alpha releasenotes 2023-02-07 11:23:35 +08:00
huodagu 411a1578a7 modify ops list 2023-02-06 14:36:21 +08:00
i-robot 1ffbc36d02
!48176 修改argmin接口入参默认值
Merge pull request !48176 from 李良灿/r2.0.0-alpha
2023-01-31 01:23:07 +00:00
i-robot b615adf94d
!48204 Fix roll bug
Merge pull request !48204 from shenwei41/roll
2023-01-31 01:22:04 +00:00
i-robot 5923ec96c9
!48179 fix bug of api function multi_label_margin_loss
Merge pull request !48179 from ZhidanLiu/r2.0.0-alpha
2023-01-30 11:50:18 +00:00
shenwei41 c53a167834 solve the bug of res error when axis or shift is a number 2023-01-30 19:21:52 +08:00
i-robot a3d5d94c4b
!48170 fix unfold example and im2col padding bug
Merge pull request !48170 from baihuawei/im2colalpha
2023-01-30 07:32:02 +00:00
i-robot 94c6c16b84
!48150 Change custom_vjp to inner api
Merge pull request !48150 from YuJianfeng/r2.0.0-alpha
2023-01-30 07:06:39 +00:00
ZhidanLiu 7d6e62bae4 fix bug of api function multi_label_margin_loss 2023-01-30 11:45:21 +08:00
i-robot e95a21dd8d
!48172 code_docs_transform_ckpt_by_rank_docs_fix_2.0_alpha.
Merge pull request !48172 from yao_yf/code_docs_transform_ckpt_by_rank_docs_fix_2.0_alpha
2023-01-30 02:14:19 +00:00
i-robot dbce97eeee
!48130 Remove invalid example in tensor doc
Merge pull request !48130 from zyli2020/r2.0.0-alpha
2023-01-30 02:01:56 +00:00
i-robot 1846d7647e
!48163 Add copyright notice for cuCollections
Merge pull request !48163 from zyli2020/my_r2.0.0-alpha
2023-01-30 02:01:50 +00:00
liangcanli 4a189cd1a9 fix default value of axis of argmin 2023-01-30 09:32:16 +08:00
yao_yf 13e62536de transform ckpt api fix 2023-01-30 09:16:17 +08:00
baihuawei b8b8a036ff fix unfold example and im2col padding 2023-01-29 20:23:58 +08:00
i-robot 63a8b36505
!48122 change default mode to pynative in docs
Merge pull request !48122 from chujinjin/code_docs_change_default_mode_2.0_alpha
2023-01-29 11:24:47 +00:00
i-robot 6e15cfd93c
!48151 [docs] Hinge embedding loss
Merge pull request !48151 from shaojunsong/code_docs_hel2.0
2023-01-29 11:23:38 +00:00
i-robot 01bcdb6317
!48123 fix example docs
Merge pull request !48123 from 冯一航/code_docs_modify_example_docs
2023-01-29 11:22:50 +00:00
lizhenyu 571227596b Add copyright notice for cuCollections 2023-01-29 16:54:13 +08:00
fengyihang 8f55b5d71e modify example docs 2.0.0alpha 2023-01-29 16:09:29 +08:00
yujianfeng e5148ec903 Change custom_vjp to inner api 2023-01-29 14:44:23 +08:00
shaojunsong 5dd18c5c91 fix hinge embedding loss docs 2.0alpha 2023-01-29 09:58:39 +08:00
lizhenyu 1356b03f03 Remove invalid example in tensor doc 2023-01-29 09:30:11 +08:00
chujinjin 8be0a081ad change default mode 2023-01-28 10:48:24 +08:00
i-robot f9dcdba238
!48068 add necessary imports for Demo code
Merge pull request !48068 from 李林杰/code_docs_0119_fix_docs_alpha20
2023-01-19 08:44:22 +00:00
lilinjie 9b496813e8 add necessary imports for Demo code 2023-01-19 15:02:42 +08:00
i-robot 88ca63dc24
!48060 Update 'place' doc
Merge pull request !48060 from ZPaC/code_docs-alpha-2.0
2023-01-19 03:40:08 +00:00
ZPaC 9e5db04de3 Update 'place' doc 2023-01-19 10:06:56 +08:00
i-robot eeeb1e3d7c
!48033 fix supported platforms
Merge pull request !48033 from hedongdong/code_docs_r2.0.0-alpha_labels
2023-01-18 10:09:32 +00:00
hedongdong 5bae78b32e fix supported platforms 2023-01-18 17:16:36 +08:00
i-robot adde00125d
!47930 fix windows gpu
Merge pull request !47930 from zhoufeng/fix-windows-gpu-alpha
2023-01-18 08:30:57 +00:00
i-robot 7da675a5bd
!48007 Support bool of scalar operation
Merge pull request !48007 from huangbingjian/scalar_add_bool
2023-01-18 07:51:09 +00:00
i-robot eec6cae640
!47978 fix critical log in expander infer function
Merge pull request !47978 from DeshiChen/0116_critical_log_2.0
2023-01-18 07:47:50 +00:00
i-robot 864813db9c
!47984 modify format
Merge pull request !47984 from 俞涵/code_docs_2.0.0al
2023-01-18 02:50:41 +00:00
huodagu d81c6cd02d modify format 2023-01-18 09:41:42 +08:00
huangbingjian 57a89773da support scalar bool 2023-01-18 09:34:19 +08:00
i-robot 931030e2fa
!47980 fix maskedfill resize
Merge pull request !47980 from 范吉斌/fix_maskedfill_resize_alpha
2023-01-17 12:46:37 +00:00
i-robot 2174ae676c
!47908 add init_status for amp
Merge pull request !47908 from 吕昱峰(Nate.River)/r2.0.0-alpha
2023-01-17 12:12:28 +00:00
i-robot 71ceaf8653
!47975 Bugfix for the lstm gpu kernels
Merge pull request !47975 from chengang/fix_gpu_lstm_2
2023-01-17 11:50:33 +00:00
i-robot ee745e9eca
!47985 fix docs
Merge pull request !47985 from 李林杰/code_docs_0117_fix_docs
2023-01-17 09:32:08 +00:00
lilinjie 18c69a68a1 fix docs 2023-01-17 17:02:36 +08:00
i-robot d2fd24c998
!47951 fix pinns axis problem
Merge pull request !47951 from luochao60/fix_pinns_problem_20230117
2023-01-17 08:31:36 +00:00
fan-jibin 95cf7e641b fix maskedfill resize 2023-01-17 16:13:33 +08:00
chengang beb1e63151 fix gpu lstm kernels under dynamic shape 2023-01-17 15:52:15 +08:00
luochao 94fa82d18a fix pinns axis problem 2023-01-17 08:49:56 +08:00
i-robot 9c2e9e9c85
!47904 serving use device context
Merge pull request !47904 from zhoufeng/serving-use-device-context
2023-01-16 12:43:07 +00:00
i-robot 0c04bdff44
!47900 bug fix
Merge pull request !47900 from liubuyu/r2.0.0-alpha
2023-01-16 12:41:06 +00:00
i-robot 7179720c99
!47903 [r2.0.0 alpha] change warning log to debug
Merge pull request !47903 from xulei/log_info_r2.0_alpha
2023-01-16 12:18:32 +00:00
i-robot 9cffb72dbb
!47916 Repair that split can be called normally when the GeneratorDataset input is an iterator and synchronize to r2.0.0-alpha
Merge pull request !47916 from 刘勇琪/r2.0.0-alpha
2023-01-16 11:45:56 +00:00
i-robot c1a2df1977
!47901 speed up reshapre transpose fusion pass
Merge pull request !47901 from 王禹程/cherry-pick-1673837759
2023-01-16 11:24:21 +00:00
zhoufeng 20d0833e48 fix windows gpu
Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2023-01-16 19:20:28 +08:00
i-robot b24d9f6c83
!47902 Modify Log level
Merge pull request !47902 from jiaorui/file-open
2023-01-16 10:05:58 +00:00
i-robot e90c73a49b
!47915 fix issues
Merge pull request !47915 from luojianing/code_docs_r2.0.0-alpha
2023-01-16 08:40:21 +00:00
liu-yongqi-63 1d4d150fad Repair that split can be called normally when the GeneratorDataset input is an iterator and synchronize to r2.0.0-alpha 2023-01-16 15:45:07 +08:00
luojianing 01eedbc460 fix issues 2023-01-16 15:27:12 +08:00
i-robot 2ad878fe9b
!47911 delete unreleased operators
Merge pull request !47911 from hedongdong/code_docs_r2.0.0-alpha_labels
2023-01-16 07:25:18 +00:00
zhoufeng 3ca769f33c serving use device context
Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2023-01-16 15:00:36 +08:00
hedongdong 29df97a5ac delete unreleased operators 2023-01-16 14:47:32 +08:00
lvyufeng de46ec40a9 add init_status for amp 2023-01-16 14:39:53 +08:00
i-robot 39ef744411
!47836 modify format
Merge pull request !47836 from 俞涵/code_docs_2.0.0al
2023-01-16 04:15:31 +00:00
xulei 29d4864ca3 change warning log to debug 2023-01-16 11:18:30 +08:00
lby 5fd15897cc bug fix 2023-01-16 11:06:03 +08:00
reku1997 4d25617f96 fixed 120e8e3 from https://gitee.com/reku1997/mindspore/pulls/45969
speed up reshapre transpose fusion pass
2023-01-16 02:56:01 +00:00
dayschan ade238dbdf fix critical log in expander infer function 2023-01-16 09:43:42 +08:00
jiaorui f008c4bcd4 log level 2023-01-16 09:23:39 +08:00
i-robot 74662a9083
!47885 fix docker for cuda11.6
Merge pull request !47885 from yanghaoran/r2.0.0-alpha
2023-01-15 09:15:01 +00:00
yanghaoran bb2a7a313f fix docker for cuda11.6 2023-01-15 16:30:07 +08:00
i-robot 1ca418936b
!47859 fix wrong device target at pynative mode
Merge pull request !47859 from zhoufeng/fix-wrong-device-target-at-pynative-r2a
2023-01-13 11:43:25 +00:00
i-robot 473dd7a3df
!47861 modify 2.0alpha dockerfile
Merge pull request !47861 from yanghaoran/r2.0.0-alpha
2023-01-13 08:55:18 +00:00
yanghaoran e48abb75aa modify 2.0alpha dockerfile 2023-01-13 16:33:02 +08:00
zhoufeng e0967c906c fix wrong device target at pynative mode
Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2023-01-13 14:46:07 +08:00
i-robot fd7db0e8db
!47626 temporary hard coding for reducesum op
Merge pull request !47626 from liubuyu/r2.0.0-alpha
2023-01-13 06:26:57 +00:00
i-robot e757fa65f1
!47834 fix math issues
Merge pull request !47834 from luojianing/code_docs_r2.0.0-alpha
2023-01-13 03:14:49 +00:00
luojianing d497ad8d84 fix docs issues 2023-01-13 11:00:42 +08:00
lby befa057730 temporary hard coding for reducesum op 2023-01-13 09:53:17 +08:00
i-robot 64ee44de1f
!47831 fix supported platforms
Merge pull request !47831 from hedongdong/code_docs_r2.0.0-alpha_labels
2023-01-12 15:46:01 +00:00
hedongdong 25b6f474b9 fix supported platforms 2023-01-12 23:10:19 +08:00
huodagu e94d9fd5a8 modify lite link 2023-01-12 15:32:12 +08:00
i-robot d9174f1593
!47667 biasadd op bug fix
Merge pull request !47667 from liubuyu/r2.0.0-alpha_bug_fix
2023-01-10 01:42:22 +00:00
lby 0c79ac1433 bug fix 2023-01-09 19:22:18 +08:00
i-robot b4dec12559
!47649 Fallback tensor.max docs
Merge pull request !47649 from 俞涵/code_docs_2.0.0al
2023-01-09 07:50:01 +00:00
huodagu 12a142ce38 Fallback tensor.max docs 2023-01-09 15:39:30 +08:00
i-robot d567ebd6cc
!47592 column_order is deprecated in 2.0, remove the parse logic
Merge pull request !47592 from luoyang/fix-datajson-mindir-2.0
2023-01-07 06:16:36 +00:00
i-robot ce52762849
!47602 modify format
Merge pull request !47602 from 俞涵/code_docs_2.0.0al
2023-01-06 09:34:08 +00:00
huodagu e22a165a86 add primitive 2023-01-06 16:10:54 +08:00
YangLuo 7c5fad4997 after column_order is deprecated, remove parse logic 2023-01-06 14:58:47 +08:00
i-robot 165010d593
!47566 profiler接口参数与环境变量开启参数统一
Merge pull request !47566 from liuchuting/r2.0.0-alpha
2023-01-06 03:30:31 +00:00
i-robot c4537b4e81
!47561 fix adaptive_max_pool3d cpu
Merge pull request !47561 from 范吉斌/fix_adaptivemaxpool3d
2023-01-06 03:02:09 +00:00
liuchuting b9cef72ad2 Environment variable parameters and interface modes are the same. 2023-01-06 09:23:31 +08:00
fanjibin 1f747cdebc fix adaptive_max_pool3d cpu 2023-01-05 16:45:34 +08:00
i-robot d969d9e1d3
!47479 [JIT Fallback] Return zero like gradients for PyExecute bprop.
Merge pull request !47479 from 张清华/r2.0.0-alpha
2023-01-05 01:34:29 +00:00
i-robot ba5f62048b
!47416 pow编译问题和随机数添加副作用标签
Merge pull request !47416 from zong_shuai/r2.0.0-alpha
2023-01-04 08:25:13 +00:00
zong-shuai 897ecc14a9 debug 2023-01-04 14:24:47 +08:00
i-robot 809ac46b1f
!47388 Insert in_strategy between input and target op
Merge pull request !47388 from liuluobin/2.0_alpha_identity
2023-01-04 03:42:34 +00:00
张清华 50b7b5309b Return zero like gradients for PyExecute bprop. 2023-01-04 11:26:52 +08:00
i-robot 92d0034187
!46377 Fix FFTWithSize typo
Merge pull request !46377 from xiaohanzhang/r2.0.0-alpha
2023-01-03 12:15:43 +00:00
i-robot 1bf2b4ac84
!46975 修复一些profiler异常退出的问题
Merge pull request !46975 from liuchuting/r2.0.0-alpha
2023-01-03 11:06:40 +00:00
i-robot 2b8dee4856
!47450 modify examples err
Merge pull request !47450 from 俞涵/code_docs_2.0.0al
2023-01-03 09:25:45 +00:00
i-robot 70bc563131
!47392 data_parallel_wrapper_modify_2.0_alpha
Merge pull request !47392 from yao_yf/data_parallel_wrapper_modify_2.0_alpha
2023-01-03 09:24:53 +00:00
huodagu 7fc14d1465 modify examples err 2023-01-03 17:08:34 +08:00
i-robot 350a4b5a68
!47396 fix docs first line issues
Merge pull request !47396 from luojianing/code_docs_r2.0.0-alpha
2023-01-03 01:57:03 +00:00
luojianing 07810d27e0 fix ops docs first line issues 2023-01-03 09:56:31 +08:00
i-robot 80622935f7
!47394 modify format
Merge pull request !47394 from 俞涵/code_docs_2.0.0al
2023-01-03 01:52:30 +00:00
liuluobin afe56873eb Insert in_strategy between input and target op 2023-01-03 09:18:30 +08:00
i-robot 27b483b649
!47395 Change Chinese document for mutable in 2.0.0-alpha
Merge pull request !47395 from LiangZhibo/code_docs_mutable_alpha
2022-12-30 09:29:23 +00:00
i-robot da8da63760
!47354 matrix_exp 文档补齐及对外暴露
Merge pull request !47354 from haozhang/r2.0alpha
2022-12-30 08:57:35 +00:00
liangzhibo d11abab4db Add chinese document for mutable 2022-12-30 16:39:35 +08:00
huodagu 62eb13181a del nn_file and modify format 2022-12-30 16:39:09 +08:00
i-robot 55b94d7f60
!47390 Fix mutable document in 2.0.0-alpha
Merge pull request !47390 from LiangZhibo/code_docs_mutable_alpha
2022-12-30 08:31:53 +00:00
yao_yf 0ae256dae4 gradreducer modify 2022-12-30 15:48:33 +08:00
liangzhibo 82865eb01f Add doc for mutable 2022-12-30 15:47:11 +08:00
i-robot f9c7eb4870
!47387 modify the statements of rst files in alpha
Merge pull request !47387 from 宦晓玲/code_docs_1230.2
2022-12-30 07:24:57 +00:00
huanxiaoling 3a3d1ac4ea modify the statements of rst files in alpha 2022-12-30 15:09:17 +08:00
i-robot 920be3333d
!47365 fix sparse_docs
Merge pull request !47365 from jachua/code_docs_sparse_alpha
2022-12-30 06:52:09 +00:00
i-robot 6ab4753ab8
!47368 modify the statements in rst files part 1
Merge pull request !47368 from 宦晓玲/code_docs_1230.0
2022-12-30 06:20:01 +00:00
jachua 1b861e663d fix sparse_docs && add sparsify chinese 2022-12-30 11:36:54 +08:00
huanxiaoling bf30fbc363 modify the statements in rst files part 1 2022-12-30 11:31:22 +08:00
i-robot 14db9b3678
!47063 auto_parallel_fix_dataparallel_overlap_in_auto_fusion_2.0_alpha
Merge pull request !47063 from yao_yf/auto_parallel_fix_dataparallel_overlap_in_auto_fusion_2.0_alpha
2022-12-30 02:29:25 +00:00
i-robot 70606ad0bc
!47326 modify format
Merge pull request !47326 from 俞涵/code_docs_2.0.0al
2022-12-30 01:43:20 +00:00
hw_hz e76e2d176a matrix_exp 2022-12-30 09:34:31 +08:00
liuchuting e788f35015 Fix some problem with profiler exits abnormally. 2022-12-29 20:35:08 +08:00
huodagu 773f667b48 modify note for communicate 2022-12-29 18:20:36 +08:00
i-robot d18c31daa5
!47271 change error log to warining
Merge pull request !47271 from lianliguang/r2.0.0-alpha
2022-12-29 07:28:58 +00:00
i-robot bb05bff019
!47161 Fix shenzhen loss can not convergence
Merge pull request !47161 from zjun/fix_bug_alpha_2
2022-12-29 02:35:48 +00:00
i-robot 221f39eea2
!47307 modify docs
Merge pull request !47307 from 俞涵/code_docs_2.0.0al
2022-12-29 01:38:43 +00:00
huodagu 31b284ba3d modify docs 2022-12-28 17:36:25 +08:00
i-robot 610aee499b
!47289 r2.0.0alpha Cdist CPU Kernel 精度问题修复
Merge pull request !47289 from haozhang/r2.0alpha
2022-12-28 09:22:07 +00:00
i-robot 6ae15fdb0d
!47303 modify format
Merge pull request !47303 from 俞涵/code_docs_2.0.0al
2022-12-28 08:45:13 +00:00
huodagu 6213482601 modify format and add func sigmoid 2022-12-28 16:26:03 +08:00
i-robot fc32f077a7
!47287 modify format
Merge pull request !47287 from 俞涵/code_docs_2.0.0al
2022-12-28 06:46:15 +00:00
hw_hz 670925b034 debug 2022-12-28 14:35:08 +08:00
huodagu 67faa53f5a modify math format1228 2022-12-28 14:15:51 +08:00
lianliguang 1d96417efb change error log to warning 2022-12-28 10:59:07 +08:00
zjun 53add1d4c5 Fix shenzhen wan network loss not convergence
Signed-off-by: zjun <zhangjun0@huawei.com>

11111
a016ad89c1
Signed-off-by: zjun <zhangjun0@huawei.com>

opitmi
d9c4f164d6
Signed-off-by: zjun <zhangjun0@huawei.com>
2022-12-28 10:38:35 +08:00
i-robot 418a3fef92
!47227 put method csv.field_size_limit() in method int() of class Integrator
Merge pull request !47227 from 朱家兴/r2.0.0-alpha
2022-12-27 11:10:21 +00:00
i-robot 3d40eceef6
!47223 modify math format
Merge pull request !47223 from 俞涵/code_docs_2.0.0al
2022-12-27 03:18:02 +00:00
huodagu b16db3b144 modify math format 2022-12-27 10:49:32 +08:00
z30020733 dea39c2a15 put method csv.field_size_limit() in method __int__() of class Integrator 2022-12-27 10:44:24 +08:00
i-robot 5b5cfb4a0f
!47191 [JIT Fallback] Supports tensor.asnumpy() and return dictionary features in construct() for GraphMode.
Merge pull request !47191 from 张清华/r2.0.0-alpha
2022-12-26 09:56:08 +00:00
i-robot bace9b26c7
!47081 fix windows mindir
Merge pull request !47081 from lianliguang/r2.0.0-alpha
2022-12-26 09:24:57 +00:00
张清华 00a000c5ce [JIT Fallback] Supports tensor.asnumpy() and return dictionary features in construct() for GraphMode. 2022-12-26 09:58:20 +08:00
i-robot a1d5aebc72
!47166 modify format
Merge pull request !47166 from 俞涵/code_docs_r2al
2022-12-24 13:50:27 +00:00
俞涵 50103c07bd modify format 2022-12-24 17:27:32 +08:00
i-robot ad66cdf11f
!47125 acl bug fix
Merge pull request !47125 from liubuyu/r2.0.0-alpha
2022-12-24 09:19:58 +00:00
i-robot 498b92866c
!47160 fix doc math
Merge pull request !47160 from emmmmtang/code_docs_ldexp_r200alpha
2022-12-24 01:53:20 +00:00
i-robot 8f468ae0b4
!47158 modify format
Merge pull request !47158 from 俞涵/code_docs_r2al
2022-12-24 01:24:47 +00:00
俞涵 648f8a0954 modify format 2022-12-23 18:18:37 +08:00
i-robot 8114510d76
!47103 同步修改alpha版本编译问题
Merge pull request !47103 from zong_shuai/r2.0.0-alpha
2022-12-23 09:06:45 +00:00
i-robot 890109a9f1
!47139 modify format
Merge pull request !47139 from 俞涵/code_docs_r2al
2022-12-23 08:59:10 +00:00
i-robot 8dbeb605b3
!47124 update tutorail for md in br: r2.0.0-alpha
Merge pull request !47124 from guozhijian/code_docs_update_tutorial_r2.0.0-alpha
2022-12-23 08:58:30 +00:00
emmmmtang f3ab78e66b fix doc math 2022-12-23 15:35:33 +08:00
俞涵 c31d93f370 modify param_type 2022-12-23 14:54:52 +08:00
lby 0305d7a2c0 bug fix 2022-12-23 10:07:06 +08:00
jonyguo 60aa717aab add graph_data tutorial 2022-12-23 10:00:15 +08:00
zong_shuai 3ef7d521e1 debug 2022-12-22 16:12:24 +08:00
lianliguang f9c6c4cc36 fix windows powenti 2022-12-22 11:13:10 +08:00
yao_yf f2609f604c adapt auto fusion for grads_comm_overlap 2022-12-21 16:44:57 +08:00
i-robot d6b0d4e36a
!46757 MatrixInverse raise error when adjoint set false on gpu
Merge pull request !46757 from panzhihui/matrixinverse_adjoint
2022-12-19 12:48:32 +00:00
i-robot c126009c74
!46615 Fix profiling_parallel.pb.h compile problems r2.0.0-alpha
Merge pull request !46615 from zangqx/r2.0.0-alpha_profiling_parallel_compile
2022-12-19 11:31:11 +00:00
i-robot e937799da5
!46929 reg bprop on windows
Merge pull request !46929 from DeshiChen/1216_win_reg_r2.0
2022-12-19 10:39:55 +00:00
i-robot 90c75357f6
!46968 [kernel]fix cdist testcase bug
Merge pull request !46968 from 张学同/assign_sub
2022-12-19 08:29:31 +00:00
i-robot f92d39dc64
!46954 fix an issue of dynamic obfuscation
Merge pull request !46954 from jxl/r2.0.0-alpha
2022-12-19 07:58:46 +00:00
i-robot 7cf3f822ef
!46905 overlap_opt_shard_in_pipeline_2.0_alpha.
Merge pull request !46905 from yao_yf/overlap_opt_shard_in_pipeline_2.0_alpha
2022-12-19 07:35:02 +00:00
dayschan d3ba76741e reg bprop on windows 2022-12-19 15:09:17 +08:00
panzhihui 18e05da1b6 Let matrixinverse raise error when adjoint is True 2022-12-19 14:31:05 +08:00
i-robot 056716cc1c
!46909 Fix the incompleted watchpointhits for offline debugger for multi_rank data
Merge pull request !46909 from maning202007/r2.0.0-alpha
2022-12-19 02:18:56 +00:00
zhangxuetong fae66f87bf fix cdist grad kernel bug 2022-12-19 09:16:04 +08:00
jin-xiulang 1b560bcdc3 fix an issue of dynamic obfuscation 2022-12-18 16:16:27 +08:00
i-robot ab0ef9e32b
!46940 [PyNative][Bugfix] Input to attr.
Merge pull request !46940 from caifubi/r2.0.0-alpha-input-to-attr
2022-12-17 09:07:45 +00:00
yao_yf d7aa945a35 opt shard comm using mulit group
pipeline skip input redis

fix opt shard comm
2022-12-17 15:44:03 +08:00
caifubi adfd1f8cd3 Avoid repeating vm_op_adapter Pass 2022-12-17 14:40:36 +08:00
i-robot 53ce6bf714
!46917 Tensor tostring support uint64_t
Merge pull request !46917 from caifubi/r2.0.0-alpha-input-to-attr
2022-12-17 02:38:47 +00:00
i-robot 6f6ebcdd7c
!46900 data sync before get tensor value
Merge pull request !46900 from looop5/data_sync
2022-12-16 10:37:43 +00:00
i-robot 20fda5bb5c
!46827 Alpha fix bug of value error cannot raise
Merge pull request !46827 from chenfei_mindspore/alpha-runtime-err-fix
2022-12-16 08:19:32 +00:00
caifubi c57b67050d support uint64_t tensor to string 2022-12-16 15:43:24 +08:00
maning202007 558bbe738a Fix the incompleted watchpointhits for offline debugger for multi_rank data 2022-12-16 14:53:35 +08:00
looop5 ece00fff3a data sync before get tensor value 2022-12-16 14:13:49 +08:00
chenfei a708c4212d fix bug of value error cannot raise 2022-12-16 12:52:09 +08:00
i-robot 2928e3289f
!46877 remove debug log
Merge pull request !46877 from caifubi/r2.0.0-alpha-remove-log
2022-12-16 03:48:13 +00:00
i-robot 6317c84e41
!46826 pad adapter and support python infer code
Merge pull request !46826 from zhengyuanhua/r2-alpha
2022-12-16 03:38:00 +00:00
i-robot b3f30e573b
!46846 fix mirrorpad coredump on pynative
Merge pull request !46846 from 范吉斌/fix_pad
2022-12-16 03:27:02 +00:00
i-robot 3797dad108
!46847 add gpu mirror_pad data type
Merge pull request !46847 from 范吉斌/mirrorpad_datype_alpha
2022-12-16 02:49:54 +00:00
i-robot 85d8dc6230
!46551 set 'data_sink_mode' to False in Model.train/fit/eval
Merge pull request !46551 from 吕昱峰(Nate.River)/r2.0.0-alpha
2022-12-16 01:49:10 +00:00
i-robot 65069ff7b2
!46891 [MD][r2.0.0-alpha] fix reset API calls
Merge pull request !46891 from cathwong/ckw_r2.0.0-alpha_fix_reset_args
2022-12-16 01:34:58 +00:00
i-robot 39476c8100
!46830 Bugfix for PyNative cache
Merge pull request !46830 from caifubi/r2.0.0-alpha
2022-12-16 01:18:59 +00:00
i-robot e62225563c
!46881 Add ReduceMin to WhiteList
Merge pull request !46881 from nomindcarry/alpha_BCE
2022-12-16 01:14:55 +00:00
mohammad e4e0aa557f [MD] fix reset recovery API 2022-12-15 10:54:24 -05:00
i-robot 91d7cf3580
!46854 Fix bug of shenzhenwan network
Merge pull request !46854 from zjun/fix_bug_alpha
2022-12-15 14:45:12 +00:00
nomindcarry 604f39c763 Add ReduceMin to Whitelist 2022-12-15 20:39:13 +08:00
caifubi 9a7537509c Remove debug log 2022-12-15 20:13:57 +08:00
zjun 0dd2a0f2ef Fix ms function replace
Signed-off-by: zjun <zhangjun0@huawei.com>

Fix shenzhenwan
0571d717b7
Signed-off-by: zjun <zhangjun0@huawei.com>

reactor auto grad
415bcca309
Signed-off-by: zjun <zhangjun0@huawei.com>
2022-12-15 19:46:28 +08:00
zhengyuanhua 9b7dc1f347 round pad adapter and support python infer code 2022-12-15 18:56:59 +08:00
i-robot 1cc0154c6c
!46831 solve the compile error bp error and doc error in alpha
Merge pull request !46831 from zong_shuai/debug_alpha
2022-12-15 09:44:43 +00:00
i-robot fdfc0678c5
!46861 modify urls
Merge pull request !46861 from 俞涵/code_docs_2.0.0al
2022-12-15 08:55:45 +00:00
caifubi ca4a9fad70 bugfix for PyNative cache key 2022-12-15 16:16:13 +08:00
i-robot e5f17787f7
!46812 fix gpu slicegrad
Merge pull request !46812 from 范吉斌/fix_gpu_slicegrad_alpha
2022-12-15 08:05:03 +00:00
huodagu 8925e8b47e modify urls 2 2022-12-15 15:59:42 +08:00
i-robot 3090bfdcb6
!46851 modify urls
Merge pull request !46851 from 俞涵/code_docs_2.0.0al
2022-12-15 07:44:06 +00:00
huodagu 8b50757021 modify urls 2022-12-15 15:11:45 +08:00
i-robot 10942cabfc
!46801 const value does not cast to complex data type
Merge pull request !46801 from looop5/const_complex_r2.0
2022-12-15 06:30:00 +00:00
fanjibin b473ca1fe1 fix pad core 2022-12-15 12:29:02 +08:00
i-robot b242da25cf
!46716 [R2.0Alpha]Custom OpsSupport Update
Merge pull request !46716 from zichun_ye/custon_update_2.0_a
2022-12-15 03:47:19 +00:00
fanjibin 4c0b6141a7 add gpu mirror_pad data type 2022-12-15 10:48:12 +08:00
zong_shuai 3864e4a60f debug 2022-12-15 10:13:08 +08:00
i-robot e231e8d824
!46809 fix minimumgrad and maximumgrad operator bug caused by student
Merge pull request !46809 from 沈竞兴/r2.0.0-alpha
2022-12-15 02:06:06 +00:00
i-robot 60a89a9fc8
!46740 Fix pins for PyNative
Merge pull request !46740 from zjun/fix_xxx_alpha
2022-12-14 13:53:04 +00:00
i-robot 45301ebc72
!46796 change ops APIs order
Merge pull request !46796 from luojianing/code_docs_r2.0.0-alpha
2022-12-14 12:22:29 +00:00
i-robot e84c3ac3ea
!46776 disable hccl task sink
Merge pull request !46776 from caifubi/r2.0.0-alpha
2022-12-14 11:31:35 +00:00
luojianing e2afde20c3 change ops APIs order 2022-12-14 18:29:05 +08:00
fanjibin c7014ad816 fix gpu slicegrad 2022-12-14 17:28:51 +08:00
shen_jingxing dcfdc5cdd8 fix minimumgrad and maximumgrad operator bug caused by student 2022-12-14 17:22:18 +08:00
zjun 316022d39c Fix pins
87c64dcb33
Signed-off-by: zjun <zhangjun0@huawei.com>

Fix bprop
5ef6f85dda
Signed-off-by: zjun <zhangjun0@huawei.com>
2022-12-14 17:08:06 +08:00
looop5 72c59131ed const value does not cast to complex data type 2022-12-14 15:50:14 +08:00
i-robot bdeeb90233
!46760 support logical and or xor in tensor
Merge pull request !46760 from KXiong/r2.0.0-alpha
2022-12-14 06:13:04 +00:00
i-robot a25e1f78fb
!46548 kldivlossgrad后端gpu数据类型补齐
Merge pull request !46548 from 李良灿/Dtype
2022-12-14 04:41:16 +00:00
i-robot 8fb35ae191
!46733 error fix alpha
Merge pull request !46733 from nomindcarry/slice_grad_set_shape_alpha
2022-12-14 03:19:42 +00:00
i-robot b8e3761e21
!46694 Fix cordump problem while null input
Merge pull request !46694 from zhangzhaoju/r2.0.0-alpha
2022-12-14 02:50:12 +00:00
i-robot bf0d4a710d
!46749 2.0.0-alpha Fix sequence type print problem
Merge pull request !46749 from LiangZhibo/alpha
2022-12-14 01:57:56 +00:00
i-robot f14a3a10c6
!46773 [BUG] FIx quantcast 16 bug
Merge pull request !46773 from douzhixing/r2.0.0-alpha-quantcast
2022-12-14 01:34:08 +00:00
nomindcarry 94503519af fix 2022-12-14 09:17:29 +08:00
caifubi 8bb902c0a0 Disable task sink for hccl in PyNative mode 2022-12-13 22:41:51 +08:00
duzhixing 117e4fb55d fix quant_fp16 bug 2022-12-13 20:47:07 +08:00
i-robot b063f8f6ad
!46722 dynamic_broadcast_gradient_args use launch input address
Merge pull request !46722 from TuDouNi/r2.0.0-alpha
2022-12-13 11:20:58 +00:00
xiongkun b1c75c7816 add tensor logical
tick

tick

tick

tick
2022-12-13 19:15:14 +08:00
i-robot f65a4cb49c
!46685 Fix some operator errors.
Merge pull request !46685 from yangshuo/fix_histogram
2022-12-13 10:39:03 +00:00
liangzhibo ae1318d1db Fix sequence print problem 2022-12-13 17:13:44 +08:00
i-robot da50667653
!46501 fix_bug: insert conv2dbackpropinput
Merge pull request !46501 from hujiahui8/r2.0.0-alpha
2022-12-13 08:40:48 +00:00
i-robot e83ffa3363
!46652 change links to r2.0.0-alpha
Merge pull request !46652 from luojianing/code_docs_r2.0.0-alpha
2022-12-13 07:05:26 +00:00
i-robot aad2b8e15f
!46721 Dynamic detect support anf node for 2.0.
Merge pull request !46721 from wanghenchang/master_2.0_1210
2022-12-13 03:46:34 +00:00
ttudu 85a4a2b3f8 dynamic_broadcast_gradient_args use launch input address 2022-12-13 10:18:04 +08:00
i-robot d1d125850a
!46704 [MSLITE][Fix] support multi gears in alpha
Merge pull request !46704 from 赵英灼/fix_config_alpha
2022-12-13 02:11:03 +00:00
i-robot 670cdd2395
!46330 Recorrect error log for ResizeBilinearV2.
Merge pull request !46330 from TronZhang/resize_bilinear_v2_log_2-0
2022-12-13 01:34:55 +00:00
i-robot ccddd6d10a
!46690 fix conv3dtranspose resize
Merge pull request !46690 from 胡彬/fix-Conv3dTranspose-Resize-alpha
2022-12-13 01:34:33 +00:00
i-robot 3420da01a0
!46705 Time-consuming optimization of import mindspore
Merge pull request !46705 from jiaorui/alpha-check
2022-12-13 01:33:16 +00:00
wangchangheng ab34671105 support anf node 2022-12-12 21:11:00 +08:00
Zichun Ye 356060ef8f fix custom op attr settings 2022-12-12 19:34:27 +08:00
yangshuo c99e3b3877 Fix some operator errors. 2022-12-12 19:28:41 +08:00
i-robot b157c29223
!46675 fix_sparse_bug
Merge pull request !46675 from luochao60/fix_sparse_tensor_2.0alpha_20221212
2022-12-12 10:39:48 +00:00
zhaoyingzhuo c49a890ca8 fix config to support multi gears 2022-12-12 16:51:54 +08:00
jiaorui 7bdbd3df95 check version 2022-12-12 16:51:53 +08:00
zhangzhaoju eb1754aa97 Fix cordump problem while null input
while has null input, xdivy return null too according to tensorflow
2022-12-12 15:08:07 +08:00
hbhu_bin 78b903f090 fix-Conv3dTranspose-Resize 2022-12-12 14:52:47 +08:00
luochao 41f6b9ac1a fix_sparse_tensor_bug 2022-12-12 14:07:44 +08:00
lvyufeng c485038344 set 'data_sink_mode' to False in Model.train/fit/eval 2022-12-12 10:50:46 +08:00
i-robot 7f6424cf81
!46358 profiler通过环境变量使能可配置参数更新以及用例看护
Merge pull request !46358 from liuchuting/r2.0.0-alpha
2022-12-12 02:31:37 +00:00
i-robot bf3ec413e8
!46667 Bugfix for constexpr
Merge pull request !46667 from caifubi/r2.0.0-alpha
2022-12-12 01:54:30 +00:00
i-robot d500e418ce
!46657 Remove the requirement of setting 'device_num' in pynative_shard
Merge pull request !46657 from liuluobin/r2.0-alpha_remove_devnum
2022-12-12 01:32:36 +00:00
i-robot 8a211d9edf
!46664 fixed mem bugs for 2.0
Merge pull request !46664 from wanghenchang/master_2.0_1210
2022-12-12 01:09:51 +00:00
wangchangheng c8f819811e fixed mem bugs 2022-12-10 16:32:21 +08:00
caifubi 1086f5a007 Bugfix for constexpr 2022-12-10 15:19:06 +08:00
i-robot d5e4696c45
!46364 modify format
Merge pull request !46364 from 俞涵/code_docs_2.0.0al
2022-12-09 12:59:50 +00:00
luojianing 9122ba1a98 change links to r2.0.0-alpha 2022-12-09 17:47:17 +08:00
i-robot a17cdd1b0d
!46650 fix docs 20
Merge pull request !46650 from 李林杰/code_docs_1209_fix_docs_20
2022-12-09 09:32:14 +00:00
lilinjie aee98c2b00 fix docs 20 2022-12-09 17:17:17 +08:00
liuluobin 31721aaee2 Remove the requirement of setting 'device_num' in pynative_shard 2022-12-09 17:14:35 +08:00
i-robot 61d876d5df
!46624 Remove the call to GRUV2 in nn.GRU
Merge pull request !46624 from liuluobin/r2.0-alpha_revert_gruv2
2022-12-09 09:00:46 +00:00
i-robot 4e04eec424
!46622 fix LockRuntime stream nullptr
Merge pull request !46622 from baihuawei/fix_stream_null2.0
2022-12-09 08:11:47 +00:00
i-robot 69f430b10d
!46518 Sync master to fix bugs
Merge pull request !46518 from DeshiChen/1206_fixbug
2022-12-09 06:56:12 +00:00
i-robot 9f8b759588
!46598 fix bug of mindir as a subcell
Merge pull request !46598 from lianliguang/r2.0.0-alpha
2022-12-09 04:38:27 +00:00
i-robot f06d41de44
!46591 math binary op C++ infer type supports complex data type
Merge pull request !46591 from looop5/math_binary_infer_dtype_r2.0
2022-12-09 03:49:18 +00:00
i-robot 89565e0960
!46585 fix SmoothL1Loss/SmoothL1LossGrad infer
Merge pull request !46585 from liangxhao/SmoothL1Loss_alpha
2022-12-09 03:16:34 +00:00
i-robot 260f492b02
!46609 Fix function grad resut is not right
Merge pull request !46609 from zjun/fix_bug4_alpha
2022-12-09 03:15:35 +00:00
i-robot 87549a510b
!46594 fix incorrect input shape check of TruncatedNormal operator.
Merge pull request !46594 from yangshuo/fix_truncated_normal
2022-12-09 02:57:23 +00:00
liuluobin 820b19fa3f Remove the call to GRUV2 in nn.GRU 2022-12-09 10:48:21 +08:00
i-robot ac3cb5a914
!46603 BCEwithLogit
Merge pull request !46603 from nomindcarry/alpha_BCE
2022-12-09 02:16:52 +00:00
baihuawei ca79f7de6a fix LockRuntime stream nullptr 2022-12-09 09:47:19 +08:00
i-robot 6be002d02c
!46558 [MS][InplaceOp] Add memory out-of-bounds check for indices
Merge pull request !46558 from 陈宇/dev_r2.0_inpalceadd_coredump
2022-12-09 01:30:47 +00:00
i-robot 48fe0dd804
!46507 Fix dvpp utils undefined symbol error.
Merge pull request !46507 from youshu/ys_dvpp_symbol_2_0
2022-12-09 01:14:25 +00:00
i-robot b0e97f81bf
!46610 [MS][BUG]sync bug fix of master
Merge pull request !46610 from mengyuanli/sync_2.0
2022-12-09 01:12:13 +00:00
臧庆香 9e8a364e7d [profiler] Fix profiling_parallel.pb.h compile problems 2022-12-08 23:08:16 +08:00
zjun 5239dd4b60 Fix bug
Signed-off-by: zjun <zhangjun0@huawei.com>

Fix hig

Signed-off-by: zjun <zhangjun0@huawei.com>
2022-12-08 21:05:30 +08:00
mengyuanli 9d63a2eac8 fix bug of USC infer 2022-12-08 21:04:26 +08:00
yangshuo 1a4d660356 fix incorrect input shape check of TruncatedNormal operator. 2022-12-08 21:02:14 +08:00
i-robot 6facf06fde
!46593 fix docs
Merge pull request !46593 from 李林杰/code_docs_1205_fix_docs_20
2022-12-08 12:34:28 +00:00
liuchuting 35c83aa8ef Add new args for environ enable profiling. 2022-12-08 20:23:11 +08:00
nomindcarry 91346986db HardwareOptimize and BCEWithLogitsLossFusion 2022-12-08 19:31:24 +08:00
lianliguang 49521b726f fix bug of mindir as subcell 2022-12-08 17:27:30 +08:00
looop5 492223da92 math binary op C++ infer type supports complex data type 2022-12-08 17:23:46 +08:00
lilinjie 1e9d6acd0a code_docs_1205_fix_docs_20 2022-12-08 16:59:50 +08:00
lianghao23 0c2086d0d4 fix SmoothL1Loss/SmoothL1LossGrad infer 2022-12-08 15:49:28 +08:00
i-robot 813187cf04
!46544 Fix tanh complex calculation
Merge pull request !46544 from panzhihui/tanh_complex_fix
2022-12-08 07:05:53 +00:00
i-robot d80bcf746a
!46329 fix max_unpool3d test sample
Merge pull request !46329 from liuchao/code_docs_unpool3d_alpha
2022-12-08 06:33:24 +00:00
dayschan 628bf21b9e Sync master to fix bugs.
1. fix InputToAttrDeco of graphkernel.
2. GetProcessorStr should not print error log
2022-12-08 14:32:17 +08:00
i-robot 789d0b7d34
!46577 takedown testcases to ensure gate stability, but r2.0 branch
Merge pull request !46577 from yanghaoran/r2.0.0-alpha
2022-12-08 06:28:00 +00:00
i-robot b34dd895f3
!46504 Fix bug for PyNative
Merge pull request !46504 from zjun/fix_high
2022-12-08 06:12:41 +00:00
i-robot 0cce568746
!46565 2.0.0-alpha add approver for minddata
Merge pull request !46565 from luoyang/code_docs_r2.0.0-alpha
2022-12-08 03:01:31 +00:00
i-robot 3d69682c7a
!46531 enhance dataset sampler for r2.0_alpha
Merge pull request !46531 from guozhijian/update_sampler_r2.0_alpha
2022-12-08 02:56:41 +00:00
yanghaoran b1b42958d7 takedown testcases to ensure gate stability 2022-12-08 10:55:28 +08:00
YangLuo e6e24890bb add approver for minddata 2022-12-08 10:45:19 +08:00
CHEN YU c0f00e38e5 Add memory out-of-bounds check for InplaceOp's indices. 2022-12-08 10:22:41 +08:00
i-robot a38d401ec4
!46506 [2.0alpha]delete kDidAtexitFlag
Merge pull request !46506 from huanghui/2.0alpha-fix-bad-weak-ptr
2022-12-08 01:09:45 +00:00
i-robot 23d1b7582e
!46528 too much warning
Merge pull request !46528 from nomindcarry/TooMuchWarning
2022-12-08 01:07:50 +00:00
liangcanli e02ae67153 kldivgradDtype 2022-12-07 17:44:30 +08:00
zjun 899c9c4c96 fix bug for high grad
fix multibugs
2aba04da6f

Fix some bug
2c45a64f20
Signed-off-by: zjun <zhangjun0@huawei.com>

Fix ms funtion
f4ee9ffd42
Signed-off-by: zjun <zhangjun0@huawei.com>

Fix top cell is nullptr
8d6ca75b5a
Signed-off-by: zjun <zhangjun0@huawei.com>

Fix bug
101a657ace
Signed-off-by: zjun <zhangjun0@huawei.com>
2022-12-07 17:21:17 +08:00
panzhihui 1bdd73668f Fix tanh compute for complex input 2022-12-07 16:53:05 +08:00
i-robot bd50ac90a9
!46510 pipeline bug fixs
Merge pull request !46510 from yao_yf/pipeline_opt_not_fully_shard_2.0_alpha
2022-12-07 08:28:57 +00:00
i-robot 73130d7655
!46368 skip bprop expander for LSTM on CPU
Merge pull request !46368 from looop5/skip_lstm
2022-12-07 08:26:36 +00:00
i-robot 02473f3389
!46383 bugfix for gpu hash table operators' result is error on GPU3090
Merge pull request !46383 from zyli2020/r2.0.0-alpha
2022-12-07 07:57:54 +00:00
i-robot b3d8209ffe
!46527 modify assert op
Merge pull request !46527 from liujunzhu/code_docs_r2.0.0-alpha
2022-12-07 07:17:00 +00:00
jonyguo 262e132f58 enhance minddata sampler 2022-12-07 14:31:32 +08:00
nomindcarry 89caa3ed2d warnings to info 2022-12-07 14:28:38 +08:00
lizhenyu 35685c47b5 bugfix for gpu hash table operators' result is error on GPU3090 2022-12-07 10:35:26 +08:00
yao_yf 70af0ccf42 pipeline_opt_not_fully_shard, and handle pipeline shared param 2022-12-07 09:48:10 +08:00
youshu1 89b7831cd5 [MS][LITE]fix dvpp utils undefined symbol error. 2022-12-07 09:30:39 +08:00
huanghui 643d90cb56 delete kDidAtxitFlag and solve RuntimeError: bad_weak_ptr 2022-12-07 09:20:05 +08:00
liujunzhu 07a19f2181 modify assert op 2022-12-06 21:23:15 +08:00
hujiahui8 241e62eea2 fix_bug: insert conv2dbackpropinput 2022-12-06 15:01:19 +08:00
Corleone ebe578098d fix max_unpool3d test sample 2022-12-06 12:07:56 +08:00
i-robot 375750d4b5
!46240 slice_grad core dumped fix alpha
Merge pull request !46240 from nomindcarry/slice_grad_set_shape_alpha
2022-12-03 12:32:05 +00:00
nomindcarry 3c623631b7 fix
fix quant bug
2022-12-03 16:28:17 +08:00
i-robot ca8b22d2c0
!46333 fixed function performance bug for 2.0
Merge pull request !46333 from wanghenchang/front-dynamic-detect-2.0
2022-12-02 12:53:39 +00:00
i-robot a17f18f72e
!46361 add docker for 2.0.0alpha
Merge pull request !46361 from yanghaoran/r2.0.0-alpha
2022-12-02 09:44:24 +00:00
looop5 4d8b7d5b5f skip bprop expander for LSTM on CPU 2022-12-02 16:31:59 +08:00
shaw_zhang 8564e34398 Fix FFTWithSize typo 2022-12-02 15:58:44 +08:00
i-robot 1ab3010df2
!46355 [2.0.0-alpha][docs] Update Lamb formula
Merge pull request !46355 from shaojunsong/code_docs_lamb_2.0
2022-12-02 07:50:49 +00:00
i-robot 72c4202ebd
!46208 API文档改动合并至分支2.0.0-alpha
Merge pull request !46208 from yxx/r2.0.0-alpha
2022-12-02 07:43:58 +00:00
yanghaoran 8c4e0031e5 add docker for 2.0.0alpha 2022-12-02 14:44:03 +08:00
huodagu 49310715be modify format 2022-12-02 14:09:40 +08:00
i-robot d79d313b91
!46323 fix some bugs
Merge pull request !46323 from luochao60/fix_some_bugs_20221201_r2.0alpha
2022-12-02 03:14:31 +00:00
i-robot 0d75460a85
!46236 Fix execution order are different between each card when PyNative+jit
Merge pull request !46236 from liuluobin/fix_pynative_jit_bug
2022-12-02 03:09:59 +00:00
shaojunsong 52e70c14a5 Correct Lamb formula 2.0-alpha 2022-12-02 11:09:23 +08:00
TronZhang c5b7998dd7 recorrect log for ResizeBilinearV2 2022-12-02 09:49:10 +08:00
yangxixin 649518727a ops模块API文档修正
ops模块API文档修正

ops模块API文档修正
2022-12-02 09:37:11 +08:00
wangchangheng efc99e53fd fixed function performance bug 2022-12-01 20:50:13 +08:00
liuluobin 5dc452b3ab Fix execution order are different between each card when PyNative+jit 2022-12-01 20:14:55 +08:00
i-robot 44e82bc68b
!46307 optimize output actor link to solve the inconsistency between front and back outputs
Merge pull request !46307 from limingqi107/r2.0.0-alpha
2022-12-01 11:43:01 +00:00
i-robot bc3e876faa
!46312 modify format
Merge pull request !46312 from 俞涵/code_docs_2.0.0al
2022-12-01 11:02:18 +00:00
luochao 9c042cb8ed fix fake prim bug and others 2022-12-01 18:55:25 +08:00
i-robot 34dd39cdf5
!45915 Limit data length for Report
Merge pull request !45915 from 裘凯达/alpha
2022-12-01 10:51:27 +00:00
huodagu bcc7ac885e modify format 2022-12-01 15:30:12 +08:00
i-robot 0a56b65ca5
!46253 Add pad operation when padding's length is equal to 0
Merge pull request !46253 from 冯一航/add_pad_null_padding_alpha
2022-12-01 07:27:56 +00:00
limingqi107 52c866aa0a optimize output actor link to solve the inconsistency between front and back outputs 2022-12-01 14:48:17 +08:00
i-robot f1218b8847
!46070 Remove env for subgraph sink.
Merge pull request !46070 from gaoyong10/r2.0.0-alpha
2022-12-01 06:27:40 +00:00
i-robot 331de9c899
!46286 remove ResizeBicubic, add CN docs for NonMaxSuppressionV3 and PadV3 and move Roll from inner_ops to math_ops on branch 2.0.0 alpha
Merge pull request !46286 from 李林杰/1130_remove_ResizeBicubic_20alpha
2022-12-01 06:26:59 +00:00
i-robot b6fdd62399
!46190 [MSLITE][CPU] matmul use avx512 mask instruction opt
Merge pull request !46190 from Greatpan/matmul_opt_r2.0
2022-12-01 06:23:02 +00:00
i-robot fb3cc9ef45
!46294 添加ApplyMomentum的example
Merge pull request !46294 from DavidFFFan/code_docs_r2_0_0_alpha
2022-12-01 06:18:26 +00:00
i-robot 8c3e0d6b54
!46246 同步修改alpha问题单
Merge pull request !46246 from zong_shuai/alpha
2022-12-01 04:29:23 +00:00
i-robot 961290fdf0
!46205 Acl whitelist
Merge pull request !46205 from caifubi/r2.0.0-alpha-test
2022-12-01 02:28:24 +00:00
fandawei 8e45d839e4 add ApplyMomentum example 2022-12-01 09:37:38 +08:00
i-robot 6507cbf7bc
!46213 fix bug: reduce_sum axis to input[1] in clip_by_norm_fission
Merge pull request !46213 from Yanzhi_YI/r2-clipbynorm
2022-12-01 01:34:51 +00:00
i-robot 4c51edd969
!46257 fix doc of train and rewrite
Merge pull request !46257 from 于振华/code_docs_fix_model_2.0_1130
2022-12-01 01:34:23 +00:00
i-robot 0afed28291
!46250 fixed mem leak for 2.0
Merge pull request !46250 from wanghenchang/front-dynamic-detect-2.0
2022-12-01 01:15:37 +00:00
lilinjie 69a673559a remove ResizeBicuic, add CN docs for NonMaxSuppressionV3 and PadV3 and move Roll from inner_ops to math_ops on branch 2.0.0 alpha 2022-12-01 00:07:12 +08:00
i-robot b2adc81b5f
!46248 修复profiler异常退出的问题
Merge pull request !46248 from liuchuting/r2.0.0-alpha
2022-11-30 15:05:27 +00:00
i-robot eeae1883dd
!46247 GraphKernel Fix bug on r2.0.0-alpha
Merge pull request !46247 from ZengZitao/2.0_gk_fix
2022-11-30 12:31:58 +00:00
i-robot 6fbab68d0e
!46252 Optimize ASR Performance
Merge pull request !46252 from caifubi/r2.0.0-alpha
2022-11-30 12:06:54 +00:00
i-robot c5510d04d6
!46243 [2.0a] fix RuntimeError: bad_weak_ptr when del cell and do atexit
Merge pull request !46243 from huanghui/2.0alpha-fix-bad-weak-ptr
2022-11-30 09:37:18 +00:00
zong_shuai af238cd9dd not_support qr gpu 2022-11-30 17:26:14 +08:00
wangchangheng ef1048d464 fixed mem leak 2022-11-30 17:04:41 +08:00
i-robot b48a16532b
!46262 modify the format of files in alpha 1130
Merge pull request !46262 from 宦晓玲/code_docs_1130al
2022-11-30 08:48:52 +00:00
huanxiaoling 3edd9bd816 modify the format of files 2022-11-30 16:17:34 +08:00
caifubi d6f86eb34c Add white list for pynative dynamic 2022-11-30 14:56:36 +08:00
yuzhenhua 6f5834f425 fix doc of train and rewrite 2022-11-30 14:50:16 +08:00
fengyihang 6fe67a5fe8 add pad null padding 2022-11-30 14:19:59 +08:00
caifubi f219fc202c Optimize performance of ASR 2022-11-30 14:18:45 +08:00
zengzitao 2d8b081388 fix gk bug in r2.0.0-alpha 2022-11-30 14:04:21 +08:00
liuchuting 6acad042d8 Fix the problem that the process does not release. 2022-11-30 11:32:44 +08:00
huanghui af957e4ab4 fix RuntimeError: bad_weak_ptr when del cell and do atexit 2022-11-30 11:07:25 +08:00
i-robot 5538b1ea1f
!46210 modify the format of files in alpha
Merge pull request !46210 from 宦晓玲/code_docs_1129al
2022-11-30 02:38:38 +00:00
yiyanzhi_akane 7f59f54c42 fix bug: reduce_sum axis to input[1] in clip_by_norm_fission 2022-11-30 10:06:29 +08:00
i-robot 5bd9a6a7ae
!46145 MatrixDiagPartV3 MatrixDiagV3 MatrixSetDiagV3 中文API资料
Merge pull request !46145 from haozhang/pr_45845
2022-11-30 02:05:35 +00:00
huanxiaoling 2c00f5b0ad modify the format of files in alpha 2022-11-30 09:59:45 +08:00
i-robot 9203542060
!46219 fix examples issues 3
Merge pull request !46219 from luojianing/code_docs_r2.0.0-alpha
2022-11-29 13:01:07 +00:00
i-robot 0d03bdec89
!46092 PyNative dynamic shape
Merge pull request !46092 from caifubi/r2.0.0-alpha
2022-11-29 12:43:54 +00:00
luojianing a9202e8d21 fix examples issues 3 2022-11-29 20:29:06 +08:00
greatpanc ad0d2fe598 matmul mask instruction opt 2022-11-29 15:00:10 +08:00
i-robot 35ccfc100f
!46166 [AutoParallel]RM_combine_like_graph_in_parallel_r2.0_alpha
Merge pull request !46166 from lichen/rm_combine_like_graph_in_parallel_to_2.0_alpha
2022-11-29 06:15:30 +00:00
caifubi ca9d1592d2 PyNative dynamic shape
1. Enable RunOpDynamic for dynamic shape.
2. Add acl adapter.
3. Add SyncStream after acl kernel launch.
2022-11-29 14:12:39 +08:00
i-robot d5c872b116
!46163 sync fixes from master after Nov. 23
Merge pull request !46163 from 李林杰/1129_sync_master_and_r20_alpha
2022-11-29 02:50:04 +00:00
hw_hz 78091ff0ba CodeDocs 中文API资料 2022-11-29 10:13:15 +08:00
i-robot ad8652e384
!46138 fix dropout condition
Merge pull request !46138 from 王禹程/fix_rectify_2.0
2022-11-29 01:44:57 +00:00
lichen 7b3e4fc603 rm_combine_like_graph_in_parallel 2022-11-29 09:24:55 +08:00
lilinjie 7941734bd3 sync fixes from master after Nov. 23 2022-11-29 01:09:26 +08:00
i-robot 25fda4de0d
!46151 fix examples and docs issues2
Merge pull request !46151 from luojianing/code_docs_r2.0.0-alpha
2022-11-28 13:20:53 +00:00
luojianing f7d827d2b9 fix examples and docs issues2 2022-11-28 19:53:37 +08:00
i-robot bcbc3f09fb
!46148 modify format
Merge pull request !46148 from 俞涵/code_docs_2.0.0al
2022-11-28 11:50:48 +00:00
huodagu c458b588f2 modify format 2022-11-28 19:42:34 +08:00
i-robot ab63d0d3e4
!46143 modify doc
Merge pull request !46143 from xumengjuan1/code_docs_x78
2022-11-28 11:06:33 +00:00
i-robot 18ab31a4f4
!46144 fix examples and docs issues
Merge pull request !46144 from luojianing/code_docs_r2.0.0-alpha
2022-11-28 11:01:14 +00:00
i-robot 434ad0e2fe
!46140 Add Diag operator docs.
Merge pull request !46140 from yangshuo/code_docs_api_2
2022-11-28 10:30:08 +00:00
luojianing 57c5f0b891 fix examples and docs issues 2022-11-28 18:12:19 +08:00
xumengjuan1 d8fff75b55 modify doc 2022-11-28 17:57:35 +08:00
yangshuo 7e8d740298 Add Diag operator docs. 2022-11-28 17:00:06 +08:00
reku1997 6c155a7ec6 fix dropout condition 2022-11-28 16:44:48 +08:00
i-robot b3e9ed06b3
!46132 modify format
Merge pull request !46132 from 俞涵/code_docs_2.0.0al
2022-11-28 08:23:57 +00:00
huodagu c4f6d1fbe7 modify format and rename filename 2022-11-28 16:07:16 +08:00
i-robot b4de7d3e95
!46126 fix pad docs
Merge pull request !46126 from 冯一航/code_docs_fix_pad_docs_alpha
2022-11-28 07:42:28 +00:00
i-robot d9f069143d
!46117 modify the format of files in r2.0.0-alpha
Merge pull request !46117 from 宦晓玲/code_docs_al1128
2022-11-28 07:31:16 +00:00
fengyihang 1da0375ba5 modify pad docs 2022-11-28 15:25:18 +08:00
huanxiaoling bd5fa8c3e9 modify the format of files in r2.0.0-alpha 2022-11-28 14:56:26 +08:00
i-robot b8119a6d28
!45988 Add pynative front dynamic detect function for r2.0.0-alpha
Merge pull request !45988 from wanghenchang/front-dynamic-detect
2022-11-27 13:02:11 +00:00
wangchangheng 86cee0fdc9 front dynamic detect 2022-11-27 03:05:16 -05:00
i-robot 115c6d30ea
!46045 Fix ACL bug.
Merge pull request !46045 from linqingke/acl_2.0_alpha
2022-11-27 07:16:37 +00:00
lby efb9b12274 Fix ACL bug. 2022-11-27 12:15:58 +08:00
i-robot 8de4521ab5
!46055 Add high order for PyNative
Merge pull request !46055 from zjun/high_alpha
2022-11-26 10:52:58 +00:00
gaoyong10 9b12897b7e Remove env for subgraph sink. 2022-11-26 14:13:24 +08:00
i-robot eb1c612060
!46007 Fix aicpu parallel bug.
Merge pull request !46007 from linqingke/paraller_r2.0
2022-11-26 02:05:45 +00:00
zjun 2db79d9c1e Add high order for pynative
Signed-off-by: zjun <zhangjun0@huawei.com>
2022-11-26 09:53:23 +08:00
linqingke 72cadf2120 Fix aicpu parallel bug. 2022-11-25 09:58:02 +08:00
i-robot dbf5f7ad6d
!45906 new construct bprop
Merge pull request !45906 from luochao60/feat_construct_bprop_20221114
2022-11-23 08:47:04 +00:00
cudi 707d58acad Limit the data length for Report. 2022-11-23 13:36:21 +08:00
luochao 61fac6e20d new_construct_bprop
move expander files
move expander component to mindspore/core
move the bprop expanders to mindspore/frontend
2022-11-23 10:52:21 +08:00
1151 changed files with 40115 additions and 11859 deletions

View File

@ -23,6 +23,7 @@ approvers:
- limingqi107
- linqingke
- liucunwei
- luoyang42
- mickf
- nsyca
- ouwenchang

View File

@ -85,3 +85,4 @@
"mindspore/mindspore/lite/src/litert/delegate/nnapi/nnapi_implementation.h" "build/include_order"
"mindspore/mindspore/lite/src/litert/delegate/nnapi/nnapi_implementation.cc" "build/include_order"
"mindspore/mindspore/lite/src/extendrt/cxx_api/model/model_impl.cc" "whitespace/parens"
"mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/" "runtime/int"

View File

@ -50,8 +50,8 @@ https://github.com/siju-samuel/darknet/blob/master/
https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu
https://developer.download.nvidia.cn/compute/machine-learning/repos/ubuntu
https://dl.google.com/dl/android/maven2/
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/MindInsight/any/mindinsight-1.9.0-py3-none-any.whl
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/MindSpore/cpu/x86_64/mindspore-1.9.0-cp37-cp37m-linux_x86_64.whl
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/Serving/x86_64/mindspore_serving-1.9.0-cp37-cp37m-linux_x86_64.whl
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/MindSpore/gpu/x86_64/cuda-10.1/mindspore_gpu-1.9.0-cp37-cp37m-linux_x86_64.whl
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/MindSpore/gpu/x86_64/cuda-11.1/mindspore_gpu-1.9.0-cp37-cp37m-linux_x86_64.whl
https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.0.0a0/MindSpore/unified/x86_64/mindspore-2.0.0a0-cp37-cp37m-linux_x86_64.whl \
https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.0.0a0/MindInsight/any/mindinsight-2.0.0-py3-none-any.whl \
https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.0.0a0/Serving/x86_64/mindspore_serving-2.0.0-cp37-cp37m-linux_x86_64.whl
https://mindspore.cn*/r2.0.0-alpha/*
https://www.mindspore.cn*/r2.0.0-alpha/*

View File

@ -75,6 +75,7 @@
"mindspore/mindspore/python/mindspore/dataset/engine/__init__.py" "redefined-builtin"
"mindspore/mindspore/python/mindspore/dataset/engine/datasets.py" "redefined-builtin"
"mindspore/mindspore/python/mindspore/dataset/engine/datasets.py" "broad-except"
"mindspore/mindspore/python/mindspore/dataset/engine/datasets_user_defined.py" "bad-super-call"
"mindspore/mindspore/python/mindspore/dataset/engine/graphdata.py" "super-init-not-called"
"mindspore/mindspore/python/mindspore/dataset/transforms/py_transforms_util.py" "broad-except"

View File

@ -19,7 +19,7 @@ mindspore/mindspore/ccsrc/pipeline/jit/init.cc:PYBIND11_MODULE
mindspore/mindspore/ccsrc/pipeline/jit/parse/resolve.cc:mindspore::parse::ResolveObjectToNode
mindspore/mindspore/ccsrc/pipeline/jit/pipeline.cc:mindspore::pipeline::GraphExecutorPy::Compile
mindspore/mindspore/ccsrc/pipeline/jit/static_analysis/prim.cc:mindspore::abstract::ConvertAbstractToPython
mindspore/mindspore/ccsrc/pybind_api/ir/log_adapter_py.cc:mindspore::PyExceptionInitializer::HandleExceptionPy
mindspore/mindspore/ccsrc/pybind_api/ir/log_adapter_py.h:mindspore::PyExceptionInitializer::HandleExceptionPy
mindspore/mindspore/ccsrc/plugin/device/gpu/kernel/math/unary_op_gpu_kernel.h:mindspore::kernel::UnaryOpGpuKernel::Launch
mindspore/mindspore/ccsrc/plugin/device/ascend/optimizer/ir_fission/dynamic_rnn_grad_fission_v2.cc:mindspore::opt::AddLSTMInputGradNode
mindspore/mindspore/ccsrc/plugin/device/ascend/kernel/aicpu/aicpu_ops/drop_out_gen_mask_kernels.cc:aicpu::ARMDropOutGenMaskKernel
@ -153,6 +153,55 @@ mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-genera
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_avx512/nnacl_gemm_avx512_7x16_kernel_nhwc_fp32.c:nnacl_gemm_avx512_7x16_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_avx512/nnacl_gemm_avx512_5x48_kernel_nhwc_fp32.c:nnacl_gemm_avx512_5x48_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_avx512/nnacl_gemm_avx512_6x64_kernel_nhwc_fp32.c:nnacl_gemm_avx512_6x64_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_10x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_10x16_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_11x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_11x32_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_1x96_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_1x96_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_1x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_1x32_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_4x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_4x16_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_3x64_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_3x64_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_1x64_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_1x64_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_7x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_7x32_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_5x64_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_5x64_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_3x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_3x48_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_3x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_3x32_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_6x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_6x48_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_3x96_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_3x96_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_2x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_2x32_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_4x80_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_4x80_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_4x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_4x48_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_1x80_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_1x80_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_2x80_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_2x80_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_9x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_9x32_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_8x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_8x48_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_4x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_4x32_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_6x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_6x16_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_8x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_8x16_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_2x64_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_2x64_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_6x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_6x32_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_5x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_5x32_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_9x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_9x16_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_7x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_7x48_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_4x96_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_4x96_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_3x80_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_3x80_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_2x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_2x16_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_4x64_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_4x64_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_12x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_12x16_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_10x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_10x32_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_5x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_5x16_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_11x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_11x16_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_5x80_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_5x80_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_8x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_8x32_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_1x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_1x16_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_3x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_3x16_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_12x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_12x32_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_2x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_2x48_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_1x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_1x48_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_2x96_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_2x96_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_7x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_7x16_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_5x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_5x48_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_6x64_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_6x64_mask_kernel_nhwc_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_fma/nnacl_gemm_fma_3x24_kernel_nc8hw8_fp32.c:nnacl_gemm_fma_3x24_kernel_nc8hw8_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_fma/nnacl_gemm_fma_2x32_kernel_nc8hw8_fp32_asm.c:nnacl_gemm_fma_2x32_kernel_nc8hw8_fp32
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_fma/nnacl_gemm_fma_12x8_kernel_nc8hw8_fp32_asm.c:nnacl_gemm_fma_12x8_kernel_nc8hw8_fp32
@ -213,3 +262,5 @@ mindspore/mindspore/ccsrc/pybind_api/ir/tensor_py.cc:mindspore::tensor::RegMetaT
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/eltwise_grad_cpu_kernel.cc:mindspore::kernel::EltWiseGradCpuTypeFunc<T>::InitFunc
mindspore/mindspore/lite/tools/converter/quantizer/weight_quantizer.cc:mindspore::lite::quant::WeightQuantizer::LinearQuant
mindspore/mindspore/python/mindspore/ops/function/nn_func.py:conv3d
mindspore/mindspore/python/mindspore/ops/function/nn_func.py:max_unpool3d
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/fp32/matmul_avx512_mask_fp32.c:GemmRowxColMaskKernelFp32

View File

@ -2,6 +2,122 @@
[查看中文](./RELEASE_CN.md)
## MindSpore 2.0.0-alpha Release Notes
### Major Features and Improvements
#### PyNative
- The default mode of MindSpore is switched to PyNative. If you want to manually set the mode, please refer to https://www.mindspore.cn/tutorials/zh-CN/master/advanced/compute_graph.html.
- Support dynamic shape without padding, three networks are supported as demos: Transformer-GPU, YOLOV5-GPU, ASR-Ascend. Transformer-GPU and YOLOV5-GPU can be downloaded from https://gitee.com/mindspore/models/tree/dynamic_shape. Only the following operators are available on Ascend backendAdd、Assign、BatchMatMul、BiasAdd、BiasAddGrad、Cast、Conv2D、Conv2DBackpropFilter、Conv2DBackpropInput、CTCLoss、Div、Dropout、DropoutDoMask、Equal、ExpandDims、Gather、GetNext、LayerNorm、LayerNormGrad、LessEqual、Load、Log、LogicalAnd、LogicalNot、LogicalOr、LogSoftmax、LogSoftmaxGrad、MatMul、Maximum、Mul、Neg、NotEqual、NPUAllocFloatStatus、NPUClearFloatStatus、OneHot、RealDiv、Reciprocal、ReduceMean、ReduceSum、ReLU、ReluGrad、Reshape、Select、Softmax、StridedSlice、Sub、Tile、Transpose、UnsortedSegmentSum、ZerosLike。The remaining operators have not been fully verified, please use them as appropriate.
#### DataSet
- The TFRecordDataset API can directly read TFRecord files compressed by GZIP or ZLIB.
- The NumpySliceDataset API can process data of different dimensions at the same time.
- Optimize the structure of error log to display more clear call stack information for debugging.
- Fixed `mindspore.dataset.config.set_seed` does not take effect for random seeds in distributed training scenarios.
#### AutoParallel
- Supports more operators with distributed implements.
Element Wise Operators:AddN, BitwiseAnd, BitwiseOr, BitwiseXor, CumProd, HShrink, HSigmoid, IsFinite, Mish, MulNoNan, Rint, SeLU, SoftShrink, TruncateDiv, TruncateMod, Xdivy Xlogy, InplaceAdd, InplacSub, InplaceUpdate, Cdist, L2Loss, Lerp.
Math Operators:SquaredDifference, Erfinv, MaskedFill, SplitV, Gamma, KLDivLoss, LinSpace.
Scatter Operators:ScatterAdd,ScatterDiv,ScatterMax,ScatterMul,ScatterNdAdd,ScatterNdSub,ScatterNdUpdate,ScatterSub,TensorScatterAdd,TensorScatterDiv,TensorScatterMax,TensorScatterMax,TensorScatterMul,TensorScatterAdd,TensorScatterUpdate.
- Add new apis `transform_checkpoints` and `transform_checkpoint_by_rank` to transfer the distributed checkpoint files by strategy files. Please refer to https://www.mindspore.cn/tutorials/experts/en/master/parallel/resilience_train_and_predict.html。
### API Change
#### operator
- [STABLE] Add operator primitive for `mindspore.ops.AdaptiveMaxPool3D`.
- [STABLE] Add operator primitive for `mindspore.ops.AdjustHue`.
- [STABLE] Add operator primitive for `mindspore.ops.BartlettWindow`.
- [STABLE] Add operator primitive for `mindspore.ops.BesselJ0`.
- [STABLE] Add operator primitive for `mindspore.ops.BesselJ1`.
- [STABLE] Add operator primitive for `mindspore.ops.BesselK0`.
- [STABLE] Add operator primitive for `mindspore.ops.BesselK0e`.
- [STABLE] Add operator primitive for `mindspore.ops.BesselK1`.
- [STABLE] Add operator primitive for `mindspore.ops.BesselK1e`.
- [STABLE] Add operator primitive for `mindspore.ops.BesselY0`.
- [STABLE] Add operator primitive for `mindspore.ops.BesselY1`.
- [STABLE] Add operator primitive for `mindspore.ops.Betainc`.
- [STABLE] Add operator primitive for `mindspore.ops.Bincount`.
- [STABLE] Add operator primitive for `mindspore.ops.BlackmanWindow`.
- [STABLE] Add operator primitive for `mindspore.ops.Bucketize`.
- [STABLE] Add operator primitive for `mindspore.ops.CombinedNonMaxSuppression`.
- [STABLE] Add operator primitive for `mindspore.ops.CompareAndBitpack`.
- [STABLE] Add operator primitive for `mindspore.ops.Complex`.
- [STABLE] Add operator primitive for `mindspore.ops.DataFormatVecPermute`.
- [STABLE] Add operator primitive for `mindspore.ops.Eig`.
- [STABLE] Add operator primitive for `mindspore.ops.EuclideanNorm`.
- [STABLE] Add operator primitive for `mindspore.ops.Expand`.
- [STABLE] Add operator primitive for `mindspore.ops.ExtractGlimpse`.
- [STABLE] Add operator primitive for `mindspore.ops.FillDiagonal`.
- [STABLE] Add operator primitive for `mindspore.ops.FractionalAvgPool`.
- [STABLE] Add operator primitive for `mindspore.ops.FractionalMaxPool`.
- [STABLE] Add operator primitive for `mindspore.ops.Gcd`.
- [STABLE] Add operator primitive for `mindspore.ops.HammingWindow`.
- [STABLE] Add operator primitive for `mindspore.ops.Histogram`.
- [STABLE] Add operator primitive for `mindspore.ops.HSVToRGB`.
- [STABLE] Add operator primitive for `mindspore.ops.Lcm`.
- [STABLE] Add operator primitive for `mindspore.ops.LeftShift`.
- [STABLE] Add operator primitive for `mindspore.ops.ListDiff`.
- [STABLE] Add operator primitive for `mindspore.ops.LogSpace`.
- [STABLE] Add operator primitive for `mindspore.ops.Lstsq`.
- [STABLE] Add operator primitive for `mindspore.ops.MatrixDiagPartV3`.
- [STABLE] Add operator primitive for `mindspore.ops.MatrixDiagV3`.
- [STABLE] Add operator primitive for `mindspore.ops.MatrixExp`.
- [STABLE] Add operator primitive for `mindspore.ops.MatrixPower`.
- [STABLE] Add operator primitive for `mindspore.ops.MaxPool3DWithArgmax`.
- [STABLE] Add operator primitive for `mindspore.ops.MaxUnpool2D`.
- [STABLE] Add operator primitive for `mindspore.ops.MultilabelMarginLoss`.
- [STABLE] Add operator primitive for `mindspore.ops.NextAfter`.
- [STABLE] Add operator primitive for `mindspore.ops.Orgqr`.
- [STABLE] Add operator primitive for `mindspore.ops.ReduceStd`.
- [STABLE] Add operator primitive for `mindspore.ops.ResizeNearestNeighborV2`.
- [STABLE] Add operator primitive for `mindspore.ops.RGBToHSV`.
- [STABLE] Add operator primitive for `mindspore.ops.RightShift`.
- [STABLE] Add operator primitive for `mindspore.ops.Roll`.
- [STABLE] Add operator primitive for `mindspore.ops.SampleDistortedBoundingBoxV2`.
- [STABLE] Add operator primitive for `mindspore.ops.ScaleAndTranslate`.
- [STABLE] Add operator primitive for `mindspore.ops.ScatterAddWithAxis`.
- [STABLE] Add operator primitive for `mindspore.ops.ScatterNdDiv`.
- [STABLE] Add operator primitive for `mindspore.ops.ScatterNdMax`.
- [STABLE] Add operator primitive for `mindspore.ops.ScatterNdMul`.
- [STABLE] Add operator primitive for `mindspore.ops.STFT`.
- [STABLE] Add operator primitive for `mindspore.ops.Trace`.
- [STABLE] Add operator primitive for `mindspore.ops.UpsampleNearest3D`.
- [STABLE] Add operator primitive for `mindspore.ops.UpsampleTrilinear3D`.
- [STABLE] Add distributed weight conversion interface `mindspore.parallel.transform_checkpoints`.
- [STABLE] Add distributed weight conversion interface `mindspore.parallel.transform_checkpoint_by_rank`.
#### Backwards Incompatible Change
##### Python API
- The `mindspore.ms_function` interface is renamed to `mindspore.jit`, and `mindspore.ms_function` will be deprecated and removed in a future version.
- The `mindspore.ms_class` interface is renamed to `mindspore.jit_class`, and `mindspore.ms_class` will be deprecated and removed in a future version.
- The `mindspore.dataset.map` interface parameter `column_order` does not take effect, use`mindspore.dataset.project`.
- The `mindspore.dataset.close_pool` and `mindspore.dataset.to_device` and `mindspore.dataset.set_dynamic_columns` are deprecated and removed in this version.
### Bug fixes
- Fixed an issue where the mixed precision functional interface could not modify the backend driver in graph mode
- Fixed the problem that users can automatically transfer device_id in the single-P scenario for the following networks:mobilenetv1/fasterrcnn/yolov3/yolov4/yolov5/unet/openpose/simplepose/crnn/gnmtv2/faceattribute/facequality/facedetection
### Contributors
Thanks goes to these wonderful people:
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, heleiwang, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, Lixia, lixian, liyanliu, liyong, lizhenyu, luopengting, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, ougongchang, panfengfeng, panyifeng, Payne, Peilin, peixu_ren, Pengyongrong, qianlong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, , Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, wuxuejian, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaitao1, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanke, zhanyuan, zhaodezan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking, shu-kun-zhang.
Contributions of any kind are welcome!
## MindSpore 1.9.0 Release Notes
### Major Features and Improvements
@ -191,7 +307,7 @@ Contributions of any kind are welcome!
- [STABLE] When using the map operation for dataset objects and the parameters like: num_parallel_workers > 1 and python_multiprocessing=True, the multi-process mechanism is optimized, so that the data channel and child processes are mapped one by one, avoiding excessive file handle occupation, and closing_pool interface is also deleted.
- [STABLE] Add a batch of Vision, Text and Audio data augmentation operations.
- [STABLE] Fix a bug where the flat_map method of the Dataset class does not flatten the result.
- [STABLE] Unify import paths of dataset augmentation APIs to provide more easier way to use. Refer to [latest api usages](https://www.mindspore.cn/docs/en/master/api_python/mindspore.dataset.vision.html).
- [STABLE] Unify import paths of dataset augmentation APIs to provide more easier way to use. Refer to [latest api usages](https://www.mindspore.cn/docs/en/r1.8/api_python/mindspore.dataset.vision.html).
### API Change

View File

@ -2,6 +2,120 @@
[View English](./RELEASE.md)
## MindSpore 2.0.0-alpha Release Notes
### 主要特性和增强
#### PyNative
- MindSpore默认模式切换成PyNative模式。需要手动设置模式可以参考文档:https://www.mindspore.cn/tutorials/zh-CN/master/advanced/compute_graph.html
- 完成动态shape执行方案重构提升反向构图性能支持非padding方案的动态shape网络编程当前主要验证网络Transformer-GPU、YOLOV5-GPU、ASR-Ascend。Transformer-GPU和YOLOV5-GPU可以从以下链接获取https://gitee.com/mindspore/models/tree/dynamic_shape 。Ascend后端受算子适配度限制只支持下列算子Add、Assign、BatchMatMul、BiasAdd、BiasAddGrad、Cast、Conv2D、Conv2DBackpropFilter、Conv2DBackpropInput、CTCLoss、Div、Dropout、DropoutDoMask、Equal、ExpandDims、Gather、GetNext、LayerNorm、LayerNormGrad、LessEqual、Load、Log、LogicalAnd、LogicalNot、LogicalOr、LogSoftmax、LogSoftmaxGrad、MatMul、Maximum、Mul、Neg、NotEqual、NPUAllocFloatStatus、NPUClearFloatStatus、OneHot、RealDiv、Reciprocal、ReduceMean、ReduceSum、ReLU、ReluGrad、Reshape、Select、Softmax、StridedSlice、Sub、Tile、Transpose、UnsortedSegmentSum、ZerosLike。其余算子未经过完整验证, 请酌情使用。
#### DataSet
- TFRecordDataset API支持直接读取通过GZIP或ZLIB压缩后的TFRecord文件。
- NumpySliceDataset API支持同时处理不同维度的数据。
- 优化错误日志信息的结构,展示更清晰的调用栈信息便于调试、定位问题。
- 修复分布式训练场景下 `mindspore.dataset.config.set_seed` 对随机种子设置不生效的问题。
#### AutoParallel
- 支持更多算子分布式能力。
Element Wise类算子AddN、 BitwiseAnd、 BitwiseOr、 BitwiseXor、 CumProd、 HShrink、 HSigmoid、 IsFinite、 Mish、 MulNoNan、 Rint、 SeLU、 SoftShrink、 TruncateDiv、 TruncateMod、 Xdivy Xlogy、 InplaceAdd、 InplacSub、 InplaceUpdate、 Cdist、 L2Loss、 Lerp。
Math类算子SquaredDifference、 Erfinv、 MaskedFill、 SplitV、 Gamma、 KLDivLoss、 LinSpace。Scatter类算子ScatterAdd、ScatterDiv、ScatterMax、ScatterMul、ScatterNdAdd、ScatterNdSub、ScatterNdUpdate、ScatterSub、TensorScatterAdd、TensorScatterDiv、TensorScatterMax、TensorScatterMax、TensorScatterMul、TensorScatterAdd、TensorScatterUpdate。
- 增加`transform_checkpoints`和`transform_checkpoint_by_rank`接口。给定转换前后的策略文件即可实现对分布式权重转换。详情可以参考https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/resilience_train_and_predict.html 。
### API变更
#### 算子
- [STABLE] `mindspore.ops.AdaptiveMaxPool3D` 新增算子原语。
- [STABLE] `mindspore.ops.AdjustHue` 新增算子原语。
- [STABLE] `mindspore.ops.BartlettWindow` 新增算子原语。
- [STABLE] `mindspore.ops.BesselJ0` 新增算子原语。
- [STABLE] `mindspore.ops.BesselJ1` 新增算子原语。
- [STABLE] `mindspore.ops.BesselK0` 新增算子原语。
- [STABLE] `mindspore.ops.BesselK0e` 新增算子原语。
- [STABLE] `mindspore.ops.BesselK1` 新增算子原语。
- [STABLE] `mindspore.ops.BesselK1e` 新增算子原语。
- [STABLE] `mindspore.ops.BesselY0` 新增算子原语。
- [STABLE] `mindspore.ops.BesselY1` 新增算子原语。
- [STABLE] `mindspore.ops.Betainc` 新增算子原语。
- [STABLE] `mindspore.ops.Bincount` 新增算子原语。
- [STABLE] `mindspore.ops.BlackmanWindow` 新增算子原语。
- [STABLE] `mindspore.ops.Bucketize` 新增算子原语。
- [STABLE] `mindspore.ops.CombinedNonMaxSuppression` 新增算子原语。
- [STABLE] `mindspore.ops.CompareAndBitpack` 新增算子原语。
- [STABLE] `mindspore.ops.Complex` 新增算子原语。
- [STABLE] `mindspore.ops.DataFormatVecPermute` 新增算子原语。
- [STABLE] `mindspore.ops.Eig` 新增算子原语。
- [STABLE] `mindspore.ops.EuclideanNorm` 新增算子原语。
- [STABLE] `mindspore.ops.Expand` 新增算子原语。
- [STABLE] `mindspore.ops.ExtractGlimpse` 新增算子原语。
- [STABLE] `mindspore.ops.FillDiagonal` 新增算子原语。
- [STABLE] `mindspore.ops.FractionalAvgPool` 新增算子原语。
- [STABLE] `mindspore.ops.FractionalMaxPool` 新增算子原语。
- [STABLE] `mindspore.ops.Gcd` 新增算子原语。
- [STABLE] `mindspore.ops.HammingWindow` 新增算子原语。
- [STABLE] `mindspore.ops.Histogram` 新增算子原语。
- [STABLE] `mindspore.ops.HSVToRGB` 新增算子原语。
- [STABLE] `mindspore.ops.Lcm` 新增算子原语。
- [STABLE] `mindspore.ops.LeftShift` 新增算子原语。
- [STABLE] `mindspore.ops.ListDiff` 新增算子原语。
- [STABLE] `mindspore.ops.LogSpace` 新增算子原语。
- [STABLE] `mindspore.ops.Lstsq` 新增算子原语。
- [STABLE] `mindspore.ops.MatrixDiagPartV3` 新增算子原语。
- [STABLE] `mindspore.ops.MatrixDiagV3` 新增算子原语。
- [STABLE] `mindspore.ops.MatrixExp` 新增算子原语。
- [STABLE] `mindspore.ops.MatrixPower` 新增算子原语。
- [STABLE] `mindspore.ops.MaxPool3DWithArgmax` 新增算子原语。
- [STABLE] `mindspore.ops.MaxUnpool2D` 新增算子原语。
- [STABLE] `mindspore.ops.MultilabelMarginLoss` 新增算子原语。
- [STABLE] `mindspore.ops.NextAfter` 新增算子原语。
- [STABLE] `mindspore.ops.Orgqr` 新增算子原语。
- [STABLE] `mindspore.ops.ReduceStd` 新增算子原语。
- [STABLE] `mindspore.ops.ResizeNearestNeighborV2` 新增算子原语。
- [STABLE] `mindspore.ops.RGBToHSV` 新增算子原语。
- [STABLE] `mindspore.ops.RightShift` 新增算子原语。
- [STABLE] `mindspore.ops.Roll` 新增算子原语。
- [STABLE] `mindspore.ops.SampleDistortedBoundingBoxV2` 新增算子原语。
- [STABLE] `mindspore.ops.ScaleAndTranslate` 新增算子原语。
- [STABLE] `mindspore.ops.ScatterAddWithAxis` 新增算子原语。
- [STABLE] `mindspore.ops.ScatterNdDiv` 新增算子原语。
- [STABLE] `mindspore.ops.ScatterNdMax` 新增算子原语。
- [STABLE] `mindspore.ops.ScatterNdMul` 新增算子原语。
- [STABLE] `mindspore.ops.STFT` 新增算子原语。
- [STABLE] `mindspore.ops.Trace` 新增算子原语。
- [STABLE] `mindspore.ops.UpsampleNearest3D` 新增算子原语。
- [STABLE] `mindspore.ops.UpsampleTrilinear3D` 新增算子原语。
- [STABLE]`mindspore.parallel.transform_checkpoints` 新增分布式权重转换接口。
- [STABLE]`mindspore.parallel.transform_checkpoint_by_rank` 新增分布式权重转换接口。
#### 非兼容性变更
##### Python API
- `mindspore.ms_function`接口名替换为`mindspore.jit``mindspore.ms_function` 将在未来版本中弃用并删除。
- `mindspore.ms_class`接口名替换为`mindspore.jit_class``mindspore.ms_class` 将在未来版本中弃用并删除。
- `mindspore.dataset.map`接口参数 `column_order` 不再生效,使用`mindspore.dataset.project`替换。
- `mindspore.dataset.close_pool`、`mindspore.dataset.to_device`、`mindspore.dataset.set_dynamic_columns` 接口在之前版本已废弃,当前版本正式删除。
### Bug fixes
- 修复混合精度函数式接口在图模式下不能修改后端驱动的问题。
- 修复以下网络在单P场景下用户可自动传入device_idmobilenetv1/fasterrcnn/yolov3/yolov4/yolov5/unet/openpose/simplepose/crnn/gnmtv2/faceattribute/facequality/facedetection
### 贡献者
感谢以下人员做出的贡献:
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, heleiwang, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, Lixia, lixian, liyanliu, liyong, lizhenyu, luopengting, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, ougongchang, panfengfeng, panyifeng, Payne, Peilin, peixu_ren, Pengyongrong, qianlong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, , Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, wuxuejian, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaitao1, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanke, zhanyuan, zhaodezan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking, shu-kun-zhang.
欢迎以任何形式对项目提供贡献!
## MindSpore 1.9.0 Release Notes
### 主要特性和增强
@ -191,7 +305,7 @@ AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bing
- [STABLE] 对于数据集对象使用map操作时同时num_parallel_workers>1并且python_multiprocessing=True时进行了多进程的机制优化使得数据通道与子进程一一映射避免了过多的文件句柄占用同时close_pool这个接口也被删除。
- [STABLE] 新增一批Vision、Text和Audio类数据增强操作。
- [STABLE] 修复数据集类的flat_map方法未将结果展平的错误。
- [STABLE] 统一数据集增强API的导入路径提供更简单的使用方法请参阅[最新的API用法](https://www.mindspore.cn/docs/zh-CN/master/api_python/mindspore.dataset.vision.html)。
- [STABLE] 统一数据集增强API的导入路径提供更简单的使用方法请参阅[最新的API用法](https://www.mindspore.cn/docs/zh-CN/r1.8/api_python/mindspore.dataset.vision.html)。
### API变更

View File

@ -9684,3 +9684,17 @@ AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
Software: cuCollections d6ba69b1
Copyright notice:
Copyright (c) 2017-2022, NVIDIA CORPORATION.
Copyright (c) 2018-2021, NVIDIA CORPORATION.
Copyright (c) 2018-2022, NVIDIA CORPORATION.
Copyright (c) 2020, NVIDIA CORPORATION.
Copyright (c) 2020-2021, NVIDIA CORPORATION.
Copyright (c) 2020-2022, NVIDIA CORPORATION.
Copyright (c) 2021, NVIDIA CORPORATION.
Copyright (c) 2021-2022, NVIDIA CORPORATION.
Copyright (c) 2022, NVIDIA CORPORATION.
Copyright 2019 NVIDIA Corporation
Copyright (c) 2018-2022, NVIDIA CORPORATION.

View File

@ -1,7 +1,7 @@
mindspore.amp.all_finite
========================
.. py:function:: mindspore.amp.all_finite(inputs)
.. py:function:: mindspore.amp.all_finite(inputs, status=None)
检查inputs是否是有效值无溢出
@ -12,6 +12,7 @@ mindspore.amp.all_finite
参数:
- **inputs** (Union(tuple(Tensor), list(Tensor))) - 可迭代的Tensor。
- **status** (Tensor) - 溢出检测时所需要的初始状态仅在Ascend需要。默认值None。
返回:
Tensor布尔类型的标量Tensor。

View File

@ -0,0 +1,12 @@
mindspore.amp.init_status
===========================
.. py:function:: mindspore.amp.init_status()
初始化溢出状态检测变量。
.. note::
该接口仅在Ascend后端有效在GPU、CPU上调用的返回值没有作用。
返回:
Tensorshape为 (8,) 。

View File

@ -12,9 +12,9 @@ mindspore.dataset.Dataset.map
最后一个数据增强的输出列的列名由 `output_columns` 指定,如果没有指定 `output_columns` ,输出列名与 `input_columns` 一致。
- 如果使用的是 `mindspore` `dataset` 提供的数据增强(
`vision类 <https://www.mindspore.cn/docs/zh-CN/master/api_python/mindspore.dataset.vision.html>`_
`nlp类 <https://www.mindspore.cn/docs/zh-CN/master/api_python/mindspore.dataset.text.html>`_
`audio类 <https://www.mindspore.cn/docs/zh-CN/master/api_python/mindspore.dataset.audio.html>`_ ),请使用如下参数:
`vision类 <https://mindspore.cn/docs/zh-CN/r2.0.0-alpha/api_python/mindspore.dataset.transforms.html#视觉>`_
`nlp类 <https://mindspore.cn/docs/zh-CN/r2.0.0-alpha/api_python/mindspore.dataset.transforms.html#文本>`_
`audio类 <https://mindspore.cn/docs/zh-CN/r2.0.0-alpha/api_python/mindspore.dataset.transforms.html#音频>`_ ),请使用如下参数:
.. image:: map_parameter_cn.png
@ -31,9 +31,9 @@ mindspore.dataset.Dataset.map
- python_multiprocessing (bool, 可选) - 启用Python多进程模式加速map操作。当传入的 `operations` 计算量很大时开启此选项可能会有较好效果。默认值False。
- max_rowsize (int, 可选) - 指定在多进程之间复制数据时,共享内存分配的最大空间,仅当 `python_multiprocessing` 为True时该选项有效。默认值16单位为MB。
- cache (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- cache (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
- callbacks (DSCallback, list[DSCallback], 可选) - 要调用的Dataset回调函数列表。默认值None。
- offload (bool, 可选) - 是否进行异构硬件加速,详情请阅读 `数据准备异构加速 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/dataset_offload.html>`_ 。默认值None。
- offload (bool, 可选) - 是否进行异构硬件加速,详情请阅读 `数据准备异构加速 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/dataset_offload.html>`_ 。默认值None。
.. note::
- `operations` 参数接收 `TensorOperation` 类型的数据处理操作以及用户定义的Python函数(PyFuncs)。

View File

@ -57,7 +57,7 @@ mindspore.dataset.Dataset.save
.. note::
1. 如需按顺序保存数据,将数据集的 `shuffle` 设置为False`num_files` 设置为1。
2. 在执行保存操作之前不要使用batch操作、repeat操作或具有随机属性的数据增强的map操作。
3. 当数据的维度可变时,只支持1维数组或者在第0维变化的多维数组。
3. 当数据的维度可变时,只支持一维数组或者在第零维变化的多维数组。
4. 不支持UINT64类型、多维的UINT8类型、多维STRING类型。
参数:

View File

@ -21,7 +21,7 @@ mindspore.dataset.AGNewsDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。

View File

@ -23,7 +23,7 @@ mindspore.dataset.AmazonReviewDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。

View File

@ -22,7 +22,7 @@ mindspore.dataset.CLUEDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
根据给定的 `task` 参数 和 `usage` 配置,数据集会生成不同的输出列:

View File

@ -21,7 +21,7 @@
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_files` 参数所指向的文件无效或不存在。

View File

@ -16,7 +16,7 @@ mindspore.dataset.Caltech256Dataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。

View File

@ -18,7 +18,7 @@ mindspore.dataset.CelebADataset
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
- **decrypt** (callable, 可选) - 图像解密函数接受加密的图片路径并返回bytes类型的解密数据。默认值None不进行解密。
异常:

View File

@ -17,7 +17,7 @@ mindspore.dataset.Cifar100Dataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。

View File

@ -17,7 +17,7 @@ mindspore.dataset.Cifar10Dataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。

View File

@ -21,7 +21,7 @@ mindspore.dataset.CityscapesDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。

View File

@ -22,7 +22,7 @@ mindspore.dataset.CoNLL2000Dataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。指定此参数后, `num_samples` 表示每个分片的最大样本数。默认值None。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。只有当指定了 `num_shards` 时才能指定此参数。默认值None。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。

View File

@ -16,7 +16,7 @@
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None表2中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
- **extra_metadata** (bool, 可选) - 用于指定是否额外输出一个数据列用于表示图片元信息。如果为True则将额外输出一个名为 `[_meta-filename, dtype=string]` 的数据列。默认值False。
- **decrypt** (callable, 可选) - 图像解密函数接受加密的图片路径并返回bytes类型的解密数据。默认值None不进行解密。

View File

@ -22,7 +22,7 @@ mindspore.dataset.DBpediaDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。

View File

@ -20,7 +20,7 @@ mindspore.dataset.DIV2KDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。

View File

@ -5,7 +5,7 @@ mindspore.dataset.DatasetCache
创建数据缓存客户端实例。
关于单节点数据缓存的使用,请参阅 `单节点数据缓存教程 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_
关于单节点数据缓存的使用,请参阅 `单节点数据缓存教程 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_
参数:
- **session_id** (int) - 当前数据缓存客户端的会话ID用户在命令行开启缓存服务端后可通过 `cache_admin -g` 获取。

View File

@ -18,7 +18,7 @@ mindspore.dataset.EMnistDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。

View File

@ -22,7 +22,7 @@ mindspore.dataset.EnWik9Dataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。

View File

@ -18,7 +18,7 @@ mindspore.dataset.FakeImageDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。

View File

@ -17,7 +17,7 @@ mindspore.dataset.FashionMnistDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。

View File

@ -17,7 +17,7 @@
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None表2中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。

View File

@ -6,6 +6,9 @@ mindspore.dataset.GraphData
从共享文件或数据库中读取用于GNN训练的图数据集。
支持读取图数据集Cora、Citeseer和PubMed。
关于如何将源数据集加载到mindspore中请参考 `图数据加载与处理 <https://www.mindspore.cn/tutorials/zh-CN/
r2.0.0-alpha/advanced/dataset/augment_graph_data.html>`_ 。
参数:
- **dataset_file** (str) - 数据集文件路径。
- **num_parallel_workers** (int, 可选) - 读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。

View File

@ -18,7 +18,7 @@ mindspore.dataset.IMDBDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。

View File

@ -24,7 +24,7 @@ mindspore.dataset.IWSLT2016Dataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。

View File

@ -25,7 +25,7 @@ mindspore.dataset.IWSLT2017Dataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。

View File

@ -18,7 +18,7 @@ mindspore.dataset.ImageFolderDataset
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作。默认值False不解码。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
- **decrypt** (callable, 可选) - 图像解密函数接受加密的图片路径并返回bytes类型的解密数据。默认值None不进行解密。
异常:

View File

@ -17,7 +17,7 @@ mindspore.dataset.KMnistDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。

View File

@ -16,7 +16,7 @@ mindspore.dataset.LJSpeechDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。

View File

@ -18,7 +18,7 @@
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作。默认值False不解码。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_files` 路径下不包含任何数据文件。

View File

@ -23,7 +23,7 @@
- **padded_sample** (dict, 可选) - 指定额外添加到数据集的样本,可用于在分布式训练时补齐分片数据,注意字典的键名需要与 `column_list` 指定的列名相同。默认值None不添加样本。需要与 `num_padded` 参数同时使用。
- **num_padded** (int, 可选) - 指定额外添加的数据集样本的数量。在分布式训练时可用于为数据集补齐样本,使得总样本数量可被 `num_shards` 整除。默认值None不添加样本。需要与 `padded_sample` 参数同时使用。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取所有样本。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **ValueError** - `dataset_files` 参数所指向的文件无效或不存在。

View File

@ -17,7 +17,7 @@ mindspore.dataset.MnistDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。

View File

@ -22,7 +22,7 @@ mindspore.dataset.PennTreebankDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。

View File

@ -21,7 +21,7 @@ mindspore.dataset.PhotoTourDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。

View File

@ -19,7 +19,7 @@ mindspore.dataset.Places365Dataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。

View File

@ -17,7 +17,7 @@ mindspore.dataset.QMnistDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。

View File

@ -12,7 +12,7 @@ mindspore.dataset.RandomDataset
- **columns_list** (list[str], 可选) - 指定生成数据集的列名。默认值None生成的数据列将以"c0"、"c1"、"c2" ... "cn"的规则命名。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取所有样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None。下表中会展示不同参数配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。

View File

@ -16,7 +16,7 @@ mindspore.dataset.SBUDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。

View File

@ -18,7 +18,7 @@ mindspore.dataset.STL10Dataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。

View File

@ -15,7 +15,7 @@ mindspore.dataset.SemeionDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。

View File

@ -11,7 +11,7 @@ mindspore.dataset.SogouNewsDataset
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为 'train' 'test'或 'all'。默认值None读取全部样本。
取值为 'train'时将会读取45万个训练样本取值为 'test'时将会读取6万个测试样本取值为 'all'时将会读取全部51万个样本。默认值None读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None 读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取全部样本。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定。默认值 `Shuffle.GLOBAL`
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
@ -22,7 +22,7 @@ mindspore.dataset.SogouNewsDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。

View File

@ -18,7 +18,7 @@ mindspore.dataset.SpeechCommandsDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。

View File

@ -26,7 +26,7 @@ mindspore.dataset.TFRecordDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后`num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **shard_equal_rows** (bool, 可选) - 分布式训练时为所有分片获取等量的数据行数。默认值False。如果 `shard_equal_rows` 为False则可能会使得每个分片的数据条目不相等从而导致分布式训练失败。因此当每个TFRecord文件的数据数量不相等时建议将此参数设置为True。注意只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **ValueError** - `dataset_files` 参数所指向的文件无效或不存在。

View File

@ -21,7 +21,7 @@ mindspore.dataset.TedliumDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。

View File

@ -18,7 +18,7 @@
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **ValueError** - `dataset_files` 参数所指向的文件无效或不存在。

View File

@ -22,7 +22,7 @@ mindspore.dataset.UDPOSDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。

View File

@ -22,7 +22,7 @@ mindspore.dataset.USPSDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。

View File

@ -26,7 +26,7 @@ mindspore.dataset.VOCDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
- **extra_metadata** (bool, 可选) - 用于指定是否额外输出一个数据列用于表示图片元信息。如果为True则将额外输出一个名为 `[_meta-filename, dtype=string]` 的数据列。默认值False。
- **decrypt** (callable, 可选) - 图像解密函数接受加密的图片路径并返回bytes类型的解密数据。默认值None不进行解密。

View File

@ -19,7 +19,7 @@ mindspore.dataset.WIDERFaceDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 不包含任何数据文件。

View File

@ -3,11 +3,11 @@ mindspore.dataset.WaitedDSCallback
.. py:class:: mindspore.dataset.WaitedDSCallback(step_size=1)
阻塞式数据处理回调类的抽象基类,用于与训练回调类 `mindspore.train.Callback <https://www.mindspore.cn/docs/zh-CN/master/api_python/train/mindspore.train.Callback.html#mindspore.train.Callback>`_ 的同步。
阻塞式数据处理回调类的抽象基类,用于与训练回调类 `mindspore.train.Callback <https://www.mindspore.cn/docs/zh-CN/r2.0.0-alpha/api_python/train/mindspore.train.Callback.html#mindspore.train.Callback>`_ 的同步。
可用于在step或epoch开始前执行自定义的回调方法例如在自动数据增强中根据上一个epoch的loss值来更新增强操作参数配置。
用户可通过 `train_run_context` 获取网络训练相关信息,如 `network` 、 `train_network` 、 `epoch_num` 、 `batch_num` 、 `loss_fn` 、 `optimizer` 、 `parallel_mode` 、 `device_number` 、 `list_callback` 、 `cur_epoch_num` 、 `cur_step_num` 、 `dataset_sink_mode` 、 `net_outputs` 等,详见 `mindspore.train.Callback <https://www.mindspore.cn/docs/zh-CN/master/api_python/train/mindspore.train.Callback.html#mindspore.train.Callback>`_
用户可通过 `train_run_context` 获取网络训练相关信息,如 `network` 、 `train_network` 、 `epoch_num` 、 `batch_num` 、 `loss_fn` 、 `optimizer` 、 `parallel_mode` 、 `device_number` 、 `list_callback` 、 `cur_epoch_num` 、 `cur_step_num` 、 `dataset_sink_mode` 、 `net_outputs` 等,详见 `mindspore.train.Callback <https://www.mindspore.cn/docs/zh-CN/r2.0.0-alpha/api_python/train/mindspore.train.Callback.html#mindspore.train.Callback>`_
用户可通过 `ds_run_context` 获取数据处理管道相关信息,包括 `cur_epoch_num` (当前epoch数)、 `cur_step_num_in_epoch` (当前epoch的step数)、 `cur_step_num` (当前step数)。

View File

@ -21,7 +21,7 @@ mindspore.dataset.WikiTextDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。

View File

@ -22,7 +22,7 @@ mindspore.dataset.YahooAnswersDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。

View File

@ -23,7 +23,7 @@ mindspore.dataset.YelpReviewDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。

View File

@ -16,7 +16,7 @@ mindspore.dataset.YesNoDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值None。下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。

View File

@ -16,7 +16,7 @@ mindspore.dataset.audio.AmplitudeToDB
- **top_db** (float, 可选) - 最小截止分贝值取值为非负数。默认值80.0。
异常:
- **TypeError** - 当 `stype` 的类型不为 :class:`mindspore.dataset.audio.utils.ScaleType` 。
- **TypeError** - 当 `stype` 的类型不为 :class:`mindspore.dataset.audio.ScaleType` 。
- **TypeError** - 当 `ref_value` 的类型不为float。
- **ValueError** - 当 `ref_value` 不为正数。
- **TypeError** - 当 `amin` 的类型不为float。

View File

@ -5,7 +5,7 @@ mindspore.dataset.audio.Angle
计算复数序列的角度。
.. note:: 待处理音频维度需为(..., complex=2)。第0维代表实部第1维代表虚部。
.. note:: 待处理音频维度需为(..., complex=2)。第零维代表实部,第一维代表虚部。
异常:
- **RuntimeError** - 当输入音频的shape不为<..., complex=2>。

View File

@ -5,7 +5,7 @@ mindspore.dataset.audio.ComplexNorm
计算复数序列的范数。
.. note:: 待处理音频维度需为(..., complex=2)。第0维代表实部第1维代表虚部。
.. note:: 待处理音频维度需为(..., complex=2)。第零维代表实部,第一维代表虚部。
参数:
- **power** (float, 可选) - 范数的幂取值必须非负。默认值1.0。

View File

@ -5,7 +5,7 @@ mindspore.dataset.audio.TimeStretch
以给定的比例拉伸音频短时傅里叶Short Time Fourier Transform, STFT频谱的时域但不改变音频的音高。
.. note:: 待处理音频维度需为(..., freq, time, complex=2)。第0维代表实部第1维代表虚部。
.. note:: 待处理音频维度需为(..., freq, time, complex=2)。第零维代表实部,第一维代表虚部。
参数:
- **hop_length** (int, 可选) - STFT窗之间每跳的长度即连续帧之间的样本数。默认值None表示取 `n_freq - 1`

View File

@ -3,7 +3,7 @@ mindspore.dataset.text.CaseFold
.. py:class:: mindspore.dataset.text.CaseFold()
将UTF-8编码字符串中的字符规范化为小写相比 :func:`str.lower` 支持更多字符。
将UTF-8编码字符串中的字符规范化为小写相比 :code:`str.lower` 支持更多字符。
支持的输入规范化形式详见 `ICU_Normalizer2 <https://unicode-org.github.io/icu-docs/apidoc/released/icu4c/classicu_1_1Normalizer2.html>`_

View File

@ -4,7 +4,7 @@
将CIFAR-100数据集转换为MindRecord格式数据集。
.. note::
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#转换cifar-10数据集>`_
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://www.mindspore.cn/tutorials/zh-CN/r2.0.0-alpha/advanced/dataset/record.html#转换cifar-10数据集>`_
参数:
- **source** (str) - 待转换的CIFAR-100数据集文件所在目录的路径。

View File

@ -4,7 +4,7 @@
将CIFAR-10数据集转换为MindRecord格式数据集。
.. note::
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#转换cifar-10数据集>`_
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://www.mindspore.cn/tutorials/zh-CN/r2.0.0-alpha/advanced/dataset/record.html#转换cifar-10数据集>`_
参数:
- **source** (str) - 待转换的CIFAR-10数据集文件所在目录的路径。

Some files were not shown because too many files have changed in this diff Show More