Compare commits

...

1466 Commits

Author SHA1 Message Date
i-robot 8570d26ed2
create group for syncbatchnorm 1.10
Merge pull request  from yangzhenzhang/modify-create-group-for-syncbn-1.10
2023-03-07 11:38:48 +00:00
i-robot 49d0a8acf8
SGD优化器支持更新标量权重,合入r1.10
Merge pull request  from tangdezhi_123/r1.10
2023-03-06 08:29:49 +00:00
yangzhenzhang e395c8ec6b modify create group for syncbn 2023-03-06 09:32:41 +08:00
i-robot 824281e04a
Move master code
Merge pull request  from LiangZhibo/r1.10
2023-03-04 05:15:04 +00:00
i-robot cce56aa486
[1.10] Fix dic.get error
Merge pull request  from huanghui/r1.10-fix-dict-get
2023-03-03 14:05:19 +00:00
i-robot c224680e88
Clone the python_obj of func_graph to target_func_graph
Merge pull request  from huangbingjian/funcgraph_obj_1.10
2023-03-03 03:26:36 +00:00
i-robot 926a29534b
fix: add command for map file
Merge pull request  from guozhijian/code_docs_map_file_r1.10
2023-03-03 02:01:07 +00:00
jonyguo d7fdf20aaf update md docs 2023-03-03 09:39:00 +08:00
liangzhibo c5023912db move master code to r1.10 2023-03-03 09:26:43 +08:00
i-robot 79b3d3c8b0
Fix the typo of net.trainable_params
Merge pull request  from YuJianfeng/code_docs1.10
2023-03-02 13:14:55 +00:00
i-robot ea8aae4ebb
Fix cordump problem while null input
Merge pull request  from zhangzhaoju/r1.10
2023-03-02 11:19:17 +00:00
i-robot 493275376f
NPU V2 overflow check
Merge pull request  from archer2049/r1.10
2023-03-02 09:54:56 +00:00
yujianfeng e85e366b7e Fix the typo of net.trainable_params 2023-03-02 17:33:31 +08:00
i-robot e7301c6fd7
Fix bug if replace shape input for cnode
Merge pull request  from liuluobin/r1.10_fix_replace_bug
2023-03-02 08:49:21 +00:00
i-robot fd162ecffd
Fix bug of custom bprop output not use
Merge pull request  from chenfei_mindspore/r1.10
2023-03-02 08:38:41 +00:00
tangdezhi_123 91b8d6f2bb SGD优化器支持更新标量权重,合入r1.10 2023-03-02 16:36:39 +08:00
i-robot 53103af8b7
r1.10 Fix closure check rules
Merge pull request  from chenfei_mindspore/r1.10-1
2023-03-02 08:23:02 +00:00
i-robot 0adee1e8f7
fix dropout doc
Merge pull request  from 王禹程/code_docs_1.10
2023-03-02 07:20:52 +00:00
i-robot 3cf15d2784
Create device address for tuple-in-tuple valuenode.
Merge pull request  from gaoyong10/r1.10
2023-03-02 03:17:10 +00:00
i-robot f68de2e7fe
bugfix for StridedSlice in changed batch scene
Merge pull request  from zhangyanhui/personal_r1.10
2023-03-02 02:48:49 +00:00
i-robot 2fba207cd8
Fix host mem leak
Merge pull request  from zjun/fix_r1.10_mem
2023-03-02 01:43:48 +00:00
i-robot b8706fa58c
modify the spelling error and statement in 1.10
Merge pull request  from 宦晓玲/code_docs_0301.10
2023-03-02 01:43:28 +00:00
i-robot 413fb01573
fix openssl CVE
Merge pull request  from emmmmtang/r1.10
2023-03-02 01:11:18 +00:00
i-robot ce2075bb6f
remove outdated length check for TopkSplit
Merge pull request  from yuchaojie/r1.10
2023-03-01 09:39:09 +00:00
suxin 9fe50205bd Add v2 overflow check on ascend 2023-03-01 17:18:41 +08:00
huanxiaoling f0c5367350 modify the spelling error and statement in 1.0 2023-03-01 16:59:13 +08:00
reku1997 e94d0fc933 fix dropout doc 2023-03-01 16:23:04 +08:00
huangbingjian ef5ab4ad8a Clone python_obj in func_graph. 2023-03-01 15:05:34 +08:00
“achengyanfu 159a5eff12 Support dict clear,haskey,update,fromkeys Method.
Handle the problem of checking the number of input numbers of dict_get operators.
2023-03-01 15:05:29 +08:00
i-robot f451e0ca13
add context for mindir example
Merge pull request  from lianliguang/code_docs_r1.10
2023-03-01 06:14:23 +00:00
chenfei d9336d946e execute in kernel by kernel if output exist function' 2023-03-01 11:05:25 +08:00
chenfei 8b3558d025 fix bug of custom bprop not use 2023-03-01 11:01:10 +08:00
zhangzhaoju b3049a3440 Fix cordump problem while null input
while has null input, xdivy return null too according to tensorflow
2023-03-01 10:55:42 +08:00
zhangyanhui 142f0292d5 bugfix for StridedSlice in changed batch scene 2023-03-01 10:23:33 +08:00
zjun c3d6388401 Fix abs cache
Signed-off-by: zjun <zhangjun0@huawei.com>
2023-03-01 10:03:36 +08:00
lianliguang d7e9a2c396 add context example of graph cell 2023-03-01 09:50:44 +08:00
emmmmtang 4a79cb6f66 fix openssl CVE 2023-03-01 09:43:27 +08:00
gaoyong10 c958247583 Create device address for tuple-in-tuple valuenode. 2023-03-01 09:15:42 +08:00
liuluobin cd00552da7 Fix bug if replace shape input for cnode 2023-02-28 16:47:28 +08:00
i-robot 34ba528c42
update releasenotes
Merge pull request  from fangwenyi/code_docs_r1.10
2023-02-25 01:45:44 +00:00
fangwenyi 5eefefcf54 update releasenotes 2023-02-24 17:30:33 +08:00
i-robot 627dfdeb75
fix docker for 1.10.1 gpu as nvidia finally fixes gpg key verification problem
Merge pull request  from yanghaoran/r1.10
2023-02-22 08:10:45 +00:00
yuchaojie 1f97bae34e remove outdated length check for TopkSplit 2023-02-22 16:03:33 +08:00
yanghaoran d3a40e953a fix docker for 1.10.1 gpu as nvidia finally fixes gpg key verification problem 2023-02-22 15:57:44 +08:00
i-robot eb1472c873
add docker for 1.10.1
Merge pull request  from yanghaoran/r1.10
2023-02-22 03:22:08 +00:00
yanghaoran 510bc0e5b9 add docker for 1.10.1 2023-02-21 19:57:55 +08:00
i-robot 9b65b907f9
fix: map multi prcess error
Merge pull request  from guozhijian/fix_map_multi_process_error
2023-02-15 12:23:52 +00:00
i-robot 284f7062ce
only check repeatedly context set from user
Merge pull request  from zhoufeng/xiu-ba-ge-3
2023-02-15 07:40:23 +00:00
jonyguo 16cbd14035 fix: map multi-process err 2023-02-15 10:53:13 +08:00
i-robot 3d545c6229
[MSLITE][CPU][r1.10] code clean
Merge pull request  from Greatpan/code_clean_r1.10
2023-02-15 01:38:51 +00:00
i-robot feeaa3c61e
clean warning
Merge pull request  from xupan/clean_1.10
2023-02-14 14:18:55 +00:00
i-robot 5a6b667657
cleancode
Merge pull request  from YingtongHu/r1.10
2023-02-14 12:23:25 +00:00
xupan 164a84aac9 clean warning 2023-02-14 18:18:28 +08:00
zhoufeng 8e02f87e96 only check repeatedly context set from user
Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2023-02-14 17:18:13 +08:00
Yingtong Hu 9bda063973 clean code 2023-02-14 16:28:45 +08:00
greatpan 8732258bd1 code clean r1.10 2023-02-14 15:23:22 +08:00
i-robot 47f70368a5
告警清理
Merge pull request  from gaoshuanglong/clean_code_r1.10_0207
2023-02-14 06:30:32 +00:00
i-robot f96fa20af7
code check clean
Merge pull request  from yuchaojie/r1.10
2023-02-14 01:26:57 +00:00
i-robot 4247204616
add op adapter
Merge pull request  from liubuyu/r1.10
2023-02-14 01:05:13 +00:00
i-robot 8a8eb2de4b
clean warning
Merge pull request  from xupan/clean_0210_1.10
2023-02-13 12:51:27 +00:00
i-robot b0dde744e5
fix: map multiprocess without thread mode
Merge pull request  from guozhijian/fix_map_multiprocess_r1.10
2023-02-13 12:35:08 +00:00
i-robot d35f9aba87
change version
Merge pull request  from fangwenyi/code_docs_r1.10
2023-02-13 12:23:10 +00:00
fangwenyi ed59ccc27d change version 2023-02-13 20:01:26 +08:00
gaoshuanglong 98fb807ca4 Code Cleaning 0213 2023-02-13 19:48:14 +08:00
lby 9a87f5ab8b add op adapter 2023-02-13 17:34:38 +08:00
i-robot 6311b5fe27
clean code
Merge pull request  from YingtongHu/r1.10
2023-02-13 07:22:35 +00:00
jonyguo 55cff09ad1 fix: dataset map multiprocessing without use thread mode 2023-02-13 10:56:57 +08:00
xupan ab0e3653a9 clean warning 2023-02-13 10:46:37 +08:00
Yingtong Hu 3d91a8aa9e clean codes 2023-02-11 22:12:42 +08:00
i-robot d55b6d4ed4
【codex】ger算子
Merge pull request  from KXiong/r1.10
2023-02-11 11:10:30 +00:00
i-robot 26835aad53
r1.10 Static warning clean
Merge pull request  from chenfei_mindspore/r1.10
2023-02-11 11:03:23 +00:00
i-robot 92e03b1841
Remove sponge ops
Merge pull request  from lijunbin/test
2023-02-11 07:46:39 +00:00
i-robot 1920dd45ff
r1.10告警清理0210
Merge pull request  from gaoshuanglong/clean_code_r1.10_0207
2023-02-11 07:45:15 +00:00
i-robot 818d2e172d
Modify a log level under ShardReader and Modify the check conditions in check_gnn_list_or_ndarray to synchronize to r1.10
Merge pull request  from 刘勇琪/r1.10
2023-02-11 07:23:10 +00:00
i-robot 58acb3cb24
throw when unreset-context-params are set after effect
Merge pull request  from zhoufeng/unreset-context-check-r1.10
2023-02-11 07:20:55 +00:00
i-robot 0976c31aaa
[MS][LITE][OP]fix equal
Merge pull request  from yefeng/cherry-pick-1676018123
2023-02-11 07:20:01 +00:00
i-robot 6257bac47c
fix logsumexp error
Merge pull request  from 吕昱峰(Nate.River)/r1.10
2023-02-11 05:47:14 +00:00
i-robot cb1f6735eb
[MD] Fix compilation dependency of GNN module on r1.10
Merge pull request  from xiaotianci/fix_proto_1.10
2023-02-11 04:14:56 +00:00
i-robot 85a15789b7
【Clean Code】remove redundant-header-include(r1.10)
Merge pull request  from zuochuanyong/r1.10
2023-02-11 03:48:03 +00:00
l00500167 6e0c575e80 remove sponge ops
Signed-off-by: l00500167 <lijunbin4@huawei.com>
2023-02-11 10:38:12 +08:00
Xiao Tianci a4eb392603 fix gnn proto dependency 2023-02-10 21:00:54 +08:00
zhoufeng cae5c75601 throw when unreset-context-params are set after effect
Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2023-02-10 20:44:43 +08:00
gaoshuanglong db38d2400f clean code 0210 2023-02-10 18:32:55 +08:00
zuochuanyong ffaff224a1 clean clang-tidy warnings r1.10 2023-02-10 17:31:53 +08:00
yefeng 43b4000061 fixed b1bfe02 from https://gitee.com/YeFeng_24/mindspore/pulls/48687
fix equal
2023-02-10 08:35:23 +00:00
lvyufeng 2c8c0f0355 fix logsumexp error 2023-02-10 15:33:20 +08:00
yuchaojie 00f3bdd2fa code check clean 2023-02-10 11:59:52 +08:00
xiongkun 56c3e65592 debug ger
tick

codex

codex
2023-02-10 11:43:59 +08:00
i-robot 7c80af263d
clean code
Merge pull request  from liuchuting/r1.10
2023-02-10 03:34:19 +00:00
liu-yongqi-63 14a641a6a7 Modify a log level under ShardReader and Modify the check conditions in check_gnn_list_or_ndarray to synchronize to r1.10 2023-02-10 10:27:04 +08:00
i-robot 1a225378db
clean code
Merge pull request  from 王禹程/clean_2
2023-02-10 01:21:31 +00:00
i-robot ca68cafd8e
code cleaning 0208
Merge pull request  from gaoshuanglong/clean_code_r1.10_0207
2023-02-10 01:13:09 +00:00
i-robot 2d2349b823
fix ClipByNorm bug
Merge pull request  from lyqlola/fix_clip
2023-02-10 01:10:46 +00:00
gaoshuanglong 0ccce93dcb r1.10告警清理 2023-02-09 20:19:57 +08:00
i-robot 33af09ae5d
fixed embedding_lookup codecheck
Merge pull request  from huoxinyou/0209codecheck
2023-02-09 12:18:04 +00:00
chenfei c65174a29c clean static code 2023-02-09 19:53:14 +08:00
reku1997 fee83215d3 clean code 2023-02-09 19:22:54 +08:00
i-robot a028015ef9
Remove todo
Merge pull request  from caifubi/code_docs_r1.10
2023-02-09 11:06:57 +00:00
liuchuting 7fa9f8b435 clean code. 2023-02-09 18:45:49 +08:00
i-robot d707fc0316
clean code
Merge pull request  from 于振华/cleancode_230208
2023-02-09 09:43:38 +00:00
caifubi 06583dd486 remove todo 2023-02-09 16:29:22 +08:00
i-robot d1a8989f57
modify api_updates link
Merge pull request  from 俞涵/code_docs_r1101227
2023-02-09 07:56:12 +00:00
liyiqi 8dc96fef51 fix clip by norm bug 2023-02-09 15:16:36 +08:00
huoxinyou 1df34f59d2 fixed embedding_lookup codecheck 2023-02-09 14:45:02 +08:00
huodagu 3e92646443 modify url link with api_updates 2023-02-09 10:46:20 +08:00
yuzhenhua 5e3733a842 fix divide-by-zero issue 2023-02-09 09:53:35 +08:00
i-robot 65e4629b17
clean code
Merge pull request  from nomindcarry/r1.10
2023-02-08 06:24:22 +00:00
i-robot d686026d83
Code Warning Clean
Merge pull request  from archer2049/r1.10
2023-02-08 01:46:24 +00:00
i-robot e6780ed7bc
codeclean
Merge pull request  from TuDouNi/r1.10
2023-02-08 01:36:34 +00:00
i-robot d33c6f1842
clean code
Merge pull request  from 王禹程/clean_1.10
2023-02-08 01:34:15 +00:00
nomindcarry f5fb861684 clean 2023-02-07 21:13:40 +08:00
i-robot 11ee2ed128
fix get cell id error
Merge pull request  from luochao60/fix_get_cell_id_error_20230206
2023-02-07 12:39:03 +00:00
i-robot a40147fb44
[ST][MS][CI][ssd densenet100][windows]偶现训练失败
Merge pull request  from lanzhineng/r1.10
2023-02-07 12:03:59 +00:00
reku1997 2d575f7626 clean code 2023-02-07 19:34:06 +08:00
suxin dde3a4031b Code Clean 2023-02-07 19:06:22 +08:00
i-robot 1b004638d1
Update detailed reason
Merge pull request  from ZPaC/code_docs-1.10
2023-02-07 10:37:29 +00:00
i-robot 283038ddfc
[MS][r1.10] add PackFission pass for op-Stack in Pynative mode
Merge pull request  from 陈宇/dev_r1.10_packfission
2023-02-07 08:29:19 +00:00
ttudu 3384ada324 codeclean 2023-02-07 15:50:59 +08:00
ZPaC c98117ac59 Update detailed reason 2023-02-07 14:36:44 +08:00
CHEN YU b455f24c31 add PackFission pass for op-Stack in Pynative mode 2023-02-07 10:33:50 +08:00
i-robot 2eb21659ee
fix: multi train prob fail for r1.10
Merge pull request  from guozhijian/fix_multi_train_prob_fail_r1.10
2023-02-07 01:10:44 +00:00
i-robot a9b4f37ed4
fix expired url
Merge pull request  from xulei/code_docs_url_r1.10
2023-02-06 11:30:42 +00:00
jonyguo b2042b63b8 fix: multi model.train with sink_mode=True maybe fail 2023-02-06 17:46:01 +08:00
xulei 2b2e3fe843 fix expired url 2023-02-06 17:25:51 +08:00
luochao 672e9144a5 fix get cell id error 2023-02-06 11:45:42 +08:00
i-robot 351c172dea
fix insufficient capacity size of data channel.
Merge pull request  from yangshuo/br_r1.10
2023-02-06 03:31:23 +00:00
i-robot e9377814c0
update r1.10 readme
Merge pull request  from fangwenyi/r1.10_docs
2023-02-03 08:25:19 +00:00
fangwenyi ba86472516 update r1.10 readme 2023-02-03 15:45:00 +08:00
i-robot 6805d9fa35
modify format and urls
Merge pull request  from 俞涵/code_docs_r1101227
2023-02-03 04:42:32 +00:00
huodagu ec3eb0cd92 modify format 2023-02-03 11:32:46 +08:00
y00451588 db6b000caf fix insufficient capacity size of data channel. 2023-02-02 20:12:26 +08:00
i-robot 52cc7698f9
update release note
Merge pull request  from jjfeing/code_docs_release1.10
2023-02-01 09:25:40 +00:00
jjfeing 7a4b25940c update release note 2023-02-01 16:57:38 +08:00
i-robot 9084201713
add r1.10 dockefile
Merge pull request  from yanghaoran/r1.10
2023-01-31 13:04:53 +00:00
lanzhineng bcae5caf76 fix windows MS_LOG_TRY_CATCH_SCOPE 2023-01-18 17:03:33 +08:00
i-robot 23202b67ce
fix_clear_memory_error
Merge pull request  from luochao60/fix_clear_device_memory
2023-01-16 13:44:27 +00:00
i-robot 0898600474
Fix tutorial question and synchronize to r1.10
Merge pull request  from 刘勇琪/r1.10
2023-01-16 10:57:51 +00:00
i-robot 686295cd14
fix gen func stub cache bug
Merge pull request  from liubuyu/r1.10
2023-01-16 09:29:07 +00:00
i-robot d5f0ed77f8
upgrade_ascend_20230114_r1.10
Merge pull request  from 黄勇/upgrade_ascend_20230114_r1.10
2023-01-16 09:10:57 +00:00
“yhuang” e7e0d3bf0e upgrade ascend 20230114 r1.10 2023-01-16 11:19:01 +08:00
liu-yongqi-63 fac072b40a Fix tutorial question and synchronize to r1.10 2023-01-16 10:38:11 +08:00
i-robot 381aa7d3a5
fix amp docs
Merge pull request  from 吕昱峰(Nate.River)/code_docs_r1.10
2023-01-16 01:48:28 +00:00
luochao c6619eab29 fix clear memory problem 2023-01-16 09:46:14 +08:00
lby e7e0a86c94 fix gen func stub cache bug 2023-01-16 09:05:21 +08:00
i-robot 7ebaca5e4f
fix md gpu warning when training exit early
Merge pull request  from luoyang/r1.10-2
2023-01-14 13:15:32 +00:00
YangLuo d8c2ab66b4 fix md gpu warning when training exit early 2023-01-14 18:10:35 +08:00
i-robot 28bc05375e
set core num for tbe op compiling
Merge pull request  from zhoufeng/set-core-num-for-tbe-op-compiling-r1.10
2023-01-14 09:42:30 +00:00
zhoufeng c19cd0f83f set core num for tbe op compiling
Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2023-01-14 14:15:51 +08:00
i-robot 651f137fce
Cdist Cpu Kernel 精度问题修复--并行方式修改
Merge pull request  from haozhang/r1.10
2023-01-13 09:37:54 +00:00
yanghaoran 40ac8b719f add r1.10 dockefile 2023-01-13 16:24:46 +08:00
i-robot ce8bc49cf0
fix mbuf only send data test case
Merge pull request  from luoyang/r1.10
2023-01-13 07:46:15 +00:00
YangLuo fb2287246a fix mbuf only send data test case 2023-01-13 10:06:31 +08:00
i-robot f28de89690
fixed function bug
Merge pull request  from wanghenchang/fix_bug_r110
2023-01-12 11:30:01 +00:00
hw_hz 3c50bf6622 cdist parallel modification
debug
2023-01-12 18:21:46 +08:00
i-robot 2e42d61e58
modify link
Merge pull request  from 俞涵/code_docs_r1101227
2023-01-12 08:16:06 +00:00
huodagu fd19250c73 modify dataset link 2023-01-12 15:18:45 +08:00
i-robot 6eda288038
modify link
Merge pull request  from 俞涵/code_docs_r1101227
2023-01-12 07:07:11 +00:00
huodagu 3f6b540d8b modify lite link 2023-01-12 14:28:00 +08:00
wangchangheng 5a3993bb29 fixed function bug 2023-01-12 10:15:01 +08:00
i-robot f0516e628d
fix tuple problem
Merge pull request  from luochao60/fix_parameter_tuple_problem_20230109
2023-01-12 01:16:07 +00:00
i-robot 2006d94e68
支持bitwise语法
Merge pull request  from KXiong/r1.10
2023-01-11 06:21:23 +00:00
i-robot 449295874a
getnext fix bug
Merge pull request  from TuDouNi/r1.10_getnext
2023-01-11 06:13:31 +00:00
ttudu 8b19d2dcb8 getnext fix bug, add SESSION_INFO 2023-01-11 10:18:44 +08:00
luochao fb5660754c fix tuple paramter bug 2023-01-11 10:15:54 +08:00
i-robot c54ee626df
fix transdata when groups > 1
Merge pull request  from zhoufeng/fix-pynative-transdata-when-groups-more-than-1-r1.10
2023-01-11 01:31:19 +00:00
xiongkun c844924e26 support bitwise syntax
tick
2023-01-11 09:22:25 +08:00
i-robot 1d3022c2c2
mod_amp
Merge pull request  from changzherui/mod_amp
2023-01-10 07:16:48 +00:00
changzherui ca4087cec3 init hypermap partial in amp 2023-01-09 21:49:31 +08:00
i-robot b30ca531f8
修复windows用例失败的问题
Merge pull request  from liuchuting/r1.10
2023-01-09 07:13:28 +00:00
liuchuting 03107a4960 put method csv.field_size_limit in method __init__() of class Integrator. 2023-01-09 09:46:55 +08:00
zhoufeng 909bcc0564 fix transdata when groups > 1:
1. use new aicpu.so
2. put groups attr to aicpu proto(node def)
3. use cached groups attr when weak_ptr is expired

Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2023-01-07 15:34:41 +08:00
i-robot d1f9eacbf7
Fix cache bug
Merge pull request  from zjun/fix_cache_1.10
2023-01-06 01:29:43 +00:00
zjun f4bffadf78 Fix only fun single op cache
Signed-off-by: zjun <zhangjun0@huawei.com>
2023-01-05 20:37:08 +08:00
i-robot cfaae2eb22
change ctclossv2 to dynamic impl
Merge pull request  from baihuawei/ctclossr1.10
2023-01-05 11:54:23 +00:00
i-robot 6429208609
[MSLITE]修复Arithmetic CPU算子Resize()未复位scalar_opt状态导致连续推理精度异常
Merge pull request  from zhuguodong/r1.10
2023-01-05 06:20:09 +00:00
i-robot c4e1b7d63a
[r1.10] filter out matmul if it is fp16->fp32 with a fp32 bias
Merge pull request  from xulei/fix_mat_mul_r1.10
2023-01-05 03:40:13 +00:00
Zhu Guodong e4bf3b465a [MSLITE] fix arithmetic 'scalar_opt_' status not reset bug 2023-01-05 11:40:04 +08:00
i-robot 74cf711096
fixed top_cell mem bug for r1.10
Merge pull request  from wanghenchang/fix_bug_r110
2023-01-05 03:21:47 +00:00
i-robot a730cf0ff4
delete mirrorpad complex and bool data type
Merge pull request  from gaoshuanglong/fix_mirror_pad_1.10
2023-01-05 01:52:05 +00:00
lvyufeng 45494d9abe fix amp docs 2023-01-04 17:56:00 +08:00
i-robot edb7fc5a71
随机数算子添加副作用标签--r1.10
Merge pull request  from zong_shuai/r1.10
2023-01-04 09:46:33 +00:00
wangchangheng f0c04daef7 fixed mem bug 2023-01-04 17:40:46 +08:00
zong-shuai f98bf15eb9 debug 2023-01-04 14:43:20 +08:00
i-robot 267af8792d
add init_status
Merge pull request  from 吕昱峰(Nate.River)/r1.10
2023-01-04 06:32:39 +00:00
i-robot 9e3986d455
Fix the Centralization op issue when using GE.
Merge pull request  from archer2049/r1.10
2023-01-04 06:29:27 +00:00
xulei 11399a873f filter out matmul if it is fp16->fp32 with a fp32 bias 2023-01-04 10:15:23 +08:00
lvyufeng 4620f952d3 add init_status 2023-01-04 10:08:02 +08:00
baihuawei 370a10a91a change ctclossv2 to dynamic impl 2023-01-03 17:05:33 +08:00
i-robot 1dd7553c02
[MD] Fix main process hang when kill subprocesses by kill -15
Merge pull request  from xiaotianci/watch_dog_1.10
2023-01-03 06:52:52 +00:00
i-robot d0cbc92941
fix docs first line issues
Merge pull request  from luojianing/code_docs_r1.10
2023-01-03 03:47:47 +00:00
luojianing 02ce1781d3 fix first line issues 2023-01-03 11:20:22 +08:00
Xiao c6ea41fa7b terminate main process when kill subprocesses by kill -15 2022-12-30 23:23:19 +08:00
i-robot da00c6d212
Sync 1.0.0-enter code review
Merge pull request  from ZPaC/sync-master-issue-to-1.10
2022-12-30 09:52:50 +00:00
i-robot 0fbfa0e41c
grad_reducer modify
Merge pull request  from yao_yf/data_parallel_wrapper_unify_r1.10
2022-12-30 07:28:14 +00:00
i-robot 395f7bf384
solve the diag infer error
Merge pull request  from zong_shuai/r1.10
2022-12-30 06:52:54 +00:00
i-robot 00030d7d91
将onehot的depth输入转为attribute以解决argmaxwithvalue在acsend上运行的精度问题
Merge pull request  from 李良灿/r1.10
2022-12-30 06:52:17 +00:00
i-robot cf28f035d2
[MS][LITE] Fix r_1_10 online infer issue.
Merge pull request  from youshu/ys_r_1_10_infer_fix
2022-12-30 06:40:25 +00:00
i-robot b131003058
Disable TensorCopySlices for Ascend
Merge pull request  from caifubi/r1.10
2022-12-30 06:06:48 +00:00
i-robot 57cf8e196b
[profiler] fix aicpu taskid error
Merge pull request  from zangqx/r1.10_taskid
2022-12-30 03:17:35 +00:00
yao_yf a2185290b5 gradreducer modify 2022-12-30 10:58:13 +08:00
i-robot 41ffa7a1f5
open mix precision and small channel
Merge pull request  from zhangyinxia/r1.10
2022-12-30 02:56:50 +00:00
liangcanli d33020f1a3 move onehot input to att 2022-12-30 10:49:28 +08:00
i-robot 0b63a1f06e
close the wingman queue only when it is created
Merge pull request  from wYann/data_queue
2022-12-30 02:12:46 +00:00
i-robot c12977d4fd
回退pr ccb结论1.10不需要解决
Merge pull request  from nomindcarry/r1.10
2022-12-30 02:03:08 +00:00
ZPaC d80d351ebc Sync 1.0.0-enter code review 2022-12-30 10:01:41 +08:00
i-robot c405880d62
modify format
Merge pull request  from 俞涵/code_docs_r1101227
2022-12-30 01:43:34 +00:00
youshu1 bf3c094de8 [MS][LITE] Fix r_1_10 online infer issue. 2022-12-30 09:10:12 +08:00
i-robot 44a7104bd4
[bugfix] minddata can not exit when some worker throw exception
Merge pull request  from zyli2020/r1.10
2022-12-29 10:38:40 +00:00
zhangyinxia 927a1df285 add small channel 2022-12-29 18:13:49 +08:00
huodagu 6cb5e3238c modify format 2022-12-29 18:13:20 +08:00
wyann22 e007ab2c8a fix bug of data queue 2022-12-29 18:03:50 +08:00
臧庆香 3943253b8e [profiler] Fix taskid error 2022-12-29 17:23:22 +08:00
i-robot 4a2bcdc817
Support bool of scalar operation
Merge pull request  from chenfei_mindspore/support-scalar-add-bool
2022-12-29 08:45:15 +00:00
nomindcarry 874baba10a fix bug 2022-12-29 16:44:36 +08:00
i-robot 43ee4bd48b
Add gitee download url of robin hood
Merge pull request  from chenfei_mindspore/r1.10
2022-12-29 08:37:33 +00:00
i-robot 6e7b79dad6
[BUG] Fix matmul bug
Merge pull request  from douzhixing/r1.10-mamtmul
2022-12-29 03:23:39 +00:00
i-robot e6e4a64f6f
change error log to warning
Merge pull request  from lianliguang/r1.10
2022-12-29 02:59:41 +00:00
chenfei b2aa9e39eb support scalar bool 2022-12-29 10:48:57 +08:00
suxin ba5a7a4cf1 Fix the Centralization op convert issue when using GE. 2022-12-29 10:38:29 +08:00
i-robot 1b4ee6646a
fix mirror pad anyvalue
Merge pull request  from fangzehua/r1.10
2022-12-29 02:18:26 +00:00
fangzehua 7f297125bc
update mindspore/core/ops/mirror_pad.cc.
Signed-off-by: fangzehua <fangzehua1@huawei.com>
2022-12-28 12:32:07 +00:00
lizhenyu c7697bd24a [bugfix] minddata can not exit when some worker throw exception 2022-12-28 18:42:08 +08:00
i-robot 5b3f650d4a
r1.10 Cdist Cpu Kernel 精度问题修复
Merge pull request  from haozhang/r1.10
2022-12-28 08:49:02 +00:00
i-robot fbedf2b274
modify format
Merge pull request  from 俞涵/code_docs_r1101227
2022-12-28 08:44:59 +00:00
i-robot 4ea5611b25
Sync master issue to 1.10
Merge pull request  from ZPaC/sync-master-issue-to-1.10
2022-12-28 08:43:13 +00:00
huodagu 820c47f7cc modify format and add func sigmoid 2022-12-28 16:09:06 +08:00
chenfei 315ff4e8f8 add gitee url of robin external lib 2022-12-28 15:20:28 +08:00
zong-shuai 8fdb3aeda7 debug 2022-12-28 15:19:28 +08:00
caifubi 23e4105aef Disable TensorCopySlices for Ascend 2022-12-28 14:51:54 +08:00
i-robot d23e5af60f
modify format
Merge pull request  from 俞涵/code_docs_r1101227
2022-12-28 06:46:28 +00:00
huodagu 79798d387a modify math format 2022-12-28 14:22:15 +08:00
i-robot 68f756efe2
delete input_const_flag
Merge pull request  from nomindcarry/r1.10
2022-12-28 06:16:33 +00:00
i-robot 6e990c4468
[MS][LITE]Fix unique_consecutive
Merge pull request  from gongdaguo1/fix_unnnnasdf
2022-12-28 03:59:53 +00:00
hw_hz f81129a978 debug
debug
2022-12-28 11:45:12 +08:00
i-robot 79aa8ebe1a
rm wrong exception of mirror_pad
Merge pull request  from 范吉斌/fix_mirrorpad
2022-12-28 02:23:52 +00:00
lianliguang 055ecb55d0 change error log to warning 2022-12-28 10:12:57 +08:00
nomindcarry 32a0c28615 delete input const flag 2022-12-28 09:55:37 +08:00
chenfei ada12a3210 rm wrong exception of mirror_pad 2022-12-27 22:34:02 +08:00
ZPaC 8d75e9e313 Sync master issue to 1.10 2022-12-27 20:10:33 +08:00
i-robot 7b72f05fa6
fix parameter tuple problem
Merge pull request  from luochao60/fix_parameter_tuple_problem_1223
2022-12-27 12:05:08 +00:00
gaoshuanglong 4263322c6a delete mirrorpad complex64/128 bool type 2022-12-27 19:31:49 +08:00
zjun 35c7105a30 fix_paramter_tuple_problem 2022-12-27 15:16:35 +08:00
i-robot 7b40394d64
modify math format
Merge pull request  from 俞涵/code_docs_r1101227
2022-12-27 03:18:19 +00:00
huodagu 542d251691 modify math format 2022-12-27 10:45:48 +08:00
i-robot 164aec16bf
fix AM1 grad error for pynative mode
Merge pull request  from chujinjin/fix_AM1_grad_error
2022-12-26 07:52:23 +00:00
i-robot 05c1734b60
fix error input msg
Merge pull request  from chujinjin/fix_input_msg_error
2022-12-26 06:15:59 +00:00
i-robot df73a466d6
modify format
Merge pull request  from 俞涵/code_docs_r110hm
2022-12-24 13:50:04 +00:00
俞涵 7f08819e43 modify format 2022-12-24 17:37:02 +08:00
i-robot 38f952a241
update dataset link for br: r1.10
Merge pull request  from guozhijian/code_docs_dataset_link_r1.10
2022-12-24 09:17:35 +00:00
YangLuo 4304a77812 update dataset link 2022-12-24 17:07:02 +08:00
i-robot d30feaa65d
[BUG] Fix Deconv bug
Merge pull request  from douzhixing/r1.10-convert-arm
2022-12-24 09:01:09 +00:00
duzhixing dc65a77c17 fix matmul bug 2022-12-24 16:02:30 +08:00
i-robot 0d82d753c8
MatrixInverse raise error when adjoint set false
Merge pull request  from panzhihui/matrixinverse_adjoint_10
2022-12-24 07:33:59 +00:00
i-robot 9278a8b132
rebase master commit to r1.10
Merge pull request  from jjfeing/r1.10
2022-12-24 03:24:49 +00:00
i-robot aa06ac0101
modify format
Merge pull request  from 俞涵/code_docs_r110hm
2022-12-24 01:25:12 +00:00
jjfeing 0428b8a051 fix reduce 5hd
fix reduce 5hd contain c axis

change axis when fracnz
2022-12-24 09:11:50 +08:00
俞涵 fafd78ec0e modify format 2022-12-23 18:14:58 +08:00
i-robot fcbd8510db
modify format
Merge pull request  from 俞涵/code_docs_r110hm
2022-12-23 07:49:05 +00:00
俞涵 507164cb96 modify format 2022-12-23 15:36:29 +08:00
i-robot b899f1441c
ArgminWithValue输入bigshape的tensor时index偶现负值
Merge pull request  from 李良灿/fix-minus
2022-12-23 02:51:15 +00:00
i-robot 1ce7373f36
add pattern of transpose
Merge pull request  from jjfeing/r1.10
2022-12-23 02:05:48 +00:00
i-robot 9f5f522507
update tutorail for md in br: r1.10
Merge pull request  from guozhijian/code_docs_update_tutorial
2022-12-23 01:58:33 +00:00
jonyguo 735e8b277c update md docs 2022-12-23 09:33:48 +08:00
i-robot 90fd718287
solve the bug of gathernd big shape error in r1.10
Merge pull request  from zong_shuai/r1.10
2022-12-22 13:18:33 +00:00
panzhihui 7ade83926d Matrix Inverse only allow adjoint equal true 2022-12-22 20:00:04 +08:00
i-robot 1f62b2bdae
[R1.10]Update akg commit id
Merge pull request  from zichun_ye/r1.10_akg_update
2022-12-22 07:25:05 +00:00
duzhixing 104f0f9f72 fix convert arm bug 2022-12-22 14:59:20 +08:00
i-robot 8b83664b1d
dropout bug fix
Merge pull request  from 黄晓/dropout_1222
2022-12-22 06:32:15 +00:00
zong_shuai cea63fae84 debug 2022-12-22 14:28:32 +08:00
muxiyin 04e8f987cd dropout bug fix 2022-12-22 09:50:52 +08:00
i-robot 67e202713f
[MS][LITE] log1p support dym rank
Merge pull request  from jianghui58/r1.10_dev
2022-12-22 01:26:35 +00:00
i-robot 6a79e8d76e
check debug path, fix flatbuffer verifier and fix depthwise
Merge pull request  from liyan2022/r1.10_dev
2022-12-22 01:25:10 +00:00
i-robot 512985cc5c
Fix profiling_parallel.pb.h compile problems r1.10
Merge pull request  from zangqx/r1.10_profiling_parallel_compile
2022-12-21 09:59:11 +00:00
i-robot 28bc43ac6f
fix quant debug memory leak
Merge pull request  from liyan2022/dev_r1.10
2022-12-21 06:31:16 +00:00
i-robot 30adb608c7
upgrade_ascend 20221214_r1.10
Merge pull request  from 黄勇/upgrade_ascend_20221214_r1.10
2022-12-21 02:36:05 +00:00
albert-yan 2bab5f6873 fix memory leak 2022-12-21 10:24:34 +08:00
huangyong 80147ff0d3 upgrade ascend 20221214 r1.10 2022-12-20 19:41:15 +08:00
jjfeing f14076954e add pattern of transpose 2022-12-20 15:41:34 +08:00
jianghui58 d7345988d8 log1p support dym rank 2022-12-20 14:29:43 +08:00
i-robot 5b4626a277
Fix the incompleted watchpointhits for offline debugger for multi_rank data
Merge pull request  from maning202007/r1.10
2022-12-20 03:35:55 +00:00
i-robot d4d1bf7cf5
[r1.10] fix svd problem
Merge pull request  from huanghui/r1.10
2022-12-20 02:16:58 +00:00
i-robot 8eadb8c886
fix testcase compile
Merge pull request  from zhengyuanhua/r1.10
2022-12-20 01:50:49 +00:00
i-robot 2f9e11f8f3
fix ub fusion op compile failed
Merge pull request  from xulei/fix_ub_op_compile
2022-12-19 11:35:14 +00:00
chujinjin d2204c2179 fix error input msg 2022-12-19 19:12:46 +08:00
zhengyuanhua 0114b207ac fix testcase compile 2022-12-19 15:27:40 +08:00
xulei 40404a4e27 fix ub fusion op compile failed 2022-12-19 10:36:01 +08:00
huanghui be0facf3cf fix gpu svd 2022-12-19 10:02:04 +08:00
Zichun Ye 4db92bab41 update akg commit id 2022-12-18 22:25:05 +08:00
chujinjin 482bea7841 fix AM1 grad error 2022-12-17 16:46:10 +08:00
albert-yan d21ee89c59 check debug path, fix flatbuffer verifier and fix depthwise 2022-12-17 16:13:07 +08:00
i-robot 2a77abfb91
takedown test_resnet_imagenet_and_thor_4p on r1.10 to ensure gate stability
Merge pull request  from yanghaoran/r1.10
2022-12-17 07:00:45 +00:00
yanghaoran 57c1372c4a takedown test_resnet_imagenet_and_thor_4p on r1.10 to ensure gate stability 2022-12-17 14:47:20 +08:00
gongdaguo1 748192d77c fix unique_consecutive 2022-12-16 15:46:50 +08:00
maning202007 46d7b16adf Fix the incompleted watchpointhits for offline debugger for multi_rank data 2022-12-16 15:03:41 +08:00
i-robot c42598c152
[MS][Lite] Fix ascend upsample and reshape ops issue during online convert.
Merge pull request  from youshu/ys_I5Y419_sync_1_10
2022-12-16 06:24:19 +00:00
i-robot 4c0d70933a
add cdist conv2d softmax in list
Merge pull request  from 俞涵/code_docs_r1101215
2022-12-16 01:52:48 +00:00
huodagu 2a9ccc868e add cdist conv2d softmax in list 2022-12-16 08:58:46 +08:00
youshu1 5a6dd07d88 [MS][LITE] Fix ascend upsample and reshape ops issue during online convert. 2022-12-15 19:06:35 +08:00
i-robot fa54b35d0e
Fixed issue with api_docs not showing ops.iou
Merge pull request  from liuluobin/r1.10_iou_doc
2022-12-15 09:42:32 +00:00
i-robot 57337cf2a2
modify urls
Merge pull request  from 俞涵/code_docs_r1101215
2022-12-15 09:19:27 +00:00
liuluobin 1fde069a2b Fixed issue with api_docs not showing ops.iou 2022-12-15 16:26:23 +08:00
huodagu 11c946c774 modify urls 2 1215 2022-12-15 16:09:06 +08:00
i-robot f5ad126ab5
modify urls
Merge pull request  from 俞涵/code_docs_r1101215
2022-12-15 07:44:29 +00:00
i-robot a450b744e3
[BUG] Fix concat grad bug
Merge pull request  from douzhixing/r1.10-concat
2022-12-15 07:02:30 +00:00
huodagu 4b3204f6a1 modify urls 2022-12-15 14:53:58 +08:00
臧庆香 f78d128f16 [profiler] fix profiling_parallel.pb.h compile error 2022-12-15 08:48:21 +08:00
liangcanli 10e3dc53de fix minus input of ArgminWithValue 2022-12-14 17:15:45 +08:00
duzhixing 00bc60a439 fix concat bug 2022-12-14 15:48:21 +08:00
i-robot ff45fac27e
support logical and or xor in tensor
Merge pull request  from KXiong/r1.10
2022-12-14 01:58:41 +00:00
xiongkun 9d7297c805 tick
tick
2022-12-13 19:12:54 +08:00
i-robot e1e7aae610
remove soc version env
Merge pull request  from jjfeing/r1.10
2022-12-13 01:32:09 +00:00
jjfeing 8f06c377d8 remove soc version env 2022-12-09 14:41:14 +08:00
i-robot afc602d1cf
Dealing with the problem which exist depend node in item_tuple_or_list_eliminate pass. Optimize error log messages.
Merge pull request  from Margaret_wangrui/r1.10
2022-12-08 01:23:19 +00:00
i-robot 4b028497d5
refactor error message when gen func stub failed
Merge pull request  from liubuyu/r1.10
2022-12-07 09:08:32 +00:00
i-robot 520b6950d6
BasicLSTMCellCStateGradV2 add attr gate_order
Merge pull request  from TuDouNi/r1.10_getnext
2022-12-07 08:34:54 +00:00
Margaret_wangrui 474ede8eea Dealing with the problem which exist depend node in item_tuple_or_list_eliminate pass. Optimize error log messages. 2022-12-07 10:03:33 +08:00
lby 422423bc55 refactor error message when gen func stub failed 2022-12-07 09:43:28 +08:00
i-robot 9bd0036f13
fix LockRuntime stream nullptr
Merge pull request  from baihuawei/fix_stream_null1.10
2022-12-07 01:33:13 +00:00
baihuawei 9e7c5b7d58 fix LockRuntime stream nullptr 2022-12-06 18:44:50 +08:00
ttudu 9eae8bc8c4 BasicLSTMCellCStateGradV2 add attr gate_order 2022-12-06 16:46:22 +08:00
i-robot b383e925df
Fix mbuf queue size too large cause device oom
Merge pull request  from luoyang/r1.10
2022-12-06 07:06:10 +00:00
i-robot 078044bd93
[AutoParallel]fix pipeline shared parameter bug r1.10
Merge pull request  from lichen/fix_pipeline_shared_parameter_bug_r1.10
2022-12-06 01:59:30 +00:00
YangLuo dfedd7e27c Fix mbuf queue size too large cause device oom 2022-12-06 09:43:33 +08:00
lichen 9d73cff60d fix_pipeline_shared_parameter_bug 2022-12-05 20:37:18 +08:00
i-robot 6b0a66d711
update op_timeout chinese doc
Merge pull request  from luoyang/code_docs_r1.10
2022-12-05 03:51:07 +00:00
i-robot 43b449d280
adjust op timeout to 600s
Merge pull request  from luoyang/r1.10
2022-12-05 02:48:06 +00:00
i-robot 4fd38a6fdb
getnext event wait
Merge pull request  from TuDouNi/r1.10_getnext
2022-12-05 02:04:17 +00:00
YangLuo 5b32fb6df2 update op_timeout chinese doc 2022-12-05 09:42:53 +08:00
YangLuo 1c150c549b adjust op timeout to 600s (For GetNext) 2022-12-04 14:05:53 +08:00
i-robot 46d371da92
fix mindir subcell bug
Merge pull request  from lianliguang/r1.10
2022-12-02 09:56:10 +00:00
ttudu 847a026784 getnext event wait 2022-12-02 16:46:11 +08:00
i-robot 5521cfd23f
fix doc of train
Merge pull request  from 于振华/code_docs_fix_model_1.10_1130
2022-12-02 08:42:46 +00:00
yuzhenhua 73f060a0e3 fix doc of model 2022-12-02 10:47:55 +08:00
lianliguang 4698253785 fix bug of mindir as subcell 2022-12-01 19:16:38 +08:00
i-robot 7d2de9240e
fix doc of train
Merge pull request  from 于振华/code_docs_fix_model_1.10_1130
2022-12-01 07:17:54 +00:00
i-robot 42b895aa9c
添加ApplyMomentum的example
Merge pull request  from DavidFFFan/code_docs_r1_10
2022-12-01 06:18:11 +00:00
fandawei a8222fd589 add ApplyMomentum example 2022-12-01 09:45:36 +08:00
yuzhenhua 61352ae7ec fix doc of model 2022-11-30 14:44:28 +08:00
i-robot 4b4b6b03d7
fix dropout condition
Merge pull request  from 王禹程/fix_rectify_1.10
2022-11-29 01:46:01 +00:00
i-robot 3129e82bd0
[AutoParallel]RM_combine_like_graph_in_parallel_r1.10
Merge pull request  from lichen/rm_combine_like_graph_in_parallel_r2.0_alpha
2022-11-29 01:27:07 +00:00
reku1997 1e40f9fec2 fix dropout condition 2022-11-28 16:41:36 +08:00
i-robot eef1fa2d17
layernorm_using_ds_ops
Merge pull request  from liuluobin/layernorm_using_ds_ops
2022-11-27 01:33:59 +00:00
i-robot 167724ef3a
Fix aicpu parallel bug.
Merge pull request  from linqingke/paraller_r1.10
2022-11-26 11:00:34 +00:00
i-robot 3e8eaf7bc1
fix examples issues 2
Merge pull request  from luojianing/code_docs_r1.10
2022-11-26 08:56:38 +00:00
i-robot 3233b7af5f
takedown test_bert_thor_8p for r1.10 to ensure gate stability
Merge pull request  from yanghaoran/r1.10
2022-11-26 08:37:06 +00:00
yanghaoran e7788ba1b5 takedown test_bert_thor_8p for r1.10 to ensure gate stability 2022-11-26 16:26:23 +08:00
lichen 9b1f4f78d0 rm_combine_like_graph_in_parallel 2022-11-26 09:43:23 +08:00
luojianing ab6bdf41d7 fix examples issues2 2022-11-25 16:46:28 +08:00
liuluobin 0da5a00e89 layer_norm_x_backprop_v2 static and dynamic unify 2022-11-25 15:05:05 +08:00
linqingke f0532c3de8 Fix aicpu parallel bug. 2022-11-25 14:41:43 +08:00
i-robot 0a8cbe7d50
Fix bug for GPU GridSample
Merge pull request  from zhangyongxian/dev_zhangyongxian_gridsample3
2022-11-24 02:46:38 +00:00
i-robot 62680bf46d
complex operator support broadcast
Merge pull request  from chenweifeng/r1.10
2022-11-24 01:16:41 +00:00
i-robot 6d8c8b778a
stride slice bug
Merge pull request  from lianliguang/r1.10
2022-11-23 08:16:05 +00:00
i-robot ea00a45287
fix examples issues
Merge pull request  from luojianing/code_docs_r1.10
2022-11-23 04:00:56 +00:00
luojianing a32b19be56 fix examples issues 2022-11-23 09:27:24 +08:00
i-robot 1d04c8f8f6
upgrade_ascend_20221122_r1.10
Merge pull request  from 黄勇/upgrade_ascend_20221122_r1.10
2022-11-22 20:16:30 +00:00
huangyong 4232d42dbc upgrade ascend 20221122 2022-11-22 23:39:17 +08:00
lianliguang 1f4ece0d82 strde slice change to ai core 2022-11-22 20:45:36 +08:00
wilfChen 1e39660a5b complex kernel support broadcast 2022-11-22 20:05:10 +08:00
i-robot e84b4e7d35
[MS][OP]fix bug of maxpool3d infer
Merge pull request  from mengyuanli/sync_r1.10
2022-11-22 01:22:56 +00:00
i-robot 6565c348a3
[MS][OPS][r1.10] fix standardnormal ops adapter for 310
Merge pull request  from luoyuan/fix-standardnormal-ops-adapt-310-r1.10
2022-11-21 07:26:54 +00:00
mengyuanli 5dbed34ade fix bug of maxpool3d infer 2022-11-21 14:11:11 +08:00
luoyuan 2f7058437e [MS][OPS][r1.10] fix standardnormal ops adapter for 310 2022-11-21 09:36:59 +08:00
i-robot 53dac5dd18
add aicpu dropout gen mask
Merge pull request  from 王禹程/r1.10
2022-11-19 14:01:43 +00:00
reku1997 05714a4da1 add aicpu dropout gen mask 2022-11-19 19:49:14 +08:00
i-robot e610177440
call tbe checksupported before launch transdata at pynative mode
Merge pull request  from zhoufeng/transdata-checksupported-r1.10
2022-11-18 09:39:07 +00:00
i-robot 209a0ce304
mindir support complex type export
Merge pull request  from lianliguang/r1.10
2022-11-18 09:01:49 +00:00
zhoufeng daa9957185 call tbe checksupported before launch transdata at pynative mode 2022-11-17 20:09:03 +08:00
lianliguang 43479a3929 change fv_parameter count when the graph is loaded from mindir as a sub cell graph and support complex 2022-11-16 14:47:53 +08:00
i-robot 75d7536e1a
Test mbf processing on 1.10
Merge pull request  from shenwei41/r1.10
2022-11-16 01:22:21 +00:00
i-robot 05043cfa83
add StatelessDropoutGenMas
Merge pull request  from jjfeing/r1.10
2022-11-16 01:05:22 +00:00
jjfeing 6d0baa43ff stateless_dropout adapter 2022-11-15 20:34:28 +08:00
y00451588 47a3cff12c adapt new data channel of mbuf for print operator. 2022-11-15 18:48:28 +08:00
i-robot eb908008ac
upgrade_ascend 20221110_r1.10
Merge pull request  from 黄勇/upgrade_ascend_20221104
2022-11-15 02:05:37 +00:00
yanghaoran 9d391fb1a2 changing ops paths to cope with latest ascend packages
support uint1

add uint1

update graphengine
2022-11-15 07:19:55 +08:00
i-robot d542022a88
Fix out h/w shape infer error while in h/w shape is anyshape.
Merge pull request  from zhangzhaoju/r1.9_max_pool
2022-11-02 09:20:38 +00:00
i-robot 2914ca0b7f
update readme of mindspore
Merge pull request  from luoyang/r1.9
2022-11-02 03:23:58 +00:00
i-robot 167cd0852e
MD - fix tfrecord with too large shuffle size
Merge pull request  from guozhijian/fix_tfrecord_shuffle
2022-11-02 01:28:03 +00:00
jonyguo 9f00fd08a5 fix: tfrecord shuffle size too large 2022-11-01 21:47:55 +08:00
YangLuo f35af2c7ab fix readme 2022-11-01 19:52:40 +08:00
zhangzhaoju b1915d7333 Fix out h/w shape infer error while in h/w shape is anyshape. 2022-11-01 19:40:33 +08:00
i-robot 802d0bea6b
fix depth_to_space op dynamic shape bug r1.9
Merge pull request  from wtcheng/r1.9
2022-11-01 03:19:30 +00:00
w00517672 52d7536dfb fix depth_to_space op dynamic shape bug r1.9 2022-10-31 21:01:13 +08:00
i-robot f000c021c3
[MS][OPS][r1.9] fix dynamic_gru_v2_grad bias_i bias_h init_h is fp32 accuracy issue
Merge pull request  from luoyuan/fix-dynamic_gru_v2_grad_fission_pass_r1.9
2022-10-29 06:28:59 +00:00
i-robot 98a55f001c
delete warning info about map op parameter column_order
Merge pull request  from guozhijian/delete_warn
2022-10-28 07:27:47 +00:00
i-robot c9e84bf806
update image in 1.9
Merge pull request  from 宦晓玲/code_docs_01028
2022-10-28 07:08:53 +00:00
i-robot f9a0131bea
[MS][LITE][r1.9] fix python lite api resize and docs
Merge pull request  from luoyuan/fix-py-api-resize-r1.9
2022-10-28 07:03:30 +00:00
luoyuan 94642f6160 [MS][OPS][r1.9] fix dynamic_gru_v2_grad_fission pass 2022-10-28 14:46:10 +08:00
huanxiaoling 636ef1483e update image in 1.9 2022-10-28 14:37:28 +08:00
i-robot 12bfcf20fc
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-10-28 06:36:54 +00:00
huodagu a54fb145d4 del zeros_like 2022-10-28 14:00:07 +08:00
jonyguo 27fe71bc6c delete warning info 2022-10-28 09:41:21 +08:00
luoyuan ef74a75ba6 [MS][LITE][r1.9] fix python lite api resize 2022-10-27 16:54:24 +08:00
i-robot a744c98729
fix kl_div bug
Merge pull request  from 范吉斌/fix_kldiv_r1.9
2022-10-27 06:26:16 +00:00
i-robot 2f4c6a70b3
delete the links in webpage in 1.9
Merge pull request  from 宦晓玲/code_docs_01026
2022-10-27 06:18:38 +00:00
huanxiaoling a5a8b8d9de delete the links in webpage in 1.9 2022-10-27 13:49:32 +08:00
i-robot fabed704e8
modify urls
Merge pull request  from 俞涵/code_docs_r190913
2022-10-27 04:08:41 +00:00
huodagu b3ac31aa4a del documents and modify urls 2022-10-27 10:58:12 +08:00
fanjibin c93a1a587b fix kl_div bug 2022-10-26 21:09:47 +08:00
i-robot fbf455a895
fix value_node string
Merge pull request  from 范吉斌/fix_string_r1.9
2022-10-26 10:46:01 +00:00
i-robot 535b3f636e
fix ops.Select infer shape
Merge pull request  from 李林杰/1023_fix_select_infer_shape_19
2022-10-25 01:37:24 +00:00
i-robot 2dbfdd0ceb
[MD] Fix Python MP transforms in failover reset r1.9
Merge pull request  from Mohammad Motallebi/fix_python_mp_reset_1.9
2022-10-24 22:11:45 +00:00
mohammad 5387daeb20 [MD] fix Python MP in reset r1.9 2022-10-24 15:07:33 -04:00
lilinjie 55144b7ddc fix ops.Select infer shape 2022-10-25 00:02:42 +08:00
i-robot f17cf39df0
修复动态shape迭代数问题
Merge pull request  from liuchuting/r1.9
2022-10-24 10:41:07 +00:00
i-robot 0346b46533
[MS][LITE][r1.9] code docs lite python api fix example
Merge pull request  from luoyuan/code_docs_lite_py_api-r1.9
2022-10-24 08:59:26 +00:00
fan-jibin 92b2167193 fix value_node string 2022-10-24 16:54:20 +08:00
i-robot 58159a36a5
[MSLITE]修复污点分析告警
Merge pull request  from fatmouse007/r1.9_for_tained
2022-10-24 06:49:15 +00:00
i-robot 5dd07b68d3
change to level0
Merge pull request  from baihuawei/st1.9
2022-10-24 05:10:47 +00:00
i-robot a0fe3c28f7
Add ops release notes for r1.9
Merge pull request  from liangchenghui/code_docs_add_ops_release_r1.9
2022-10-24 01:31:34 +00:00
liuchuting ff01fc83dd Fixed inconsistency between heterogeneous and non-heterogeneous iteration numbers. 2022-10-22 18:32:29 +08:00
i-robot f6f02c3ead
fix mix-precision bug
Merge pull request  from 于振华/fix_mix-precision_bug_1021
2022-10-22 08:07:06 +00:00
baihuawei 33dcd072d9 change to level0 2022-10-22 09:59:58 +08:00
liangchenghui 844781c2fd Add ops release notes for r1.9 2022-10-21 20:34:17 +08:00
yuzhenhua 7df81133bc fix mix-precision bug 2022-10-21 18:13:19 +08:00
i-robot f579a87704
fix docs
Merge pull request  from 李林杰/code_docs_1021_fix_docs_19
2022-10-21 09:44:24 +00:00
lilinjie bce8108587 fix docs 2022-10-21 17:29:26 +08:00
i-robot b84fdb60e4
Fix spelling errors
Merge pull request  from maning202007/r1.9
2022-10-21 07:52:28 +00:00
i-robot 52ba30c587
fix random_shuffle
Merge pull request  from 范吉斌/fix_random_shuffle_r1.9
2022-10-21 01:31:06 +00:00
i-robot 0fa3d34df0
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-10-21 01:26:08 +00:00
Zhu Guodong 3f4a8b287c [MSLITE] fix bugs in taint analysis 2022-10-21 09:19:17 +08:00
fanjibin 35defea078 fix random_shuffle 2022-10-21 00:45:11 +08:00
huodagu f7728cdd4e modify format 2022-10-20 19:46:48 +08:00
i-robot 916b812580
[MSLITE] 修复asan类型的fuzz问题
Merge pull request  from fatmouse007/r1.9_for_fuzz_02
2022-10-20 07:58:31 +00:00
maning202007 8bcca660e7 Fix spelling errors 2022-10-20 15:14:50 +08:00
i-robot 094a2682b8
upload 1.9 release note
Merge pull request  from luoyang/code_docs_r1.9
2022-10-20 06:26:03 +00:00
i-robot 8bf4bef2f6
[MD] Fix code examples of Vision module
Merge pull request  from xiaotianci/fix_example_1.9
2022-10-20 03:20:35 +00:00
YangLuo 8a81cb2b0e upload 1.9 release note 2022-10-20 11:09:04 +08:00
Xiao Tianci 9254b593ec fix code examples 2022-10-19 18:02:16 +08:00
Zhu Guodong dfc53bcb8a [MSLITE] fix fuzz of asan type 2022-10-19 17:31:18 +08:00
luoyuan 0617f73b68 [MS][LITE][r1.9] code docs lite python api fix example 2022-10-19 17:30:24 +08:00
i-robot 3b8d348f88
fix ger mac
Merge pull request  from KXiong/r1.9
2022-10-19 08:22:30 +00:00
i-robot 3d9d5f0238
[LITE]Add resize pattern for converter
Merge pull request  from WangWenzhe/r1.9_resize_pattern
2022-10-19 07:50:13 +00:00
xiongkun 731fa013b3 add mac ger
fix bug

fix bug
2022-10-19 11:11:18 +08:00
i-robot 5b4502a1a8
Update ascend owner list
Merge pull request  from panzhihui/code_docs_ascend_owner_1.9
2022-10-19 03:09:10 +00:00
i-robot fb54b30184
fuzz check for PrepareGraphOutput
Merge pull request  from liyan2022/r1.9_codex
2022-10-19 02:58:29 +00:00
panzhihui 43bccffe8c Add liangxhao to the ascend owner list 2022-10-19 10:30:56 +08:00
i-robot 4069894bb4
[r1.9] fix testcase
Merge pull request  from caifubi/r1.9-pynative-testcase
2022-10-19 01:53:24 +00:00
i-robot 7bab069a3e
Fix ccsrc owner list
Merge pull request  from panzhihui/code_docs_fix_owner_list
2022-10-19 01:28:42 +00:00
panzhihui 3fa423046e Fix ccsrc owner list 2022-10-18 21:57:55 +08:00
oacjiewen db9e42be88
update mindspore/ccsrc/OWNERS. 2022-10-18 12:45:05 +00:00
i-robot c6511661fa
update Op tags
Merge pull request  from 李林杰/code_docs_1018_update_op_tags_19
2022-10-18 12:01:49 +00:00
lilinjie e6022eddc8 update Op tags 2022-10-18 19:45:42 +08:00
i-robot 34b7b9c87e
fix chinese doc
Merge pull request  from luoyang/code_doc_r1.9
2022-10-18 09:30:34 +00:00
i-robot 0a70e20501
raise error when summary operator is called in pynative mode
Merge pull request  from maning202007/r1.9
2022-10-18 08:12:49 +00:00
caifubi 6a9ce63743 add pynative allreduce testcase 2022-10-18 10:59:09 +08:00
i-robot cd68f09dea
update BroadcastTo doc
Merge pull request  from 李林杰/code_docs_1017_update_BroadcastTo_doc_19
2022-10-17 13:20:03 +00:00
lilinjie abae09d41a fix BroadcastTo doc 2022-10-17 20:59:54 +08:00
maning202007 2b319877d4 raise error when summary operator is called in pynative mode 2022-10-17 20:48:07 +08:00
i-robot 9970a5d8ae
fix a code-problem of crypto.cc
Merge pull request  from jxlang910/r1.9_fix_encrypto
2022-10-17 12:30:26 +00:00
YangLuo e1f0165059 fix chinese doc 2022-10-17 16:09:16 +08:00
i-robot 4935fb2dd6
Fix HCCL Time Out
Merge pull request  from huangxinjing/fix_hccl_time_limit
2022-10-17 07:34:03 +00:00
i-robot ad895b4a37
单算子等网络找不到bp_end算子
Merge pull request  from liuchuting/r1.9
2022-10-17 06:34:10 +00:00
huangxinjing 41275ff32e Fix hccl timeout 2022-10-17 12:03:28 +08:00
i-robot ce6f99fbd9
Lamb supports the grad and var types are inconsistent.
Merge pull request  from wanghenchang/lamb_r19
2022-10-17 01:38:44 +00:00
wangwenzhe f232687df1 add converter resize pattern 2022-10-16 17:38:27 +08:00
i-robot d6f3ece419
Fix matul infer
Merge pull request  from panzhihui/matmul_infer_r1.9
2022-10-15 15:53:37 +00:00
liuchuting d4357485f8 Bp_end operator cannot be found in single-operator networks 2022-10-15 16:14:21 +08:00
i-robot 1ed039aa6f
Fix batchnorm support for nhwc and infer type
Merge pull request  from panzhihui/fix_batchnorm_nhwc
2022-10-15 07:15:38 +00:00
jin-xiulang 21db207dcd fix a code problem of crypto.cc 2022-10-15 09:42:49 +08:00
panzhihui ff67c3c137 Fix batchnorm support for nhwc and infer type 2022-10-14 22:20:23 +08:00
i-robot 6aa73f21da
debug reversev2 of sizetolong
Merge pull request  from zong_shuai/reverse_v2_debug
2022-10-14 12:58:20 +00:00
albert-yan a5e643232e fuzz check 2022-10-14 19:10:16 +08:00
i-robot 3c5a43c8b7
clean warning for ignore return value
Merge pull request  from xupan/clean_warning1.9
2022-10-14 09:34:00 +00:00
panzhihui d829b95614 Fix matmul infer 2022-10-14 17:30:36 +08:00
zong_shuai 24a205db07 debug 2022-10-14 17:18:47 +08:00
i-robot f0e28aed3e
[MS][OPS][r1.9] clean code of unsorted_segment_sum and standard_normal ops
Merge pull request  from luoyuan/code-check-ops-r1.9
2022-10-14 08:05:15 +00:00
i-robot a7167845a0
[MSLITE]修复算子fuzz问题
Merge pull request  from fatmouse007/r1.9_for_fuzz
2022-10-14 06:19:26 +00:00
i-robot a81febf611
modify the rst files in 1.9 1013
Merge pull request  from 宦晓玲/code_docs_01013
2022-10-14 06:12:57 +00:00
wangchangheng 00a921f104 support lamb grad type is diff with var 2022-10-14 11:14:13 +08:00
huanxiaoling 09df1501dd modify the rst files in 1.9 1013 2022-10-14 10:28:05 +08:00
i-robot 07decf3810
remove testcase
Merge pull request  from chengbin/r1.9
2022-10-14 01:48:40 +00:00
i-robot 471cabddc5
fix high dimension vmap bug in reverse sequence ops r1.9
Merge pull request  from wtcheng/r1.9
2022-10-14 01:33:49 +00:00
i-robot 3cc72aa4a6
dynamic rank check
Merge pull request  from cjh9368/op_1_9_3
2022-10-14 01:23:48 +00:00
i-robot b54f57bb65
Fix HCCL init and runtime init error
Merge pull request  from huangxinjing/fix_hccl_init_error
2022-10-14 01:19:44 +00:00
huangxinjing 5bf2806f45 Fix hccl init and runtime init error 2022-10-14 07:52:15 +08:00
i-robot 11c3f8a6a8
Change the timeout
Merge pull request  from huangxinjing/fix_hccl_default_time
2022-10-13 21:47:49 +00:00
i-robot 54c014aad4
[MS][OP]fix bug of type error
Merge pull request  from mengyuanli/sync_r1.9
2022-10-13 16:29:49 +00:00
i-robot 7fdd75b760
add_dynamic_shape_check_to_assignadd/sub
Merge pull request  from 李林杰/1013_add_dynamic_shape_check_to_assignadd_19
2022-10-13 16:14:15 +00:00
i-robot d8737e201d
maskedselect not support scalar
Merge pull request  from zong_shuai/mask_select_debug
2022-10-13 13:39:16 +00:00
i-robot fffc2a695f
Amp bug fix for O2 on r1.9
Merge pull request  from Bert0108/amp_r1.9_bugfix_o2
2022-10-13 13:16:51 +00:00
luoyuan 68f2c97275 [MS][OPS][r1.9] clean code of unsorted_segment_sum and standard_normal ops 2022-10-13 20:20:30 +08:00
i-robot 3458b841bf
fix rowtensor doc 1.9
Merge pull request  from 杨林枫/code_docs_1.9
2022-10-13 12:06:40 +00:00
yanglf1121 816cc37459 fix rowtensor doc example 2022-10-13 19:47:35 +08:00
ckey_Dou 1926e44a2f this case is support in r2.0 2022-10-13 19:04:27 +08:00
i-robot efcff5a8a1
[r1.9]fix code style of StandardLaplace op
Merge pull request  from panshaowu/r1.9
2022-10-13 09:15:41 +00:00
mengyuanli 0b10459a6d fix bug of maxpool_3d type error 2022-10-13 16:08:45 +08:00
w00517672 d98af088be fix high dimension vmap bug in reverse sequence ops r1.9 2022-10-13 16:08:14 +08:00
i-robot 3666d044cd
fix issues
Merge pull request  from luojianing/code_docs_r1.9
2022-10-13 07:58:31 +00:00
luojianing 85b145a2f9 fix issue 2022-10-13 15:46:54 +08:00
i-robot dfe465b8c3
fixing staic code warnings
Merge pull request  from 杨旭华/fixwarning_r1.9
2022-10-13 07:39:44 +00:00
i-robot a88b8cc557
add cpu tag to UnsortedSegmenProd API doc
Merge pull request  from 李林杰/code_docs_1013_fix_UnsortedSegmenProd_doc_19
2022-10-13 07:29:20 +00:00
i-robot a8eafea5a7
takedown test_pynative_hccl_allreduce_8p to ensure gate stability
Merge pull request  from yanghaoran/r1.9
2022-10-13 07:21:09 +00:00
yanghaoran d2480b3635 takedown test_pynative_hccl_allreduce_8p to ensure gate stability 2022-10-13 15:13:26 +08:00
lilinjie 03bdbb4b39 fix_UnsortedSegmenProd_doc 2022-10-13 15:08:00 +08:00
i-robot b899e24204
add dockerfile for 1.9.0
Merge pull request  from yanghaoran/r1.9
2022-10-13 02:50:43 +00:00
i-robot 7183c5bc2b
modify the inconsistence in 1.9 1012
Merge pull request  from 宦晓玲/code_docs_01011
2022-10-13 02:45:50 +00:00
lilinjie 2abdf653b7 add_dynamic_shape_check_to_assignadd/sub 2022-10-13 10:22:16 +08:00
huanxiaoling 48450e3f12 modify the inconsistence of files in 1.9 2022-10-13 09:30:09 +08:00
i-robot 8984f5ad8f
fix upsample_nearest_3d grad accuracy
Merge pull request  from panfengfeng/fix_upsample_nearest_3d_grad_accuracy_r1.9
2022-10-13 01:27:35 +00:00
cjh9368 78b7f58b83 support dynamic rank 2022-10-13 09:12:17 +08:00
panfengfeng 643f9862f3 fix upsample_nearest_3d & upsample_nearest_3d_grad gpu 2022-10-13 02:49:41 +08:00
yanghaoran 6698dca368 add dockerfile for 1.9.0 2022-10-12 20:47:47 +08:00
huangxinjing 1618503db7 Change the hccltime out 2022-10-12 19:56:12 +08:00
i-robot 543a846289
Fix micro
Merge pull request  from gongdaguo1/fffsssss
2022-10-12 11:22:31 +00:00
Bert0108 6fc7813d99 amp r1.9 bugfix o2 2022-10-12 17:24:24 +08:00
i-robot a1de543215
add note to Adam doc
Merge pull request  from 李林杰/code_docs_1012_fix_doc_19
2022-10-12 09:09:21 +00:00
zong_shuai 72bedb8de1 debug 2022-10-12 17:01:29 +08:00
luo-hang777 b58673ff79 zjut fixing staic code warnings 2022-10-12 16:45:40 +08:00
lilinjie 9992caa9dd fix doc 2022-10-12 15:51:32 +08:00
i-robot 1d8247ad8b
fix warnings
Merge pull request  from 高攀/fix_warnings_r1.9_1011
2022-10-12 07:13:48 +00:00
panshaowu 5417a4f4e3 fix code style of StandardLaplace op 2022-10-12 14:55:59 +08:00
i-robot 01a65d6b43
add op specification validation
Merge pull request  from yeyunpeng2020/r1.9_fuzz
2022-10-12 06:53:58 +00:00
i-robot fa8c38a425
tensor dynamic shape 1.9
Merge pull request  from Henry Shi/tensor_1.9
2022-10-12 03:29:57 +00:00
i-robot 436a02c222
clean_code_r1.9
Merge pull request  from yide12/clean_code_r1.9
2022-10-12 03:08:35 +00:00
i-robot e5fe314202
modify batch-to-space infershape log
Merge pull request  from hangq/rewrite
2022-10-12 03:04:01 +00:00
i-robot edf50b8895
fix multinomial ops precision bug r1.9
Merge pull request  from wtcheng/r1.9
2022-10-12 03:03:17 +00:00
gaopan12 a9d5d5a799 fix warnings 2022-10-12 10:51:16 +08:00
xupan 0494bae682 clean warning for ignore return value 2022-10-12 10:01:22 +08:00
i-robot 095e28089e
shield SparseApplyAdagrad Primitive interface
Merge pull request  from 李林杰/1011_fix_some_issues_19
2022-10-12 01:54:22 +00:00
w00517672 11173951ac fix multinomial ops precision bug r1.9 2022-10-11 21:41:03 +08:00
i-robot 07785345e6
[MS][LITE] Fix parallel threadpool
Merge pull request  from gongdaguo1/r19_fix_paralle
2022-10-11 12:34:26 +00:00
i-robot d2dbc6050d
Code Cleaning
Merge pull request  from gaoshuanglong/clean_code_1011
2022-10-11 12:13:58 +00:00
i-robot fd3b449902
fuzz check
Merge pull request  from liyan2022/r1.9_codex
2022-10-11 12:08:14 +00:00
i-robot c27d826707
Correct descriptions of supported platforms for Operators
Merge pull request  from hedongdong/code_docs_20221009
2022-10-11 12:05:57 +00:00
i-robot e9915f2f96
[MS][LITE][r1.9] fuzz and python api fix
Merge pull request  from luoyuan/fuzz-and-py-api-fix-r1.9
2022-10-11 12:01:50 +00:00
i-robot 080e2ba4fb
Parse load input for updatestate.
Merge pull request  from gaoyong10/r1.9
2022-10-11 11:42:44 +00:00
hangangqiang a156ac3bc1 modify batch-to-space infershape log 2022-10-11 18:56:07 +08:00
lilinjie ec7a9f1af8 fix some issues 2022-10-11 18:21:00 +08:00
i-robot a8edadb6a6
modify the rst files and error in 1.9
Merge pull request  from 宦晓玲/code_docs_01011
2022-10-11 10:03:35 +00:00
i-robot e6b7244b55
clean code
Merge pull request  from NaCN/code_check_1.9
2022-10-11 09:30:44 +00:00
i-robot de271eb4f9
amp bug fix for r1.9
Merge pull request  from Bert0108/amp_r1.9_debug
2022-10-11 09:25:30 +00:00
huanxiaoling 57671a5a90 modify the rst files and error in 1.9 2022-10-11 17:25:12 +08:00
i-robot b0bf2a76a9
Add dynamic shape support for batchnorm and batchnormgrad
Merge pull request  from panzhihui/batchnorm
2022-10-11 09:08:37 +00:00
yeyunpeng2020 52e9e6e390 add op specification validation 2022-10-11 16:43:07 +08:00
i-robot 00cc70ef97
fix data sink doc
Merge pull request  from 于振华/code_docs_fix_datasink_doc_1011
2022-10-11 08:37:18 +00:00
Henry 49c0ac72ca tensor dynamic shape method 2022-10-11 16:35:53 +08:00
i-robot 92c348ce58
fix mixed precision error
Merge pull request  from chujinjin/fix_mixed_precision_error
2022-10-11 08:00:51 +00:00
gongdaguo1 b6aaa8f956 fix micro 2022-10-11 15:56:01 +08:00
yuzhenhua 31a0bf4ab2 fix datasink doc 2022-10-11 15:46:50 +08:00
i-robot bb8f6a45a2
warning code clean for branch 1.9
Merge pull request  from 沈竞兴/codeclean_r1.9
2022-10-11 07:36:52 +00:00
gaoyong10 17ad6fb214 Check depend input of monad ops. 2022-10-11 15:16:14 +08:00
i-robot e2c61413ed
Fix issues of crypto.cc
Merge pull request  from jxlang910/r1.9
2022-10-11 03:50:44 +00:00
Bert0108 894d739b1d fix bug 2022-10-11 11:41:18 +08:00
i-robot cbaa676f56
Amp doc debug for r1.9
Merge pull request  from Bert0108/code_docs_amp_r1.9
2022-10-11 03:35:47 +00:00
yide12 b196dd7bcb clean_code_r1.9 2022-10-11 11:32:56 +08:00
chujinjin 0578c624ad fix mixed precision error 2022-10-11 11:20:58 +08:00
Bert0108 c187c2d831 add code dooc for amp 2022-10-11 11:14:45 +08:00
gaoshuanglong c0a06e6e44 code cleanings 2022-10-11 11:09:39 +08:00
Zhu Guodong bf6d33891f [MSLITE] fix lite fuzz issue 2022-10-11 10:45:57 +08:00
huangchengnuo 3af5ba0aa4 clean code 2022-10-11 10:45:02 +08:00
i-robot fe9144edbb
fix combining exception message with same title
Merge pull request  from wangjunbao/r1.9
2022-10-11 02:25:54 +00:00
i-robot 2d7af0e080
fix gather with big shape
Merge pull request  from 范吉斌/fix_gather
2022-10-11 02:21:09 +00:00
i-robot efc0839ef2
Fix Static Check on1.9 pylint
Merge pull request  from jiaoy1224/r1.9code_check
2022-10-11 02:14:05 +00:00
i-robot 234ae8e54c
Clear Alarm
Merge pull request  from 朱家兴/r1.9
2022-10-11 02:06:32 +00:00
i-robot dc00f764c1
Fix Cast Error
Merge pull request  from huangxinjing/fix_amp_error
2022-10-11 02:02:52 +00:00
i-robot 9e20cb0942
fix warnings for r1.9
Merge pull request  from 高攀/fix_warnings_r1.9_1010
2022-10-11 02:02:13 +00:00
i-robot de0d990831
Fix warnings
Merge pull request  from panzhihui/fix_warning_p
2022-10-11 02:00:24 +00:00
i-robot 66b80bd6f1
Fix gradient of BiasAddGrad
Merge pull request  from Yanzhi_YI/biasaddgrad
2022-10-11 01:59:18 +00:00
albert-yan 09ace3e825 fuzz check 2022-10-11 09:54:27 +08:00
i-robot e3861abdf1
modify ssd mobilenet testcase in branch r1.9
Merge pull request  from anzhengqi/modify-ssd-testcase-r1.9
2022-10-11 01:37:44 +00:00
i-robot 39323a8386
fix assign_add/assign_sub ssegfault and some api docs
Merge pull request  from 李林杰/1009_fix_AssignOps_segfault_19
2022-10-11 01:14:49 +00:00
shen_jingxing 0a39781ba7 warning code clean for branch 1.9 2022-10-11 09:11:19 +08:00
i-robot ee8f33c028
Use correct type infer for nllloss
Merge pull request  from panzhihui/nllloss_1.9
2022-10-10 18:43:17 +00:00
fanjibin 4db51463f0 fix gather with big shape 2022-10-10 23:32:19 +08:00
huangxinjing e0e10c25b4 fix amp assign 2022-10-10 23:09:15 +08:00
TronZhang c1afac3792 fix grad of BiasAddGrad 2022-10-10 23:00:35 +08:00
jin-xiulang a45a1bf941 fix issues of encryption. 2022-10-10 21:54:16 +08:00
i-robot f55562e3fe
Use correct type check for atan2
Merge pull request  from panzhihui/atan2_r1.9
2022-10-10 13:21:50 +00:00
i-robot 3a95c3c308
fix data sink doc
Merge pull request  from 于振华/code_docs_fix_datasink_doc
2022-10-10 12:55:30 +00:00
gaopan12 e892639169 fix warnings 2022-10-10 20:53:24 +08:00
yuzhenhua 2959aac513 fix data sink doc 2022-10-10 20:27:16 +08:00
i-robot 748397d755
remove graph out indices check
Merge pull request  from liyan2022/r1.9_codex
2022-10-10 12:17:36 +00:00
hedongdong 587c562784 Correct descriptions of supported platforms for Operators 2022-10-10 20:16:38 +08:00
lilinjie f962c84764 fix assign_add/assign_sub ssegfault and some api docs 2022-10-10 20:07:39 +08:00
panzhihui 9bdec6939c Fix warnings 2022-10-10 20:06:12 +08:00
Yang Jiao 91d46594af clean code 1.9 2022-10-10 20:05:53 +08:00
i-robot ccacf48515
[OP] clean code check for maxpool 3d grad grad
Merge pull request  from yangruoqi713/pool_1.9
2022-10-10 11:36:56 +00:00
i-robot 5525037b98
Fix Static Check on1.9
Merge pull request  from jiaoy1224/r1.9cpp
2022-10-10 11:31:51 +00:00
luoyuan a1074a19ea [MS][LITE][R1.9] fuzz and python api fix 2022-10-10 19:23:25 +08:00
i-robot d79e0e935c
Fix tensor print when using int8 or uint8
Merge pull request  from huangbingjian/fix_print_int8_1.9
2022-10-10 10:57:14 +00:00
anzhengqi dc0b79cf97 modify ssd mobilenet testcase 2022-10-10 18:33:09 +08:00
i-robot f4d4732e42
modify the inconsistence in 1.9 1010
Merge pull request  from 宦晓玲/code_docs_01009
2022-10-10 09:56:10 +00:00
i-robot 52f30b7d38
update approximate_equal
Merge pull request  from panfengfeng/fix_approximate_equal_r1.9
2022-10-10 09:44:29 +00:00
huanxiaoling a9ff6d04f0 modify the inconsistence in 1.9 2022-10-10 17:28:05 +08:00
panzhihui 20bb3b28de Correct nllloss type infer check 2022-10-10 16:46:36 +08:00
wangjunbao d062805633 fix combining exception message with same title 2022-10-10 16:12:29 +08:00
i-robot cefad1d0b4
[MS][LITE][r1.9] fuzz common fp32 fix v2 and v3
Merge pull request  from luoyuan/fuzz-common-fp32-fix-v2-v3-r1.9
2022-10-10 08:05:56 +00:00
i-robot 66aeaebbc2
r1.9静态告警清理
Merge pull request  from zhanzhan/r1.9
2022-10-10 08:00:25 +00:00
i-robot b28f090a38
r1.9版本发布,修复算子和接口应支持的平台
Merge pull request  from 沈竞兴/code_docs_r1.9
2022-10-10 07:45:23 +00:00
i-robot f7b344c06e
[fix] [assistant] fix warning for mul_no_nan_cpu_kernel
Merge pull request  from 喵了个咪呀呀/r1.9
2022-10-10 07:25:37 +00:00
panzhihui 4be6cecec3 Fix atan2 type check 2022-10-10 15:04:42 +08:00
i-robot 67ac13c276
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-10-10 06:25:13 +00:00
i-robot f443ffece1
fix code check
Merge pull request  from wangrao124/fix_1009
2022-10-10 06:25:12 +00:00
i-robot b6a76849da
fix warnings for r1.9
Merge pull request  from 高攀/fix_warnings_r1.9_1009
2022-10-10 06:10:32 +00:00
huodagu a107e953c7 modify format 2022-10-10 11:53:09 +08:00
i-robot f5bd632da4
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-10-10 03:45:49 +00:00
i-robot 498bb11013
delete desc in ops.ExtractVolumePatches
Merge pull request  from luojianing/code_docs_r1.9
2022-10-10 03:25:50 +00:00
jinduo 6d618e8b26 fix warnings 2022-10-10 11:24:09 +08:00
Yang Jiao 6becea02e0 code check 1.9 2022-10-10 11:16:41 +08:00
z30020733 6125187c6f Clear Alarm 2022-10-10 10:50:15 +08:00
i-robot a4b4bc4a18
【1.9】修改reduceinfer 报错信息
Merge pull request  from huoxinyou/1009reduce19
2022-10-10 02:47:26 +00:00
i-robot fb18f91688
fixing staic code warnings
Merge pull request  from 张璇/9_30_zx_clean_r1.9
2022-10-10 02:44:43 +00:00
huodagu 7c3247965e modify format 2022-10-10 10:35:39 +08:00
i-robot 7dca44cce5
fix sparse code check on branch r1.9
Merge pull request  from 杨林枫/1.9_code_clean
2022-10-10 02:28:36 +00:00
panfengfeng d12d2b75ba fix approximate_equal des 2022-10-10 10:21:45 +08:00
luoyuan 204d92f951 [MS][LITE][r1.9] fuzz common fp32 fix v2 and v3 2022-10-10 10:16:35 +08:00
zhanzhan1 f4af40a70e cleancode r1.9 for cpp 1010 2022-10-10 09:59:20 +08:00
i-robot dd6d6f7e06
fix issue I5S8LC
Merge pull request  from tan-wei-cheng-3260/develop-twc-1.9
2022-10-10 01:57:48 +00:00
i-robot 5c331d73fb
fix codedex and pylint
Merge pull request  from zhangbuxue/fix_codedex_r1.9_
2022-10-10 01:54:40 +00:00
i-robot 1a4e7b5b8c
r1.9告警清理
Merge pull request  from zhanzhan/r1.9
2022-10-10 01:49:37 +00:00
i-robot 6ba2b6e40e
[bugfix] SparseGatherV2 compile failed, need to adapt new run package
Merge pull request  from zyli2020/r1.9
2022-10-10 01:48:05 +00:00
i-robot 54e2cdec8c
Change WARNING in reduce-precision to INFO for GPU.
Merge pull request  from TronZhang/change_warning_to_info_reducep_r1.9
2022-10-10 01:34:37 +00:00
i-robot d2aa65e62e
change log level
Merge pull request  from liubuyu/r1.9_mk_bugs
2022-10-10 01:26:59 +00:00
i-robot 2920371940
clean code
Merge pull request  from NaCN/code_check_1.9
2022-10-10 01:22:58 +00:00
i-robot d4cae61b37
clean code check warning
Merge pull request  from zhoufeng/code-clean
2022-10-10 01:11:59 +00:00
i-robot f2c3486208
[fix warnings r1.9]
Merge pull request  from zhudongyao/fix_warning_1p9_2
2022-10-10 01:10:26 +00:00
lizhenyu 70aeba8224 [bugfix] SparseGatherV2 compile failed, need to adapt new run package 2022-10-09 20:42:45 +08:00
lby 90ef5af9b3 change log level 2022-10-09 20:41:44 +08:00
i-robot 8d4befdcac
[MS][OP]fix bug of max_pool_3d type error
Merge pull request  from mengyuanli/sync_r1.9
2022-10-09 12:23:02 +00:00
huangchengnuo ddc60c62d4 clean code 2022-10-09 20:10:47 +08:00
i-robot 1642964e9e
fixing code warnings [众智][重庆大学] to r1.9
Merge pull request  from 李文轼/my_r1.9
2022-10-09 11:43:11 +00:00
i-robot c99540057e
Fix resize behavior for cast when null_input
Merge pull request  from panzhihui/cast_nullinput
2022-10-09 11:28:21 +00:00
i-robot 66e29b3fe1
fix log in batch-to-space
Merge pull request  from hangq/rewrite
2022-10-09 11:10:30 +00:00
i-robot ebc8bd8083
删除未评审的不完善version接口
Merge pull request  from zuochuanyong/r1.9
2022-10-09 11:03:50 +00:00
twc 92681ec874 fix issue I5S8LC 2022-10-09 18:05:49 +08:00
shen_jingxing f42133fe30 r.19版本发布,修复算子和接口应支持的平台 2022-10-09 18:03:02 +08:00
i-robot a43f9d6e24
modify the inconsistence of files in 1.9
Merge pull request  from 宦晓玲/code_docs_01009
2022-10-09 10:01:58 +00:00
buxue 8b3f544850 fix codedex and pylint 2022-10-09 14:12:26 +04:30
albert-yan e2c0a72420 remove graph out indices check 2022-10-09 17:24:18 +08:00
zhanzhan1 2711fe6655 cleancode r1.9 for python and cpp 1009 2022-10-09 17:22:54 +08:00
huanxiaoling f63bcd8cd9 modify the inconsistence of files in 1.9 2022-10-09 17:04:14 +08:00
huangbingjian 2abd2468b8 Fix tensor print when using int8 or uint8 2022-10-09 16:34:04 +08:00
TronZhang 9b1f354640 change warning to info for reduce precision 2022-10-09 16:25:08 +08:00
i-robot 635f485fd7
R1.9静态告警清理
Merge pull request  from zhanzhan/r1.9
2022-10-09 08:16:58 +00:00
gongdaguo1 96fa855144 fix parallel_threadpool 2022-10-09 15:54:50 +08:00
yanglf1121 5ee798398d sparse code check 2022-10-09 15:23:15 +08:00
gaopan12 072d08a995 fix warnings 2022-10-09 14:48:50 +08:00
zx bc33f7a73d zju fixing static code warnings 2022-10-09 14:34:08 +08:00
yangruoqi713 fea83c126f [OP] clean code check for maxpool 3d grad grad 2022-10-09 14:25:26 +08:00
zhudongyao1 87aa79b6fa [clean warning 1.9] 2022-10-09 14:21:07 +08:00
i-robot 44379cd465
Add support dynamic shape for Square, PReLU and CumSum opertors.
Merge pull request  from hezhenhao1/cherry-pick-1664422605
2022-10-09 06:17:13 +00:00
zhoufeng 39fda557fe clean code check warning
Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2022-10-09 14:04:23 +08:00
luojianing 5eb520761c delete desc in ops.ExtractVolumePatches 2022-10-09 12:54:12 +08:00
i-robot 8b62cd3019
reduce max\min int类型反向有问题,暂时下库
Merge pull request  from huoxinyou/0930reducemax
2022-10-09 04:39:25 +00:00
huoxinyou 8279288fd4 fixed reduce error info 2022-10-09 11:37:12 +08:00
i-robot 2b32f1274f
Fix recursion in tuple get item in updatestate.
Merge pull request  from gaoyong10/r1.9
2022-10-09 03:23:07 +00:00
wangrao124 77c18c1958 fix code check 2022-10-09 11:06:01 +08:00
hangangqiang 6c4cd0a7cf fix log 2022-10-09 11:05:00 +08:00
zuochuanyong 64998afaeb remove version() 2022-10-09 10:57:18 +08:00
i-robot 03b2d4f18a
fixing static code warnings
Merge pull request  from 古木/warn-r1.9
2022-10-09 02:33:08 +00:00
i-robot 4bd01667bd
Fix ctclossv2 cpu zero_infinity bug & doc
Merge pull request  from 古木/ctcloss
2022-10-09 02:32:46 +00:00
i-robot 2562e20fb3
modify the inconsistence of file in 1.9
Merge pull request  from 宦晓玲/code_docs_01008
2022-10-09 02:04:13 +00:00
i-robot f892275080
fix warnings for r1.9
Merge pull request  from 高攀/fix_warnings_r1.9_1008
2022-10-09 01:43:07 +00:00
zhanzhan1 f4727bc937 cleancode_r1.9_1008 2022-10-08 21:42:36 +08:00
i-robot 9b6aa07fb2
fix docs bug
Merge pull request  from shenwei41/code_docs_1008_1.9
2022-10-08 11:16:19 +00:00
i-robot 5f5afa2635
fix conv3d
Merge pull request  from KXiong/r1.9
2022-10-08 10:43:25 +00:00
i-robot 1add5a30c0
[OP] fix bug of meshgrid dynamic rank, maxpool 3d grad grad infer
Merge pull request  from yangruoqi713/op
2022-10-08 10:34:09 +00:00
huanxiaoling 6264e85a1d modify the inconsistence of file in 1.9 2022-10-08 18:11:14 +08:00
i-robot 6f32ec3761
sparseAdd反向优化
Merge pull request  from wujueying/r1.9
2022-10-08 10:04:03 +00:00
i-robot 2c1c375456
fix r1.9 branch issues about Squareddifference、KLDivLoss、Mirrorpad
Merge pull request  from 沈竞兴/my_r1.9
2022-10-08 09:59:23 +00:00
Ferry cd85b07022 fixing code static warnings 2022-10-08 16:36:15 +08:00
gaoyong10 5fea34375c Fix recursion in tuple get item in updatestate. 2022-10-08 16:27:46 +08:00
i-robot 7f316ce14f
unify sparse pynative and graph behaviour
Merge pull request  from 杨林枫/fix_sparse_pynative
2022-10-08 07:55:50 +00:00
i-robot cd593eef6a
bug fix
Merge pull request  from liubuyu/r1.9_mk_bugs
2022-10-08 07:55:44 +00:00
shenwei41 1d3048565f Fix doc error 2022-10-08 15:44:01 +08:00
i-robot 7619f5099d
fix docs
Merge pull request  from 李林杰/code_docs_1008_fix_doc_19
2022-10-08 07:12:05 +00:00
i-robot b93b2767cb
[API] data sink for functional program r1.9
Merge pull request  from kingxian/r1.9
2022-10-08 06:45:46 +00:00
gaopan12 a7bd9b497e fix warnings for r1.9 2022-10-08 14:35:51 +08:00
i-robot d981cb870a
[lite]add pass-opt for dynamic-shape model
Merge pull request  from 徐安越/r1.9
2022-10-08 03:54:34 +00:00
i-robot 97bccdacb1
[MS]CropAndResize: fix error-info
Merge pull request  from 徐安越/r1.9_2
2022-10-08 03:07:35 +00:00
i-robot 8bad138e2e
modify the register of applymax
Merge pull request  from zong_shuai/apply_max
2022-10-08 03:01:51 +00:00
lilinjie dd709d1db8 fix docs 2022-10-08 10:32:52 +08:00
i-robot 0ee7391f32
tensorscatterupdate
Merge pull request  from zong_shuai/r1.9_scatter
2022-10-08 01:47:51 +00:00
lby 3a50f1221c bug fix 2022-10-08 09:46:52 +08:00
yangruoqi713 dc8321bd0a [OP] fix bug of meshgrid dynamic rank, maxpool 3d grad grad infer 2022-10-08 09:36:41 +08:00
i-robot 5a5384ec27
Fix DumpTypeVector while elements typeptr is nullptr
Merge pull request  from zjun/fix_value_type_core
2022-10-08 01:34:02 +00:00
jinxiaoxian 909e40a9e1 data sink for functional program 2022-10-08 09:28:47 +08:00
i-robot ab89040461
upgrade Ascend package 27 Sept on 1.9
Merge pull request  from ZPaC/upgrade_ascend_zpc_1.9
2022-10-08 01:20:27 +00:00
liwenshi f23e72e92a fixing code warnings [众智][重庆大学] to r1.9 2022-10-07 22:51:50 +08:00
xuanyue d10c31aa37 add pass-opt for dynamic-shape model 2022-10-07 20:08:58 +08:00
ZPaC 6af611dbf4 upgrade Ascend package 27 Sept on 1.9 2022-10-07 19:23:46 +08:00
xuanyue 4ebd6fde15 CropAndResize: fix error-info 2022-10-07 19:14:12 +08:00
i-robot e51901cf90
[LITE]support where tensorrt op
Merge pull request  from WangWenzhe/r1.9_ops_01
2022-10-07 11:04:17 +00:00
zjun b95b480f26 Fix value typre is null
Signed-off-by: zjun <zhangjun0@huawei.com>
2022-10-07 15:01:55 +08:00
zong_shuai 6bc07a5b58 debug 2022-10-06 17:59:53 +08:00
i-robot a444847442
fixing code warnings [众智][重庆大学] to r1.9
Merge pull request  from 李文轼/my_r1.9
2022-09-30 10:39:30 +00:00
i-robot f2b007d944
modify the inconsistence in 1.9
Merge pull request  from 宦晓玲/code_docs_00930
2022-09-30 10:12:55 +00:00
i-robot a730c0afda
Fix the problem of alarm clearing
Merge pull request  from 刘勇琪/r1.9
2022-09-30 09:55:23 +00:00
i-robot 41adf19464
fix the bug of nopnode with valuenode input
Merge pull request  from limingqi107/r1.9
2022-09-30 09:50:27 +00:00
i-robot 34dde63017
fix roialign cpu kernel bug and broaden the input shape restriction fr…
Merge pull request  from zhengzuohe/roialigngrad_19
2022-09-30 09:43:37 +00:00
huanxiaoling dcb1179e06 modify the inconsistence in 1.9 2022-09-30 17:37:07 +08:00
hezhenhao1 9276860d6a fixed 5db31ed from https://gitee.com/hezhenhao1/mindspore/pulls/43198
Add support dynamic shape for Square, PReLU and CumSum opertors.
2022-09-30 17:20:42 +08:00
i-robot 8b7211ffe2
specify shape check exception as ValueError
Merge pull request  from zhengzuohe/valuerror
2022-09-30 09:16:01 +00:00
i-robot 3627ae2fc1
CleanCode_r.19
Merge pull request  from zhanzhan/cherry-pick-1664509772
2022-09-30 09:06:10 +00:00
i-robot f982efb7a7
fix some doc related issues for branch r1.9
Merge pull request  from 李林杰/code_docs_0927_fix_doc_related_issues_19
2022-09-30 08:59:35 +00:00
huoxinyou bc922f3a9f reduce max min bprop don't support int 2022-09-30 16:55:49 +08:00
i-robot 82918b202c
update the images in 1.9
Merge pull request  from 宦晓玲/code_docs_00930
2022-09-30 08:51:42 +00:00
i-robot d59c24c6d5
fixing warnings
Merge pull request  from 董雪堂/fix_warning2_r1.9
2022-09-30 08:00:02 +00:00
mengyuanli a763929d37 fix error type when inferhshape 2022-09-30 15:57:40 +08:00
i-robot 9823b73713
fix a bug of stridedslice op on gpu
Merge pull request  from hanhuifeng/stride_slice_gpu_r1.9
2022-09-30 07:29:33 +00:00
limingqi107 5e9f260c5a fix the bug of nopnode with valuenode input 2022-09-30 15:07:41 +08:00
huanxiaoling 213ab64305 update the images in 1.9 2022-09-30 14:51:09 +08:00
i-robot 1e21aa708f
[MS][OP]fix bug of random
Merge pull request  from mengyuanli/sync_r1.9_2
2022-09-30 06:36:12 +00:00
lilinjie 4d84ba0dbe fix some doc related issues for branch r1.9 2022-09-30 14:06:37 +08:00
yanglf1121 c7f1ba9bff support pynative with sparse return 2022-09-30 12:57:49 +08:00
panzhihui fbb25b6bac Fix resize behavior for cast when null_input 2022-09-30 12:54:24 +08:00
i-robot e470a7224e
fix code warnings for r1.9
Merge pull request  from 郑鹏飞/fix_v2
2022-09-30 04:03:58 +00:00
zhanzhan1 599ca53324 fixed 30583f4 from https://gitee.com/zhanzhan1/mindspore/pulls/43261
clean_code

remove
2022-09-30 03:49:35 +00:00
i-robot 275499591a
Use correct type check for atan2
Merge pull request  from panzhihui/atan2_typecheck_1.9
2022-09-30 03:27:09 +00:00
i-robot 16d7a674ba
use data_queue_mgr to manage the wingman queue
Merge pull request  from wYann/data_queue_1.9
2022-09-30 03:13:51 +00:00
wangwenzhe_oo 74e3de3cb1 support where tensorrt op 2022-09-30 11:04:33 +08:00
mengyuanli dbc4f749ce fix bug of seed is negative 2022-09-30 10:42:50 +08:00
i-robot 4f16985b82
fix pclint and fix issue I5T4FB
Merge pull request  from tan-wei-cheng-3260/develop-twc-1.9
2022-09-30 02:31:58 +00:00
i-robot 4a6fbbd47d
fix code check
Merge pull request  from wangrao124/fix_code_check_r1.9
2022-09-30 02:08:29 +00:00
i-robot 972833115b
clean code python in r1.9
Merge pull request  from jiangzhenguang/clean_code_python_r1.9
2022-09-30 01:57:20 +00:00
i-robot 5f35ace617
【AMP】混合精度1.9优化回退
Merge pull request  from kingxian/revert-merge-42701-r1.9
2022-09-30 01:19:47 +00:00
i-robot fbdbb8d5cc
fix bug in batch_to_space and ctcloss_gpu_kernel & codex
Merge pull request  from hangq/r1.9
2022-09-30 01:15:26 +00:00
zong_shuai 06d89c7283 debug 2022-09-30 09:07:02 +08:00
i-robot 38ca23befb
Clean code.
Merge pull request  from gaoyong10/r1.9
2022-09-30 00:07:25 +00:00
i-robot d4394c219b
[MS][SciPy][LBFGS] Code structure reconstruction
Merge pull request  from zhaiyukun/r1.9_lbfgs
2022-09-29 22:33:53 +00:00
i-robot 65b9eea27b
fixing static code warnings to r1.9
Merge pull request  from 黎冠新/r1.9
2022-09-29 19:30:59 +00:00
董雪堂 0def585aa2 the second fix warnings 2022-09-29 22:09:38 +08:00
hanhuifeng2020 9654c830d9 fix a bug of stridedslice op on gpu 2022-09-29 21:57:59 +08:00
i-robot 52335cf647
fix_bug_r19
Merge pull request  from Maeyon-Z/fix_bug_19
2022-09-29 13:29:59 +00:00
i-robot 0e5728a3ac
fixing static code warnings for r1.9
Merge pull request  from 梁天凯/clean_code_1.9
2022-09-29 13:28:03 +00:00
liwenshi 32b243ff67 fixing code warnings [众智][重庆大学] to r1.9 2022-09-29 21:00:57 +08:00
panzhihui 816e045d86 Add dynamic shape support for BatchNorm 2022-09-29 20:18:24 +08:00
i-robot c622595f41
Remove unnecessary type check for NLLLoss
Merge pull request  from panzhihui/nllloss_type_check_1.9
2022-09-29 12:13:34 +00:00
wYann 5d7bdc5698 use data queue manager to manage wingman 2022-09-29 19:48:48 +08:00
i-robot d4f4023a03
[MS][LITE][r1.9] fix code 0921
Merge pull request  from luoyuan/fix-code-0921-r1.9
2022-09-29 11:29:10 +00:00
i-robot 83a5a02681
fix ms_funciton bug
Merge pull request  from luochao60/modify_ms_function_bug_r1.9_20220927
2022-09-29 11:24:10 +00:00
i-robot 53bb595232
Fix ms_funciton control flow bug
Merge pull request  from luochao60/fix_ms_funtion_control_flow_tensor_address_error_r1.9_20220927
2022-09-29 10:58:43 +00:00
i-robot c1abb830d1
[武汉理工大学] second code clean for r1.9
Merge pull request  from 王超/r1.9
2022-09-29 10:01:38 +00:00
i-robot 2f871b0a8c
fix CSRSparseMatrixToDense infer in dynamic rank
Merge pull request  from wangrao124/r1.9
2022-09-29 09:48:40 +00:00
xiongkun 2fc216b678 add padlist check
tick

tick

tick

tick

remote &
2022-09-29 16:57:20 +08:00
i-robot 36ace9fb66
[MS]fix error-info of CropAndResize and code clean
Merge pull request  from 徐安越/r1.9_2
2022-09-29 08:48:44 +00:00
twc 530f5fc43b fix pclint and fix issue I5T4FB 2022-09-29 16:22:16 +08:00
i-robot 4bebbb2c3d
[lite]java support create tenor from Array
Merge pull request  from 徐安越/r1.9
2022-09-29 08:13:00 +00:00
i-robot f62f838a5f
fix 310.tar.gz undefined symbols
Merge pull request  from zhoufeng/xiu-ba-ge
2022-09-29 08:05:39 +00:00
hangangqiang c8011d412d fix bug in batch_to_space and ctcloss_gpu_kernel & codex 2022-09-29 16:03:46 +08:00
i-robot f126f90e15
【1.9】修改reduce infer报错类型
Merge pull request  from huoxinyou/0923reduceinfo19
2022-09-29 07:48:40 +00:00
kingxian de67e6b1ed
回退 'Pull Request : Add O1 level amp feature for MindSpore r1.9 branch' 2022-09-29 07:40:27 +00:00
i-robot 772eb111b6
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-09-29 07:25:44 +00:00
ConnZhai 232c92ddfe [MS][SciPy][LBFGS] Code structure reconstruction 2022-09-29 15:18:06 +08:00
panzhihui 359b651bf3 Use correct type check for atan2 2022-09-29 14:47:24 +08:00
i-robot 5d2a630fec
code clean and fix bugs for conv3d grad gpu
Merge pull request  from xupan/conv3d_grad_gpu_1.9
2022-09-29 06:43:46 +00:00
i-robot de8437891b
fixing static code warnings for r1.9
Merge pull request  from 徐强/code_clean_r1.9
2022-09-29 06:28:14 +00:00
i-robot 8162469a7c
clean code for r1.9
Merge pull request  from 卢津/clean_code_r1.9
2022-09-29 06:26:47 +00:00
i-robot 0f5dbc3727
fixing static code warnings
Merge pull request  from 孟权令/clean_code_r1.9
2022-09-29 06:25:10 +00:00
i-robot 5ff1768bf7
fixing static code warnings
Merge pull request  from 张渝/code_clean_r1.9
2022-09-29 06:05:15 +00:00
shen_jingxing 03baa135c9 fix r1.9 branch issues about Squareddifference、KLDivLoss、Mirrorpad 2022-09-29 12:18:15 +08:00
zhengzuohe ed80e34a2b specify shape check exception as ValueError 2022-09-29 11:55:51 +08:00
i-robot c2a3d6c24b
[MD] Update docs of transforms
Merge pull request  from xiaotianci/code_docs_transforms_1.9
2022-09-29 03:48:41 +00:00
huodagu 070ba6fd70 rename functional to function 2022-09-29 11:18:24 +08:00
i-robot 8b4b151232
add dynamic shape st of ApplyGradientDescent, DepthToSpace, ApplyMomentum, Multinomial r1.9
Merge pull request  from wtcheng/r1.9
2022-09-29 02:50:37 +00:00
i-robot ef39ee31c2
Add missing input check for embeddinglookup
Merge pull request  from panzhihui/emb
2022-09-29 02:43:02 +00:00
i-robot d80b416d5d
set inputs bugfix 1.9
Merge pull request  from Henry Shi/set_inputs_bugfix
2022-09-29 02:40:56 +00:00
i-robot 0c34d1c01d
fix init order of global var "OpAdaptationInfoRegister::op_info_map_"
Merge pull request  from zhoufeng/xiu-ba-ge-4
2022-09-29 02:02:02 +00:00
i-robot 47c79ab180
Fix static check of duplicate code
Merge pull request  from zhangzhaoju/r1.9_static
2022-09-29 02:01:28 +00:00
zhoufeng 52f075f599 fix 310.tar.gz undefined symbols
Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2022-09-29 09:46:34 +08:00
i-robot 580169aa1c
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-09-29 01:38:57 +00:00
i-robot 3a6a0c5562
[MS][LITE][r1.9] fuzz common fp32 fix
Merge pull request  from luoyuan/fuzz-common-fp32-fix-r1.9
2022-09-29 01:34:14 +00:00
i-robot 3cf90b76c8
[LITE] Fix convolution tensorrt op bug
Merge pull request  from WangWenzhe/r1.9_conv_fix
2022-09-29 01:22:48 +00:00
i-robot e03ca45fba
[LITE] Fix bug for output format
Merge pull request  from WangWenzhe/r1.9_output_format
2022-09-29 01:13:13 +00:00
i-robot a511a21d6c
[MS][BUG]fix bug of UCS
Merge pull request  from mengyuanli/sync_r1.9
2022-09-29 01:12:18 +00:00
i-robot bb87ede423
fix dynamic rank infer bug in vmap
Merge pull request  from Erpim/r1.9
2022-09-29 00:56:56 +00:00
i-robot bb47d62c6d
add pynative mode check for context mempool_block_size
Merge pull request  from laiyongqiang/revert_poolsize
2022-09-28 23:03:28 +00:00
i-robot d45d1a5e83
fix doc of norepeatngram
Merge pull request  from bichaoyang/r1.9_doc
2022-09-28 16:24:28 +00:00
wangwenzhe 79e2eeab40 fix tensorrt conv bug 2022-09-28 22:31:11 +08:00
wujueying a2b30c46ea sparseAdd反向优化 2022-09-28 19:23:37 +08:00
Xiao Tianci b2fd34789d update usage of transforms 2022-09-28 19:23:10 +08:00
i-robot 7449b8a3f8
remove median doc
Merge pull request  from liuchao/code_docs_median
2022-09-28 10:53:19 +00:00
i-robot d174610659
fix moe issue
Merge pull request  from bichaoyang/r1.9
2022-09-28 10:47:04 +00:00
i-robot d5ab6f23f4
Fixed the problem of mutiple compilation
Merge pull request  from wanghenchang/tbe_compile
2022-09-28 10:39:55 +00:00
i-robot 17968a4ec8
Fix Reduce CSE Bug
Merge pull request  from jiaoy1224/r1.9
2022-09-28 10:30:53 +00:00
i-robot 59f9ff5b3b
Fix the API Cpu ERROR
Merge pull request  from huangxinjing/add_aicpu_for_deformable_offsets_r19
2022-09-28 09:56:57 +00:00
i-robot a896da28e6
fixing warnings
Merge pull request  from 董雪堂/fix_warnings2_r1.9
2022-09-28 09:42:28 +00:00
bichaoyang f705208b49 fix issue of insert mirror; optimaze sharding propagation 2022-09-28 17:39:52 +08:00
i-robot 80b3865224
Move get id to primitive adapter to solve memory leak problem
Merge pull request  from luochao60/feat_fix_r1.9_random_op_memory_leak_problem_20220927
2022-09-28 09:26:53 +00:00
i-robot df26abf89d
fix warning for ps_roi_pooling_v2_cpu_kernel.cc
Merge pull request  from liyuxia/r1.9
2022-09-28 09:16:22 +00:00
i-robot dd6901abf4
norepeatngram dynamic rank
Merge pull request  from bichaoyang/r1.9_1
2022-09-28 09:12:33 +00:00
i-robot 64f04c8fc3
Add dynamic_shape flag in NLLLossGrad Registeration file.
Merge pull request  from TronZhang/nllloss_grad_dynamic_build_r1.9
2022-09-28 09:03:07 +00:00
i-robot 6e7f2aa32a
python clean code
Merge pull request  from chujinjin/fix_python_clean_code
2022-09-28 09:02:55 +00:00
i-robot da4578f1b6
[lite]add check before running
Merge pull request  from 徐安越/r1.9_1
2022-09-28 08:58:57 +00:00
i-robot c9a246a594
修复转换工具中的ReshapeTrans融合bug
Merge pull request  from fatmouse007/for_issue_r1.9
2022-09-28 08:50:00 +00:00
i-robot 62a922c3d5
liangxiubo fixing static code warnings
Merge pull request  from 张璇/liangxiubo_clean_code_r1.9
2022-09-28 08:41:52 +00:00
i-robot 0be31fa70d
takedown testcases that are almost never failing as to save time on gate, for r1.9
Merge pull request  from yanghaoran/r1.9
2022-09-28 08:33:01 +00:00
Corleone 7bffc64c07 remove median doc 2022-09-28 16:26:14 +08:00
i-robot a24753a0d6
fix example of squeeze func api
Merge pull request  from zhujingxuan/code_docs_r1.9
2022-09-28 08:10:35 +00:00
i-robot 310b9cce61
[r1.9]OpExecutor catch KeyboardInterrupt signal
Merge pull request  from caifubi/r1.9-pynative-keyboard-interrupt
2022-09-28 07:52:54 +00:00
zhengzuohe 473f182530 fix roialign cpu kernel bug and broaden the input shape restriction from ==4d to <= 4d 2022-09-28 15:32:42 +08:00
gaoyong10 e2c49ca24d clean code. 2022-09-28 15:29:39 +08:00
xuqiang 2560f79955 fix code clean for r1.9 2022-09-28 15:15:09 +08:00
wangrao124 5332413388 fix code check 2022-09-28 15:14:23 +08:00
huodagu bd01b07705 modify format 928 2022-09-28 14:58:27 +08:00
zhujingxuan 47c76ae390 fix example of squeeze func api 2022-09-28 14:52:06 +08:00
luochao 40e1d9e0be fix ms_function bug 2022-09-28 14:41:25 +08:00
luochao 1d38838879 fix_ms_function_control_flow_tensor_bug 2022-09-28 14:35:01 +08:00
i-robot c585f14b62
Fix dynamic graph structure bug for PyNative
Merge pull request  from zjun/fix_bug_0926
2022-09-28 06:22:06 +00:00
huoxinyou fd55f299b0 fixed reduce infer error info 2022-09-28 14:20:42 +08:00
i-robot 45ccd77e2d
Add parameter value interface description.
Merge pull request  from Margaret_wangrui/code_docs_value_r1.9
2022-09-28 06:15:01 +00:00
i-robot 994afd9f9a
[bugfix] The output of GPU ScatterUpdate is empty on old runtime
Merge pull request  from zyli2020/r1.9
2022-09-28 06:11:49 +00:00
luoyuan 211ebb35d1 [MS][LITE][r1.9] fuzz common fp32 fix 2022-09-28 13:57:25 +08:00
xuanyue ed0398528e fix error-info of CropAndResize and code clean 2022-09-28 11:25:33 +08:00
bichaoyang 64f5a4762f fix doc 2022-09-28 11:24:39 +08:00
i-robot 4f687d63b3
[MS][OP]sync master code
Merge pull request  from mengyuanli/sync_r1.9_1
2022-09-28 03:16:29 +00:00
zhengpengfei 9535334b52 fix warnings for r1.9 2022-09-28 11:13:37 +08:00
xuanyue aeae313118 model-pool introduces a free-delay mechanism in java and add check before running 2022-09-28 10:40:17 +08:00
i-robot d2e9dcbb14
solve the bug of inputy is a scalar core dump
Merge pull request  from zong_shuai/debug_suqared_diff_1.9
2022-09-28 02:39:09 +00:00
xuanyue 8055113f42 java support create tenor from Array 2022-09-28 10:33:21 +08:00
jiangzhenguang e0c5191028 clean code python 2022-09-28 10:27:30 +08:00
yangfn777 a0cb40042b fix code check warnings 2022-09-28 10:21:08 +08:00
liyuxia 549419ead7 fix warning for ps_roi_pooling_v2_cpu_kernel.cc 2022-09-28 10:21:03 +08:00
Erpim 2734b1103a fix dynamic rank infer bug in vmap 2022-09-28 10:11:47 +08:00
Zhu Guodong 78cd3bbfe2 [MSLITE] fix reshape-trans fusion bug in converter_lite
Don't fuse Tran1-Reshape1-Tran2 strcuture to Reshape1' when in_fixed_pos or out_fixed_pos is empty.
2022-09-28 10:05:43 +08:00
LaiYongqiang ab2756a3ff add pynative mode check for context mempool_block_size 2022-09-28 10:00:01 +08:00
i-robot dde9c49e3e
告警清理0926
Merge pull request  from gaoshuanglong/clean_code_0926
2022-09-28 01:56:48 +00:00
wangchangheng f7f931d761 Fixed the problem of mutiple compilation. 2022-09-28 09:55:24 +08:00
i-robot 5084f35b4d
fix bug for ps_roi_pooling_v2_cpu_kernel.cc
Merge pull request  from liyuxia/r1.9
2022-09-28 01:45:17 +00:00
i-robot d8fe6a2489
【1.9】修复切片索引为tensor类型的bug
Merge pull request  from huoxinyou/0926tensorslice19
2022-09-28 01:44:36 +00:00
i-robot 5436a0f92b
code_docs_fix_parallel_api_r1.9
Merge pull request  from lichen/code_docs_fix_parallel_api
2022-09-28 01:36:21 +00:00
Sawyer c63d9fa825 fix code warnings 2022-09-28 09:29:24 +08:00
zhangzhaoju f06a021cdc Fix static check of duplicate code
Fix I5SYFT: maxpoolwithargmax accuracy is wrong
2022-09-28 09:21:59 +08:00
i-robot 4a9ab995d8
[r1.9]Bugfix for dynamic shape cache
Merge pull request  from caifubi/r1.9-pynative-dynamic-shape-bugfix
2022-09-27 17:47:02 +00:00
yanghaoran ec4e1e72b6 takedown testcases that are almost never failing as to save time on gate 2022-09-27 22:36:45 +08:00
i-robot 557a5f74e3
[Auto_monad] Insert load handling for different cases of sequence parameters.
Merge pull request  from Margaret_wangrui/r1.9
2022-09-27 14:29:03 +00:00
huangxinjing e21a6917f4 Fix aicpu error
Fix deformable warning
2022-09-27 21:40:46 +08:00
mengyuanli a8e656db72 fix bug of UCS 2022-09-27 21:23:23 +08:00
xupan 02d95e82a3 code clean and fix bugs for conv3d grad gpu 2022-09-27 21:22:52 +08:00
i-robot cc9b370610
[r1.9]Bugfix for InsertCast pass
Merge pull request  from caifubi/r1.9-pynative-insert-cast
2022-09-27 13:12:16 +00:00
Henry 058a34e50b set inputs bugfix 2022-09-27 21:02:05 +08:00
i-robot ad79e432e0
Revert modify in Pynative grad 1.9
Merge pull request  from huangbingjian/revert_pynative_grad_1.9
2022-09-27 12:36:03 +00:00
bichaoyang c0a511a143 norepeatngram dynamic rank 2022-09-27 20:23:53 +08:00
panzhihui edc1cb0bc4 Fix incorrect type check for embeddinglookup 2022-09-27 20:17:29 +08:00
i-robot fd21e564bc
[r1.9] fix test_ascend_cell_dump for probabilistic fail
Merge pull request  from huanghui/r1.9-fix-ci
2022-09-27 12:13:52 +00:00
i-robot b2f3e13f4c
clean code warning
Merge pull request  from 王程浩/r1.9
2022-09-27 11:37:35 +00:00
i-robot 1a8a02e00e
[OPS] clean code alarm for ops of bessel y0 and y1 for r1.9
Merge pull request  from maoyaomin/mym_bessel_y_clean_r1.9
2022-09-27 11:22:39 +00:00
Margaret_wangrui a842cdc6fe Add parameter value interface description. 2022-09-27 19:08:41 +08:00
i-robot e20e0a4234
fix warnings
Merge pull request  from hanhuiyu1996/r1.9
2022-09-27 09:40:55 +00:00
i-robot e2c8cf69a9
slice bugfix 1.9
Merge pull request  from Henry Shi/slice_bugfix
2022-09-27 09:40:27 +00:00
i-robot a2c4c8b963
[MD][r1.9] Serialize Python UDFs - log a warning
Merge pull request  from cathwong/ckw_r1.9_serdes_pyfunc_warn
2022-09-27 09:29:59 +00:00
i-robot 80dab8fbbb
shield some api doc in r1.9
Merge pull request  from panfengfeng/code_docs_shield_api_doc_1.9
2022-09-27 09:18:55 +00:00
i-robot d92f9106a2
clear alarms for pdist
Merge pull request  from hemaohua/r1.9
2022-09-27 09:16:09 +00:00
王超 bd5e2f37fb whut code clean 2022-09-27 17:14:40 +08:00
lichen 9b009c082d code_docs_fix_parallel_api 2022-09-27 17:13:23 +08:00
i-robot 5f12788a6e
Set cb in tcp comm
Merge pull request  from ZPaC/1.9-set-cb
2022-09-27 09:02:56 +00:00
i-robot 813c8b8b6f
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-09-27 08:47:15 +00:00
liu-yongqi-63 24931fc038 Fix the problem of Im2Col operator and alarm clearing 2022-09-27 16:42:42 +08:00
Margaret_wangrui 1f108156ce [Auto_monad] Insert load handling for different cases of sequence parameters. 2022-09-27 16:26:55 +08:00
chujinjin c0bc784af5 fix python clean code 2022-09-27 16:13:54 +08:00
bubtltk 3ea4cfcc7a clean_code_r1.9 2022-09-27 16:10:38 +08:00
i-robot 20f2976d9c
fix code check warnings
Merge pull request  from wenkai/wkr1.5v3
2022-09-27 08:09:23 +00:00
panfengfeng a510c817ad shield api doc r1.9 2022-09-27 16:05:39 +08:00
i-robot 3b8eb6d4fa
Link control arrow for first input of updatestate.
Merge pull request  from gaoyong10/r1.9
2022-09-27 07:54:44 +00:00
huodagu 567238a544 modify format 927 2022-09-27 15:25:17 +08:00
zhoufeng c4d0937a80 fix init order of global var "OpAdaptationInfoRegister::op_info_map_" 2022-09-27 15:14:09 +08:00
i-robot d4c09b853d
clean codex
Merge pull request  from caifubi/r1.9-clean-codex
2022-09-27 07:14:01 +00:00
hanhuiyu1996 8ed8950070 fix warnings 2022-09-27 15:05:17 +08:00
zjun 78cbd04cbe Fix bug
Signed-off-by: zjun <zhangjun0@huawei.com>
2022-09-27 15:05:09 +08:00
caifubi c713c93ca6 Pynative OpExecutor catch KeyboardInterrupt signal 2022-09-27 14:56:51 +08:00
caifubi 221f78672e Bugfix for InsertCast pass 2022-09-27 14:29:47 +08:00
cheng-hao-wang a52750b5b2 clean code warning 2022-09-27 14:27:37 +08:00
WangWenZhong 1a4c893be5 fix static warnings 2022-09-27 14:27:24 +08:00
i-robot 027ff8174e
[MS][LITE][r1.9] fuzz fix 0921
Merge pull request  from luoyuan/fuzz-fix-0921-r1.9
2022-09-27 06:17:32 +00:00
hemaohua 1b1c5dde73 clear alarms 2022-09-27 14:14:48 +08:00
i-robot 809d02acd4
Fixed wrong need_grad_flags in pass.
Merge pull request  from wanghenchang/pynative-ref-r19
2022-09-27 06:10:35 +00:00
i-robot e5ad910322
fix warnings for r1.9
Merge pull request  from 高攀/fix_warnings_r1.9_0924
2022-09-27 06:08:38 +00:00
i-robot 00b2ee0316
[MS][LITE]Codex
Merge pull request  from gongdaguo1/r19_codex_s
2022-09-27 06:00:33 +00:00
liyuxia 98fa34817e fix bug for ps_roi_pooling_v2_cpu_kernel.cc 2022-09-27 12:46:04 +08:00
panzhihui 351841d783 Correct nllloss type check 2022-09-27 11:47:31 +08:00
huoxinyou 553b8491a1 fixed tensor slice bug 2022-09-27 11:41:06 +08:00
i-robot ee41eb8060
Fixed the issue that the SyncBatchNorm single-operator use case failed to execute
Merge pull request  from 刘勇琪/r1.9-sync
2022-09-27 03:38:58 +00:00
wangrao124 9cfca09e14 fix CSRSparseMatrixToDense infer in dynamic rank 2022-09-27 11:32:38 +08:00
i-robot 22c5ee79a2
[MS][LITE][r1.9] fuzz fix 0923
Merge pull request  from luoyuan/fuzz-fix-0923-r1.9
2022-09-27 03:32:01 +00:00
i-robot 6735561cb1
clean warning for conv3d grad C infer
Merge pull request  from xupan/conv3d_infer_1.9
2022-09-27 03:24:06 +00:00
i-robot 159748dc94
Fix unique_with_pad docs
Merge pull request  from gongdaguo1/fix_uniqe_wwww
2022-09-27 03:16:20 +00:00
zx 4576ed8274 liangxiubo fixing static code warnings 2022-09-27 11:12:07 +08:00
Cathy Wong 361cfbd1d4 [MD] Serialize Python UDFs - log a warning 2022-09-26 22:51:26 -04:00
董雪堂 f2785e8049 the second fix warnings 2022-09-27 10:47:29 +08:00
TronZhang 5a4d79568e add dynamic_shape flag in op register 2022-09-27 10:43:27 +08:00
i-robot 7a30a23420
clean code
Merge pull request  from 于振华/clean_code_r1.9_0924
2022-09-27 02:26:33 +00:00
i-robot 6e26f38282
clean code
Merge pull request  from 于振华/clean_code_r1.9_0922
2022-09-27 02:25:19 +00:00
lizhenyu 9a330bd764 [bugfix] The output of GPU ScatterUpdate is empty on old runtime 2022-09-27 10:17:56 +08:00
i-robot a1864d9c22
turn off static check for constexpr
Merge pull request  from 吕昱峰(Nate.River)/r1.9
2022-09-27 02:10:33 +00:00
luochao 95161c70f1 move get id to primitive adapter to solve memory leak problem 2022-09-27 10:08:11 +08:00
i-robot 0385abbfb0
modify links branch from master to r1.9
Merge pull request  from lvmingfu/code_docs_r1.9999
2022-09-27 01:55:36 +00:00
i-robot ac0f45e07d
Add onecard mark for some st cases
Merge pull request  from wYann/grad_fix_1.9
2022-09-27 01:49:42 +00:00
i-robot 22fab6cfcb
[MS][OP]clean code
Merge pull request  from mengyuanli/sync_r1.9_clean_code
2022-09-27 01:45:37 +00:00
i-robot a17e3c204b
[MS][SYNC]sync bugfix of master
Merge pull request  from mengyuanli/sync_r1.9
2022-09-27 01:35:13 +00:00
i-robot 2a31ca35ae
fix cnode ptr is null in EOS mode
Merge pull request  from laiyongqiang/r19_cnode_nullptr
2022-09-27 01:31:43 +00:00
i-robot d2a40d7bf8
fix Image, log_matrix_determinant, lp_norm kernel bugs
Merge pull request  from zhuzhongrui/r1.9
2022-09-27 01:10:27 +00:00
caifubi 45a44a341a Fix dynamic shape cache bug 2022-09-27 09:10:26 +08:00
i-robot 4b8b0a982e
Fix clean code warning
Merge pull request  from 胡彬/clean-code-1.9
2022-09-26 21:03:05 +00:00
wenkai_dist 92c9b3a1b4 fix code check warnings 2022-09-26 23:27:19 +08:00
w00517672 ae014226d3 add dynamic shape st of ApplyGradientDescent, DepthToSpace, ApplyMomentum, Multinomial r1.9 2022-09-26 21:40:26 +08:00
gaoyong10 612c79b727 Link control arrow for first input of updatestate. 2022-09-26 21:09:10 +08:00
mengyuanli 23a26e4f64 clean code 2022-09-26 20:58:32 +08:00
i-robot 6e6983dbd5
[LITE]static warning clean
Merge pull request  from WangWenzhe/r1.9_code_clean
2022-09-26 12:35:29 +00:00
Henry ab6ef97a7c slice bugfix 1.9 2022-09-26 20:33:50 +08:00
huanghui fb7ef6ed77 fix test_ascend_cell_dump for probabilistic fail 2022-09-26 20:28:15 +08:00
maoyaomin a762b2b65a fix ops code alarm for bessel y0 and y1 2022-09-26 20:19:38 +08:00
ZPaC 9ef032bc45 Set cb in tcp comm 2022-09-26 19:42:25 +08:00
LaiYongqiang 0995d2da62 fix cnode nullptr in eos mode 2022-09-26 19:36:56 +08:00
latrawy c4faefa08d fixing static code warnings 2022-09-26 19:10:22 +08:00
i-robot 685276d722
Add DeformablleOffsets For r1.9
Merge pull request  from huangxinjing/add_aicpu_for_deformable_offsets_r19
2022-09-26 10:03:53 +00:00
i-robot 9923ba639c
fix warnings for r1.9
Merge pull request  from 王喜诺/wjz
2022-09-26 10:02:37 +00:00
gaoshuanglong 665371e110 Code Cleanings 0926 2022-09-26 17:48:11 +08:00
gaopan12 1c118789e9 fix warnings for r1.9 2022-09-26 16:46:46 +08:00
zong_shuai d2773f9354 debug 2022-09-26 16:13:03 +08:00
wYann e1139c6615 add onecard mark for some test cases 2022-09-26 16:07:31 +08:00
i-robot a81de2fc09
add neighborexchange/alltoall docs
Merge pull request  from zhoufeng/code_docs_neighborexchange_r1.9
2022-09-26 07:39:40 +00:00
i-robot f1ae551270
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-09-26 07:16:59 +00:00
caifubi 737e89c032 r1.9 clean codex 2022-09-26 15:03:58 +08:00
zhoufeng 86e59ae73e add alltoall docs
Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2022-09-26 15:00:26 +08:00
huodagu 32324a8f28 modify format 2022-09-26 14:48:31 +08:00
mengyuanli d1804f269d 1.add avgpool dynamic shape support & testcases
2.add max_pool_3d dynamic shape support & testcases

add logical_not_gpu
2022-09-26 14:10:38 +08:00
lvyufeng 8f15e02d06 turn off static check for constexpr 2022-09-26 12:04:05 +08:00
gongdaguo1 749223671e fix unique_with_pad docs 2022-09-26 11:27:58 +08:00
gongdaguo1 b08aca37a7 codex 2022-09-26 10:35:26 +08:00
吴俊泽 5f297d8130 fix warnings for r1.9 2022-09-26 10:23:16 +08:00
zy 5831fb7313 fixing static code warnings 2022-09-26 10:22:23 +08:00
zhuzhongrui 25636ae069 fix Image, log_matrix_determinant, lp_norm kernel bugs 2022-09-26 10:18:58 +08:00
i-robot 779278dbbf
modify the files on webpage in 1.9
Merge pull request  from 宦晓玲/code_docs_00924
2022-09-26 02:13:20 +00:00
xupan b7c7f101e6 clean code for conv3d grad C infer 2022-09-26 10:04:29 +08:00
huanxiaoling 1179c4b597 modify the files on webpage in 1.9 2022-09-26 09:48:49 +08:00
yuzhenhua f7d4edf34b clean code 2022-09-26 09:21:40 +08:00
i-robot 89edef6966
Fix bug lrb_grad operation test case failed, add dynamic test case and alter test level 1 to 0 && Handing warning
Merge pull request  from happy徐/r1.9
2022-09-26 01:17:59 +00:00
i-robot 8626a46aeb
fix code check warnings
Merge pull request  from wenkai/wk1.9
2022-09-26 00:58:28 +00:00
huangxinjing 8d86e85a83 Add aicpu for deformable
Add DeformableOffsetsGrad Operator
Fix compile error
Fix the compile error
update
2022-09-25 22:25:53 +08:00
wangchangheng 3da3e1b53b Fixed need_grad_flags is wrong. 2022-09-25 16:08:21 +08:00
wangwenzhe c67debb8e9 Fix bug for output format 2022-09-25 14:05:31 +08:00
wangwenzhe 4c5fadaea9 static warning clean 2022-09-25 12:40:06 +08:00
i-robot 7844ec69f2
clean code for 1.9 0924
Merge pull request  from changzherui/clean_code_1.9_0924
2022-09-24 22:08:15 +00:00
i-robot f10b7e2650
Bugfix for kldiv
Merge pull request  from zhuyuxiao/r1.9_I5P2IA
2022-09-24 19:55:55 +00:00
i-robot dad4e2e27a
r1.9 Static code check warning clean
Merge pull request  from chenfei_mindspore/r1.9-code-clean
2022-09-24 18:15:28 +00:00
i-robot 3347c10e69
fix code check in r1.9
Merge pull request  from hezhenhao1/cherry-pick-1663916036
2022-09-24 14:17:25 +00:00
i-robot 76205811d4
Clear Alarm
Merge pull request  from 朱家兴/r1.9
2022-09-24 14:11:27 +00:00
happylittleqiang e6ccb86129 1.deal the warning: when an array is used as a function argument,its length should be passed into the function
2.bug bug lrb_grad operation test case failed, add dynamic test case and alter test level 1 to 0
2022-09-24 21:30:13 +08:00
i-robot f60fdf516c
codex
Merge pull request  from KXiong/r1.9
2022-09-24 10:45:15 +00:00
i-robot d47b047f91
[r1.9] reduce event to info for print compile message
Merge pull request  from huanghui/r1.9-reduce-log-level
2022-09-24 09:01:01 +00:00
liu-yongqi-63 aa5ae8acda Fixed the issue that the SyncBatchNorm single-operator use case failed to execute 2022-09-24 16:42:01 +08:00
i-robot 42c533e074
fix issues
Merge pull request  from luojianing/code_docs_r1.9
2022-09-24 07:58:46 +00:00
yuzhenhua c1967c813c clean code 2022-09-24 15:54:21 +08:00
changzherui 26bfc432ab clean code for 1.9 0924 2022-09-24 15:38:06 +08:00
chengbin 2762c234f0
Code check fix for sparse
Merge pull request  from 杨林枫/code_check_sparse
2022-09-24 07:33:17 +00:00
zhuyuxiao fecdb5fb80 bugfix 2022-09-24 14:37:40 +08:00
wenkai cfe8e0def0 fix code check warnings 2022-09-24 14:37:36 +08:00
i-robot c4995837d2
Remove shift operation for PointerHash
Merge pull request  from hewei/fix_r1.9
2022-09-24 06:22:35 +00:00
huangbingjian e661e9cc62 Revert modify in Pynative grad 1.9 2022-09-24 12:52:32 +08:00
i-robot 2153c5492f
r1.9 Fix exception raise of addn
Merge pull request  from chenfei_mindspore/r1.9-addn-log-fix
2022-09-24 04:46:47 +00:00
hbhu_bin e710c940f2 fix code warning 2022-09-24 12:19:38 +08:00
z30020733 b72c03ca6e Clear Alarm 2022-09-24 11:35:19 +08:00
i-robot 4a641184b4
[MS][LITE] fix addcdiv addcmul docs
Merge pull request  from sunsuodong/code_docs_1.9
2022-09-24 02:56:20 +00:00
i-robot 46f46f5646
Lite code clean
Merge pull request  from 徐永飞/r1.9
2022-09-24 02:53:22 +00:00
luojianing 8f78dec90c fix issue 2022-09-24 10:46:29 +08:00
i-robot 579155111a
clean code.
Merge pull request  from liuchuting/clean19
2022-09-24 02:45:15 +00:00
sunsuodong 2fad05497d addcdiv addcmul docs 2022-09-23 19:32:12 -07:00
i-robot 3515ffea1b
[MS][OP]fix bug of UCS
Merge pull request  from mengyuanli/sync_r1.9_2
2022-09-24 02:11:51 +00:00
i-robot 7ada71ce27
dropout动态shape问题修复
Merge pull request  from 黄晓/bug_fix_0922
2022-09-24 02:05:29 +00:00
i-robot 1cc1210e57
MaskedSelectedGradCpuKernel support more data type
Merge pull request  from tanghuikang/maskedselectgrad_r19
2022-09-24 02:04:13 +00:00
i-robot 27efef9e2a
Fix code check
Merge pull request  from zjun/fix_codexx_23
2022-09-24 01:57:33 +00:00
i-robot a1c63eb82a
Codex fix
Merge pull request  from 陈宇/dev_r1.9_codex_fix
2022-09-24 01:36:03 +00:00
i-robot e0aa6b8b92
CheeryPickForCleanCode
Merge pull request  from zhanzhan/cherry-pick-1663896280
2022-09-24 01:35:45 +00:00
i-robot c6f54c5292
Add O1 level amp feature for MindSpore r1.9 branch
Merge pull request  from Bert0108/amp_for_r1.9
2022-09-24 01:28:44 +00:00
i-robot e733f670c7
correct the wrong parameter types in 1.9
Merge pull request  from 宦晓玲/code_docs_00923
2022-09-24 01:24:04 +00:00
i-robot f8361b9ee7
Fix Python Warning 9-23 for r1.9
Merge pull request  from huangxinjing/fix_python_r1.9
2022-09-24 01:11:20 +00:00
i-robot 4d3904e62c
clean codex
Merge pull request  from caifubi/r1.9-clean-codex
2022-09-24 01:10:18 +00:00
i-robot 4dcf59086d
Fix clean code warning
Merge pull request  from 胡彬/clean-code-1.9
2022-09-24 01:10:04 +00:00
i-robot 4e8a3404d3
warning fix
Merge pull request  from KylinMoriarty/r1.9
2022-09-23 22:42:57 +00:00
i-robot a2fd96350a
fix bug of implicit conversion between float32 and float64 for r1.9
Merge pull request  from zhouxulin2/cherry-pick-1663898076
2022-09-23 14:48:36 +00:00
chenfei 85dac77d7c static warning clean 2022-09-23 22:21:31 +08:00
He Wei 755f962c29 Remove shift operation for PointerHash
In some extreme cases, add shift in PointerHash make robin hash map overflow.
2022-09-23 20:41:45 +08:00
i-robot c16390f59a
告警清理0921
Merge pull request  from gaoshuanglong/clean_code_1.9_0919
2022-09-23 10:18:32 +00:00
Yang Jiao 62ab206b05 fix buf reshape reduce for cse 2022-09-23 17:57:00 +08:00
i-robot 5570c948df
Clear Alarm
Merge pull request  from 朱家兴/r1.9
2022-09-23 09:49:10 +00:00
luoyuan 8d5bffeed1 [MS][LITE][r1.9] fuzz fix 0921 2022-09-23 17:47:53 +08:00
huanxiaoling cc51cf78fb correct the wrong parameter types in 1.9 2022-09-23 17:42:54 +08:00
i-robot 4415a188be
Support complex64 and complex128 mstype for ms.numpy.roll function on GPU.
Merge pull request  from huangziling/r1.9
2022-09-23 09:37:39 +00:00
i-robot b2d2f0c2c0
fix warnings for r1.9
Merge pull request  from 高攀/fix_warnings_r1.9_0922
2022-09-23 09:21:22 +00:00
i-robot 369e75285a
Set dynamic flag to control flow parameter.
Merge pull request  from gaoyong10/r1.9
2022-09-23 09:12:40 +00:00
huanghui 67bd78f730 reduce event to info for print compile message 2022-09-23 17:06:56 +08:00
zjun 9926d4200c Fix code xx
Signed-off-by: zjun <zhangjun0@huawei.com>
2022-09-23 17:01:44 +08:00
i-robot 2af2553182
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-09-23 08:57:28 +00:00
hbhu_bin e472da5e98 fix clean code warning 2022-09-23 16:54:08 +08:00
i-robot 56754eee39
upgrade Ascend package 22 Sept on 1.9
Merge pull request  from ZPaC/upgrade_ascend_zpc_1.9
2022-09-23 08:52:09 +00:00
mengyuanli d77db9542c 1.fix infer type bug of randperm
2.fix error type of random_choice_with_mask
2022-09-23 16:47:31 +08:00
huodagu 3516c24a34 modify format 2022-09-23 16:38:37 +08:00
i-robot 7bae2ea653
Acl support BatchMatMul ops.
Merge pull request  from linqingke/r1.9
2022-09-23 08:34:50 +00:00
i-robot a4359ce117
[MS][SYNC]sync bugfix of master
Merge pull request  from mengyuanli/sync_r1.9
2022-09-23 08:25:05 +00:00
huangxinjing c4d5f4906e Fix python_warning 2022-09-23 15:38:50 +08:00
lvmingfu f0f3ef7e38 modify links branch from master to r1.9 2022-09-23 15:23:31 +08:00
chenfei 9a71dc3aff addn infer fix 2022-09-23 15:16:27 +08:00
i-robot 00e433dda9
modify links from master to branch r1.9
Merge pull request  from lvmingfu/code_docs_r1.99
2022-09-23 07:16:12 +00:00
hezhenhao1 a8c42c3a43 fixed 4a62fa8 from https://gitee.com/hezhenhao1/mindspore/pulls/42745
fix code check.
2022-09-23 06:53:59 +00:00
lvmingfu 2b6b7d3e3e modify links to branch r1.9 2022-09-23 14:53:00 +08:00
mengyuanli 698220a161 fix bug of UCS 2022-09-23 14:40:47 +08:00
tanghuikang 63a77ba345 MaskedSelectedGradCpuKernel support more data type 2022-09-23 14:32:50 +08:00
i-robot 7102e94755
fix code check r1.9
Merge pull request  from liyan2022/r1.9_codex
2022-09-23 06:13:41 +00:00
i-robot e8040a7f2f
modify api formats in documents
Merge pull request  from lvmingfu/code_docs_r1.90922
2022-09-23 06:09:47 +00:00
caifubi fb7221479e r1.9 clean code 2022-09-23 14:05:48 +08:00
luoyuan 0335020f97 [MS][LITE][r1.9] fix code 0921 2022-09-23 13:23:21 +08:00
luoyuan be152cfc31 [MS][LITE][r1.9] fuzz fix 0923 2022-09-23 13:15:19 +08:00
i-robot 5b1d5d4097
resizebilinearv2 scatter_nd segment_mean算子适配反向动态
Merge pull request  from zhangdong/cherry-pick-1663753242
2022-09-23 03:30:41 +00:00
lvmingfu ea0bf3a035 modify api formats in documents 2022-09-23 11:17:08 +08:00
yanglf1121 910337a6cf code check fix for sparse 2022-09-23 10:25:37 +08:00
i-robot 103a4e3d3e
change testcase for gpu layernormgradgrad
Merge pull request  from kisnwang/r1.9
2022-09-23 02:21:23 +00:00
mengyuanli 9167317801 fix bug of sigmoid register 2022-09-23 10:11:44 +08:00
xiongkun 63916cfffa codex 2022-09-23 10:02:58 +08:00
huangziling bc5f9954bb Support complex mstype for ms.numpy.roll function. 2022-09-23 10:02:31 +08:00
i-robot 05d11bd13f
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-09-23 02:01:12 +00:00
zhouxulin2 c4bbd8c078 fixed f75acbc from https://gitee.com/zhouxulin2/mindspore/pulls/42297
fix bug of implicit conversion between float32 and float64
2022-09-23 01:54:45 +00:00
i-robot 5dcdeac867
告警清理
Merge pull request  from wujueying/r1.9
2022-09-23 01:46:31 +00:00
i-robot 92075dd0f3
【1.9】transpose reduce embeddinglookup support attr is tensor
Merge pull request  from huoxinyou/0921attr19
2022-09-23 01:40:12 +00:00
i-robot 0726e55e16
[MS][OP]fix bug of op infer
Merge pull request  from mengyuanli/sync_r1.9
2022-09-23 01:36:46 +00:00
i-robot ffd4655c6c
fix_doc_r1.9
Merge pull request  from yide12/fix_doc
2022-09-23 01:36:45 +00:00
huodagu 7d3a8c61ce modify format 2022-09-23 09:34:18 +08:00
i-robot 71b4ec887b
Code Warning Clean
Merge pull request  from archer2049/r1.9
2022-09-23 01:34:09 +00:00
zhanzhan1 ced5cc32f6 fixed b13b7e1 from https://gitee.com/zhanzhan1/mindspore/pulls/42300
squash
2022-09-23 01:24:43 +00:00
Bert0108 8fff1be800 add amp o1 for r1.9 2022-09-23 09:20:13 +08:00
xuyongfei 3e65e7f451 Lite code clean 2022-09-23 09:18:01 +08:00
i-robot 7cfce9aaee
Support dynamic shape for ROIAlign&ROIAignGrad on GPU/CPU
Merge pull request  from zhengzuohe/roialigngrad_19
2022-09-23 01:15:12 +00:00
liuchuting 5c6140acc3 clean code. 2022-09-23 09:09:21 +08:00
i-robot dfb1a41512
modify the rst files in 1.9 0922
Merge pull request  from 宦晓玲/code_docs_00922
2022-09-23 01:00:59 +00:00
i-robot e945fa3a82
Fix PyNative coredump for r1.9
Merge pull request  from caifubi/r1.9
2022-09-22 19:12:08 +00:00
z30020733 eef8d278de Clear Alarm 2022-09-22 21:38:12 +08:00
gaopan12 eef7e3cda0 fix warnings for r1.9 2022-09-22 21:33:14 +08:00
linqingke 03d04b40f0 Acl support BMM. 2022-09-22 21:19:23 +08:00
caifubi 74cd58bd62 Fix coredump and accuracy 2022-09-22 20:59:48 +08:00
i-robot f59470e59e
fix ascend smoke test
Merge pull request  from zhengyuanhua/r1.9
2022-09-22 12:55:42 +00:00
yide12 f554d3109b fix_doc 2022-09-22 20:29:36 +08:00
gaoshuanglong 9b3231537c code cleanings 2022-09-22 20:27:25 +08:00
i-robot 6fc2fcf59a
Convert scalar to tensor.
Merge pull request  from gaoyong10/r1.9_2
2022-09-22 12:26:17 +00:00
ZPaC a093a020c3 upgrade Ascend package 22 Sept on 1.9 2022-09-22 20:26:08 +08:00
i-robot 50ba346e1d
add maximun dynamic shape st
Merge pull request  from happy徐/dy_st_1.9
2022-09-22 12:13:39 +00:00
albert-yan 9846bf697f modify duplicate code 2022-09-22 20:08:58 +08:00
i-robot d17152539b
[MSLITE][CPU][r1.9] add two server gate model
Merge pull request  from Greatpan/mep_gate_model_r1.9
2022-09-22 10:56:58 +00:00
i-robot ae3dc285f5
[MSLITE] Codex clean.
Merge pull request  from wangshaocong/codex_r1.9
2022-09-22 10:56:28 +00:00
i-robot 84cb22b6f6
clear warning
Merge pull request  from wangyanling/CheckCode
2022-09-22 09:36:08 +00:00
huanxiaoling 2d52e3a6a6 modify the inconsistence of files in 1.9 0922 2022-09-22 17:36:04 +08:00
i-robot 3417612b5a
[MS][LITE][ModelParallelRunner][Add Api] model parallel runner: LoadConfig
Merge pull request  from yefeng/cherry-pick-1663728817
2022-09-22 09:32:05 +00:00
i-robot dc1330fc89
Fix layernormgradgrad typecheck error
Merge pull request  from panzhihui/layernorm_grad_fix
2022-09-22 09:31:41 +00:00
kswang 8398b4d4f4 change testcase for layernormgradgrad 2022-09-22 17:31:24 +08:00
zhengzuohe f76f90d84d roialign&roialigngrad: dynamic shape/rank (attr->input) on cpp infer, gpu and cpu kernel on the new perent class 2022-09-22 17:24:46 +08:00
huoxinyou ca752e5a3d transpose reduce embeddinglookup support attr is tensor &
tensor slice bug fixed
2022-09-22 17:13:49 +08:00
i-robot 3a0d9b88b8
fix uniquewithpad docs
Merge pull request  from gongdaguo1/r19_gggg
2022-09-22 08:44:55 +00:00
gaoyong10 db9a395a4f Set dynamic flag to control flow parameter.
Link internal parameter arrow in control flow.
2022-09-22 16:38:12 +08:00
i-robot 6414523ead
Add dynamic shape support for nllloss and etc.
Merge pull request  from panzhihui/nllloss_dyn_r1.9
2022-09-22 08:33:04 +00:00
i-robot c8309b8acd
fix static code check warnings
Merge pull request  from zhangzhaoju/r1.9_static
2022-09-22 08:24:22 +00:00
i-robot 4a26e967e8
fix: md asan and generatordataset skip error when multiprocess
Merge pull request  from guozhijian/fix_md_asan_r1.9
2022-09-22 08:15:36 +00:00
i-robot aa81b37911
[r1.9] fix hccl failed st
Merge pull request  from xulei/fix_error_st_r1.9
2022-09-22 08:11:55 +00:00
suxin 1cfd8308bc Code Warning Clean 2022-09-22 15:00:36 +08:00
i-robot d6f1cb8636
clean code
Merge pull request  from bichaoyang/r1.9
2022-09-22 06:43:49 +00:00
i-robot a77ae5628b
clean code
Merge pull request  from nomindcarry/r1.9
2022-09-22 06:36:24 +00:00
i-robot b45f70dfc5
optimize log of dlopen-ing plugins
Merge pull request  from zhoufeng/xiu-ba-ge-3
2022-09-22 06:28:13 +00:00
i-robot 30ce3bf2a3
fix warnings for r1.9
Merge pull request  from 高攀/fix_warnings_r1.9_0921
2022-09-22 06:26:37 +00:00
wujueying 83ceaa7a3a 告警清理 2022-09-22 14:20:20 +08:00
mengyuanli 3804379a43 1. fix bug of matmul
2. fix bug of tile
2022-09-22 14:09:08 +08:00
i-robot 93872d34fb
[LITE] Exit when config file is invalid
Merge pull request  from WangWenzhe/r1.9_profile_config
2022-09-22 06:08:59 +00:00
muxiyin 5a7d53f4ad dropout dynamic fix bug 2022-09-22 14:06:05 +08:00
i-robot f20a7ec345
Provide param.value() interface
Merge pull request  from Margaret_wangrui/r1.9_load_value
2022-09-22 06:05:28 +00:00
greatpan 057859421c mep gate model 2022-09-22 13:53:24 +08:00
i-robot 38448cd13f
double for layenorm cpu&gpu
Merge pull request  from kisnwang/r1.9
2022-09-22 04:24:24 +00:00
i-robot 6f101a0544
R1.9 static code check warnings clean
Merge pull request  from chenfei_mindspore/r1.9-code-clean
2022-09-22 03:29:51 +00:00
i-robot 8e53a098d4
[MS][LITE]Codex
Merge pull request  from gongdaguo1/r19_codex
2022-09-22 03:25:40 +00:00
i-robot 2395b71ed7
fix reverse sequence ops type bugs r1.9
Merge pull request  from wtcheng/r1.9
2022-09-22 02:45:58 +00:00
i-robot f96cb06077
clean code
Merge pull request  from baihuawei/clearwarning1.9
2022-09-22 02:24:54 +00:00
i-robot 6b0586c53a
Support Dynamic shape/rank for mirrorpad && maxpool
Merge pull request  from zhangzhaoju/r1.9
2022-09-22 02:23:51 +00:00
gaoyong10 21097c282b Convert scalar to tensor. 2022-09-22 10:01:43 +08:00
i-robot b06349f723
[MS][OPS][r1.9] fix unsortedsegment-arithmetic cpu datatype
Merge pull request  from luoyuan/fix-unsortedsegmentsum-cpu-datatype-r1.9
2022-09-22 01:56:55 +00:00
happylittleqiang eec8e1db0c add maximum ops dynamic st 2022-09-22 09:35:27 +08:00
jonyguo 43aca284b6 fix: generator dataset with multi-process skip error 2022-09-22 09:30:40 +08:00
i-robot 03076de1cb
[MS][OP]sync master code
Merge pull request  from mengyuanli/sync_r1.9
2022-09-22 01:25:15 +00:00
bichaoyang 3fdf5f732c clean code 2022-09-22 09:21:59 +08:00
i-robot ec7d167590
Clean code
Merge pull request  from DavidFFFan/clean_code_r1.9
2022-09-22 01:19:36 +00:00
i-robot c5f8370e0e
[AutoParallel]Fix Python Warning For r1.9 Branch
Merge pull request  from huangxinjing/fix_python_warning3_r19
2022-09-22 01:08:34 +00:00
nomindcarry c049ed3916 Clean Code 2022-09-22 09:03:37 +08:00
i-robot 981a9c5197
Fix GradOperation
Merge pull request  from huangbingjian/fix_gradoperation
2022-09-22 00:45:40 +00:00
i-robot a659e09fb4
Pynative support new factory op ref
Merge pull request  from wanghenchang/pynative-ref-r19
2022-09-21 23:14:26 +00:00
i-robot abc7026f9b
Link control arrow for the first input of update state.
Merge pull request  from gaoyong10/r1.9
2022-09-21 19:25:05 +00:00
i-robot 6560db3647
remove code warnings
Merge pull request  from zhujingxuan/r1.9
2022-09-21 18:19:12 +00:00
i-robot 16466d1a67
r1.9 Support addn scalar
Merge pull request  from chenfei_mindspore/r1.9-addn-fix
2022-09-21 17:13:57 +00:00
gaopan12 ec2c0160da fix warnings for r1.9 2022-09-21 22:08:48 +08:00
i-robot fd6159a208
[MD][r1.9] Fix some serdes bugs for Py UDFs, Py ops (w enum Inter & Border
Merge pull request  from cathwong/ckw_r1.9_serdes_py_json_enum
2022-09-21 13:25:47 +00:00
i-robot 34c39433d0
Clean code warning.
Merge pull request  from Margaret_wangrui/r1.9
2022-09-21 13:03:16 +00:00
i-robot 520dfd5c6e
update grad for dynamic_shape
Merge pull request  from chengbin/ds_r1.9
2022-09-21 12:51:23 +00:00
chenfei d22e5e6dba static check warnings clean
index fix
2022-09-21 20:02:06 +08:00
wutiancheng 166bdbff1c fix reverse sequence ops type bugs r1.9 2022-09-21 19:27:57 +08:00
i-robot 2a9718bf30
[MS][LITE]Fix reshape
Merge pull request  from gongdaguo1/r19_fix_reshape
2022-09-21 10:11:54 +00:00
Margaret_wangrui 1e0cd539b6 Provide param.value() interface, and add Warning prompt information. 2022-09-21 17:41:54 +08:00
KylinMoriarty af6d212481 warning fix 2022-09-21 17:41:34 +08:00
zhangdong 86e4d39fac fixed df3740a from https://gitee.com/zhangdong_1/mindspore/pulls/42447
fix resize and segment_sum op bprob infershape
2022-09-21 09:40:44 +00:00
i-robot 5fb46424fe
reduce & transpose error info 修改
Merge pull request  from huoxinyou/0920reduce_tr19
2022-09-21 09:37:05 +00:00
i-robot cf39debf55
[MS][LITE][r1.9] fix lite python api examples
Merge pull request  from luoyuan/fix-py-api-example-r1.9
2022-09-21 09:22:30 +00:00
i-robot 95021f596f
support dynamic shape of bprop of BesselI1 op and BesselJ1 op
Merge pull request  from hanhuifeng/bessel_i1_j1_r1.9
2022-09-21 09:09:26 +00:00
i-robot 44e9a8eca9
fix fuzz
Merge pull request  from liyan2022/r1.9_code_check
2022-09-21 08:46:14 +00:00
i-robot d534a22856
r1.9 Fix bug of pass:auto_monad_eliminate
Merge pull request  from chenfei_mindspore/r1.9-load-eliminate-fix
2022-09-21 08:42:47 +00:00
kswang b58c8986b6 support double for cpu/gpu layernorm 2022-09-21 16:38:17 +08:00
panzhihui a87acd763d Fix layernormgradgrad type problem 2022-09-21 16:37:30 +08:00
CHEN YU 57436c4a3e codex fix 2022-09-21 16:23:19 +08:00
zhangzhaoju fd6fc4809d fix static code check warnings 2022-09-21 16:10:41 +08:00
xulei 9806da15ae fix hccl failed st 2022-09-21 16:03:42 +08:00
i-robot f115264c4b
clean code
Merge pull request  from Bokai Li/r1.9
2022-09-21 07:38:30 +00:00
i-robot b17faafd6e
fix params issues
Merge pull request  from luojianing/code_docs_r1.9
2022-09-21 07:30:44 +00:00
gaoyong10 3b9338184b Link control arrow for the first input of update state. 2022-09-21 14:56:43 +08:00
i-robot ff779b371a
[MS][LITE][parallel predict] predict task queue lock
Merge pull request  from yefeng/cherry-pick-1663724408
2022-09-21 06:55:59 +00:00
fandawei ce34f1134e fix: clean code 2022-09-21 14:50:31 +08:00
i-robot 5217b1dc26
Enable load AICPU ops from libcpu_kernels.
Merge pull request  from hedongdong/AICPU_OPS_20220913_r1.9
2022-09-21 06:40:52 +00:00
zhujingxuan 50a786b6c2 remove code warnings 2022-09-21 14:40:47 +08:00
i-robot 9311072e75
add conv3dtranspose conv3d st
Merge pull request  from KXiong/branch_conv3dtranspose
2022-09-21 06:33:49 +00:00
i-robot 0a7c8c39a9
add meshgrid st
Merge pull request  from KXiong/branch_meshgrid_r02
2022-09-21 06:33:03 +00:00
i-robot c9033e585b
[MS]{Lite][Task] delete no need code
Merge pull request  from 刘力力/r1.9
2022-09-21 06:32:16 +00:00
i-robot a3a3066422
add cumprod st
Merge pull request  from KXiong/r1.9
2022-09-21 06:24:52 +00:00
i-robot 1e68d640a6
Fix codecheck
Merge pull request  from YijieChen/r1.9
2022-09-21 06:13:47 +00:00
i-robot ffc35bcb49
[MSLITE][Func] fix convert bug r1.9
Merge pull request  from 赵英灼/convert_bug_r1.9
2022-09-21 06:12:59 +00:00
wang_shaocong c4e0715d8c [MSLITE] Code check 2022-09-21 11:49:58 +08:00
huangbingjian 0d332d85a3 Fix GradOperation 2022-09-21 11:45:33 +08:00
baihuawei eb484b90d1 code clean 2022-09-21 11:19:46 +08:00
yefeng bbd1ec050c fixed 43d4d5d from https://gitee.com/YeFeng_24/mindspore/pulls/41909
RunnerConfig add SetConfigPath api: C++ && python && java
2022-09-21 02:53:37 +00:00
gongdaguo1 3a87646e12 codex 2022-09-21 10:39:23 +08:00
wangyanling10 31f5da9d53 clear checkcode 2022-09-21 10:36:03 +08:00
gongdaguo1 68c5383d93 fix reshape int8 2022-09-21 10:18:59 +08:00
gongdaguo1 091b554d35 fix unique with pad docs 2022-09-21 10:16:06 +08:00
BokaiLi 807d190108 clean code 2022-09-21 10:10:36 +08:00
zhoufeng 36a61516d9 optimize log of dlopen-ing plugins
Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2022-09-21 10:00:10 +08:00
liu lili 1348a0b1f4 mindspore lite: delete unused code 2022-09-21 09:57:17 +08:00
yefeng d2b78ffd40 fixed 57058fe from https://gitee.com/YeFeng_24/mindspore/pulls/42501
predict task queue lock
2022-09-21 01:40:10 +00:00
ckey_Dou e89ab5408e update grad 2022-09-21 09:23:45 +08:00
i-robot 1cb0a56b0f
告警清理
Merge pull request  from zhuyuxiao/r1.9_bugfix
2022-09-21 01:13:09 +00:00
wangchangheng bf29c1c0df Pynative support new factory op ref. 2022-09-21 09:12:56 +08:00
Margaret_wangrui b3ebd271ec clean code warning. 2022-09-21 07:21:59 +08:00
Cathy Wong 20d92e3354 [MD] Fix some serdes bugs for Py UDFs, Py ops (w enum Inter & Border
parms, fill_value). AutoTune scenarios impacted.
2022-09-20 13:31:44 -04:00
huangxinjing 157111f366 Fix python warning and c++ warning
Fix python warning
2022-09-20 22:02:11 +08:00
hanhuifeng2020 61125cc6f7 support dynamic shape of bprop of BesselI1 op and BesselJ1 op 2022-09-20 21:45:45 +08:00
i-robot 3675bb7ab3
[MS]fix bug of GatherDGradV2-vmap when dim is negative
Merge pull request  from 徐安越/r1.9_2
2022-09-20 13:28:39 +00:00
i-robot 3c7350912c
Add dynamic shape support for MatMul
Merge pull request  from panzhihui/matmul_r1.9
2022-09-20 13:17:20 +00:00
i-robot c7d3ba8920
r1.9 Code clean
Merge pull request  from chenfei_mindspore/r1.9-code-clean
2022-09-20 13:05:28 +00:00
huoxinyou abac731fe7 reduce & transpose error info 2022-09-20 21:01:30 +08:00
xiongkun 93bb26441c add conv3d st
add test
2022-09-20 20:59:38 +08:00
mengyuanli 94f1920151 add reluv2 reluv2 grad ds
1.add sigmod_cross_entropy_with_logits gpu dynamic shape
2.add sigmod_cross_entropy_with_logits grad gpu dynamic shape
3.add bce_with_logits gpu
4.add softmax_cross_entropy gpu
2022-09-20 20:26:27 +08:00
luojianing 22ae8121db fix params issues 2022-09-20 20:02:01 +08:00
xiongkun 5c97ebd302 add meshgrid st 2022-09-20 19:44:35 +08:00
i-robot 3f2bc2bc5f
change profiling op type
Merge pull request  from zangqx/r1.9_1
2022-09-20 09:25:10 +00:00
i-robot 6b8634f2e8
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-09-20 09:24:04 +00:00
i-robot edebb3425e
adagrad_gpu_kernel
Merge pull request  from KylinMoriarty/r1.9
2022-09-20 08:38:32 +00:00
xiongkun 41534b71fe add cumprod st
add cumprod st

add cumprod st

add cumprod st

fix bug

fix bug
2022-09-20 16:37:36 +08:00
zhaoyingzhuo 4532344eb0 fix convert bug 1.9 2022-09-20 16:33:58 +08:00
huodagu a9ffbec8fa modify format 2022-09-20 16:29:00 +08:00
i-robot 1aa6543cf8
fix hunging on destroy stream when exit
Merge pull request  from zhoufeng/xiu-ba-ge-4
2022-09-20 08:22:07 +00:00
chenfei dec7157a7c fix bug of maketuple trans in load eliminate pass 2022-09-20 16:13:14 +08:00
i-robot 818c4c6756
删除grad_math_ops文件中scipy引用
Merge pull request  from zong_shuai/delete_cholesky_bp
2022-09-20 07:26:09 +00:00
i-robot e9344f950b
concat支持动态shape
Merge pull request  from zong_shuai/concat_dyn_shape
2022-09-20 07:25:44 +00:00
i-robot 913998815e
AvgPool3D and grad support dynamic_shape
Merge pull request  from hanhuifeng/ops_dyn_r1.9
2022-09-20 07:06:10 +00:00
zhuyuxiao a95b3dd4c8 static clean 2022-09-20 14:13:48 +08:00
albert-yan 8d5472a086 fix fuzz and modify scripts 2022-09-20 13:58:22 +08:00
panzhihui 90b4b77149 Add dynamic shape support for MatMul 2022-09-20 12:48:30 +08:00
panzhihui c617b96962 Add dynamic shape support for nllloss, cast, matrix_inverse and etc. 2022-09-20 12:45:08 +08:00
wangwenzhe 43789c6117 Exit when config file is invalid 2022-09-20 12:42:50 +08:00
YijieChen 44b84d4f65 Fix codecheck 2022-09-20 11:26:03 +08:00
luoyuan a6d0b2fb95 [MS][OPS][r1.9] fix unsortedsegment-arithmetic cpu datatype 2022-09-20 11:08:17 +08:00
i-robot eafc29ccaf
unify ascend data queue that can support both dynamic and static shape scenes
Merge pull request  from wYann/data_queue_1.9
2022-09-20 03:05:54 +00:00
i-robot 97f5644233
fix KLDivLossGrad gpu
Merge pull request  from yeyunpeng2020/r1.9
2022-09-20 02:58:11 +00:00
i-robot 6e08e454d3
Fix multiprocessing hang when releasing queue
Merge pull request  from xiaotianci/fix_multiprocess_hang_1.9
2022-09-20 02:50:11 +00:00
i-robot 63f4c62c85
fix issue I5O6V6 I5O5XB and remove fl code twc and pack l2normalize RandomCategorical UnsortedSegmentMin UnsortedSegmentMax ops add dynamic shape st
Merge pull request  from tan-wei-cheng-3260/develop-twc-1.9
2022-09-20 02:32:01 +00:00
i-robot 99b4ab1c68
conv3d算子same模式下shape问题的文档修复
Merge pull request  from jijiarong/r1.9
2022-09-20 02:19:17 +00:00
i-robot 0f70cb55c1
fix warnings for r1.9
Merge pull request  from 高攀/fix_warnings_r1.9_0919
2022-09-20 02:06:41 +00:00
i-robot 64d38a82f3
:code_clean_0919_1.9.
Merge pull request  from yao_yf/code_clean_0919_1.9
2022-09-20 01:40:54 +00:00
i-robot e2396f17ec
fix params issues
Merge pull request  from luojianing/code_docs_r1.9
2022-09-20 01:27:40 +00:00
zong_shuai 3b0e18859f infer 2022-09-20 09:22:55 +08:00
i-robot 0dcf3f088b
fix check warning: ignore the emplace return result
Merge pull request  from xychow/fix-warning-in-1.9
2022-09-20 01:11:27 +00:00
i-robot ab8fe8debd
Add dynamic shape support for binary cross entropy and etc.
Merge pull request  from panzhihui/bce_r1.9
2022-09-20 01:10:44 +00:00
i-robot bec8b79e99
clean_code_r1.9
Merge pull request  from lichen/clean_code_r1.9
2022-09-20 01:10:09 +00:00
hanhuifeng2020 f800a4faa9 AvgPool3D and grad support dynamic_shape 2022-09-20 08:00:58 +08:00
i-robot 549992f75f
Fix clean code warning
Merge pull request  from 胡彬/clean-code-1.9
2022-09-19 17:28:45 +00:00
i-robot 25210cd919
fixbug in DynamicBroadcastGradientArgsCpuKernel
Merge pull request  from DeshiChen/0919_broadcast_args_1.9
2022-09-19 16:39:32 +00:00
xuanyue 57ca6777bf fix bug of GatherDGradV2-vmap when dim is negative 2022-09-19 21:56:58 +08:00
i-robot b4402302df
print support complex type
Merge pull request  from 范吉斌/add_type_print_r1.9
2022-09-19 13:53:56 +00:00
i-robot b89343d516
add & update operators doc & description
Merge pull request  from panfengfeng/code_docs_api_doc_1.9
2022-09-19 13:52:27 +00:00
i-robot 0a62599565
update ops examples r1.9
Merge pull request  from panfengfeng/fix_some_issues_r1.9
2022-09-19 13:51:03 +00:00
i-robot 86e05de253
fix windows segment fault when process exiting
Merge pull request  from zhoufeng/windows-core-dump
2022-09-19 12:48:42 +00:00
chenfei c1a2785982 support scalar addn 2022-09-19 20:41:15 +08:00
zhoufeng 2046fbd5eb fix hunging on destroy stream when exit
Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2022-09-19 20:37:00 +08:00
luoyuan 60b8f4714a [MS][LITE][r1.9] fix lite python api examples 2022-09-19 20:36:06 +08:00
zhengyuanhua 0412003b74 fix smoke test 2022-09-19 20:22:52 +08:00
gaopan12 334104b7dd fix warnings for r1.9 2022-09-19 20:20:19 +08:00
yeyunpeng2020 585a925679 fix KLDivLoss gpu resize 2022-09-19 20:13:46 +08:00
i-robot 4672cf146a
[lite]support parsing tf-placeholderwithdefault op and control-flow degeneration
Merge pull request  from 徐安越/r1.9_1
2022-09-19 12:13:12 +00:00
i-robot f8f406e682
[lite]code clean
Merge pull request  from 徐安越/r1.9
2022-09-19 12:12:27 +00:00
yao_yf f4e4b14541 code_clean_0919_1.9 2022-09-19 20:01:49 +08:00
dayschan c620cab99e fixbug in DynamicBroadcastGradientArgsCpuKernel 2022-09-19 19:55:25 +08:00
luojianing 09180d8dc2 fix params issues 2022-09-19 19:52:37 +08:00
zong_shuai 7be14bf439 debug 2022-09-19 19:51:25 +08:00
i-robot 0fc4088ceb
clean code
Merge pull request  from jiaorui/clean-code-1.9
2022-09-19 11:19:04 +00:00
i-robot e9c26c14bb
Dynamic rank for SparseSegmentSqrtNSegment
Merge pull request  from jiaoy1224/r1.9
2022-09-19 11:13:15 +00:00
i-robot 592cbdca8c
static warning clean && refact xdivy
Merge pull request  from zhangzhaoju/r1.9_static
2022-09-19 10:50:49 +00:00
i-robot d278b6b246
[MS][LITE][parallel predict] control flow infershape
Merge pull request  from yefeng/cherry-pick-1663241163
2022-09-19 10:48:00 +00:00
panzhihui d15ecc8d9d Add dynamic shape support for binary_cross_entropy and etc 2022-09-19 18:04:10 +08:00
chenfei 6f45ecd676 static code clean 2022-09-19 17:42:25 +08:00
i-robot e63d4e28f9
support DynamicBroadcastGradientArgs op on cpu
Merge pull request  from hanhuifeng/dyn_broad_grad_cpu_r1.9
2022-09-19 09:04:39 +00:00
panfengfeng 2b3b4d6686 ops batch_norm, bias_add, binary_cross_entropy, bmm functional api 2022-09-19 16:52:26 +08:00
i-robot d98133b6c7
del memory opt level context in r1.9
Merge pull request  from 王禹程/del_context
2022-09-19 08:40:20 +00:00
twc 4c72b26c92 fix issue I5O6V6 I5O5XB and remove fl code twc and pack l2normalize RandomCategorical UnsortedSegmentMin UnsortedSegmentMax ops add dynamic shape st 2022-09-19 16:26:39 +08:00
i-robot 5c7bbd0074
fix code check
Merge pull request  from lianliguang/r1.9
2022-09-19 08:18:55 +00:00
臧庆香 3b50bae37e [profiler] change profiling op type 2022-09-19 16:14:34 +08:00
Xiao Tianci b8c0b2ea83 fix multiprocessing hang when teminating a non finished process 2022-09-19 15:55:25 +08:00
wYann 4f26f5a397 unify ascend data queue 2022-09-19 15:50:28 +08:00
i-robot cefc3b9dc8
code clean
Merge pull request  from chenweifeng/r1.9
2022-09-19 06:43:55 +00:00
panfengfeng 7987fa7c4b ApproximateEqual & SparseApplyAdagrad example fix 2022-09-19 14:40:48 +08:00
i-robot e3619ba428
1.9版本动态shape支持加st用例
Merge pull request  from zong_shuai/r1.9_fast_dyn_shape
2022-09-19 06:37:32 +00:00
i-robot 5fd98c89d2
maskrcnn
Merge pull request  from zong_shuai/maskrcnn_d
2022-09-19 06:32:50 +00:00
i-robot b7b956fccb
[r1.9] refactor ascend get error message and exception message
Merge pull request  from xulei/error_log_r1.9
2022-09-19 06:27:09 +00:00
lichen a9d6c7c05b clean_code_master 2022-09-19 14:20:39 +08:00
i-robot e1e095e18d
fix compression bug
Merge pull request  from yeyunpeng2020/r1.9
2022-09-19 06:06:45 +00:00
i-robot bce716e8e3
Onehot Dynamic Compile Static r1.9
Merge pull request  from jiaoy1224/r1.9-2
2022-09-19 04:30:33 +00:00
籍家荣 186cc9ecd9 same as master 2022-09-19 11:40:53 +08:00
zhoufeng b8cccec142 fix windows segment fault when process exiting
Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2022-09-19 11:01:05 +08:00
fanjibin 42e0b87c7e print support complex type 2022-09-19 10:51:43 +08:00
i-robot e7a1be0416
replace the word in rst files in 1.9
Merge pull request  from 宦晓玲/code_docs_00916
2022-09-19 02:48:52 +00:00
jiaorui 9bfbcdeb95 clean code 2022-09-19 10:34:47 +08:00
i-robot 816fce1fbb
[R1.9]update custom op doc example
Merge pull request  from zichun_ye/code_docs_custom_update_r1.9
2022-09-19 02:21:09 +00:00
huanxiaoling d6baf1333a replace the word in rst files in 1.9 2022-09-19 10:04:09 +08:00
i-robot 081db0615e
reduce infertype bug 1.9
Merge pull request  from huoxinyou/0916reduce19
2022-09-19 02:02:06 +00:00
i-robot 4244efa037
[R1.9][DYNAMIC]support dynamic rank for scatter_nd/gather_nd
Merge pull request  from zichun_ye/dyn_op_support_r1.9
2022-09-19 01:49:05 +00:00
i-robot 4005085ca7
[MS][OPS] Update Op Info for r1.9
Merge pull request  from alashkari/doc-update-r1.9
2022-09-19 01:45:28 +00:00
xuanyue 8994642ac8 support parsing tf-placeholderwithdefault op and control-flow degeneration 2022-09-19 09:44:51 +08:00
i-robot 836a476bde
clean code
Merge pull request  from 王禹程/clean_r1.9
2022-09-19 01:34:34 +00:00
i-robot 79e824ad75
reduce not supported fnz
Merge pull request  from jjfeing/r1.9
2022-09-19 01:33:52 +00:00
i-robot e17f1d691f
Code Warning Clean
Merge pull request  from archer2049/r1.9
2022-09-19 01:25:52 +00:00
zhangzhaoju 8e0a6baaee static warning clean && refact xdivy 2022-09-19 09:13:44 +08:00
xuanyue dbb25110da code clean 2022-09-19 09:12:53 +08:00
zhangzhaoju d7d8e3836e Support Dynamic shape/rank for mirrorpad && maxpool 2022-09-19 09:07:25 +08:00
Zichun Ye 7b6c61467c support dyn rank for gather_nd/scatter_nd 2022-09-18 22:07:21 +08:00
suxin c64e80b033 Code Warning Clean 2022-09-18 17:54:35 +08:00
i-robot 8a1cf9e74c
fix adjust method of lossscaler in graph
Merge pull request  from 吕昱峰(Nate.River)/r1.9
2022-09-18 02:14:37 +00:00
i-robot 99ea55376b
[r1.9] fix MirrorPadGrad bad_function_call bug
Merge pull request  from panshaowu/r1.9
2022-09-17 08:52:10 +00:00
i-robot c8dd9fcae8
[r1.9] clean code
Merge pull request  from xulei/clean_code_r1.9
2022-09-17 06:54:58 +00:00
hanhuifeng2020 53e037c988 support DynamicBroadcastGradientArgs op on cpu 2022-09-17 14:29:28 +08:00
i-robot d325d51399
code clean
Merge pull request  from liubuyu/r1.9
2022-09-17 06:03:57 +00:00
i-robot ac79dbf7be
bug fix
Merge pull request  from lyqlola/fix_1.9
2022-09-17 05:59:38 +00:00
hedongdong 92c1b9aa5e Enable load AICPU ops from libcpu_kernels 2022-09-17 12:17:21 +08:00
i-robot 90b3153080
upgrade Ascend package 14 Sept on master
Merge pull request  from ZPaC/upgrade_ascend_zpc_1.9
2022-09-17 04:09:30 +00:00
i-robot f77cdcfd58
transpose support input_perm is tensor r1.9
Merge pull request  from huoxinyou/0916transpose19
2022-09-17 02:44:33 +00:00
i-robot 368a576ac2
support dynamic shape ops
Merge pull request  from cjh9368/op_1_9_2
2022-09-17 02:01:38 +00:00
i-robot 623b25c034
diag support the dynamic rank
Merge pull request  from limingqi107/r1.9
2022-09-17 00:43:56 +00:00
lvyufeng db117d8122 fix adjust method of lossscaler in graph 2022-09-17 06:43:49 +08:00
ZPaC 0eadacdc85 upgrade Ascend package 14 Sept on master 2022-09-16 23:27:29 +08:00
i-robot 7dc7f9723a
Fix the loss of const_arg attr when using ms_function
Merge pull request  from YuJianfeng/r1.9_tensor_const
2022-09-16 14:13:57 +00:00
i-robot 060d0fbae6
code_clean_220916_r1.9
Merge pull request  from yao_yf/code_clean_220916_r1.9
2022-09-16 12:15:19 +00:00
i-robot ee19975f23
Clean code
Merge pull request  from YuJianfeng/r1.9
2022-09-16 11:32:15 +00:00
i-robot a2f44794f3
fix static
Merge pull request  from ZPaC/code_docs_1.9
2022-09-16 09:34:57 +00:00
zong_shuai 828677f7a7 fast support dynamic shape 2022-09-16 17:32:32 +08:00
huoxinyou 4cc4887997 reduce ops infer bug & gather type & expanddims support axis is tensor 2022-09-16 17:24:29 +08:00
lby 1eb7c38e22 warning clean 2022-09-16 17:16:38 +08:00
i-robot 6d57b0c5b8
clean code
Merge pull request  from kisnwang/r1.9
2022-09-16 09:12:47 +00:00
hbhu_bin 6466355236 fix clean code warning 2022-09-16 17:07:26 +08:00
i-robot 088c424cac
correct the rst files in 1.9 0916
Merge pull request  from 宦晓玲/code_docs_00916
2022-09-16 08:47:57 +00:00
i-robot b6bbaef3ab
修补EmbeddingLookup算子上的bug,恢复误删的支持的数据类型
Merge pull request  from panzhihui/emb_fix
2022-09-16 08:44:06 +00:00
xulei c0509efdba refactor ascend get error message 2022-09-16 16:32:53 +08:00
ZPaC 6e8863d2a8 fix static 2022-09-16 16:32:20 +08:00
jjfeing fcdca91a79 reduce_no_frac_nz 2022-09-16 16:22:30 +08:00
xulei 36cc1a25bd clean code 2022-09-16 16:12:58 +08:00
huanxiaoling 52ed80ca1a correct the rst files in 1.9 0916 2022-09-16 15:58:53 +08:00
KylinMoriarty c6a977d6cd adagrad_gpu_kernel
adam_cpu initial & scatter_nd add dtype
2022-09-16 15:38:12 +08:00
lianliguang 291e2c50da fix code check 2022-09-16 15:37:49 +08:00
zhousiyi b853dc83c5 fix check warning in r1.9 2022-09-16 07:34:50 +00:00
reku1997 1e042e987e del memory opt level context in r1.9 2022-09-16 15:30:31 +08:00
reku1997 8bd7521828 clean code 2022-09-16 15:16:18 +08:00
i-robot 6ad6a8bd52
Do not split graph in some cases.
Merge pull request  from ZPaC/1.9-not-split
2022-09-16 07:14:07 +00:00
i-robot 18cf524c5b
fix error in GraphKernel
Merge pull request  from 王禹程/fix_1.9
2022-09-16 07:07:02 +00:00
i-robot cc66b9879e
clean code
Merge pull request  from qiuzhongya/qiuzhongya_cleancode2_r1.9
2022-09-16 06:45:52 +00:00
Yang Jiao 16fffe41ed onehot dynamic to static 2022-09-16 14:45:52 +08:00
yujianfeng 6e8f2247df Fix the loss of const_arg attr when using ms_function 2022-09-16 14:43:19 +08:00
huoxinyou 7f96623ca7 transpose support input perm is tensor 2022-09-16 14:41:44 +08:00
yao_yf 8b0c37b572 code clean 220916 r1.9 2022-09-16 14:29:07 +08:00
liyiqi 57fdb94992 bug fix 2022-09-16 14:28:44 +08:00
alashkari ed08c607a1 Updated op docs for r1.9 2022-09-16 02:23:23 -04:00
i-robot af98dd93ab
r1.9 apply the path change of mindspore_gpu so for checkversion
Merge pull request  from VectorSL/r1.9
2022-09-16 06:17:29 +00:00
wilfChen dce7f29e75 code warning 2022-09-16 14:12:50 +08:00
i-robot 81413a90e2
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-09-16 04:38:56 +00:00
zong_shuai 564d2a36bd debug 2022-09-16 11:43:25 +08:00
limingqi107 f000b10c24 diag support the dynamic rank 2022-09-16 11:36:32 +08:00
huodagu c25692da8c modify format 2022-09-16 11:33:32 +08:00
cjh9368 c9dd48f4f4 support dynamic shape ops 2022-09-16 11:12:32 +08:00
i-robot cac5aa18a3
code_doce_api_doc for 1.9
Merge pull request  from panfengfeng/code_docs_api_doc_1.9
2022-09-16 02:38:26 +00:00
i-robot 5c8ea33af0
Support DynamicShape/Rank for BCEWithLogitsLoss, StridedSlice, CumSum
Merge pull request  from zhengzuohe/r1.9
2022-09-16 02:30:00 +00:00
jin_jiaqi 987a873d7b fix bug in op EmbeddingLookup 2022-09-16 10:18:58 +08:00
VectorSL 12f204dda8 r1.9 change gpu so path to check version 2022-09-16 09:59:36 +08:00
panfengfeng 2b3533ea03 code_docs_api_doc_1.9 2022-09-16 09:57:33 +08:00
kswang bf41507476 clean code 2022-09-16 09:38:08 +08:00
i-robot 3bc3e63a78
fix conflict with pytorch
Merge pull request  from zhoufeng/xiu-ba-ge-1.9
2022-09-16 01:22:25 +00:00
i-robot 553223bffc
[r1.9] remove function name of compile messsage print
Merge pull request  from huanghui/r1.9-fix-print-compile-msg
2022-09-16 01:20:04 +00:00
i-robot 7d98fadf4f
Fix bprop bugs of Ops Range
Merge pull request  from pkuliuliu/master
2022-09-16 01:19:05 +00:00
i-robot c76108ee3c
code_clean_220915_r1.9 c++
Merge pull request  from yao_yf/code_clean_220915_r1.9
2022-09-16 01:16:03 +00:00
i-robot 170604f144
Fix bert and transformer performance.
Merge pull request  from linqingke/r1.9
2022-09-16 01:11:09 +00:00
Zichun Ye 43c6478f90 update custom op doc example
update custom op doc example
2022-09-16 00:22:19 +08:00
yefeng 57e276875d control flow infershape 2022-09-15 21:17:58 +08:00
zhoufeng d635aa9d05 fix conflict with pytorch
Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2022-09-15 20:58:28 +08:00
i-robot cdd7fd5016
fix document description of ScatterMul op
Merge pull request  from wYann/scatter_mul_1.9
2022-09-15 12:57:27 +00:00
Yang Jiao 9f2ca4b559 dynamic rank for sparsesegsqrtnwithnumseg 2022-09-15 20:12:50 +08:00
qiuzhongya cddfda4e67 clean code 2022-09-15 20:11:27 +08:00
reku1997 9a3a7f9fc7 fix error in akg 2022-09-15 19:58:23 +08:00
i-robot b991f7e448
Add notes of place's inputs
Merge pull request  from ZPaC/code_docs_1.9
2022-09-15 11:41:40 +00:00
i-robot 29ab94dbd7
add cdist cdistgrad and matrixsetdiagv3 dynamic shape and rank
Merge pull request  from NaCN/add_cdist_shape_rank
2022-09-15 11:33:54 +00:00
i-robot 9bf55ff4f6
[MS][LITE][parallel predict] code check-nullptr
Merge pull request  from yefeng/cherry-pick-1663229464
2022-09-15 11:27:07 +00:00
ZPaC 553810f238 Add notes of place's inputs 2022-09-15 19:20:52 +08:00
i-robot 3865101b68
[ST][MS][OPS] Update accumulate_n Functional API and ST for r1.9
Merge pull request  from alashkari/update_accumulate_n_r1.9
2022-09-15 11:13:04 +00:00
i-robot 03333b7b48
gather support axis is tensor
Merge pull request  from huoxinyou/0914gather19
2022-09-15 11:12:05 +00:00
yujianfeng 0355f6d039 Clean code 2022-09-15 18:56:58 +08:00
i-robot c73ec85807
correct the errors in rst files in 1.9 0915
Merge pull request  from 宦晓玲/code_docs_00915
2022-09-15 10:52:21 +00:00
i-robot 34c6857797
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-09-15 10:51:31 +00:00
huanxiaoling 721b44ead0 modify the rst files in 1.9 2022-09-15 18:33:40 +08:00
yeyunpeng2020 c616d9df75 fix compression bug 2022-09-15 17:23:47 +08:00
i-robot a7ee0cef83
Add convert to dynamic interface.
Merge pull request  from TronZhang/add_convert_to_dynamic_1.9
2022-09-15 09:23:21 +00:00
panshaowu 973fe9382d [r1.9] fix MirrorPadGrad bad_function_call bug 2022-09-15 17:17:38 +08:00
yao_yf 40a1cff9aa code clean 220915 2022-09-15 16:36:20 +08:00
i-robot 90a2f3eb23
clean code
Merge pull request  from liangzelang/r1.9
2022-09-15 08:32:03 +00:00
i-robot 7ce1ed3a5c
clean code
Merge pull request  from qiuzhongya/qiuzhongya_cleancode_1.9
2022-09-15 08:30:18 +00:00
i-robot 01f69d9c0c
fix issues
Merge pull request  from luojianing/code_docs_r1.9
2022-09-15 08:22:45 +00:00
i-robot b90ca86a26
delete API files in 1.9 part 2
Merge pull request  from 宦晓玲/code_docs_00915
2022-09-15 08:21:17 +00:00
yefeng 3457ee7203 fixed f546859 from https://gitee.com/YeFeng_24/mindspore/pulls/42056
code check
2022-09-15 08:11:05 +00:00
zhengzuohe fc801ff512 StridedSlice: support dynamic rank
CumSum: support dynamic shape and rank
BCEWithLogitsLoss: fix pynative dynamic shape bug, support dynamic rank
2022-09-15 16:11:01 +08:00
i-robot 6cc699ea56
Trace op cpu kernel init bug fix on r1.9
Merge pull request  from ZengZitao/trace_dyn_r19
2022-09-15 08:10:42 +00:00
linqingke f88cc5e90d fix bert and transformer performance. 2022-09-15 16:03:57 +08:00
huanxiaoling 2e0fe9c877 delete API files in 1.9 part 2 2022-09-15 16:01:15 +08:00
i-robot 66d8f90a03
delete API files in 1.9 part 1
Merge pull request  from 宦晓玲/code_docs_00915
2022-09-15 07:50:43 +00:00
huodagu abf297893f modify format 2022-09-15 15:36:54 +08:00
huanxiaoling 39236f372c delete the API files in 1.9 part 1 2022-09-15 15:33:16 +08:00
i-robot 2c0d49d1f9
modify ascend lite smoke script
Merge pull request  from zhengyuanhua/r1.9
2022-09-15 07:20:26 +00:00
luojianing a8d3fc646c fix issues 2022-09-15 15:19:21 +08:00
i-robot 143f3ca44b
tensor-scatter-max/min
Merge pull request  from wuweikang/ops-r1.9
2022-09-15 06:28:43 +00:00
zengzitao 1d70f1c10f trace cpu fix on r19 2022-09-15 14:27:04 +08:00
huanghui d748895723 remove function name of compile messsage print 2022-09-15 14:09:03 +08:00
i-robot 42eaadc50a
correct the errors in rst files in 1.9
Merge pull request  from 宦晓玲/code_docs_1.90914
2022-09-15 06:08:10 +00:00
i-robot 6a9314f63a
fix conv2d tiling segmentfault
Merge pull request  from yuchaojie/r1.9
2022-09-15 06:04:52 +00:00
huanxiaoling f7325bab22 correct the errors in rst files in 1.9 2022-09-15 11:38:49 +08:00
qiuzhongya f9505a4c66 clean code 2022-09-15 11:33:09 +08:00
zhengyuanhua ffdab0fd14 teest smoke 2022-09-15 11:32:36 +08:00
alashkari 9f4fa06c1e Updated accumulate_n API and ST. 2022-09-14 23:28:52 -04:00
i-robot 88a62e5c27
Add dynamic shape test case for iou
Merge pull request  from liuluobin/r1.9_clear
2022-09-15 03:10:44 +00:00
ZPaC a6229ab11e Do not split graph in some cases. 2022-09-15 11:10:25 +08:00
i-robot 7b6f609aae
modify doc
Merge pull request  from xumengjuan1/code_docs_xm2
2022-09-15 02:51:59 +00:00
xumengjuan1 b93cd0fae0 modify doc 2022-09-15 10:41:45 +08:00
wuweikang b1f0cb902f tensor-scatter-max/min 2022-09-15 10:37:01 +08:00
wYann e783172631 fix scatter_mul doc 2022-09-15 10:34:06 +08:00
i-robot f28383ee90
initial zeroslike_gpu input_size
Merge pull request  from KylinMoriarty/r1.9
2022-09-15 02:27:29 +00:00
i-robot e9e0604ac3
mix precision for layernormgradgrad
Merge pull request  from kisnwang/r1.9
2022-09-15 02:21:19 +00:00
i-robot 54740e6e74
[MSLITE][CPU][r1.9] fuzz problem fix
Merge pull request  from Greatpan/deconv_fuzz1_r1.9
2022-09-15 02:13:32 +00:00
i-robot 1af157a0b8
[MS][SYNC]sync bugfix of master
Merge pull request  from mengyuanli/sync_r1.9
2022-09-15 02:12:12 +00:00
i-robot 5012be7a43
[MS][LITE][STABLE]optimize code | sync from master
Merge pull request  from chenjianping/r1.9_dev
2022-09-15 02:09:46 +00:00
i-robot b116266efd
refine doc of CustomRegOp
Merge pull request  from looop5/reg_info_doc
2022-09-15 02:01:04 +00:00
i-robot 40ea58280e
支持pynative位运算
Merge pull request  from KXiong/r1.9
2022-09-15 01:59:29 +00:00
i-robot 6df96a3ebe
add range raises doc
Merge pull request  from NaCN/code_docs_range
2022-09-15 01:58:48 +00:00
i-robot a7148185c5
fix KLDivLoss gpu resize
Merge pull request  from yeyunpeng2020/r1.9
2022-09-15 01:54:07 +00:00
huoxinyou e521fffc57 gather support dynrank & axis is tensor 2022-09-15 09:53:06 +08:00
i-robot 10a64f3cdf
Fix static
Merge pull request  from ZPaC/1.9-static
2022-09-15 01:40:36 +00:00
yuchaojie 5709c98208 fix conv2d tiling segmentfault 2022-09-15 09:31:29 +08:00
i-robot c552f924ff
Fix cve and code clean
Merge pull request  from shenwei41/fix_cve_1.9
2022-09-15 01:29:12 +00:00
liuluobin 513d41a48f Add dynamic shape test case for iou 2022-09-15 09:21:08 +08:00
i-robot 23a8e86f64
fix code check for r1.9
Merge pull request  from yangzhenzhang/fix-code-check-for-r1.9
2022-09-15 01:11:24 +00:00
ZPaC 1592137e0b Fix static 2022-09-15 08:19:20 +08:00
i-robot 390889e022
adapt dynamic rank for MatrixDeterminant
Merge pull request  from liuchao/matrix_determinant_r1.9
2022-09-14 13:51:22 +00:00
i-robot 6e7260687a
r1.9 Add dynamic_rank test cases
Merge pull request  from chenfei_mindspore/r1.9
2022-09-14 11:37:45 +00:00
kswang 938f3260a7 mix precision for gpu layernormgradgrad 2022-09-14 19:12:55 +08:00
i-robot 12fde16665
Fix an issue in Tensor.asnumpy()
Merge pull request  from hewei/fix_r1.9
2022-09-14 10:57:36 +00:00
i-robot 4030fed408
fix maxpool3dwithargmax dynamic shape
Merge pull request  from 范吉斌/fix_maxpool3dwithargmax_r1.9
2022-09-14 09:56:16 +00:00
looop5 06d93e0cc0 refine doc of CustomRegOp 2022-09-14 17:52:51 +08:00
greatpanc 5ce5e9c952 fuzz problem bugfix 2022-09-14 17:29:35 +08:00
i-robot 5681970164
[MS][LITE][parallel predict] fix large worker num
Merge pull request  from yefeng/cherry-pick-1663137517
2022-09-14 09:25:32 +00:00
mengyuanli 6ac9e8e2ed fix bug of onehot resize
1. fix bug of resize

fix doc bug of relu and relu6

add ds for softmax cpu
2022-09-14 17:12:13 +08:00
i-robot 37afe1cc2f
fix check somas error
Merge pull request  from 王禹程/fix_1.9
2022-09-14 09:05:18 +00:00
i-robot 45884b52fb
[r1.9] clean code
Merge pull request  from xulei/clean_code_r1.9
2022-09-14 09:03:00 +00:00
i-robot 294399e07a
GraphKernel R1.9 some op dyn shape adapt
Merge pull request  from ZengZitao/r19_dyn
2022-09-14 08:57:31 +00:00
shenwei41 7b0ff87e3e Fix cve and code clean 2022-09-14 16:34:59 +08:00
Corleone c64a2c910b adapt dynamic shape rank for MatrixDeterminant 2022-09-14 15:23:39 +08:00
yefeng 7eea870b92 fixed c0f0683 from https://gitee.com/YeFeng_24/mindspore/pulls/41940
model pool: fix large worker num
2022-09-14 06:38:38 +00:00
i-robot f347ad45fb
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-09-14 06:35:52 +00:00
yeyunpeng2020 ec556176b9 fix KLDivLoss gpu resize 2022-09-14 14:26:20 +08:00
huodagu bfe288b68a modify format 2022-09-14 14:20:44 +08:00
jpc_chenjianping 8c207c989e optimize code 2022-09-14 14:13:49 +08:00
He Wei ca3733bfe5 Fix an issue in Tensor.asnumpy() 2022-09-14 12:50:23 +08:00
yangzhenzhang 6583be2ae2 fix code check for r1.9 2022-09-14 12:14:10 +08:00
KylinMoriarty 72c34eb4cf initial zeroslike_gpu input_size 2022-09-14 10:55:07 +08:00
xiongkun e1025c7c09 add tensor interface
remove bitwise doc

remove redundant else
2022-09-14 10:17:10 +08:00
reku1997 2710390206 fix check somas error 2022-09-14 09:57:20 +08:00
i-robot 66dcb1f2d6
Clean code warnings
Merge pull request  from zyli2020/r1.9
2022-09-14 01:38:38 +00:00
liangzelang 42d2401293 clean code 2022-09-14 09:38:10 +08:00
i-robot 0fc68a1503
fix double instance of singleton caused by static library
Merge pull request  from zhoufeng/xiu-ba-ge-2
2022-09-14 01:33:41 +00:00
i-robot 637f9c16d7
modify format
Merge pull request  from 俞涵/code_docs_r190913
2022-09-14 01:01:14 +00:00
fan-jibin b278dd7d88 fix maxpool3dwithargmax dynamic shape 2022-09-14 00:27:37 +08:00
tronzhang fd7d3cfc5a add ConvertToDynamicRank interface 2022-09-13 21:25:18 +08:00
chenfei ad8fd2940d add dynamic rank test cases 2022-09-13 21:12:33 +08:00
xulei c87f952f08 clean code 2022-09-13 20:04:40 +08:00
lizhenyu f9e4fe6702 clean code warnings 2022-09-13 19:04:17 +08:00
zengzitao 42beb81450 r1.9 dyn adapt 2022-09-13 18:39:20 +08:00
huodagu fbc3539f31 modify math format 2022-09-13 17:30:38 +08:00
i-robot 3f9db0313a
add Tensor API for argmaxwithvalue
Merge pull request  from zhouxulin2/tensor_api
2022-09-13 08:40:15 +00:00
i-robot 3e3d75f7cf
clean code
Merge pull request  from xupan/codecheck
2022-09-13 08:35:03 +00:00
i-robot a9e547cc2b
[lite] GatherDGradV2 vmap support negative dim and clean CropAndResize error-info
Merge pull request  from 徐安越/master6
2022-09-13 08:15:10 +00:00
i-robot 8859bc731d
[docs] fix doc example of grad
Merge pull request  from chenzhuo/code_docs_1.9
2022-09-13 08:14:02 +00:00
i-robot 3e0ff8e463
[MS][OP]support random choice with mask dynamic shape
Merge pull request  from mengyuanli/ds_RCWM
2022-09-13 08:04:18 +00:00
i-robot acbee91868
fix bernoulli code docs
Merge pull request  from jiangshuqiang/code_docs_bernoulli
2022-09-13 07:48:53 +00:00
i-robot f0d0ff7188
fix bug in backprop of sparse add
Merge pull request  from xiaoyao/dev_sparse
2022-09-13 07:43:08 +00:00
i-robot a4b4fcec76
support dynamic shape and rank for batch_to_shape
Merge pull request  from hangq/wood
2022-09-13 07:29:25 +00:00
i-robot b4aa3c71d1
Fix Python Warning
Merge pull request  from huangxinjing/fix_warning_for_r19
2022-09-13 07:17:18 +00:00
i-robot adbaa9e86f
Remove custom_ops of Bessel functions on Ascend platform
Merge pull request  from hedongdong/TBE_Bessel
2022-09-13 07:12:45 +00:00
i-robot 0a7eba5a90
modify format
Merge pull request  from 俞涵/code_docs_0819
2022-09-13 07:08:25 +00:00
i-robot 9d43165b68
PyNative dynamic shape bprop graph run in actors
Merge pull request  from caifubi/master-pynative-dynamic-shape-bp
2022-09-13 06:57:36 +00:00
i-robot 6d5c49cef6
Dynamic BatchSize for AKG Kernel on Lite
Merge pull request  from jiaoy1224/onehot
2022-09-13 06:44:58 +00:00
i-robot f1c1a1b5bc
Fix some bugs
Merge pull request  from zuochuanyong/fix_bugs
2022-09-13 06:40:11 +00:00
huodagu 5522232189 modify format 2022-09-13 14:34:09 +08:00
i-robot cc2dfbd902
clean code
Merge pull request  from jiaorui/clean-code-master
2022-09-13 06:30:36 +00:00
i-robot e9b2e12242
reversev2动态shape支持
Merge pull request  from 黄勇/master
2022-09-13 06:20:38 +00:00
zhoufeng 6eb7f1345d fix double instance of singleton caused by static library
Signed-off-by: zhoufeng <zhoufeng54@huawei.com>
2022-09-13 14:18:28 +08:00
i-robot 2f26a73617
[MS]Optimize the session basic
Merge pull request  from 张学同/assert
2022-09-13 06:10:52 +00:00
i-robot 7542fdbdb5
Fix gradient when get_by_list is True and weights is None
Merge pull request  from huangbingjian/fix_grad
2022-09-13 06:09:28 +00:00
i-robot 691b7de54d
sparse_add, sparse_add_grad, conv_grad support dynamic rank
Merge pull request  from looop5/sparse_add_dyn_rank
2022-09-13 06:09:14 +00:00
i-robot 25c7f3a737
[MS]{Lite][Task] unify build model to buffer
Merge pull request  from 刘力力/unify_buffer_build_develop
2022-09-13 06:05:32 +00:00
i-robot f5a40e298c
add split dynamic rank
Merge pull request  from 胡安东/br0912
2022-09-13 03:51:42 +00:00
chenzhuo 1e9eb5d90d fix doc example of grad 2022-09-13 11:33:30 +08:00
huangchengnuo 1410b6d4dc add range raises doc 2022-09-13 11:25:54 +08:00
i-robot 6ec0c182b2
modify def _check_compile_dynamic_shape
Merge pull request  from changzherui/mod_check_compile_dynamic_shape
2022-09-13 03:23:44 +00:00
i-robot 1e67e1a130
[MS][LITE] fix lite python api model-parallel-runner init without runnerconfig
Merge pull request  from luoyuan/fix-lite-py-api-parallel-model-init-no-config
2022-09-13 03:20:48 +00:00
i-robot 1f3b82199f
[ST][MS][OPS] bmm Functional API & ST - addmv, asinh, atan, atanh & bmm Tesnsor APIs and STs.
Merge pull request  from alashkari/tensor-apis-sept04
2022-09-13 03:12:28 +00:00
i-robot d60cd6951f
add c infer and update gpu kernelmod for conv3d grad
Merge pull request  from xupan/conv3d_infer
2022-09-13 03:06:06 +00:00
jiaorui ab73e9e85f clean code
clean code
2022-09-13 10:37:55 +08:00
hangangqiang 6aa5cab829 support dynamic shape and rank for batch_to_shape 2022-09-13 10:27:01 +08:00
liu lili 3af93cbc55 mindspore lite: add build_by_buffer_impl to unify build api 2022-09-13 10:09:48 +08:00
i-robot 9818117c76
Attention kernel using fast transformers
Merge pull request  from yonibaehr/export_yoni
2022-09-13 01:58:05 +00:00
i-robot 9e0d46f2dc
modify the inconsistence in files 0909
Merge pull request  from 宦晓玲/code_docs_0909
2022-09-13 01:43:32 +00:00
i-robot 3324fea63f
[feat] [assistant] [ops] [I5EWJI,I5EWJJ,I5EWJK,I5EWJC,I5EWJD,I5EWJG] New GPU operator implementation SparseSegmentOps
Merge pull request  from 路雄博/SSSqG
2022-09-13 01:12:59 +00:00
mengyuanli 4d27650f1d 1.support random_choice_with_mask ds cpu
2.support random_choice_with_mask ds gpu
2022-09-13 09:07:51 +08:00
i-robot 99b02e4d85
dataset, remove extra IR tree and python sampler deepcopy
Merge pull request  from RobinGrosman/iter_copy_sampler_fix
2022-09-12 22:09:24 +00:00
i-robot 20a79af53e
[MD] Add Check for Mismatched Type in BatchOp and Restore Config Properly in test_map.py
Merge pull request  from davidanugraha/batch_inconsistent_typefix
2022-09-12 20:58:39 +00:00
changzherui 637eb20bde modify _check_compile_dynamic_shape 2022-09-12 22:07:14 +08:00
yoni 3ae59185b2 attention kernel bit exact 2022-09-12 16:46:34 +03:00
huandong ab20a8e2b4 add split dynamic rank
Signed-off-by: huandong <huandong1@huawei.com>
2022-09-12 19:50:45 +08:00
unknown a8a3fe0ee9 reversev2 dynamic shape 2022-09-12 18:01:51 +08:00
zuochuanyong 37b69b8737 fix some bugs 2022-09-12 17:52:00 +08:00
alashkari fabf4c075d Added new tensor and functional APIs and STs. 2022-09-12 04:26:11 -04:00
i-robot ca371e1531
Convert tuple and scalar into tensor for bprop in dynamic shape mode.
Merge pull request  from wanghenchang/dynamic_shape_infer
2022-09-12 07:30:52 +00:00
i-robot 41e5b33ea5
spacetobatch_spacetodepth_squareddiff 支持动态shape+kernelMod改造
Merge pull request  from zong_shuai/spacetobatch_spacetodepth_squareddiff
2022-09-12 05:52:00 +00:00
i-robot 66e5698a80
takedown test_ps_roi_pooling_dynamic_shape to ensure gate stability
Merge pull request  from yanghaoran/master
2022-09-12 04:27:18 +00:00
yanghaoran 1174307dba takedown test_ps_roi_pooling_dynamic_shape to ensure gate stability 2022-09-12 11:39:42 +08:00
hedongdong 0478d1b839 Remove custom_op of Bessel functions 2022-09-12 11:32:53 +08:00
caifubi c5e8bb6845 PyNative dynamic bprop graph run in actor 2022-09-12 11:27:47 +08:00
looop5 f79b4680d1 sparse_add, sparse_add_grad, conv_grad support dynamic rank 2022-09-12 10:28:16 +08:00
huangchengnuo 2156b68c28 add cdist cdistgrad and matrixsetdiagv3 dynamic shape and rank 2022-09-12 00:53:58 +08:00
zong_shuai 6e14e247ea kernel_mod dyn_shape 2022-09-11 22:09:31 +08:00
xupan 5e8bce0894 add c infer and update gpu kernelmod for conv3d grad 2022-09-10 23:42:53 +08:00
David 5aa233878f Fixed batch type issue 2022-09-09 14:02:15 -04:00
huanxiaoling 788311123d modify the inconsistence in files 0909 2022-09-09 17:25:49 +08:00
zhangxuetong 616661bd1e opt session basic 2022-09-09 16:57:14 +08:00
xuanyue e112b34d4b GatherDGradV2 vmap support negative dim and clean CropAndResize error-info 2022-09-09 16:18:08 +08:00
luoyuan b1382db7ba [MS][LITE] fix lite python api model-parallel-runner init without runnerconfig 2022-09-09 16:05:03 +08:00
wangchangheng 5fc4e673fb dynamic shape optimize 2022-09-09 15:40:48 +08:00
huangbingjian 101574e8ee Fix gradient when get_by_list is True and weights is None 2022-09-09 14:41:54 +08:00
xupan e29f61ad38 clean code 2022-09-09 14:35:34 +08:00
huangxinjing e4286befb5 Fix python warning 2022-09-09 13:50:06 +08:00
Yang Jiao d9eb1b21ec dynamic batch size for akg 2022-09-09 11:55:30 +08:00
Super_Wzb 2ef17714e9 [feat] [assistant] [ops] [I5EWJI,I5EWJJ,I5EWJK,I5EWJC,I5EWJD,I5EWJG] New GPU operator implementation SparseSegmentSum,SparseSegmentSumGrad,SparseSegmentSumWithNumSegments,SparseSegmentSqrtN, SparseSegmentSqrtNGrad, SparseSegmentSqrtNWithNumSegments 2022-09-09 11:05:50 +08:00
Robin Grosman b947e38785 modify dataset iterator to remove extra ir_tree
- extra tree was coming from offload check
    - will remove deepcopy of sampler
2022-09-08 18:09:44 +00:00
xiao_yao1994 3b1fa6b7f7 fix bug in sparse add grad 2022-09-08 19:56:39 +08:00
jiangshuqiang a58410716d fix bernoulli code docs 2022-09-08 16:25:51 +08:00
zhouxulin2 b882dc8c81 add Tensor API for argmaxwithvalue 2022-09-07 14:40:04 +08:00
lh735291378 166c955fea [assistant] [I4XJI5]fix ctclossv2 cpu bug & doc 2022-08-31 17:49:06 +08:00
zhangyongxian fd7550a45e Fix bug fir GPU GridSample 2022-08-23 18:01:44 +08:00
3187 changed files with 50864 additions and 53546 deletions
.jenkins/check/config
README.mdREADME_CN.mdRELEASE.mdRELEASE_CN.mdakg
cmake
config
docs
MindSpore-architecture-zh.pngMindSpore-architecture.png
api/api_python
amp
dataset
mindspore.dataset.AGNewsDataset.rstmindspore.dataset.AmazonReviewDataset.rstmindspore.dataset.ArgoverseDataset.rstmindspore.dataset.BuiltinSampler.b.rstmindspore.dataset.CLUEDataset.rstmindspore.dataset.CSVDataset.rstmindspore.dataset.Caltech256Dataset.rstmindspore.dataset.CelebADataset.rstmindspore.dataset.Cifar100Dataset.rstmindspore.dataset.Cifar10Dataset.rstmindspore.dataset.CityscapesDataset.rstmindspore.dataset.CoNLL2000Dataset.rstmindspore.dataset.CocoDataset.rstmindspore.dataset.DBpediaDataset.rstmindspore.dataset.DIV2KDataset.rstmindspore.dataset.DSCallback.rstmindspore.dataset.Dataset.c.rstmindspore.dataset.Dataset.e.rstmindspore.dataset.Dataset.rstmindspore.dataset.DatasetCache.rstmindspore.dataset.EMnistDataset.rstmindspore.dataset.EnWik9Dataset.rstmindspore.dataset.FakeImageDataset.rstmindspore.dataset.FashionMnistDataset.rstmindspore.dataset.FlickrDataset.rstmindspore.dataset.Flowers102Dataset.rstmindspore.dataset.GeneratorDataset.rstmindspore.dataset.Graph.rstmindspore.dataset.GraphData.rstmindspore.dataset.IMDBDataset.rstmindspore.dataset.IWSLT2016Dataset.rstmindspore.dataset.IWSLT2017Dataset.rstmindspore.dataset.ImageFolderDataset.rstmindspore.dataset.InMemoryGraphDataset.rstmindspore.dataset.KMnistDataset.rstmindspore.dataset.LJSpeechDataset.rstmindspore.dataset.ManifestDataset.rstmindspore.dataset.MindDataset.rstmindspore.dataset.MnistDataset.rstmindspore.dataset.PennTreebankDataset.rstmindspore.dataset.PhotoTourDataset.rstmindspore.dataset.Places365Dataset.rstmindspore.dataset.QMnistDataset.rstmindspore.dataset.RandomDataset.rstmindspore.dataset.SBDataset.rstmindspore.dataset.SBUDataset.rstmindspore.dataset.STL10Dataset.rstmindspore.dataset.SVHNDataset.rstmindspore.dataset.SemeionDataset.rstmindspore.dataset.SogouNewsDataset.rstmindspore.dataset.SpeechCommandsDataset.rstmindspore.dataset.TFRecordDataset.rstmindspore.dataset.TedliumDataset.rstmindspore.dataset.TextFileDataset.rstmindspore.dataset.UDPOSDataset.rstmindspore.dataset.USPSDataset.rstmindspore.dataset.VOCDataset.rstmindspore.dataset.WIDERFaceDataset.rstmindspore.dataset.WaitedDSCallback.rstmindspore.dataset.WikiTextDataset.rstmindspore.dataset.YahooAnswersDataset.rstmindspore.dataset.YelpReviewDataset.rstmindspore.dataset.YesNoDataset.rstmindspore.dataset.deserialize.rstmindspore.dataset.serialize.rstmindspore.dataset.show.rstmindspore.dataset.utils.imshow_det_bbox.rst
dataset_audio
dataset_text
dataset_vision
mindrecord

View File

@ -7,6 +7,7 @@
"mindspore/mindspore/core/abstract/ops/prim_nn.cc" "zerodivcond"
"mindspore/mindspore/ccsrc/frontend/operator/ops_front_infer_function.cc" "zerodivcond"
"mindspore/mindspore/ccsrc/pipeline/jit/pipeline_split.cc" "zerodivcond"
"mindspore/mindspore/ccsrc/plugin/device/ascend/kernel/aicpu/aicpu_ops/drop_out_gen_mask_kernels.cc" "uninitMemberVar"
"mindspore/mindspore/ccsrc/plugin/device/ascend/optimizer/ir_fusion/adaptive_max_pool2d_fusion.cc" "zerodivcond"
"mindspore/mindspore/ccsrc/plugin/device/ascend/hal/device/ascend_stream_assign.cc" "useStlAlgorithm"
"mindspore/mindspore/ccsrc/frontend/operator/ops_front_infer_function.cc" "uninitvar"
@ -66,3 +67,4 @@
"mindspore/mindspore/lite/src/litert/kernel/cpu/fp32/convolution_im2col_fp32.cc" "shadowVariable"
"mindspore/mindspore/lite/src/litert/kernel/cpu/fp32/convolution_winograd_fp32.cc" "knownConditionTrueFalse"
"mindspore/mindspore/lite/src/litert/kernel/cpu/fp32/convolution_winograd_fp32.cc" "shadowVariable"
"mindspore/mindspore/ccsrc/plugin/device/ascend/kernel/tbe/tbe_utils.cc" "knownConditionTrueFalse"

View File

@ -20,7 +20,9 @@
"mindspore/mindspore/ccsrc/runtime/hardware/device_context.h" "readability/braces"
"mindspore/mindspore/ccsrc/transform/graph_ir/convert.h" "runtime/references"
"mindspore/mindspore/ccsrc/plugin/device/ascend/kernel/aicpu/aicpu_ops/gather_grad_kernels.cc" "build/include"
"mindspore/mindspore/ccsrc/plugin/device/ascend/kernel/aicpu/aicpu_ops/drop_out_gen_mask_kernels.cc" "build/include"
"mindspore/mindspore/ccsrc/backend/common/optimizer/op_adaptation_info_factory.h" "runtime/explicit"
"mindspore/mindspore/ccsrc/plugin/device/gpu/kernel/cuda_impl/cuda_ops/concatv2_impl.cu" "runtime/int"
# Modelzoo
"mindspore/model_zoo/official/cv/yolov4_tiny/infer/mxbase/src/Yolov4TinyDetection.h" "runtime/references"

View File

@ -49,8 +49,12 @@ https://github.com/siju-samuel/darknet/blob/master/
https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu
https://developer.download.nvidia.cn/compute/machine-learning/repos/ubuntu
https://dl.google.com/dl/android/maven2/
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.8.0/MindInsight/any/mindinsight-1.8.0-py3-none-any.whl
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.8.0/MindSpore/cpu/x86_64/mindspore-1.8.0-cp37-cp37m-linux_x86_64.whl
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.8.0/Serving/x86_64/mindspore_serving-1.8.0-cp37-cp37m-linux_x86_64.whl
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.8.0/MindSpore/gpu/x86_64/cuda-10.1/mindspore_gpu-1.8.0-cp37-cp37m-linux_x86_64.whl
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.8.0/MindSpore/gpu/x86_64/cuda-11.1/mindspore_gpu-1.8.0-cp37-cp37m-linux_x86_64.whl
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/MindInsight/any/mindinsight-1.9.0-py3-none-any.whl
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/MindSpore/cpu/x86_64/mindspore-1.9.0-cp37-cp37m-linux_x86_64.whl
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/Serving/x86_64/mindspore_serving-1.9.0-cp37-cp37m-linux_x86_64.whl
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/MindSpore/gpu/x86_64/cuda-10.1/mindspore_gpu-1.9.0-cp37-cp37m-linux_x86_64.whl
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/MindSpore/gpu/x86_64/cuda-11.1/mindspore_gpu-1.9.0-cp37-cp37m-linux_x86_64.whl
https://mindspore.cn*/r1.9/*
https://www.mindspore.cn*/r1.9/*
https://mindspore.cn*/r1.10/*
https://www.mindspore.cn*/r1.10/*

View File

@ -155,9 +155,11 @@
"mindspore/tests/st/ops/ascend/test_aicpu_ops/test_strided_slice_grad.py" "redefined-outer-name"
"mindspore/tests/st/pynative/parser/test_parser_construct.py" "bad-super-call"
"mindspore/tests/ut/python/optimizer/test_auto_grad.py" "broad-except"
"mindspore/tests/st/gradient/test_grad_return_type.py" "unused-variable"
"mindspore/tests/st/fallback/control_flow/test_fallback_100_if_after_if.py" "unused-variable"
"mindspore/tests/st/numpy_native/test_array_ops.py" "useless-super-delegation"
"mindspore/tests/ut/python/mindir/test_mindir_export.py" "no-else-return"
"mindspore/tests/" "c-extension-no-member"
#MindSpore Lite
"mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/generator.py" "redefined-builtin"

View File

@ -20,6 +20,7 @@ mindspore/mindspore/ccsrc/pipeline/jit/static_analysis/prim.cc:mindspore::abstra
mindspore/mindspore/ccsrc/pybind_api/ir/log_adapter_py.cc:mindspore::PyExceptionInitializer::HandleExceptionPy
mindspore/mindspore/ccsrc/plugin/device/gpu/kernel/math/unary_op_gpu_kernel.h:mindspore::kernel::UnaryOpGpuKernel::Launch
mindspore/mindspore/ccsrc/plugin/device/ascend/optimizer/ir_fission/dynamic_rnn_grad_fission_v2.cc:mindspore::opt::AddLSTMInputGradNode
mindspore/mindspore/ccsrc/plugin/device/ascend/kernel/aicpu/aicpu_ops/drop_out_gen_mask_kernels.cc:aicpu::ARMDropOutGenMaskKernel
mindspore/model_zoo/official/recommend/wide_and_deep/src/wide_and_deep.py:__init__
mindspore/model_zoo/official/recommend/wide_and_deep_multitable/src/wide_and_deep.py:__init__
mindspore/mindspore/ccsrc/pipeline/jit/resource.cc:mindspore::pipeline::GetMethodMap

View File

@ -281,11 +281,13 @@ Project stable branches will be in one of the following states:
| **Branch** | **Status** | **Initial Release Date** | **Next Phase** | **EOL Date**|
|------------|--------------|--------------------------|----------------------------------------|-------------|
| **r1.10** | Maintained | 2023-02-02 | Unmaintained <br> 2024-02-02 estimated | |
| **r1.9** | Maintained | 2022-10-26 | Unmaintained <br> 2023-10-26 estimated | |
| **r1.8** | Maintained | 2022-07-29 | Unmaintained <br> 2023-07-29 estimated | |
| **r1.7** | Maintained | 2022-04-29 | Unmaintained <br> 2023-04-29 estimated | |
| **r1.6** | Maintained | 2022-01-29 | Unmaintained <br> 2023-01-29 estimated | |
| **r1.5** | Maintained | 2021-10-15 | Unmaintained <br> 2022-10-15 estimated | |
| **r1.4** | Maintained | 2021-08-15 | Unmaintained <br> 2022-08-15 estimated | |
| **r1.6** | End Of Life | 2022-01-29 | | 2023-01-29 |
| **r1.5** | End Of Life | 2021-10-15 | | 2022-10-15 |
| **r1.4** | End Of Life | 2021-08-15 | | 2022-08-15 |
| **r1.3** | End Of Life | 2021-07-15 | | 2022-07-15 |
| **r1.2** | End Of Life | 2021-04-15 | | 2022-04-29 |
| **r1.1** | End Of Life | 2020-12-31 | | 2021-09-30 |

View File

@ -274,11 +274,13 @@ MindSpore的版本分支有以下几种维护阶段
| **分支名** | **当前状态** | **上线时间** | **后续状态** | **EOL 日期**|
|------------|--------------|----------------------|----------------------------------------|------------|
| **r1.10** | Maintained | 2023-02-02 | Unmaintained <br> 2024-02-02 estimated | |
| **r1.9** | Maintained | 2022-10-26 | Unmaintained <br> 2023-10-26 estimated | |
| **r1.8** | Maintained | 2022-07-29 | Unmaintained <br> 2023-07-29 estimated | |
| **r1.7** | Maintained | 2022-04-29 | Unmaintained <br> 2023-04-29 estimated | |
| **r1.6** | Maintained | 2022-01-29 | Unmaintained <br> 2023-01-29 estimated | |
| **r1.5** | Maintained | 2021-10-15 | Unmaintained <br> 2022-10-15 estimated | |
| **r1.4** | Maintained | 2021-08-15 | Unmaintained <br> 2022-08-15 estimated | |
| **r1.6** | End Of Life | 2022-01-29 | | 2023-01-29 |
| **r1.5** | End Of Life | 2021-10-15 | | 2022-10-15 |
| **r1.4** | End Of Life | 2021-08-15 | | 2022-08-15 |
| **r1.3** | End Of Life | 2021-07-15 | | 2022-07-15 |
| **r1.2** | End Of Life | 2021-04-15 | | 2022-04-29 |
| **r1.1** | End Of Life | 2020-12-31 | | 2021-09-30 |

View File

@ -2,7 +2,123 @@
[查看中文](./RELEASE_CN.md)
# MindSpore 1.8.1
## MindSpore 1.10.1 Release Notes
### Bug fixes
- Fixed the issue that the specified axis is not considered in logsumexp anti-overflow processing
- Fixed the compilation dependency of proto file
- Fixed the issue that the print operator printing result is not normal
- Fixed the issue that the equal operator is out of range
- Fixed the problem that when function wrapped by @jitthe cell id is not correct
- Fixed the GNN scenario data type verification error
- Fixed the problem that the dataset.map multi-process degenerates into threads
### Contributors
Thanks goes to these wonderful people:
archer2049, caifubi, chenfei_mindspore, gaoshuanglong, Greatpan, guozhijian, huoxinyou, Kxiong, lanzhineng, lijunbin, liubuyu, liuchuting, luochao60, lyqlola, nomindcarry, TuDouNi, xiaotianci, xupan, yangshuo, yefeng, YingtongHu, yuchaojie, zhoufeng, ZPaC, 刘勇琪, 吕昱峰, 王禹程, 于振华.
Contributions of any kind are welcome!
## MindSpore 1.10.0 Release Notes
### Major Features and Improvements
#### DataSet
- [STABLE]The timeout waiting time is adjusted in data sinking mode. The default value is 600s after adjusted. This solves the isuses that the GetNext operator may timeout due to environment resource competition and large computing workload when training in sink mode.
### Bug fixes
- Fixed an issue where some Primitive operators in AMP cannot be instantiated in graph mode and the interface is unavailable.
- Fixed an issue of DynamicRNN execution failure in LSTM network under the scenario of computational force segmentation on Ascend platform.
- Fixed DEVICE_ID cannot be set by single card train scripts parameters in mobilenet, fasterrcnn, yolo, etc.
### Contributors
Thanks goes to these wonderful people:
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, heleiwang, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, Lixia, lixian, liyanliu, liyong, lizhenyu, luopengting, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, ougongchang, panfengfeng, panyifeng, Payne, Peilin, peixu_ren, Pengyongrong, qianlong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, , Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, wuxuejian, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaitao1, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanke, zhanyuan, zhaodezan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking, shu-kun-zhang.
Contributions of any kind are welcome!
## MindSpore Lite 1.10.0 Release Notes
### Bug fixes
- Fixed potential accuracy problem of arithmetic type CPU kernels at dynamical shape case.
- Fixed the Incorrect Write Address of the Deconv Quantization Operator.
## MindSpore 1.9.0 Release Notes
### Major Features and Improvements
#### FrontEnd
- [STABLE] Add the object-oriented and functional combination programming paradigm, add mixed-precision APIs for combination programming paradigms such as `mindspore.amp.LossScaler`, `mindspore.amp.DynamicLossScaler`, `mindspore.amp.StaticLossScaler`, `mindspore.amp.auto_mixed_precision` and `mindspore.amp.all_finite`.
### API Change
#### operator
- [STABLE] Add nn interface for `nn.AdaptiveAvgPool3d`.
- [STABLE] Add functional interface for `ops.adaptive_avg_pool3d`.
- [STABLE] Add functional interface for `ops.addcdiv`.
- [STABLE] Add functional interface for `ops.addcmul`.
- [STABLE] Add GPU and CPU support for `ops.approximate_equal`.
- [STABLE] Add GPU support for `ops.atanh`.
- [STABLE] Add GPU support for `ops.bessel_i0`.
- [STABLE] Add Ascend support for `ops.bessel_i0e`.
- [STABLE] Add GPU support for `ops.bessel_i1`.
- [STABLE] Add Ascend and GPU support for `ops.bessel_i1e`.
- [STABLE] Add GPU support for `ops.bessel_j0`.
- [STABLE] Add GPU support for `ops.bessel_j1`.
- [STABLE] Add GPU support for `ops.bessel_k0`.
- [STABLE] Add GPU support for `ops.bessel_k0e`.
- [STABLE] Add GPU support for `ops.bessel_k1`.
- [STABLE] Add GPU support for `ops.bessel_k1e`.
- [STABLE] Add GPU support for `ops.bessel_y0`.
- [STABLE] Add GPU support for `ops.bessel_y1`.
- [STABLE] Add functional interface for `ops.bias_add`.
- [STABLE] Add GPU support for `ops.bitwise_and`.
- [STABLE] Add GPU support for `ops.bitwise_or`.
- [STABLE] Add GPU support for `ops.bitwise_xor`.
- [STABLE] Add Ascend support for `ops.grid_sample`.
- [STABLE] Add CPU support for `ops.inplace_update`.
- [STABLE] Add Ascend and GPU support for `ops.isclose`.
- [STABLE] Add Ascend support for `ops.isnan`.
- [STABLE] Add GPU support for `ops.lerp`.
- [STABLE] Add functional interface for `ops.random_poisson`.
- [STABLE] Add functional interface for `ops.reverse_sequence`.
- [STABLE] Add GPU support for `ops.scatter_mul`.
- [STABLE] Add functional interface for `ops.scatter_nd_max`.
- [STABLE] Add functional interface for `ops.scatter_nd_min`.
- [STABLE] Add GPU support for `ops.SparseToDense`.
- [STABLE] Add functional interface for `ops.square`.
- [STABLE] Add GPU support for `ops.standard_laplace`.
- [STABLE] Add functional interface for `ops.std`.
- [STABLE] Add Ascend and GPU support for `ops.trunc`.
- [STABLE] Add functional interface for `ops.unsorted_segment_sum`.
- [STABLE] Add functional interface for `ops.xdivy`.
- [STABLE] Add GPU support for `ops.xlogy`.
- Deprecate `ops.poisson` and use `ops.random_poisson` instead.
- Deprecate `ops.SparseApplyAdagrad` and use `ops.SparseApplyAdagradV2` instead.
### Bug fixes
- [BUGFIX] The logic of the auto mixed precision (amp) O2 level is revised. In addition to the `BatchNorm1d` and `BatchNorm2d` operators, the other two operators `BatchNorm3d` and `LayerNorm` are added. The four operators still use the float32 data type when calculating.
- [BUGFIX] Fix the problem that when processing string type data, if `output_numpy=True` is specified when calling the `create_dict_iterator` or `create_tuple_iterator` interface, the obtained data will be of type `numpy.bytes_`. After this fixing, these interfaces will directly return `numpy.str_` type data, and users do not need to perform string decoding operations on it. Likewise, when performing user defined processing functions, the received data will also be of type `numpy.str_` directly, matching the original source data type.
### Contributors
Thanks goes to these wonderful people:
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, liyanliu, lizhenyu, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, panfengfeng, panyifeng, Payne, peixu_ren, Pengyongrong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanyuan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking, shu-kun-zhang.
Contributions of any kind are welcome!
## MindSpore 1.8.1 Release Notes
@ -72,8 +188,6 @@
- [STABLE] Add CPU support for ops.xdivy.
- [STABLE] Add CPU support for ops.xlogy.
# MindSpore 1.8.0
## MindSpore 1.8.0 Release Notes
### Major Features and Improvements
@ -126,7 +240,7 @@
- [STABLE] When using the map operation for dataset objects and the parameters like: num_parallel_workers > 1 and python_multiprocessing=True, the multi-process mechanism is optimized, so that the data channel and child processes are mapped one by one, avoiding excessive file handle occupation, and closing_pool interface is also deleted.
- [STABLE] Add a batch of Vision, Text and Audio data augmentation operations.
- [STABLE] Fix a bug where the flat_map method of the Dataset class does not flatten the result.
- [STABLE] Unify import paths of dataset augmentation APIs to provide more easier way to use. Refer to [latest api usages](https://www.mindspore.cn/docs/en/master/api_python/mindspore.dataset.vision.html).
- [STABLE] Unify import paths of dataset augmentation APIs to provide more easier way to use. Refer to [latest api usages](https://www.mindspore.cn/docs/en/r1.8/api_python/mindspore.dataset.vision.html).
### API Change
@ -250,7 +364,15 @@ For examples:
The API pages are aggregated to <https://www.mindspore.cn/docs/en/master/api_python/mindspore.html>.
## MindSpore Lite
### Contributors
Thanks goes to these wonderful people:
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, heleiwang, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, Lixia, lixian, liyanliu, liyong, lizhenyu, luopengting, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, ougongchang, panfengfeng, panyifeng, Payne, Peilin, peixu_ren, Pengyongrong, qianlong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, , Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, wuxuejian, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaitao1, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanke, zhanyuan, zhaodezan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking, shu-kun-zhang.
Contributions of any kind are welcome!
## MindSpore Lite 1.8.0 Release Notes
### Major Features and Improvements
@ -263,14 +385,6 @@ The API pages are aggregated to <https://www.mindspore.cn/docs/en/master/api_pyt
- [STABLE] Support perlayer quantization, and built-in CLE to optimize perlayer quantization accuracy.
### Contributors
Thanks goes to these wonderful people:
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, heleiwang, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, Lixia, lixian, liyanliu, liyong, lizhenyu, luopengting, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, ougongchang, panfengfeng, panyifeng, Payne, Peilin, peixu_ren, Pengyongrong, qianlong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, , Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, wuxuejian, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaitao1, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanke, zhanyuan, zhaodezan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking, shu-kun-zhang.
Contributions of any kind are welcome!
## MindSpore 1.7.0 Release Notes
### Major Features and Improvements
@ -339,7 +453,15 @@ Contributions of any kind are welcome!
- Deprecate `mindspore.SparseTensor` and use `mindspore.COOTensor` instead. ([!28505](https://gitee.com/mindspore/mindspore/pulls/28505))
- Add Tensor init arg `internal` for internal use.
## MindSpore Lite
### Contributors
Thanks goes to these wonderful people:
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, heleiwang, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, Lixia, lixian, liyanliu, liyong, lizhenyu, luopengting, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, ougongchang, panfengfeng, panyifeng, Payne, Peilin, peixu_ren, Pengyongrong, qianlong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, , Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, wuxuejian, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaitao1, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanke, zhanyuan, zhaodezan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking.
Contributions of any kind are welcome!
## MindSpore Lite 1.7.0 Release Notes
### Major Features and Improvements
@ -348,14 +470,6 @@ Contributions of any kind are welcome!
- [STABLE] Support post quantization to run dynamic quantization algorithm.
- [BETA] Support post quantized model to run on NVIDIA GPU.
## Contributors
Thanks goes to these wonderful people:
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, heleiwang, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, Lixia, lixian, liyanliu, liyong, lizhenyu, luopengting, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, ougongchang, panfengfeng, panyifeng, Payne, Peilin, peixu_ren, Pengyongrong, qianlong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, , Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, wuxuejian, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaitao1, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanke, zhanyuan, zhaodezan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking.
Contributions of any kind are welcome!
# MindSpore 1.6.0
## MindSpore 1.6.0 Release Notes

View File

@ -2,7 +2,123 @@
[View English](./RELEASE.md)
# MindSpore 1.8.1
## MindSpore 1.10.1 Release Notes
### 问题修复
- 修复logsumexp防溢出处理中未考虑指定axis的问题
- 修复proto文件的编译依赖问题
- 修复print算子打印结果不正常的问题
- 修复equal算子越界问题
- 修复函数被@jit修饰后导致的cell_id解析不正确的问题
- 修复GNN场景数据类型校验错误
- 修复Dataset map多进程退化成线程的问题
### 贡献者
感谢以下人员做出的贡献:
archer2049, caifubi, chenfei_mindspore, gaoshuanglong, Greatpan, guozhijian, huoxinyou, Kxiong, lanzhineng, lijunbin, liubuyu, liuchuting, luochao60, lyqlola, nomindcarry, TuDouNi, xiaotianci, xupan, yangshuo, yefeng, YingtongHu, yuchaojie, zhoufeng, ZPaC, 刘勇琪, 吕昱峰, 王禹程, 于振华.
欢迎以任何形式对项目提供贡献!
## MindSpore 1.10.0 Release Notes
### 主要特性和增强
#### DataSet
- [STABLE]下沉模式超时等待时间调整默认调整到600s以解决数据下沉模式时因环境资源竞争、计算量大等因素容易导致GetNext算子等待超时的问题。
### Bug fixes
- 修复AMP中部分Primitive算子无法在图模式下实例化导致接口不可用的问题。
- 修复昇腾平台算力切分场景下LSTM网络中DynamicRNN算子执行失败的问题。
- 修复mobilenet, fasterrcnn, yolo等网络单卡训练脚本DEVICE_ID在启动脚本中写死的问题。
### 贡献者
感谢以下人员做出的贡献:
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, heleiwang, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, Lixia, lixian, liyanliu, liyong, lizhenyu, luopengting, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, ougongchang, panfengfeng, panyifeng, Payne, Peilin, peixu_ren, Pengyongrong, qianlong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, , Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, wuxuejian, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaitao1, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanke, zhanyuan, zhaodezan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking, shu-kun-zhang.
欢迎以任何形式对项目提供贡献!
## MindSpore Lite 1.10.0 Release Notes
### Bug fixes
- 修复Arithmetic类CPU算子动态shape场景下可能的计算精度问题。
- 修复Deconv int8量化算子重量化写入地址错误问题。
## MindSpore 1.9.0 Release Notes
### 主要特性和增强
#### FrontEnd
- [STABLE] 新增面向对象+函数式融合编程范式,提供 `mindspore.amp.LossScaler``mindspore.amp.DynamicLossScaler``mindspore.amp.StaticLossScaler``mindspore.amp.auto_mixed_precision``mindspore.amp.all_finite` 等融合编程范式下的混合精度接口。
### API变更
#### 算子
- [STABLE] `nn.AdaptiveAvgPool3d` 新增nn接口。
- [STABLE] `ops.adaptive_avg_pool3d` 新增functional接口。
- [STABLE] `ops.addcdiv` 新增functional接口。
- [STABLE] `ops.addcmul` 新增functional接口。
- [STABLE] `ops.approximate_equal` 新增GPU、CPU支持。
- [STABLE] `ops.atanh` 新增GPU支持。
- [STABLE] `ops.bessel_i0` 新增GPU支持。
- [STABLE] `ops.bessel_i0e` 新增Ascend支持。
- [STABLE] `ops.bessel_i1` 新增GPU支持。
- [STABLE] `ops.bessel_i1e` 新增Ascend、GPU支持。
- [STABLE] `ops.bessel_j0` 新增GPU支持。
- [STABLE] `ops.bessel_j1` 新增GPU支持。
- [STABLE] `ops.bessel_k0` 新增GPU支持。
- [STABLE] `ops.bessel_k0e` 新增GPU支持。
- [STABLE] `ops.bessel_k1` 新增GPU支持。
- [STABLE] `ops.bessel_k1e` 新增GPU支持。
- [STABLE] `ops.bessel_y0` 新增GPU支持。
- [STABLE] `ops.bessel_y1` 新增GPU支持。
- [STABLE] `ops.bias_add` 新增functional接口。
- [STABLE] `ops.bitwise_and` 新增GPU支持。
- [STABLE] `ops.bitwise_or` 新增GPU支持。
- [STABLE] `ops.bitwise_xor` 新增GPU支持。
- [STABLE] `ops.grid_sample` 新增Ascend支持。
- [STABLE] `ops.inplace_update` 新增CPU支持。
- [STABLE] `ops.isclose` 新增Ascend、GPU支持。
- [STABLE] `ops.isnan` 新增Ascend支持。
- [STABLE] `ops.lerp` 新增GPU支持。
- [STABLE] `ops.random_poisson` 新增functional接口。
- [STABLE] `ops.reverse_sequence` 新增functional接口。
- [STABLE] `ops.scatter_mul` 新增GPU支持。
- [STABLE] `ops.scatter_nd_max` 新增functional接口。
- [STABLE] `ops.scatter_nd_min` 新增functional接口。
- [STABLE] `ops.SparseToDense` 新增GPU支持。
- [STABLE] `ops.square` 新增functional接口。
- [STABLE] `ops.standard_laplace` 新增GPU支持。
- [STABLE] `ops.std` 新增functional接口。
- [STABLE] `ops.trunc` 新增Ascend、GPU支持。
- [STABLE] `ops.unsorted_segment_sum` 新增functional接口。
- [STABLE] `ops.xdivy` 新增functional接口。
- [STABLE] `ops.xlogy` 新增GPU支持。
- `ops.poisson` 接口废弃使用,对应新接口为 `ops.random_poisson`
- `ops.SparseApplyAdagrad` 接口废弃使用,可使用 `ops.SparseApplyAdagradV2` 接口替代。
### Bug fixes
- [BUGFIX] 修改混合精度O2 level的判断逻辑在原来屏蔽 `BatchNorm1d``BatchNorm2d` 算子的基础上,添加另外两个屏蔽算子`BatchNorm3d`和`LayerNorm`这4个算子依然用float32数据类型计算。
- [BUGFIX] Dataset处理字符串类型数据时若调用`create_dict_iterator`或`create_tuple_iterator`接口时指定了`output_numpy=True`,获取到的数据会是`numpy.bytes_`类型。修复此问题后接口会直接返回`numpy.str_`类型数据,用户无需再对其进行字符串解码操作。同样,在使用自定义数据处理函数时,接收到的数据也将直接是`numpy.str_`类型,与原始数据类型相匹配。
### 贡献者
感谢以下人员做出的贡献:
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, liyanliu, lizhenyu, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, panfengfeng, panyifeng, Payne, peixu_ren, Pengyongrong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanyuan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking, shu-kun-zhang.
欢迎以任何形式对项目提供贡献!
## MindSpore 1.8.1 Release Notes
@ -72,8 +188,6 @@
- [STABLE] ops.xdivy 新增CPU支持。
- [STABLE] ops.xlogy 新增CPU支持。
# MindSpore 1.8.0
## MindSpore 1.8.0 Release Notes
### 主要特性和增强
@ -126,7 +240,7 @@
- [STABLE] 对于数据集对象使用map操作时同时num_parallel_workers>1并且python_multiprocessing=True时进行了多进程的机制优化使得数据通道与子进程一一映射避免了过多的文件句柄占用同时close_pool这个接口也被删除。
- [STABLE] 新增一批Vision、Text和Audio类数据增强操作。
- [STABLE] 修复数据集类的flat_map方法未将结果展平的错误。
- [STABLE] 统一数据集增强API的导入路径提供更简单的使用方法请参阅[最新的API用法](https://www.mindspore.cn/docs/zh-CN/master/api_python/mindspore.dataset.vision.html)。
- [STABLE] 统一数据集增强API的导入路径提供更简单的使用方法请参阅[最新的API用法](https://www.mindspore.cn/docs/zh-CN/r1.8/api_python/mindspore.dataset.vision.html)。
### API变更
@ -250,7 +364,15 @@ mindspore.context、mindspore.parallel、mindspore.profiler、mindspore.train模
API页面统一汇总至<https://www.mindspore.cn/docs/zh-CN/master/api_python/mindspore.html>
## MindSpore Lite
### 贡献者
感谢以下人员做出的贡献:
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, heleiwang, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, Lixia, lixian, liyanliu, liyong, lizhenyu, luopengting, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, ougongchang, panfengfeng, panyifeng, Payne, Peilin, peixu_ren, Pengyongrong, qianlong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, , Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, wuxuejian, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaitao1, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanke, zhanyuan, zhaodezan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking, shu-kun-zhang.
欢迎以任何形式对项目提供贡献!
## MindSpore Lite 1.8.0 Release Notes
### 主要特性和增强
@ -263,14 +385,6 @@ API页面统一汇总至<https://www.mindspore.cn/docs/zh-CN/master/api_pytho
- [STABLE] 后量化支持PerLayer量化同时内置CLE算法优化精度。
### 贡献者
感谢以下人员做出的贡献:
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, heleiwang, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, Lixia, lixian, liyanliu, liyong, lizhenyu, luopengting, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, ougongchang, panfengfeng, panyifeng, Payne, Peilin, peixu_ren, Pengyongrong, qianlong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, , Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, wuxuejian, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaitao1, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanke, zhanyuan, zhaodezan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking, shu-kun-zhang.
欢迎以任何形式对项目提供贡献!
## MindSpore 1.7.0 Release Notes
### 主要特性和增强
@ -339,7 +453,15 @@ AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bing
- `mindspore.SparseTensor`接口废弃使用,对应新接口为`mindspore.COOTensor`。 ([!28505](https://gitee.com/mindspore/mindspore/pulls/28505))
- Tensor新增一个入参`internal`,作为框架内部使用。
## MindSpore Lite
### 贡献者
感谢以下人员做出的贡献:
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, heleiwang, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, Lixia, lixian, liyanliu, liyong, lizhenyu, luopengting, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, ougongchang, panfengfeng, panyifeng, Payne, Peilin, peixu_ren, Pengyongrong, qianlong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, , Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, wuxuejian, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaitao1, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanke, zhanyuan, zhaodezan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking.
欢迎以任何形式对项目提供贡献!
## MindSpore Lite 1.7.0 Release Notes
### 主要特性和增强
@ -347,11 +469,3 @@ AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bing
- [STABLE] 后量化支持动态量化算法。
- [BETA] 后量化模型支持在英伟达GPU上执行推理。
## 贡献者
感谢以下人员做出的贡献:
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, heleiwang, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, Lixia, lixian, liyanliu, liyong, lizhenyu, luopengting, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, ougongchang, panfengfeng, panyifeng, Payne, Peilin, peixu_ren, Pengyongrong, qianlong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, , Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, wuxuejian, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaitao1, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanke, zhanyuan, zhaodezan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking.
欢迎以任何形式对项目提供贡献!

2
akg

@ -1 +1 @@
Subproject commit b591f4756eb9f04cf2bcf5bfe524a33ad92dc08d
Subproject commit c9da0658b938c56bdf34617673774f4ebb81bcf9

View File

@ -9,14 +9,14 @@ set(ASCEND_DRIVER_HAL_PATH ${ASCEND_PATH}/driver/lib64/driver)
# CANN packages
set(ASCEND_CANN_RUNTIME_PATH ${ASCEND_PATH}/latest/lib64)
set(ASCEND_CANN_OPP_PATH ${ASCEND_PATH}/latest/opp/op_impl/built-in/ai_core/tbe/op_tiling)
set(ASCEND_CANN_OPP_PATH ${ASCEND_PATH}/latest/opp/built-in/op_impl/ai_core/tbe/op_tiling)
set(ASCEND_CANN_PLUGIN_PATH ${ASCEND_CANN_RUNTIME_PATH}/plugin/opskernel)
# Ascend-toolkit packages
set(ASCEND_TOOLKIT_RUNTIME_PATH ${ASCEND_PATH}/ascend-toolkit/latest/lib64)
set(ASCEND_TOOLKIT_OPP_PATH ${ASCEND_PATH}/ascend-toolkit/latest/opp/op_impl/built-in/ai_core/tbe/op_tiling)
set(ASCEND_TOOLKIT_OPP_PATH ${ASCEND_PATH}/ascend-toolkit/latest/opp/built-in/op_impl/ai_core/tbe/op_tiling)
set(ASCEND_TOOLKIT_PLUGIN_PATH ${ASCEND_TOOLKIT_RUNTIME_PATH}/plugin/opskernel)
# nnae packages (for rpath only)
set(ASCEND_NNAE_RUNTIME_PATH ${ASCEND_PATH}/nnae/latest/lib64)
set(ASCEND_NNAE_OPP_PATH ${ASCEND_PATH}/nnae/latest/opp/op_impl/built-in/ai_core/tbe/op_tiling)
set(ASCEND_NNAE_OPP_PATH ${ASCEND_PATH}/nnae/latest/opp/built-in/op_impl/ai_core/tbe/op_tiling)

View File

@ -8,6 +8,9 @@ mindspore_add_pkg(fast_transformers
URL ${REQ_URL}
MD5 ${MD5}
LIBS ${ft_libs}
LIB_PATH output/lib
LIB_PATH lib
PATCHES ${MINDSPORE_PROJECT_DIR}/third_party/patch/fast_transformer/001-fast_transformer.patch
CMAKE_OPTION -DCMAKE_BUILD_TYPE=Release -DEXAMPLES=off)
CMAKE_OPTION -DCMAKE_BUILD_TYPE=Release -DEXAMPLES=off)
include_directories(${fast_transformers_INC})
add_library(mindspore::fast_transformers ALIAS fast_transformers::transformer-shared)

View File

@ -25,9 +25,13 @@ set(jpeg_turbo_LDFLAGS "-Wl,-z,relro,-z,now,-z,noexecstack,-s")
set(jpeg_turbo_USE_STATIC_LIBS ON)
set(JPEG_TURBO_PATCHE ${CMAKE_SOURCE_DIR}/third_party/patch/jpeg_turbo/jpeg_turbo.patch001)
set(CMAKE_OPTION -DCMAKE_BUILD_TYPE=Release -DCMAKE_SKIP_RPATH=TRUE -DWITH_SIMD=ON)
set(CVE_2020_35538 ${CMAKE_SOURCE_DIR}/third_party/patch/jpeg_turbo/CVE-2020-35538.patch)
set(CVE_2021_46822 ${CMAKE_SOURCE_DIR}/third_party/patch/jpeg_turbo/CVE-2021-46822.patch)
if(BUILD_LITE)
set(jpeg_turbo_USE_STATIC_LIBS OFF)
set(JPEG_TURBO_PATCHE ${TOP_DIR}/third_party/patch/jpeg_turbo/jpeg_turbo.patch001)
set(CVE_2020_35538 ${TOP_DIR}/third_party/patch/jpeg_turbo/CVE-2020-35538.patch)
set(CVE_2021_46822 ${TOP_DIR}/third_party/patch/jpeg_turbo/CVE-2021-46822.patch)
if(ANDROID_NDK) # compile android on x86_64 env
if(PLATFORM_ARM64)
set(CMAKE_OPTION -DCMAKE_TOOLCHAIN_FILE=$ENV{ANDROID_NDK}/build/cmake/android.toolchain.cmake
@ -55,6 +59,8 @@ mindspore_add_pkg(jpeg_turbo
MD5 ${MD5}
CMAKE_OPTION ${CMAKE_OPTION}
PATCHES ${JPEG_TURBO_PATCHE}
PATCHES ${CVE_2020_35538}
PATCHES ${CVE_2021_46822}
)
include_directories(${jpeg_turbo_INC})
add_library(mindspore::jpeg_turbo ALIAS jpeg_turbo::jpeg)

View File

@ -33,6 +33,10 @@ if(BUILD_LITE)
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-1292.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-2068.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-2097.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-4304.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-4450.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2023-0215.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2023-0286.patch
)
elseif(PLATFORM_ARM32 AND ANDROID_NDK_TOOLCHAIN_INCLUDED)
set(openssl_USE_STATIC_LIBS OFF)
@ -54,6 +58,10 @@ if(BUILD_LITE)
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-1292.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-2068.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-2097.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-4304.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-4450.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2023-0215.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2023-0286.patch
)
elseif(${CMAKE_SYSTEM_NAME} MATCHES "Linux" OR APPLE)
set(openssl_CFLAGS -fvisibility=hidden)
@ -70,6 +78,10 @@ if(BUILD_LITE)
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-1292.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-2068.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-2097.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-4304.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-4450.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2023-0215.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2023-0286.patch
)
else()
MESSAGE(FATAL_ERROR "openssl does not support compilation for the current environment.")
@ -93,6 +105,10 @@ else()
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-1292.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-2068.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-2097.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-4304.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2022-4450.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2023-0215.patch
PATCHES ${OPENSSL_PATCH_ROOT}/CVE-2023-0286.patch
)
include_directories(${openssl_INC})
add_library(mindspore::ssl ALIAS openssl::ssl)

View File

@ -1,5 +1,10 @@
set(REQ_URL "https://github.com/martinus/robin-hood-hashing/archive/3.11.5.zip")
set(MD5 "35154dc71e47762d9b56b2114bc906ca")
if(ENABLE_GITEE)
set(REQ_URL "https://gitee.com/mirrors/robin-hood-hashing/repository/archive/3.11.5.zip")
set(MD5 "b1f36d958f0bd75671b43ccf4685a5be")
else()
set(REQ_URL "https://github.com/martinus/robin-hood-hashing/archive/3.11.5.zip")
set(MD5 "35154dc71e47762d9b56b2114bc906ca")
endif()
set(INCLUDE "./src")
mindspore_add_pkg(robin_hood_hashing

View File

@ -43,6 +43,8 @@ else()
LIBS sqlite3
URL ${REQ_URL}
MD5 ${MD5}
PATCHES ${CMAKE_SOURCE_DIR}/third_party/patch/sqlite/CVE-2022-35737.patch
PATCHES ${CMAKE_SOURCE_DIR}/third_party/patch/sqlite/CVE-2021-36690.patch
CONFIGURE_COMMAND ./configure --enable-shared=no --disable-tcl --disable-editline --enable-json1)
endif()

View File

@ -11,7 +11,9 @@ mindspore_add_pkg(zlib
LIBS z
URL ${REQ_URL}
MD5 ${MD5}
CMAKE_OPTION -DCMAKE_BUILD_TYPE:STRING=Release)
CMAKE_OPTION -DCMAKE_BUILD_TYPE:STRING=Release
PATCHES ${CMAKE_SOURCE_DIR}/third_party/patch/zlib/CVE-2018-25032.patch
PATCHES ${CMAKE_SOURCE_DIR}/third_party/patch/zlib/CVE-2022-37434.patch)
include_directories(${zlib_INC})
add_library(mindspore::z ALIAS zlib::z)

View File

@ -58,9 +58,6 @@ endif()
if(ENABLE_GPU)
include(${CMAKE_SOURCE_DIR}/cmake/external_libs/cub.cmake)
if(NOT MSVC)
include(${CMAKE_SOURCE_DIR}/cmake/external_libs/fast_transformers.cmake)
endif()
if(ENABLE_MPI)
include(${CMAKE_SOURCE_DIR}/cmake/external_libs/nccl.cmake)
endif()

View File

@ -852,6 +852,8 @@ else()
if(MSLITE_GPU_BACKEND STREQUAL tensorrt)
install(FILES ${TOP_DIR}/mindspore/lite/build/src/extendrt/delegate/tensorrt/libtensorrt_plugin.so
DESTINATION ${RUNTIME_LIB_DIR} COMPONENT ${RUNTIME_COMPONENT_NAME})
install(FILES ${fast_transformers_LIBPATH}/libtransformer-shared.so DESTINATION ${RUNTIME_LIB_DIR}
COMPONENT ${RUNTIME_COMPONENT_NAME})
endif()
else()
install(FILES ${TOP_DIR}/mindspore/lite/build/src/${MINDSPORE_LITE_LIB_NAME}.so DESTINATION ${RUNTIME_LIB_DIR}

View File

@ -992,7 +992,7 @@
{"op_name": "LambApplyOptimizerAssign", "inputs": [{"index": 0, "name": "grad", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 1, "name": "inputv", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 2, "name": "inputm", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 3, "name": "input3", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 4, "name": "mul0_x", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 5, "name": "mul1_x", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 6, "name": "mul2_x", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 7, "name": "mul3_x", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 8, "name": "add2_y", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 9, "name": "steps", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 10, "name": "do_use_weight", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 11, "name": "weight_decay_rate", "need_compile": false, "param_type": "required", "shape": "all"}], "outputs": [{"index": 0, "name": "output0", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 0, "name": "inputv", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 0, "name": "inputm", "need_compile": false, "param_type": "required", "shape": "all"}], "attr": [], "fusion_type": "ELEMWISE", "dtype_format": [[["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"]], [["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"]]], "imply_type": "TBE", "async_flag": false, "binfile_name": "lamb_apply_optimizer_assign.so", "compute_cost": 10, "kernel_name": "lamb_apply_optimizer_assign", "partial_flag": true, "reshape_type": "", "dynamic_rank_support": false, "dynamic_shape": false, "dynamic_compile_static": false, "need_check_supported": false, "is_dynamic_format": false, "op_pattern": "", "real_input_index": [], "input_to_attr_index": [], "unknown_shape_formats": []}
{"op_name": "LambApplyWeightAssign", "inputs": [{"index": 0, "name": "input0", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 1, "name": "input1", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 2, "name": "input2", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 3, "name": "input3", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 4, "name": "input_param", "need_compile": false, "param_type": "required", "shape": "all"}], "outputs": [{"index": 0, "name": "input_param", "need_compile": false, "param_type": "required", "shape": "all"}], "attr": [], "fusion_type": "ELEMWISE", "dtype_format": [[["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"]], [["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"]]], "imply_type": "TBE", "async_flag": false, "binfile_name": "lamb_apply_weight_assign.so", "compute_cost": 10, "kernel_name": "lamb_apply_weight_assign", "partial_flag": true, "reshape_type": "", "dynamic_rank_support": false, "dynamic_shape": false, "dynamic_compile_static": false, "need_check_supported": false, "is_dynamic_format": false, "op_pattern": "", "real_input_index": [], "input_to_attr_index": [], "unknown_shape_formats": []}
{"op_name": "NLLLoss", "inputs": [{"index": 0, "name": "x", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 1, "name": "target", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 2, "name": "weight", "need_compile": false, "param_type": "required", "shape": "all"}], "outputs": [{"index": 0, "name": "y", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 1, "name": "total_weight", "need_compile": false, "param_type": "optional", "shape": "all"}], "attr": [{"name": "reduction", "param_type": "optional", "type": "str", "value": "all", "default_value": "mean"}, {"name": "ignore_index", "param_type": "optional", "type": "int", "value": "all", "default_value": "-100"}], "fusion_type": "OPAQUE", "dtype_format": [[["float32", "DefaultFormat"], ["int32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"]]], "imply_type": "TBE", "async_flag": false, "binfile_name": "nll_loss.so", "compute_cost": 10, "kernel_name": "nll_loss", "partial_flag": true, "reshape_type": "", "dynamic_rank_support": false, "dynamic_shape": false, "dynamic_compile_static": false, "need_check_supported": false, "is_dynamic_format": false, "op_pattern": "", "real_input_index": [], "input_to_attr_index": [], "unknown_shape_formats": []}
{"op_name": "NLLLossGrad", "inputs": [{"index": 0, "name": "x", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 1, "name": "y_grad", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 2, "name": "target", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 3, "name": "weight", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 4, "name": "total_weight", "need_compile": false, "param_type": "required", "shape": "all"}], "outputs": [{"index": 0, "name": "x_grad", "need_compile": false, "param_type": "required", "shape": "all"}], "attr": [{"name": "reduction", "param_type": "optional", "type": "str", "value": "all", "default_value": "mean"}, {"name": "ignore_index", "param_type": "optional", "type": "int", "value": "all", "default_value": "-100"}], "fusion_type": "OPAQUE", "dtype_format": [[["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["int32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"]]], "imply_type": "TBE", "async_flag": false, "binfile_name": "nll_loss_grad.so", "compute_cost": 10, "kernel_name": "nll_loss_grad", "partial_flag": true, "reshape_type": "", "dynamic_rank_support": false, "dynamic_shape": false, "dynamic_compile_static": true, "need_check_supported": false, "is_dynamic_format": false, "op_pattern": "", "real_input_index": [], "input_to_attr_index": [], "unknown_shape_formats": []}
{"op_name": "NLLLossGrad", "inputs": [{"index": 0, "name": "x", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 1, "name": "y_grad", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 2, "name": "target", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 3, "name": "weight", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 4, "name": "total_weight", "need_compile": false, "param_type": "required", "shape": "all"}], "outputs": [{"index": 0, "name": "x_grad", "need_compile": false, "param_type": "required", "shape": "all"}], "attr": [{"name": "reduction", "param_type": "optional", "type": "str", "value": "all", "default_value": "mean"}, {"name": "ignore_index", "param_type": "optional", "type": "int", "value": "all", "default_value": "-100"}], "fusion_type": "OPAQUE", "dtype_format": [[["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["int32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"]]], "imply_type": "TBE", "async_flag": false, "binfile_name": "nll_loss_grad.so", "compute_cost": 10, "kernel_name": "nll_loss_grad", "partial_flag": true, "reshape_type": "", "dynamic_rank_support": false, "dynamic_shape": true, "dynamic_compile_static": true, "need_check_supported": false, "is_dynamic_format": false, "op_pattern": "", "real_input_index": [], "input_to_attr_index": [], "unknown_shape_formats": []}
{"op_name": "MaskedFill", "inputs": [{"index": 0, "name": "input", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 1, "name": "mask", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 2, "name": "value", "need_compile": false, "param_type": "required", "shape": "all"}], "outputs": [{"index": 0, "name": "output", "need_compile": false, "param_type": "required", "shape": "all"}], "attr": [], "fusion_type": "OPAQUE", "dtype_format": [[["float16", "DefaultFormat"], ["bool", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"]], [["float32", "DefaultFormat"], ["bool", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"]], [["int8", "DefaultFormat"], ["bool", "DefaultFormat"], ["int8", "DefaultFormat"], ["int8", "DefaultFormat"]], [["int32", "DefaultFormat"], ["bool", "DefaultFormat"], ["int32", "DefaultFormat"], ["int32", "DefaultFormat"]]], "imply_type": "TBE", "async_flag": false, "binfile_name": "masked_fill.so", "compute_cost": 10, "kernel_name": "masked_fill", "partial_flag": true, "reshape_type": "", "dynamic_rank_support": false, "dynamic_shape": false, "dynamic_compile_static": false, "need_check_supported": false, "is_dynamic_format": false, "op_pattern": "", "real_input_index": [], "input_to_attr_index": [], "unknown_shape_formats": []}
{"op_name": "MaskedFill", "inputs": [{"index": 0, "name": "input", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 1, "name": "mask", "need_compile": false, "param_type": "required", "shape": "all"}, {"index": 2, "name": "value", "need_compile": false, "param_type": "required", "shape": "all"}], "outputs": [{"index": 0, "name": "output", "need_compile": false, "param_type": "required", "shape": "all"}], "attr": [], "fusion_type": "OPAQUE", "dtype_format": [[["float16", "DefaultFormat"], ["bool", "DefaultFormat"], ["float16", "DefaultFormat"], ["float16", "DefaultFormat"]], [["float32", "DefaultFormat"], ["bool", "DefaultFormat"], ["float32", "DefaultFormat"], ["float32", "DefaultFormat"]], [["int8", "DefaultFormat"], ["bool", "DefaultFormat"], ["int8", "DefaultFormat"], ["int8", "DefaultFormat"]], [["int32", "DefaultFormat"], ["bool", "DefaultFormat"], ["int32", "DefaultFormat"], ["int32", "DefaultFormat"]]], "imply_type": "TBE", "async_flag": false, "binfile_name": "masked_fill.so", "compute_cost": 10, "kernel_name": "masked_fill", "partial_flag": true, "reshape_type": "", "dynamic_rank_support": false, "dynamic_shape": true, "dynamic_compile_static": false, "need_check_supported": false, "is_dynamic_format": false, "op_pattern": "", "real_input_index": [], "input_to_attr_index": [], "unknown_shape_formats": []}
{"op_name": "Mish", "inputs": [{"index": 0, "name": "x", "need_compile": false, "param_type": "required", "shape": "all"}], "outputs": [{"index": 0, "name": "y", "need_compile": false, "param_type": "required", "shape": "all"}], "attr": [], "fusion_type": "ELEMWISE", "dtype_format": [[["float16", ""], ["float16", ""]], [["float32", ""], ["float32", ""]]], "imply_type": "TBE", "async_flag": false, "binfile_name": "mish.so", "compute_cost": 10, "kernel_name": "mish", "partial_flag": true, "reshape_type": "", "dynamic_rank_support": false, "dynamic_shape": false, "dynamic_compile_static": false, "need_check_supported": false, "is_dynamic_format": false, "op_pattern": "formatAgnostic", "real_input_index": [], "input_to_attr_index": [], "unknown_shape_formats": []}

Binary file not shown.

Before

(image error) Size: 36 KiB

After

(image error) Size: 199 KiB

Binary file not shown.

Before

(image error) Size: 44 KiB

After

(image error) Size: 230 KiB

View File

@ -29,9 +29,15 @@ mindspore.amp.DynamicLossScaler
参数:
- **inputs** (Union(Tensor, tuple(Tensor))) - 损失值或梯度。
返回:
Union(Tensor, tuple(Tensor))scale后的值。
.. py:method:: unscale(inputs)
对inputs进行unscale`inputs /= scale_value`
参数:
- **inputs** (Union(Tensor, tuple(Tensor))) - 损失值或梯度。
返回:
Union(Tensor, tuple(Tensor))unscale后的值。

View File

@ -5,7 +5,7 @@ mindspore.amp.LossScaleManager
使用混合精度时用于管理损失缩放系数loss scale的抽象类。
派生类需要实现该类的所有方法。 `get_loss_scale` 用于获取当前的梯度放大系数。 `update_loss_scale` 用于更新梯度放大系数,该方法将在训练过程中被调用。 `get_update_cell` 用于获取更新梯度放大系数的 `Cell` 实例,该实例将在训练过程中被调用。当前多使用 `get_update_cell` 方式。
派生类需要实现该类的所有方法。 `get_loss_scale` 用于获取当前的梯度放大系数。 `update_loss_scale` 用于更新梯度放大系数,该方法将在训练过程中被调用。 `get_update_cell` 用于获取更新梯度放大系数的 :class:`mindspore.nn.Cell` 实例,该实例将在训练过程中被调用。当前多使用 `get_update_cell` 方式。
例如::class:`mindspore.amp.FixedLossScaleManager`:class:`mindspore.amp.DynamicLossScaleManager`

View File

@ -25,9 +25,15 @@ mindspore.amp.StaticLossScaler
参数:
- **inputs** (Union(Tensor, tuple(Tensor))) - 损失值或梯度。
返回:
Union(Tensor, tuple(Tensor))scale后的值。
.. py:method:: unscale(inputs)
对inputs进行unscale`inputs /= scale_value`
参数:
- **inputs** (Union(Tensor, tuple(Tensor))) - 损失值或梯度。
返回:
Union(Tensor, tuple(Tensor))unscale后的值。

View File

@ -1,7 +1,7 @@
mindspore.amp.all_finite
========================
.. py:function:: mindspore.amp.all_finite(inputs)
.. py:function:: mindspore.amp.all_finite(inputs, status=None)
检查inputs是否是有效值无溢出
@ -12,6 +12,7 @@ mindspore.amp.all_finite
参数:
- **inputs** (Union(tuple(Tensor), list(Tensor))) - 可迭代的Tensor。
- **status** (Tensor) - 溢出检测时所需要的初始状态仅在Ascend需要。默认值None。
返回:
Tensor, 布尔类型的标量Tensor。
Tensor布尔类型的标量Tensor。

View File

@ -0,0 +1,12 @@
mindspore.amp.init_status
===========================
.. py:function:: mindspore.amp.init_status()
初始化溢出状态检测变量。
.. note::
该接口仅在Ascend后端有效在GPU、CPU上调用的返回值没有作用。
返回:
Tensorshape为 (8,) 。

View File

@ -1,72 +0,0 @@
mindspore.dataset.AGNewsDataset
===============================
.. py:class:: mindspore.dataset.AGNewsDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, cache=None)
读取和解析AG News数据集的源文件构建数据集。
生成的数据集有三列 `[index, title, description]` 三列的数据类型均为string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''test'或'all'。默认值None读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取所有样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**关于AGNews数据集**
AG是一个大型合集具有超过100万篇新闻文章。这些新闻文章是由ComeToMyHead在持续1年多的活动中从2000多个新闻来源收集的。ComeToMyHead是一个学术新闻搜索引擎自2004年7月以来一直在运营。
数据集由学者提供用于研究目的如数据挖掘聚类、分类等、信息检索排名、搜索等、xml、数据压缩、数据流和任何其他非商业活动。
AG的新闻主题类别来自于原始语料库中四个最大的类别。每个分类包含30000个训练样本和1900个测试样本。train.csv中的训练样本总数为12万test.csv中的测试样本总数为7600。
可以将数据集文件解压缩到以下结构中并通过MindSpore的API读取
.. code-block::
.
└── ag_news_dataset_dir
├── classes.txt
├── train.csv
├── test.csv
└── readme.txt
**引用:**
.. code-block::
@misc{zhang2015characterlevel,
title={Character-level Convolutional Networks for Text Classification},
author={Xiang Zhang and Junbo Zhao and Yann LeCun},
year={2015},
eprint={1509.01626},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,82 +0,0 @@
mindspore.dataset.AmazonReviewDataset
=====================================
.. py:class:: mindspore.dataset.AmazonReviewDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, cache=None)
读取和解析Amazon Review Full和Amazon Review Polarity数据集的源数据集。
生成的数据集有三列 `[label, title, content]` 三列的数据类型均为string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''test'或'all'。
对于Polarity数据集'train'将读取360万个训练样本'test'将读取40万个测试样本'all'将读取所有400万个样本。
对于Full数据集'train'将读取300万个训练样本'test'将读取65万个测试样本'all'将读取所有365万个样本。默认值None读取所有样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
**关于AGNews数据集**
Amazon Review Full数据集包括来自亚马逊的评论数据这些数据跨越18年包括截止至2013年3月的约3500万条评论。评论数据包括产品和用户信息、产品评级和产品评论。
数据集主要用于文本分类,给定内容和标题,预测正确的星级评定。
Amazon Review Polarity数据集对产品评分进行了分级评论分数1和2视为负面评论4和5视为正面评论。
评分3的样本则被忽略。
Amazon Reviews Polarity和Amazon Reviews Full datasets具有相同的目录结构。
可以将数据集文件解压缩到以下结构并通过MindSpore的API读取
.. code-block::
.
└── amazon_review_dir
├── train.csv
├── test.csv
└── readme.txt
**引用:**
.. code-block::
@article{zhang2015character,
title={Character-level convolutional networks for text classification},
author={Zhang, Xiang and Zhao, Junbo and LeCun, Yann},
journal={Advances in neural information processing systems},
volume={28},
pages={649--657},
year={2015}
}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,50 +1,50 @@
mindspore.dataset.ArgoverseDataset
====================================
.. py:class:: mindspore.dataset.ArgoverseDataset(data_dir, column_names="graph", shuffle=None, num_parallel_workers=1, python_multiprocessing=True, perf_mode=True)
加载argoverse数据集并进行图Graph初始化。
Argoverse数据集是自动驾驶领域的公共数据集当前实现的 `ArgoverseDataset` 主要用于加载argoverse数据集中运动预测Motion Forecasting场景的数据集具体信息可访问官网了解
https://www.argoverse.org/av1.html#download-link
参数:
- **data_dir** (str) - 加载数据集的目录,这里包含原始格式的数据,并将在 `process` 方法中被加载。
- **column_names** (Union[str, list[str]],可选) - dataset包含的单个列名或多个列名组成的列表默认值'Graph'。当实现类似 `__getitem__` 等方法时,列名的数量应该等于该方法中返回数据的条数,如下述示例,建议初始化时明确它的取值如:`column_names=["edge_index", "x", "y", "cluster", "valid_len", "time_step_len"]`
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作进程数/线程数(由参数 `python_multiprocessing` 决定当前为多进程模式或多线程模式默认值1。
- **shuffle** (bool可选) - 是否混洗数据集。当实现的Dataset带有可随机访问属性 `__getitem__` 才可以指定该参数。默认值None。
- **python_multiprocessing** (bool可选) - 启用Python多进程模式加速运算默认值True。当传入 `source` 的Python对象的计算量很大时开启此选项可能会有较好效果。
- **perf_mode** (bool可选) - 遍历创建的dataset对象时获得更高性能的模式在此过程中将调用 `__getitem__` 方法。默认值True将Graph的所有数据如边的索引、节点特征和图的特征都作为图特征进行存储。
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. py:method:: load()
从给定处理好的路径加载数据也可以在自己实现的Dataset类中实现这个方法。
.. include:: mindspore.dataset.Dataset.e.rst
.. py:method:: process()
针对argoverse数据集的处理方法基于加载上来的原始数据集创建很多子图。
数据预处理方法主要参考https://github.com/xk-huang/yet-another-vectornet/blob/master/dataset.py。
.. include:: mindspore.dataset.Dataset.f.rst
.. py:method:: save()
将经过 `process` 函数处理后的数据以 numpy.npz 格式保存到磁盘中也可以在自己实现的Dataset类中自己实现这个方法。
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst
mindspore.dataset.ArgoverseDataset
====================================
.. py:class:: mindspore.dataset.ArgoverseDataset(data_dir, column_names="graph", shuffle=None, num_parallel_workers=1, python_multiprocessing=True, perf_mode=True)
加载argoverse数据集并进行图Graph初始化。
Argoverse数据集是自动驾驶领域的公共数据集当前实现的 `ArgoverseDataset` 主要用于加载argoverse数据集中运动预测Motion Forecasting场景的数据集具体信息可访问官网了解
https://www.argoverse.org/av1.html#download-link
参数:
- **data_dir** (str) - 加载数据集的目录,这里包含原始格式的数据,并将在 `process` 方法中被加载。
- **column_names** (Union[str, list[str]],可选) - dataset包含的单个列名或多个列名组成的列表默认值'Graph'。当实现类似 `__getitem__` 等方法时,列名的数量应该等于该方法中返回数据的条数,如下述示例,建议初始化时明确它的取值如:`column_names=["edge_index", "x", "y", "cluster", "valid_len", "time_step_len"]`
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作进程数/线程数(由参数 `python_multiprocessing` 决定当前为多进程模式或多线程模式默认值1。
- **shuffle** (bool可选) - 是否混洗数据集。当实现的Dataset带有可随机访问属性 `__getitem__` 才可以指定该参数。默认值None。
- **python_multiprocessing** (bool可选) - 启用Python多进程模式加速运算默认值True。当传入 `source` 的Python对象的计算量很大时开启此选项可能会有较好效果。
- **perf_mode** (bool可选) - 遍历创建的dataset对象时获得更高性能的模式在此过程中将调用 `__getitem__` 方法。默认值True将Graph的所有数据如边的索引、节点特征和图的特征都作为图特征进行存储。
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. py:method:: load()
从给定处理好的路径加载数据也可以在自己实现的Dataset类中实现这个方法。
.. include:: mindspore.dataset.Dataset.e.rst
.. py:method:: process()
针对argoverse数据集的处理方法基于加载上来的原始数据集创建很多子图。
数据预处理方法主要参考https://github.com/xk-huang/yet-another-vectornet/blob/master/dataset.py。
.. include:: mindspore.dataset.Dataset.f.rst
.. py:method:: save()
将经过 `process` 函数处理后的数据以 numpy.npz 格式保存到磁盘中也可以在自己实现的Dataset类中自己实现这个方法。
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,9 +1,9 @@
.. py:method:: get_num_samples()
返回采样器采集样本数量如果存在子采样器则子采样器计数可以是数值或None。这些条件会影响最终的采样结果
获取当前采样器实例的num_samples参数值。此参数在定义Sampler时可以选择性传入默认为None。此方法将返回num_samples的值如果当前采样器有子采样器会继续访问子采样器并根据一定的规则处理获取值
下表显示了调用此函数的可能结果。
下表显示了各种可能的组合,以及最终返回的结果。
.. list-table::
:widths: 25 25 25 25

View File

@ -22,7 +22,7 @@ mindspore.dataset.CLUEDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
根据给定的 `task` 参数 和 `usage` 配置,数据集会生成不同的输出列:

View File

@ -21,7 +21,7 @@
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_files` 参数所指向的文件无效或不存在。

View File

@ -16,7 +16,7 @@ mindspore.dataset.Caltech256Dataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。

View File

@ -18,7 +18,7 @@ mindspore.dataset.CelebADataset
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
- **decrypt** (callable, 可选) - 图像解密函数接受加密的图片路径并返回bytes类型的解密数据。默认值None不进行解密。
异常:

View File

@ -1,103 +1,103 @@
mindspore.dataset.Cifar100Dataset
=================================
.. py:class:: mindspore.dataset.Cifar100Dataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析CIFAR-100数据集的源文件构建数据集。
生成的数据集有三列: `[image, coarse_label, fine_label]``image` 列的数据类型为uint8。 `coarse_label``fine_labels` 列的数据类型为uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''test'或'all'。
取值为'train'时将会读取50,000个训练样本取值为'test'时将会读取10,000个测试样本取值为'all'时将会读取全部60,000个样本。默认值None读取全部样本图片。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **ValueError** - `usage` 参数取值不为'train'、'test'或'all'。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards`)。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于CIFAR-100数据集**
CIFAR-100数据集和CIFAR-10数据集非常相似CIFAR-100有100个类别每类包含600张图片其中500张训练图片和100张测试图片。这100个类别又被分成20个超类。每个图片都有一个"fine"标签(所属子类)和一个"coarse"标签(所属超类)。
以下为原始CIFAR-100数据集的结构您可以将数据集文件解压得到如下的文件结构并通过MindSpore的API进行读取。
.. code-block::
.
└── cifar-100-binary
├── train.bin
├── test.bin
├── fine_label_names.txt
└── coarse_label_names.txt
**引用:**
.. code-block::
@techreport{Krizhevsky09,
author = {Alex Krizhevsky},
title = {Learning multiple layers of features from tiny images},
institution = {},
year = {2009},
howpublished = {http://www.cs.toronto.edu/~kriz/cifar.html}
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
mindspore.dataset.Cifar100Dataset
=================================
.. py:class:: mindspore.dataset.Cifar100Dataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析CIFAR-100数据集的源文件构建数据集。
生成的数据集有三列: `[image, coarse_label, fine_label]``image` 列的数据类型为uint8。 `coarse_label``fine_labels` 列的数据类型为uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''test'或'all'。
取值为'train'时将会读取50,000个训练样本取值为'test'时将会读取10,000个测试样本取值为'all'时将会读取全部60,000个样本。默认值None读取全部样本图片。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **ValueError** - `usage` 参数取值不为'train'、'test'或'all'。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards`)。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于CIFAR-100数据集**
CIFAR-100数据集和CIFAR-10数据集非常相似CIFAR-100有100个类别每类包含600张图片其中500张训练图片和100张测试图片。这100个类别又被分成20个超类。每个图片都有一个"fine"标签(所属子类)和一个"coarse"标签(所属超类)。
以下为原始CIFAR-100数据集的结构您可以将数据集文件解压得到如下的文件结构并通过MindSpore的API进行读取。
.. code-block::
.
└── cifar-100-binary
├── train.bin
├── test.bin
├── fine_label_names.txt
└── coarse_label_names.txt
**引用:**
.. code-block::
@techreport{Krizhevsky09,
author = {Alex Krizhevsky},
title = {Learning multiple layers of features from tiny images},
institution = {},
year = {2009},
howpublished = {http://www.cs.toronto.edu/~kriz/cifar.html}
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,107 +1,107 @@
mindspore.dataset.Cifar10Dataset
================================
.. py:class:: mindspore.dataset.Cifar10Dataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析CIFAR-10数据集的源文件构建数据集。该API目前仅支持解析二进制版本的CIFAR-10文件CIFAR-10 binary version
生成的数据集有两列: `[image, label]``image` 列的数据类型是uint8。`label` 列的数据类型是uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''test'或'all'。
取值为'train'时将会读取50,000个训练样本取值为'test'时将会读取10,000个测试样本取值为'all'时将会读取全部60,000个样本。默认值None读取全部样本图片。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **ValueError** - `usage` 参数取值不为'train'、'test'或'all'。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于CIFAR-10数据集**
CIFAR-10数据集由60000张32x32彩色图片组成总共有10个类别每类6000张图片。有50000个训练样本和10000个测试样本。10个类别包含飞机、汽车、鸟类、猫、鹿、狗、青蛙、马、船和卡车。
以下为原始CIFAR-10数据集的结构您可以将数据集文件解压得到如下的文件结构并通过MindSpore的API进行读取。
.. code-block::
.
└── cifar-10-batches-bin
├── data_batch_1.bin
├── data_batch_2.bin
├── data_batch_3.bin
├── data_batch_4.bin
├── data_batch_5.bin
├── test_batch.bin
├── readme.html
└── batches.meta.text
**引用:**
.. code-block::
@techreport{Krizhevsky09,
author = {Alex Krizhevsky},
title = {Learning multiple layers of features from tiny images},
institution = {},
year = {2009},
howpublished = {http://www.cs.toronto.edu/~kriz/cifar.html}
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
mindspore.dataset.Cifar10Dataset
================================
.. py:class:: mindspore.dataset.Cifar10Dataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析CIFAR-10数据集的源文件构建数据集。该API目前仅支持解析二进制版本的CIFAR-10文件CIFAR-10 binary version
生成的数据集有两列: `[image, label]``image` 列的数据类型是uint8。`label` 列的数据类型是uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''test'或'all'。
取值为'train'时将会读取50,000个训练样本取值为'test'时将会读取10,000个测试样本取值为'all'时将会读取全部60,000个样本。默认值None读取全部样本图片。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **ValueError** - `usage` 参数取值不为'train'、'test'或'all'。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于CIFAR-10数据集**
CIFAR-10数据集由60000张32x32彩色图片组成总共有10个类别每类6000张图片。有50000个训练样本和10000个测试样本。10个类别包含飞机、汽车、鸟类、猫、鹿、狗、青蛙、马、船和卡车。
以下为原始CIFAR-10数据集的结构您可以将数据集文件解压得到如下的文件结构并通过MindSpore的API进行读取。
.. code-block::
.
└── cifar-10-batches-bin
├── data_batch_1.bin
├── data_batch_2.bin
├── data_batch_3.bin
├── data_batch_4.bin
├── data_batch_5.bin
├── test_batch.bin
├── readme.html
└── batches.meta.text
**引用:**
.. code-block::
@techreport{Krizhevsky09,
author = {Alex Krizhevsky},
title = {Learning multiple layers of features from tiny images},
institution = {},
year = {2009},
howpublished = {http://www.cs.toronto.edu/~kriz/cifar.html}
}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -6,7 +6,7 @@ mindspore.dataset.CityscapesDataset
读取和解析Cityscapes数据集的源文件构建数据集。
生成的数据集有两列 `[image, task]`
`image` 列的数据类型为uint8。`task` 列的数据类型根据参数 `task` 的值而定,当 参数 `task` 取值为'polygon'列的数据类型为string其他取值下列的数据类型为uint8。
`image` 列的数据类型为uint8。`task` 列的数据类型根据参数 `task` 的值而定,当参数 `task` 取值为'polygon'列的数据类型为string其他取值下列的数据类型为uint8。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
@ -21,7 +21,7 @@ mindspore.dataset.CityscapesDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。

View File

@ -1,80 +0,0 @@
mindspore.dataset.CoNLL2000Dataset
==================================
.. py:class:: mindspore.dataset.CoNLL2000Dataset(dataset_dir, usage=None, num_samples=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, num_parallel_workers=None, cache=None)
读取和解析CoNLL2000分块数据集的源数据集。
生成的数据集有三列 `[word, pos_tag, chunk_tag]` 。三列的数据类型均为string。
参数:
- **dataset_dir** (str) - 包含CoNLL2000分块数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''test'或'all'。
'train'将读取8936个训练样本'test'将读取2,012个测试样本中'all'将读取所有1,0948个样本。默认值None读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取所有样本。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式。默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗。如果 `shuffle` 为True执行全局混洗。
总共有三种混洗模式通过枚举变量mindspore.dataset.Shuffle指定。
- **Shuffle.GLOBAL**混洗文件和样本与设置为True效果相同。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。指定此参数后, `num_samples` 表示每个分片的最大样本数。默认值None。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。只有当指定了 `num_shards` 时才能指定此参数。默认值None。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
**关于CoNLL2000数据集**
CoNLL2000分块数据集由华尔街日报语料库第15-20节的文本组成。
文本使用IOB表示法进行分块分块类型有NP, VP, PP, ADJP和ADVP。
数据集由通过空格分隔的三列组成。第一列包含当前单词第二列是由Brill标注器派生的词性标注第三列是由华尔街语料库派生的分块标注。
文本分块旨在将文本划分为单词的句法的相关组成部分。
可以将数据集文件解压缩到以下结构并通过MindSpore的API读取
.. code-block::
.
└── conll2000_dataset_dir
├── train.txt
├── test.txt
└── readme.txt
**引用:**
.. code-block::
@inproceedings{tksbuchholz2000conll,
author = {Tjong Kim Sang, Erik F. and Sabine Buchholz},
title = {Introduction to the CoNLL-2000 Shared Task: Chunking},
editor = {Claire Cardie and Walter Daelemans and Claire Nedellec and Tjong Kim Sang, Erik},
booktitle = {Proceedings of CoNLL-2000 and LLL-2000},
publisher = {Lisbon, Portugal},
pages = {127--132},
year = {2000}
}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,170 +1,170 @@
mindspore.dataset.CocoDataset
==============================
.. py:class:: mindspore.dataset.CocoDataset(dataset_dir, annotation_file, task='Detection', num_samples=None, num_parallel_workers=None, shuffle=None, decode=False, sampler=None, num_shards=None, shard_id=None, cache=None, extra_metadata=False, decrypt=None)
读取和解析COCO数据集的源文件构建数据集。该API支持解析COCO2017数据集支持四种类型的机器学习任务分别是目标检测、关键点检测、物体分割和全景分割。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **annotation_file** (str) - 数据集标注JSON文件的路径。
- **task** (str, 可选) - 指定COCO数据的任务类型。支持的任务类型包括'Detection'、'Stuff' 、'Panoptic'和'Keypoint'。默认值:'Detection'。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数默认值使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None表2中会展示不同参数配置的预期行为。
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作默认值False不解码。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None表2中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **extra_metadata** (bool, 可选) - 用于指定是否额外输出一个数据列用于表示图片元信息。如果为True则将额外输出一个名为 `[_meta-filename, dtype=string]` 的数据列默认值False。
- **decrypt** (callable, 可选) - 图像解密函数接受加密的图片路径并返回bytes类型的解密数据。默认值None不进行解密。
[表1] 根据不同 `task` 参数设置,生成数据集具有不同的输出列:
+-------------------------+----------------------------------------------+
| `task` | 输出列 |
+=========================+==============================================+
| Detection | [image, dtype=uint8] |
| | |
| | [bbox, dtype=float32] |
| | |
| | [category_id, dtype=uint32] |
| | |
| | [iscrowd, dtype=uint32] |
+-------------------------+----------------------------------------------+
| Stuff | [image, dtype=uint8] |
| | |
| | [segmentation, dtype=float32] |
| | |
| | [iscrowd, dtype=uint32] |
+-------------------------+----------------------------------------------+
| Keypoint | [image, dtype=uint8] |
| | |
| | [keypoints, dtype=float32] |
| | |
| | [num_keypoints, dtype=uint32] |
+-------------------------+----------------------------------------------+
| Panoptic | [image, dtype=uint8] |
| | |
| | [bbox, dtype=float32] |
| | |
| | [category_id, dtype=uint32] |
| | |
| | [iscrowd, dtype=uint32] |
| | |
| | [area, dtype=uint32] |
+-------------------------+----------------------------------------------+
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **RuntimeError** - 解析 `annotation_file` 指定的JSON文件失败。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **ValueError** - `task` 参数取值不为 `Detection``Stuff``Panoptic``Keypoint`
- **ValueError** - `annotation_file` 参数对应的文件不存在。
- **ValueError** - `dataset_dir` 参数路径不存在。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note::
- 当参数 `extra_metadata` 为True时还需使用 `rename` 操作删除额外数据列'_meta-filename'的前缀'_meta-'
否则迭代得到的数据行中不会出现此额外数据列。
- CocoDataset的 `sampler` 参数不支持指定PKSampler。
- 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: [表2] 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于COCO数据集**
Microsoft Common Objects in ContextCOCO是一个大型数据集该数据集专门为目标检测语义分割和字幕生成任务而设计。它拥有330K张图像标记数量大于200K个、1500000个目标实例、80个目标类别、91个对象类别、每张图片均有5个字幕、带关键点标注的人有250000个。与流行的ImageNet数据集相比COCO的类别较少但每个类别中的图片样本非常多。
您可以解压缩原始COCO-2017数据集文件得到如下目录结构并通过MindSpore的API读取。
.. code-block::
.
└── coco_dataset_directory
├── train2017
│ ├── 000000000009.jpg
│ ├── 000000000025.jpg
│ ├── ...
├── test2017
│ ├── 000000000001.jpg
│ ├── 000000058136.jpg
│ ├── ...
├── val2017
│ ├── 000000000139.jpg
│ ├── 000000057027.jpg
│ ├── ...
└── annotation
├── captions_train2017.json
├── captions_val2017.json
├── instances_train2017.json
├── instances_val2017.json
├── person_keypoints_train2017.json
└── person_keypoints_val2017.json
**引用:**
.. code-block::
@article{DBLP:journals/corr/LinMBHPRDZ14,
author = {Tsung{-}Yi Lin and Michael Maire and Serge J. Belongie and
Lubomir D. Bourdev and Ross B. Girshick and James Hays and
Pietro Perona and Deva Ramanan and Piotr Doll{\'{a}}r and C. Lawrence Zitnick},
title = {Microsoft {COCO:} Common Objects in Context},
journal = {CoRR},
volume = {abs/1405.0312},
year = {2014},
url = {http://arxiv.org/abs/1405.0312},
archivePrefix = {arXiv},
eprint = {1405.0312},
timestamp = {Mon, 13 Aug 2018 16:48:13 +0200},
biburl = {https://dblp.org/rec/journals/corr/LinMBHPRDZ14.bib},
bibsource = {dblp computer science bibliography, https://dblp.org}
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
mindspore.dataset.CocoDataset
==============================
.. py:class:: mindspore.dataset.CocoDataset(dataset_dir, annotation_file, task='Detection', num_samples=None, num_parallel_workers=None, shuffle=None, decode=False, sampler=None, num_shards=None, shard_id=None, cache=None, extra_metadata=False, decrypt=None)
读取和解析COCO数据集的源文件构建数据集。该API支持解析COCO2017数据集支持四种类型的机器学习任务分别是目标检测、关键点检测、物体分割和全景分割。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **annotation_file** (str) - 数据集标注JSON文件的路径。
- **task** (str, 可选) - 指定COCO数据的任务类型。支持的任务类型包括'Detection'、'Stuff' 、'Panoptic'和'Keypoint'。默认值:'Detection'。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数默认值使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None表2中会展示不同参数配置的预期行为。
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作默认值False不解码。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None表2中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
- **extra_metadata** (bool, 可选) - 用于指定是否额外输出一个数据列用于表示图片元信息。如果为True则将额外输出一个名为 `[_meta-filename, dtype=string]` 的数据列默认值False。
- **decrypt** (callable, 可选) - 图像解密函数接受加密的图片路径并返回bytes类型的解密数据。默认值None不进行解密。
[表1] 根据不同 `task` 参数设置,生成数据集具有不同的输出列:
+-------------------------+----------------------------------------------+
| `task` | 输出列 |
+=========================+==============================================+
| Detection | [image, dtype=uint8] |
| | |
| | [bbox, dtype=float32] |
| | |
| | [category_id, dtype=uint32] |
| | |
| | [iscrowd, dtype=uint32] |
+-------------------------+----------------------------------------------+
| Stuff | [image, dtype=uint8] |
| | |
| | [segmentation, dtype=float32] |
| | |
| | [iscrowd, dtype=uint32] |
+-------------------------+----------------------------------------------+
| Keypoint | [image, dtype=uint8] |
| | |
| | [keypoints, dtype=float32] |
| | |
| | [num_keypoints, dtype=uint32] |
+-------------------------+----------------------------------------------+
| Panoptic | [image, dtype=uint8] |
| | |
| | [bbox, dtype=float32] |
| | |
| | [category_id, dtype=uint32] |
| | |
| | [iscrowd, dtype=uint32] |
| | |
| | [area, dtype=uint32] |
+-------------------------+----------------------------------------------+
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **RuntimeError** - 解析 `annotation_file` 指定的JSON文件失败。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **ValueError** - `task` 参数取值不为 `Detection``Stuff``Panoptic``Keypoint`
- **ValueError** - `annotation_file` 参数对应的文件不存在。
- **ValueError** - `dataset_dir` 参数路径不存在。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note::
- 当参数 `extra_metadata` 为True时还需使用 `rename` 操作删除额外数据列'_meta-filename'的前缀'_meta-'
否则迭代得到的数据行中不会出现此额外数据列。
- CocoDataset的 `sampler` 参数不支持指定PKSampler。
- 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: [表2] 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于COCO数据集**
Microsoft Common Objects in ContextCOCO是一个大型数据集该数据集专门为目标检测语义分割和字幕生成任务而设计。它拥有330K张图像标记数量大于200K个、1500000个目标实例、80个目标类别、91个对象类别、每张图片均有5个字幕、带关键点标注的人有250000个。与流行的ImageNet数据集相比COCO的类别较少但每个类别中的图片样本非常多。
您可以解压缩原始COCO-2017数据集文件得到如下目录结构并通过MindSpore的API读取。
.. code-block::
.
└── coco_dataset_directory
├── train2017
│ ├── 000000000009.jpg
│ ├── 000000000025.jpg
│ ├── ...
├── test2017
│ ├── 000000000001.jpg
│ ├── 000000058136.jpg
│ ├── ...
├── val2017
│ ├── 000000000139.jpg
│ ├── 000000057027.jpg
│ ├── ...
└── annotation
├── captions_train2017.json
├── captions_val2017.json
├── instances_train2017.json
├── instances_val2017.json
├── person_keypoints_train2017.json
└── person_keypoints_val2017.json
**引用:**
.. code-block::
@article{DBLP:journals/corr/LinMBHPRDZ14,
author = {Tsung{-}Yi Lin and Michael Maire and Serge J. Belongie and
Lubomir D. Bourdev and Ross B. Girshick and James Hays and
Pietro Perona and Deva Ramanan and Piotr Doll{\'{a}}r and C. Lawrence Zitnick},
title = {Microsoft {COCO:} Common Objects in Context},
journal = {CoRR},
volume = {abs/1405.0312},
year = {2014},
url = {http://arxiv.org/abs/1405.0312},
archivePrefix = {arXiv},
eprint = {1405.0312},
timestamp = {Mon, 13 Aug 2018 16:48:13 +0200},
biburl = {https://dblp.org/rec/journals/corr/LinMBHPRDZ14.bib},
bibsource = {dblp computer science bibliography, https://dblp.org}
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,80 +0,0 @@
mindspore.dataset.DBpediaDataset
================================
.. py:class:: mindspore.dataset.DBpediaDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, cache=None)
读取和解析DBpedia数据集的源数据集。
生成的数据集有三列 `[class, title, content]` 三列的数据类型均为string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''test'或'all'。
'train'将读取560,000个训练样本'test'将读取70,000个测试样本中'all'将读取所有63万个样本。默认值None读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取所有样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
**关于DBpedia数据集**
DBpedia数据集包括14个类超过63万个文本样本train.csv中有56万样本test.csv中有7万测试样本。
14个不同的类别分别是公司、教育学院、艺术家、运动员、文员交通建筑自然场所村庄动物植物专辑电影书面工作。
以下是原始DBpedia数据集结构。
可以将数据集文件解压缩到此目录结构中并通过Mindspore的API读取。
.. code-block::
.
└── dbpedia_dataset_dir
├── train.csv
├── test.csv
├── classes.txt
└── readme.txt
**引用:**
.. code-block::
@article{DBpedia,
title = {DBPedia Ontology Classification Dataset},
author = {Jens Lehmann, Robert Isele, Max Jakob, Anja Jentzsch, Dimitris Kontokostas,
Pablo N. Mendes, Sebastian Hellmann, Mohamed Morsey, Patrick van Kleef,
Sören Auer, Christian Bizer},
year = {2015},
howpublished = {http://dbpedia.org}
}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -20,7 +20,7 @@ mindspore.dataset.DIV2KDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
@ -72,6 +72,8 @@ mindspore.dataset.DIV2KDataset
您可以解压缩原始DIV2K数据集文件到如下目录结构并通过MindSpore的API进行读取。
以训练数据集作为例子。
.. code-block::
.

View File

@ -8,7 +8,7 @@ mindspore.dataset.DSCallback
用户可通过 `ds_run_context` 获取数据处理管道相关信息,包括 `cur_epoch_num` (当前epoch数)、 `cur_step_num_in_epoch` (当前epoch的step数)、 `cur_step_num` (当前step数)。
参数:
- **step_size** (int, optional) - 定义相邻的 `ds_step_begin`/`ds_step_end` 调用之间相隔的step数默认值1表示每个step都会调用。
- **step_size** (int, 可选) - 定义相邻的 `ds_step_begin`/`ds_step_end` 调用之间相隔的step数默认值1表示每个step都会调用。
.. py:method:: ds_begin(ds_run_context)

View File

@ -1,6 +1,7 @@
.. py:method:: build_sentencepiece_vocab(columns, vocab_size, character_coverage, model_type, params)
迭代源数据集对象获取数据并构建SentencePiece词汇表。
源数据集要求的是文本类数据集。
参数:
- **columns** (list[str]) - 指定 `build_sentencepiece_vocab` 操作的输入列,会从该列获取数据构造词汇表。
@ -17,8 +18,9 @@
.. py:method:: build_vocab(columns, freq_range, top_k, special_tokens, special_first)
迭代源数据集对象获取数据并构建词汇表。
源数据集要求的是文本类数据集。
收集数据集中所有的不重复单词,并返回 `top_k` 个最常见的单词组成的词汇表(如果指定了 `top_k` )。
收集数据集中所有的不重复单词返回 `top_k` 个最常见的单词组成的词汇表(如果指定了 `top_k` )。
参数:
- **columns** (Union[str, list[str]]) - 指定 `build_vocab` 操作的输入列,会从该列获取数据构造词汇表。

View File

@ -15,10 +15,10 @@
- **column_order** (Union[str, list[str]], 可选) - 指定传递到下一个数据集操作的数据列的顺序。如果 `input_columns` 长度不等于 `output_columns` 长度,则必须指定此参数。注意:参数的列名不限定在 `input_columns``output_columns` 中指定的列也可以是上一个操作输出的未被处理的数据列。默认值None按照原输入顺序排列。
- **num_parallel_workers** (int, 可选) - 指定map操作的多进程/多线程并发数加快处理速度。默认值None将使用 `set_num_parallel_workers` 设置的并发数。
- **python_multiprocessing** (bool, 可选) - 启用Python多进程模式加速map操作。当传入的 `operations` 计算量很大时开启此选项可能会有较好效果。默认值False。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
- **callbacks** (DSCallback, list[DSCallback], 可选) - 要调用的Dataset回调函数列表。默认值None。
- **max_rowsize** (int, 可选) - 指定在多进程之间复制数据时,共享内存分配的最大空间,仅当 `python_multiprocessing` 为True时该选项有效。默认值16单位为MB。
- **offload** (bool, 可选) - 是否进行异构硬件加速,详情请阅读 `数据准备异构加速 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/dataset_offload.html>`_ 。默认值None。
- **offload** (bool, 可选) - 是否进行异构硬件加速,详情请阅读 `数据准备异构加速 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/dataset_offload.html>`_ 。默认值None。
.. note::
- `operations` 参数接收 `TensorOperation` 类型的数据处理操作以及用户定义的Python函数(PyFuncs)。

View File

@ -28,8 +28,8 @@
- **drop_remainder** (bool, 可选) - 当最后一个批处理数据包含的数据条目小于 `batch_size`是否将该批处理丢弃不传递给下一个操作。默认值False不丢弃。
- **num_parallel_workers** (int, 可选) - 指定 `batch` 操作的并发进程数/线程数(由参数 `python_multiprocessing` 决定当前为多进程模式或多线程模式)。
默认值None使用mindspore.dataset.config中配置的线程数。
- **per_batch_map** (Callable[[List[numpy.ndarray], ..., List[numpy.ndarray], BatchInfo], (List[numpy.ndarray],
..., List[numpy.ndarray])], 可选) - 可调用对象,以(list[numpy.ndarray], ..., list[numpy.ndarray], BatchInfo)作为输入参数,
- **per_batch_map** (Callable[[List[numpy.ndarray], ..., List[numpy.ndarray], BatchInfo], (List[numpy.ndarray], ..., List[numpy.ndarray])], 可选) - 可调用对象,
以(list[numpy.ndarray], ..., list[numpy.ndarray], BatchInfo)作为输入参数,
处理后返回(list[numpy.ndarray], list[numpy.ndarray],...)作为新的数据列。输入参数中每个list[numpy.ndarray]代表给定数据列中的一批numpy.ndarray
list[numpy.ndarray]的个数应与 `input_columns` 中传入列名的数量相匹配,在返回的(list[numpy.ndarray], list[numpy.ndarray], ...)中,
list[numpy.ndarray]的个数应与输入相同,如果输出列数与输入列数不一致,则需要指定 `output_columns`。该可调用对象的最后一个输入参数始终是BatchInfo

View File

@ -5,16 +5,16 @@ mindspore.dataset.DatasetCache
创建数据缓存客户端实例。
关于单节点数据缓存的使用,请参阅 `单节点数据缓存教程 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_
关于单节点数据缓存的使用,请参阅 `单节点数据缓存教程 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_
参数:
- **session_id** (int) - 当前数据缓存客户端的会话ID用户在命令行开启缓存服务端后可通过 `cache_admin -g` 获取。
- **size** (int, optional) - 设置数据缓存服务可用的内存大小。默认值0表示内存使用没有限制。
- **spilling** (bool, optional) - 如果共享内存不足是否将溢出部分缓存到磁盘。默认值False。
- **hostname** (str, optional) - 数据缓存服务客户端的主机IP。默认值None表示使用默认主机IP 127.0.0.1。
- **port** (int, optional) - 指定连接到数据缓存服务端的端口号。默认值None表示端口为50052。
- **num_connections** (int, optional) - TCP/IP连接数量。默认值None表示连接数量为12。
- **prefetch_size** (int, optional) - 指定缓存队列大小使用缓存功能算子时将直接从缓存队列中获取数据。默认值None表示缓存队列大小为20。
- **size** (int, 可选) - 设置数据缓存服务可用的内存大小。默认值0表示内存使用没有限制。
- **spilling** (bool, 可选) - 如果共享内存不足是否将溢出部分缓存到磁盘。默认值False。
- **hostname** (str, 可选) - 数据缓存服务客户端的主机IP。默认值None表示使用默认主机IP 127.0.0.1。
- **port** (int, 可选) - 指定连接到数据缓存服务端的端口号。默认值None表示端口为50052。
- **num_connections** (int, 可选) - TCP/IP连接数量。默认值None表示连接数量为12。
- **prefetch_size** (int, 可选) - 指定缓存队列大小使用缓存功能算子时将直接从缓存队列中获取数据。默认值None表示缓存队列大小为20。
.. py:method:: get_stat()

View File

@ -1,115 +0,0 @@
mindspore.dataset.EMnistDataset
===============================
.. py:class:: mindspore.dataset.EMnistDataset(dataset_dir, name, usage=None, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析EMNIST数据集的源文件构建数据集。
生成的数据集有两列: `[image, label]``image` 列的数据类型为uint8。 `label` 列的数据类型为uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **name** (str) - 按给定规则对数据集进行拆分,可以是'byclass'、'bymerge'、'balanced'、'letters'、'digits'或'mnist'。
- **usage** (str, 可选) - 指定数据集的子集,可取值为 'train'、'test' 或 'all'。
取值为'train'时将会读取60,000个训练样本取值为'test'时将会读取10,000个测试样本取值为'all'时将会读取全部70,000个样本。默认值None读取全部样本图片。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于EMNIST数据集**
EMNIST数据集由一组手写字符数字组成源自NIST特别版数据库19并转换为与MNIST数据集直接匹配的28x28像素图像格式和数据集结构。
有关数据集内容和转换过程的更多信息可在 https://arxiv.org/abs/1702.05373v1 上查阅。
EMNIST按照不同的规则拆分成不同的子数据集的样本数和类数如下
按类拆分814,255个样本和62个样本不平衡类。
按合并拆分814,255个样本和47个样本不平衡类。
平衡拆分131,600个样本和47个样本平衡类。
按字母拆分145,600个样本和26个样本平衡类。
按数字拆分280,000个样本和10个样本平衡类。
MNIST: 70,000个样本符和10个样本平衡类。
以下是原始EMNIST数据集结构。
可以将数据集文件解压缩到此目录结构中并由MindSpore的API读取。
.. code-block::
.
└── mnist_dataset_dir
├── emnist-mnist-train-images-idx3-ubyte
├── emnist-mnist-train-labels-idx1-ubyte
├── emnist-mnist-test-images-idx3-ubyte
├── emnist-mnist-test-labels-idx1-ubyte
├── ...
**引用:**
.. code-block::
@article{cohen_afshar_tapson_schaik_2017,
title = {EMNIST: Extending MNIST to handwritten letters},
DOI = {10.1109/ijcnn.2017.7966217},
journal = {2017 International Joint Conference on Neural Networks (IJCNN)},
author = {Cohen, Gregory and Afshar, Saeed and Tapson, Jonathan and Schaik, Andre Van},
year = {2017},
howpublished = {https://www.westernsydney.edu.au/icns/reproducible_research/
publication_support_materials/emnist}
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,69 +0,0 @@
mindspore.dataset.EnWik9Dataset
===============================
.. py:class:: mindspore.dataset.EnWik9Dataset(dataset_dir, num_samples=None, num_parallel_workers=None, shuffle=True, num_shards=None, shard_id=None, cache=None)
读取和解析EnWik9数据集的源数据集。
生成的数据集有一列 `[text]` 数据类型为string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。
对于Polarity数据集'train'将读取360万个训练样本'test'将读取40万个测试样本'all'将读取所有400万个样本。
对于Full数据集'train'将读取300万个训练样本'test'将读取65万个测试样本'all'将读取所有365万个样本。默认值None读取所有样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值True。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**关于EnWik9数据集**
EnWik9的数据是一系列UTF-8编码的XML主要由英文文本组成。数据集包含243,426篇文章标题其中85,560个被重定向以修复丢失的网页链接其余是常规文章。
数据是UTF-8格式所有字符都在U'0000到U'10FFFF范围内有效编码为1到4字节。字节值0xC0、0xC1和0xF5-0xFF从未出现。此外在维基百科转储中除了0x09制表符和0x0A换行符没有范围为0x00-0x1F的控制字符。
断行符只出现在段落边界上,因此整体是有语义目的。
可以将数据集文件解压缩到以下目录结构中并由MindSpore的API读取。
.. code-block::
.
└── EnWik9
├── enwik9
**引用:**
.. code-block::
@NetworkResource{Hutter_prize,
author = {English Wikipedia},
url = "https://cs.fit.edu/~mmahoney/compression/textdata.html",
month = {March},
year = {2006}
}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,75 +0,0 @@
mindspore.dataset.FakeImageDataset
==================================
.. py:class:: mindspore.dataset.FakeImageDataset(num_images=1000, image_size=(224, 224, 3), num_classes=10, base_seed=0, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
生成虚假图像构建数据集。
生成的数据集有两列: `[image, label]``image` 列的数据类型为uint8。 `label` 列的数据类型为uint32。
参数:
- **num_images** (int, 可选) - 要生成的虚假图像数默认值1000。
- **image_size** (tuple, 可选) - 虚假图像的尺寸,默认值:(224, 224, 3)。
- **num_classes** (int, 可选) - 数据集的类别数默认值10。
- **base_seed** (int, 可选) - 生成随机图像的随机种子默认值0。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,105 +0,0 @@
mindspore.dataset.FashionMnistDataset
=====================================
.. py:class:: mindspore.dataset.FashionMnistDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析Fashion-MNIST数据集的源文件构建数据集。
生成的数据集有两列: `[image, label]``image` 列的数据类型为uint8。 `label` 列的数据类型为uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为 'train'、'test' 或 'all'。
取值为'train'时将会读取60,000个训练样本取值为'test'时将会读取10,000个测试样本取值为'all'时将会读取全部70,000个样本。默认值None读取全部样本图片。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于Fashion-MNIST数据集**
Fashion-MNIST是网络电子商城Zalando推出的数据集包括60,000个样本的训练集和10,000个样本的测试集。每个示例都是一个28x28灰度图像分别与10个类的标签关联。
Fashion-MNIST是原始MNIST数据集的变种用于对机器学习算法进行基准测试。
可以将数据集文件解压缩到此目录结构中并由MindSpore的API读取。
.. code-block::
.
└── fashionmnist_dataset_dir
├── t10k-images-idx3-ubyte
├── t10k-labels-idx1-ubyte
├── train-images-idx3-ubyte
└── train-labels-idx1-ubyte
**引用:**
.. code-block::
@online{xiao2017/online,
author = {Han Xiao and Kashif Rasul and Roland Vollgraf},
title = {Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms},
date = {2017-08-28},
year = {2017},
eprintclass = {cs.LG},
eprinttype = {arXiv},
eprint = {cs.LG/1708.07747},
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,145 +0,0 @@
mindspore.dataset.FlickrDataset
================================
.. py:class:: mindspore.dataset.FlickrDataset(dataset_dir, annotation_file, num_samples=None, num_parallel_workers=None, shuffle=None, decode=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析Flickr8k和Flickr30k数据集的源文件构建数据集。
生成的数据集有两列: `[image, annotation]``image` 列的数据类型为uint8。 `annotation` 列是一个包含5个标注字符的张量如["a", "b", "c", "d", "e"]。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **annotation_file** (str) - 数据集标注JSON文件的路径。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数默认值使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None表2中会展示不同参数配置的预期行为。
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作默认值None不解码。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None表2中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `annotation_file` 参数对应的文件不存在。
- **ValueError** - `dataset_dir` 参数路径不存在。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于Flickr8k数据集**
Flickr8k数据集由8092张彩色图像组成。Flickr8k.token.txt中有40460个标注每张图像有5个标注。
可以将数据集文件解压缩到以下目录结构中并由MindSpore的API读取。
.. code-block::
.
└── Flickr8k
├── Flickr8k_Dataset
│ ├── 1000268201_693b08cb0e.jpg
│ ├── 1001773457_577c3a7d70.jpg
│ ├── ...
└── Flickr8k.token.txt
**引用:**
.. code-block::
@article{DBLP:journals/jair/HodoshYH13,
author = {Micah Hodosh and Peter Young and Julia Hockenmaier},
title = {Framing Image Description as a Ranking Task: Data, Models and Evaluation Metrics},
journal = {J. Artif. Intell. Res.},
volume = {47},
pages = {853--899},
year = {2013},
url = {https://doi.org/10.1613/jair.3994},
doi = {10.1613/jair.3994},
timestamp = {Mon, 21 Jan 2019 15:01:17 +0100},
biburl = {https://dblp.org/rec/journals/jair/HodoshYH13.bib},
bibsource = {dblp computer science bibliography, https://dblp.org}
}
**关于Flickr30k数据集**
Flickr30k数据集由31783张彩色图像组成。results_20130124.token中有158915个标注每个图像有5个标注。
可以将数据集文件解压缩到以下目录结构中并由MindSpore的API读取。
.. code-block::
.
└── Flickr30k
├── flickr30k-images
│ ├── 1000092795.jpg
│ ├── 10002456.jpg
│ ├── ...
└── results_20130124.token
**引用:**
.. code-block::
@article{DBLP:journals/tacl/YoungLHH14,
author = {Peter Young and Alice Lai and Micah Hodosh and Julia Hockenmaier},
title = {From image descriptions to visual denotations: New similarity metrics
for semantic inference over event descriptions},
journal = {Trans. Assoc. Comput. Linguistics},
volume = {2},
pages = {67--78},
year = {2014},
url = {https://tacl2013.cs.columbia.edu/ojs/index.php/tacl/article/view/229},
timestamp = {Wed, 17 Feb 2021 21:55:25 +0100},
biburl = {https://dblp.org/rec/journals/tacl/YoungLHH14.bib},
bibsource = {dblp computer science bibliography, https://dblp.org}
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,114 +0,0 @@
mindspore.dataset.Flowers102Dataset
===================================
.. py:class:: mindspore.dataset.Flowers102Dataset(dataset_dir, task='Classification', usage='all', num_samples=None, num_parallel_workers=1, shuffle=None, decode=False, sampler=None, num_shards=None, shard_id=None)
读取和解析Flowers102数据集的源文件构建数据集。
根据给定的 `task` 配置,生成数据集具有不同的输出列:
- `task` = 'Classification',输出列: `[image, dtype=uint8]` , `[label, dtype=uint32]`
- `task` = 'Segmentation',输出列: `[image, dtype=uint8]` , `[segmentation, dtype=uint8]` , `[label, dtype=uint32]`
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录的路径。
- **task** (str, 可选) - 指定读取数据的任务类型,支持'Classification'和'Segmentation'。默认值:'Classification'。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''valid''test'或'all'。默认值:'all',读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None所有图像样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作默认值False不解码。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于Flowers102数据集**
Flowers102数据集由102个花类别组成每个类由40到258张图像组成这些花常见于英国。
以下是原始的Flowers102数据集结构。
可以将数据集文件解压缩到此目录结构中并通过MindSpore的API读取。
.. code-block::
.
└── flowes102_dataset_dir
├── imagelabels.mat
├── setid.mat
├── jpg
├── image_00001.jpg
├── image_00002.jpg
├── ...
├── segmim
├── segmim_00001.jpg
├── segmim_00002.jpg
├── ...
**引用:**
.. code-block::
@InProceedings{Nilsback08,
author = "Maria-Elena Nilsback and Andrew Zisserman",
title = "Automated Flower Classification over a Large Number of Classes",
booktitle = "Indian Conference on Computer Vision, Graphics and Image Processing",
month = "Dec",
year = "2008",
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,90 +1,90 @@
mindspore.dataset.GeneratorDataset
===================================
.. py:class:: mindspore.dataset.GeneratorDataset(source, column_names=None, column_types=None, schema=None, num_samples=None, num_parallel_workers=1, shuffle=None, sampler=None, num_shards=None, shard_id=None, python_multiprocessing=True, max_rowsize=6)
自定义Python数据源通过迭代该数据源构造数据集。生成的数据集的列名和列类型取决于用户定义的Python数据源。
参数:
- **source** (Union[Callable, Iterable, Random Accessible]) - 一个Python的可调用对象可以是可迭代的Python对象或支持随机访问的Python对象。
- 如果 `source` 是可调用对象,要求 `source` 对象可以通过 `source().next()` 的方式返回一个由NumPy数组构成的元组。
- 如果 `source` 是可迭代对象,要求 `source` 对象通过 `iter(source).next()` 的方式返回一个由NumPy数组构成的元组。
- 如果 `source` 是支持随机访问的对象,要求 `source` 对象通过 `source[idx]` 的方式返回一个由NumPy数组构成的元组。
- **column_names** (Union[str, list[str]],可选) - 指定数据集生成的列名默认值None不指定。用户可以通过此参数或 `schema` 参数指定列名。
- **column_types** (list[mindspore.dtype],可选) - 指定生成数据集各个数据列的数据类型默认值None不指定。
如果未指定该参数,则自动推断类型;如果指定了该参数,将在数据输出时做类型匹配检查。
- **schema** (Union[Schema, str],可选) - 读取模式策略,用于指定读取数据列的数据类型、数据维度等信息。
支持传入JSON文件路径或 mindspore.dataset.Schema 构造的对象。默认值None不指定。
用户可以通过提供 `column_names``schema` 指定数据集的列名,但如果同时指定两者,则将优先从 `schema` 中获取列名信息。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数默认值None读取全部样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作进程数/线程数(由参数 `python_multiprocessing` 决定当前为多进程模式或多线程模式默认值1。
- **shuffle** (bool可选) - 是否混洗数据集。只有输入的 `source` 参数带有可随机访问属性(`__getitem__`才可以指定该参数。默认值None下表中会展示不同配置的预期行为。
- **sampler** (Union[Sampler, Iterable],可选) - 指定从数据集中选取样本的采样器。只有输入的 `source` 参数带有可随机访问属性(`__getitem__`才可以指定该参数。默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **python_multiprocessing** (bool可选) - 启用Python多进程模式加速运算默认值True。当传入 `source` 的Python对象的计算量很大时开启此选项可能会有较好效果。
- **max_rowsize** (int, 可选) - 指定在多进程之间复制数据时共享内存分配的最大空间默认值6单位为MB。仅当参数 `python_multiprocessing` 设为True时此参数才会生效。
异常:
- **RuntimeError** - Python对象 `source` 在执行期间引发异常。
- **RuntimeError** - `column_names` 参数指定的列名数量与 `source` 参数输出的数据数量不匹配。
- **ValueError** - `num_parallel_workers` 参数超过最大线程数。
- **ValueError** - 同时指定了 `sampler``shuffle` 参数。
- **ValueError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **ValueError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **ValueError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note::
- `source` 参数接收用户自定义的Python函数PyFuncs不要将 `mindspore.nn``mindspore.ops` 目录下或其他的网络计算算子添加
`source` 中。
- 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst
mindspore.dataset.GeneratorDataset
===================================
.. py:class:: mindspore.dataset.GeneratorDataset(source, column_names=None, column_types=None, schema=None, num_samples=None, num_parallel_workers=1, shuffle=None, sampler=None, num_shards=None, shard_id=None, python_multiprocessing=True, max_rowsize=6)
自定义Python数据源通过迭代该数据源构造数据集。生成的数据集的列名和列类型取决于用户定义的Python数据源。
参数:
- **source** (Union[Callable, Iterable, Random Accessible]) - 一个Python的可调用对象可以是可迭代的Python对象或支持随机访问的Python对象。
- 如果 `source` 是可调用对象,要求 `source` 对象可以通过 `source().next()` 的方式返回一个由NumPy数组构成的元组。
- 如果 `source` 是可迭代对象,要求 `source` 对象通过 `iter(source).next()` 的方式返回一个由NumPy数组构成的元组。
- 如果 `source` 是支持随机访问的对象,要求 `source` 对象通过 `source[idx]` 的方式返回一个由NumPy数组构成的元组。
- **column_names** (Union[str, list[str]],可选) - 指定数据集生成的列名默认值None不指定。用户可以通过此参数或 `schema` 参数指定列名。
- **column_types** (list[mindspore.dtype],可选) - 指定生成数据集各个数据列的数据类型默认值None不指定。
如果未指定该参数,则自动推断类型;如果指定了该参数,将在数据输出时做类型匹配检查。
- **schema** (Union[Schema, str],可选) - 读取模式策略,用于指定读取数据列的数据类型、数据维度等信息。
支持传入JSON文件路径或 mindspore.dataset.Schema 构造的对象。默认值None不指定。
用户可以通过提供 `column_names``schema` 指定数据集的列名,但如果同时指定两者,则将优先从 `schema` 中获取列名信息。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数默认值None读取全部样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作进程数/线程数(由参数 `python_multiprocessing` 决定当前为多进程模式或多线程模式默认值1。
- **shuffle** (bool可选) - 是否混洗数据集。只有输入的 `source` 参数带有可随机访问属性(`__getitem__`才可以指定该参数。默认值None下表中会展示不同配置的预期行为。
- **sampler** (Union[Sampler, Iterable],可选) - 指定从数据集中选取样本的采样器。只有输入的 `source` 参数带有可随机访问属性(`__getitem__`才可以指定该参数。默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **python_multiprocessing** (bool可选) - 启用Python多进程模式加速运算默认值True。当传入 `source` 的Python对象的计算量很大时开启此选项可能会有较好效果。
- **max_rowsize** (int, 可选) - 指定在多进程之间复制数据时共享内存分配的最大空间默认值6单位为MB。仅当参数 `python_multiprocessing` 设为True时此参数才会生效。
异常:
- **RuntimeError** - Python对象 `source` 在执行期间引发异常。
- **RuntimeError** - `column_names` 参数指定的列名数量与 `source` 参数输出的数据数量不匹配。
- **ValueError** - `num_parallel_workers` 参数超过最大线程数。
- **ValueError** - 同时指定了 `sampler``shuffle` 参数。
- **ValueError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **ValueError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **ValueError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note::
- `source` 参数接收用户自定义的Python函数PyFuncs不要将 `mindspore.nn``mindspore.ops` 目录下或其他的网络计算算子添加
`source` 中。
- 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -44,7 +44,7 @@ mindspore.dataset.Graph
获取图的所有边。
参数:
- **edge_type** (str) - 指定边的类型Graph初始化未指定 `edge_type` 时,默认值为'0'。详见 `加载图数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/augment_graph_data.html>`_
- **edge_type** (str) - 指定边的类型Graph初始化未指定 `edge_type` 时,默认值为'0'。详见 `加载图数据集 <https://www.mindspore.cn/tutorials/zh-CN/r1.10/advanced/dataset/augment_graph_data.html>`_
返回:
numpy.ndarray包含边的数组。
@ -157,7 +157,7 @@ mindspore.dataset.Graph
获取图中的所有节点。
参数:
- **node_type** (str) - 指定节点的类型。Graph初始化未指定 `node_type` 时,默认值为'0'。详见 `加载图数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/augment_graph_data.html>`_
- **node_type** (str) - 指定节点的类型。Graph初始化未指定 `node_type` 时,默认值为'0'。详见 `加载图数据集 <https://www.mindspore.cn/tutorials/zh-CN/r1.10/advanced/dataset/augment_graph_data.html>`_
返回:
numpy.ndarray包含节点的数组。

View File

@ -4,6 +4,10 @@ mindspore.dataset.GraphData
.. py:class:: mindspore.dataset.GraphData(dataset_file, num_parallel_workers=None, working_mode='local', hostname='127.0.0.1', port=50051, num_client=1, auto_shutdown=True)
从共享文件或数据库中读取用于GNN训练的图数据集。
支持读取图数据集Cora、Citeseer和PubMed。
关于如何将源数据集加载到mindspore中请参考 `加载图数据集 <https://www.mindspore.cn/tutorials/zh-CN/r1.10/advanced/dataset/augment_graph_data.html>`_
参数:
- **dataset_file** (str) - 数据集文件路径。
@ -32,7 +36,7 @@ mindspore.dataset.GraphData
获取图的所有边。
参数:
- **edge_type** (int) - 指定边的类型在数据集转换为MindRecord格式时需要指定 `edge_type` 的值并在此API中对应使用。详见 `加载图数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/augment_graph_data.html>`_
- **edge_type** (int) - 指定边的类型在数据集转换为MindRecord格式时需要指定 `edge_type` 的值并在此API中对应使用。详见 `加载图数据集 <https://www.mindspore.cn/tutorials/zh-CN/r1.10/advanced/dataset/augment_graph_data.html>`_
返回:
numpy.ndarray包含边的数组。
@ -145,7 +149,7 @@ mindspore.dataset.GraphData
获取图中的所有节点。
参数:
- **node_type** (int) - 指定节点的类型。在数据集转换为MindRecord格式时需要指定 `node_type` 的值并在此API中对应使用。详见 `加载图数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/augment_graph_data.html>`_
- **node_type** (int) - 指定节点的类型。在数据集转换为MindRecord格式时需要指定 `node_type` 的值并在此API中对应使用。详见 `加载图数据集 <https://www.mindspore.cn/tutorials/zh-CN/r1.10/advanced/dataset/augment_graph_data.html>`_
返回:
numpy.ndarray包含节点的数组。

View File

@ -1,135 +0,0 @@
mindspore.dataset.IMDBDataset
=============================
.. py:class:: mindspore.dataset.IMDBDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析互联网电影数据库IMDb的源数据集。
生成的数据集有两列 `[text, label]` `text` 列的数据类型是string。 `label` 列的数据类型是uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''test'或'all'。默认值None读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。
对于Polarity数据集'train'将读取360万个训练样本'test'将读取40万个测试样本'all'将读取所有400万个样本。
对于Full数据集'train'将读取300万个训练样本'test'将读取65万个测试样本'all'将读取所有365万个样本。默认值None读取所有样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于IMDB数据集**
IMDB数据集包含来自互联网电影数据库(IMDB)的50000条高度两极分化的评论。
数据集分为25,000条用于训练的评论和25,000条用于测试的评论训练集和测试集都包含50%的积极评论和50%的消极评论。
训练标签和测试标签分别是0和1其中0代表负样本1代表正样本。
可以将数据集文件解压缩到此目录结构中并通过MindSpore的API读取。
.. code-block::
.
└── imdb_dataset_directory
├── train
│ ├── pos
│ │ ├── 0_9.txt
│ │ ├── 1_7.txt
│ │ ├── ...
│ ├── neg
│ │ ├── 0_3.txt
│ │ ├── 1_1.txt
│ │ ├── ...
├── test
│ ├── pos
│ │ ├── 0_10.txt
│ │ ├── 1_10.txt
│ │ ├── ...
│ ├── neg
│ │ ├── 0_2.txt
│ │ ├── 1_3.txt
│ │ ├── ...
**引用:**
.. code-block::
@InProceedings{maas-EtAl:2011:ACL-HLT2011,
author = {Maas, Andrew L. and Daly, Raymond E. and Pham, Peter T. and Huang, Dan
and Ng, Andrew Y. and Potts, Christopher},
title = {Learning Word Vectors for Sentiment Analysis},
booktitle = {Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics:
Human Language Technologies},
month = {June},
year = {2011},
address = {Portland, Oregon, USA},
publisher = {Association for Computational Linguistics},
pages = {142--150},
url = {http://www.aclweb.org/anthology/P11-1015}
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,104 +0,0 @@
mindspore.dataset.IWSLT2016Dataset
==================================
.. py:class:: mindspore.dataset.IWSLT2016Dataset(dataset_dir, usage=None, language_pair=None, valid_set=None, test_set=None, num_samples=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, num_parallel_workers=None, cache=None)
读取和解析IWSLT2016数据集的源数据集。
生成的数据集有两列 `[text, translation]` `text` 列的数据类型是string。 `translation` 列的数据类型是string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''valid''test'或'all'。默认值None读取全部样本。
- **language_pair** (sequence, 可选) - 包含源语言和目标语言的序列,支持的值为('en''fr')、('en''de')、('en''cs')、('en''ar')、('de''en','cs''en','ar''en'),默认值:('de''en')。
- **valid_set** (str, 可选) - 标识验证集的字符串,支持的值为'dev2010'、'tst2010'、'tst2011'、'tst'2012'tst2013'和'tst2014',默认值:'tst2013'。
- **test_set** (str, 可选) - 识测试集的字符串,支持的值为'dev2010'、'tst2010'、'tst2011'、'tst'2012、'tst2013'和'tst2014',默认值:'tst2014'。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
**关于IWSLT2016数据集**
IWSLT是一个专门讨论口译各个方面的重要年度科学会议。IWSLT评估活动中的MT任务被构成一个数据集该数据集可通过wit3.fbk.eu公开获取。
IWSLT2016数据集包括从英语到阿拉伯语、捷克、法语和德语的翻译以及从阿拉伯语、捷克、法语和德语到英语的翻译。
可以将原始IWSLT2016数据集文件解压缩到此目录结构中并由MindSpore的API读取。解压后还需要将要读取的数据集解压到指定文件夹中。例如如果要读取de-en的数据集则需要解压缩de/en目录下的tgz文件数据集位于解压缩文件夹中。
.. code-block::
.
└── iwslt2016_dataset_directory
├── subeval_files
└── texts
├── ar
│ └── en
│ └── ar-en
├── cs
│ └── en
│ └── cs-en
├── de
│ └── en
│ └── de-en
│ ├── IWSLT16.TED.dev2010.de-en.de.xml
│ ├── train.tags.de-en.de
│ ├── ...
├── en
│ ├── ar
│ │ └── en-ar
│ ├── cs
│ │ └── en-cs
│ ├── de
│ │ └── en-de
│ └── fr
│ └── en-fr
└── fr
└── en
└── fr-en
**引用:**
.. code-block::
@inproceedings{cettoloEtAl:EAMT2012,
Address = {Trento, Italy},
Author = {Mauro Cettolo and Christian Girardi and Marcello Federico},
Booktitle = {Proceedings of the 16$^{th}$ Conference of the European Association for Machine Translation
(EAMT)},
Date = {28-30},
Month = {May},
Pages = {261--268},
Title = {WIT$^3$: Web Inventory of Transcribed and Translated Talks},
Year = {2012}}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,102 +0,0 @@
mindspore.dataset.IWSLT2017Dataset
==================================
.. py:class:: mindspore.dataset.IWSLT2017Dataset(dataset_dir, usage=None, language_pair=None, num_samples=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, num_parallel_workers=None, cache=None)
读取和解析IWSLT2017数据集的源数据集。
生成的数据集有两列 `[text, translation]` `text` 列的数据类型是string。 `translation` 列的数据类型是string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''valid''test'或'all'。默认值None读取全部样本。
- **language_pair** (sequence, 可选) - 包含源语和目标语的语言列表,支持的语言对有('en''nl')、('en''de')、('en''it')、('en''ro')、('nl''en''de')、('nl''it')、('nl''ro')、('de''en')、('de''nl')、('de''it''it''en')、('it''nl')、('it''de')、('it''ro')、('ro''en')、('ro''nl')、('ro''de')、('ro''it'),默认值:('de''en')。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
**关于IWSLT2016数据集**
IWSLT是一个专门讨论口译各个方面的重要年度科学会议。IWSLT评估活动中的MT任务被构成一个数据集该数据集可通过wit3.fbk.eu公开获取。
IWSLT2017数据集中有德语、英语、意大利语、荷兰语和罗马尼亚语数据集包括其中任何两种语言的翻译。
可以将原始IWSLT2017数据集文件解压缩到此目录结构中并由MindSpore的API读取。解压后还需要将要读取的数据集解压到指定文件夹中。例如如果要读取de-en的数据集则需要解压缩de/en目录下的tgz文件数据集位于解压缩文件夹中。
.. code-block::
.
└── iwslt2017_dataset_directory
├── subeval_files
└── texts
├── ar
│ └── en
│ └── ar-en
├── cs
│ └── en
│ └── cs-en
├── de
│ └── en
│ └── de-en
│ ├── IWSLT16.TED.dev2010.de-en.de.xml
│ ├── train.tags.de-en.de
│ ├── ...
├── en
│ ├── ar
│ │ └── en-ar
│ ├── cs
│ │ └── en-cs
│ ├── de
│ │ └── en-de
│ └── fr
│ └── en-fr
└── fr
└── en
└── fr-en
**引用:**
.. code-block::
@inproceedings{cettoloEtAl:EAMT2012,
Address = {Trento, Italy},
Author = {Mauro Cettolo and Christian Girardi and Marcello Federico},
Booktitle = {Proceedings of the 16$^{th}$ Conference of the European Association for Machine Translation
(EAMT)},
Date = {28-30},
Month = {May},
Pages = {261--268},
Title = {WIT$^3$: Web Inventory of Transcribed and Translated Talks},
Year = {2012}}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,103 +1,103 @@
mindspore.dataset.ImageFolderDataset
=====================================
.. py:class:: mindspore.dataset.ImageFolderDataset(dataset_dir, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, extensions=None, class_indexing=None, decode=False, num_shards=None, shard_id=None, cache=None, decrypt=None)
从树状结构的文件目录中读取图片构建源数据集同一个文件夹中的所有图片将被分配相同的label。
生成的数据集有两列:`[image, label]``image` 列的数据类型为uint8`label` 列的数据类型为uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录的路径。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **extensions** (list[str], 可选) - 指定文件的扩展名仅读取与指定扩展名匹配的文件到数据集中默认值None。
- **class_indexing** (dict, 可选) - 指定文件夹名称到label索引的映射要求映射规则为string到int。文件夹名称将按字母顺序排列索引值从0开始并且要求每个文件夹名称对应的索引值唯一。默认值None不指定。
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作默认值False不解码。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **decrypt** (callable, 可选) - 图像解密函数接受加密的图片路径并返回bytes类型的解密数据。默认值None不进行解密。
异常:
- **RuntimeError** - `dataset_dir` 不包含任何数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **RuntimeError** - `class_indexing` 参数的类型不是dict。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note::
- 如果 `decode` 参数的值为False则得到的 `image` 列的shape为[undecoded_image_size]如果为True则 `image` 列的shape为[H,W,C]。
- 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于ImageFolderDataset**
您可以将图片数据文件构建成如下目录结构并通过MindSpore的API进行读取。
.. code-block::
.
└── image_folder_dataset_directory
├── class1
│ ├── 000000000001.jpg
│ ├── 000000000002.jpg
│ ├── ...
├── class2
│ ├── 000000000001.jpg
│ ├── 000000000002.jpg
│ ├── ...
├── class3
│ ├── 000000000001.jpg
│ ├── 000000000002.jpg
│ ├── ...
├── classN
├── ...
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst
mindspore.dataset.ImageFolderDataset
=====================================
.. py:class:: mindspore.dataset.ImageFolderDataset(dataset_dir, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, extensions=None, class_indexing=None, decode=False, num_shards=None, shard_id=None, cache=None, decrypt=None)
从树状结构的文件目录中读取图片构建源数据集同一个文件夹中的所有图片将被分配相同的label。
生成的数据集有两列:`[image, label]``image` 列的数据类型为uint8`label` 列的数据类型为uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录的路径。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **extensions** (list[str], 可选) - 指定文件的扩展名仅读取与指定扩展名匹配的文件到数据集中默认值None。
- **class_indexing** (dict, 可选) - 指定文件夹名称到label索引的映射要求映射规则为string到int。文件夹名称将按字母顺序排列索引值从0开始并且要求每个文件夹名称对应的索引值唯一。默认值None不指定。
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作默认值False不解码。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
- **decrypt** (callable, 可选) - 图像解密函数接受加密的图片路径并返回bytes类型的解密数据。默认值None不进行解密。
异常:
- **RuntimeError** - `dataset_dir` 不包含任何数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **RuntimeError** - `class_indexing` 参数的类型不是dict。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note::
- 如果 `decode` 参数的值为False则得到的 `image` 列的shape为[undecoded_image_size]如果为True则 `image` 列的shape为[H,W,C]。
- 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于ImageFolderDataset**
您可以将图片数据文件构建成如下目录结构并通过MindSpore的API进行读取。
.. code-block::
.
└── image_folder_dataset_directory
├── class1
│ ├── 000000000001.jpg
│ ├── 000000000002.jpg
│ ├── ...
├── class2
│ ├── 000000000001.jpg
│ ├── 000000000002.jpg
│ ├── ...
├── class3
│ ├── 000000000001.jpg
│ ├── 000000000002.jpg
│ ├── ...
├── classN
├── ...
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,54 +1,54 @@
mindspore.dataset.InMemoryGraphDataset
========================================
.. py:class:: mindspore.dataset.InMemoryGraphDataset(data_dir, save_dir="./processed", column_names="graph", num_samples=None, num_parallel_workers=1, shuffle=None, num_shards=None, shard_id=None, python_multiprocessing=True, max_rowsize=6)
用于将图数据加载到内存中的Dataset基类。
建议通过继承这个基类来实现自定义Dataset并重写相应的方法`process``save``load` ,可参考 `ArgoverseDataset` 源码。自定义Dataset的初始化过程如下首先检查在给定的 `data_dir` 中是否已经有处理好的数据如果是则调用 `load` 方法直接加载它,否则将调用 `process` 方法创建图,并调用 `save` 方法将图保存到 `save_dir`
可以访问所创建dataset中的图并使用例如 `graphs = my_dataset.graphs`也可以迭代dataset对象如 `my_dataset.create_tuple_iterator()` 来获取数据(这时需要实现 `__getitem__` 和 `__len__`)方法,具体请参考以下示例。注意:内部逻辑指定了 `__new__` 阶段会重新初始化 `__init__` ,如果自定义图实现了 `__new__` 方法,该方法将失效。
参数:
- **data_dir** (str) - 加载数据集的目录,这里包含原始格式的数据,并将在 `process` 方法中被加载。
- **save_dir** (str) - 保存处理后得到的数据集的相对目录,该目录位于 `data_dir` 下面,默认值:"./processed"。
- **column_names** (Union[str, list[str]],可选) - dataset包含的单个列名或多个列名组成的列表默认值'Graph'。当实现类似 `__getitem__` 等方法时,列名的数量应该等于该方法中返回数据的条数。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数默认值None读取全部样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作进程数/线程数(由参数 `python_multiprocessing` 决定当前为多进程模式或多线程模式默认值1。
- **shuffle** (bool可选) - 是否混洗数据集。当实现的Dataset带有可随机访问属性 `__getitem__` 才可以指定该参数。默认值None。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **python_multiprocessing** (bool可选) - 启用Python多进程模式加速运算默认值True。当传入 `source` 的Python对象的计算量很大时开启此选项可能会有较好效果。
- **max_rowsize** (int, 可选) - 指定在多进程之间复制数据时共享内存分配的最大空间默认值6单位为MB。仅当参数 `python_multiprocessing` 设为True时此参数才会生效。
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. py:method:: load()
从给定处理好的路径加载数据也可以在自己实现的Dataset类中实现这个方法。
.. include:: mindspore.dataset.Dataset.e.rst
.. py:method:: process()
与原始数据集相关的处理方法建议在自定义的Dataset中重写此方法。
.. include:: mindspore.dataset.Dataset.f.rst
.. py:method:: save()
将经过 `process` 函数处理后的数据以 numpy.npz 格式保存到磁盘中也可以在自己实现的Dataset类中自己实现这个方法。
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst
mindspore.dataset.InMemoryGraphDataset
========================================
.. py:class:: mindspore.dataset.InMemoryGraphDataset(data_dir, save_dir="./processed", column_names="graph", num_samples=None, num_parallel_workers=1, shuffle=None, num_shards=None, shard_id=None, python_multiprocessing=True, max_rowsize=6)
用于将图数据加载到内存中的Dataset基类。
建议通过继承这个基类来实现自定义Dataset并重写相应的方法`process``save``load` ,可参考 `ArgoverseDataset` 源码。自定义Dataset的初始化过程如下首先检查在给定的 `data_dir` 中是否已经有处理好的数据如果是则调用 `load` 方法直接加载它,否则将调用 `process` 方法创建图,并调用 `save` 方法将图保存到 `save_dir`
可以访问所创建dataset中的图并使用例如 `graphs = my_dataset.graphs`也可以迭代dataset对象如 `my_dataset.create_tuple_iterator()` 来获取数据(这时需要实现 `__getitem__` 和 `__len__`)方法,具体请参考以下示例。注意:内部逻辑指定了 `__new__` 阶段会重新初始化 `__init__` ,如果自定义图实现了 `__new__` 方法,该方法将失效。
参数:
- **data_dir** (str) - 加载数据集的目录,这里包含原始格式的数据,并将在 `process` 方法中被加载。
- **save_dir** (str) - 保存处理后得到的数据集的相对目录,该目录位于 `data_dir` 下面,默认值:"./processed"。
- **column_names** (Union[str, list[str]],可选) - dataset包含的单个列名或多个列名组成的列表默认值'Graph'。当实现类似 `__getitem__` 等方法时,列名的数量应该等于该方法中返回数据的条数。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数默认值None读取全部样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作进程数/线程数(由参数 `python_multiprocessing` 决定当前为多进程模式或多线程模式默认值1。
- **shuffle** (bool可选) - 是否混洗数据集。当实现的Dataset带有可随机访问属性 `__getitem__` 才可以指定该参数。默认值None。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **python_multiprocessing** (bool可选) - 启用Python多进程模式加速运算默认值True。当传入 `source` 的Python对象的计算量很大时开启此选项可能会有较好效果。
- **max_rowsize** (int, 可选) - 指定在多进程之间复制数据时共享内存分配的最大空间默认值6单位为MB。仅当参数 `python_multiprocessing` 设为True时此参数才会生效。
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. py:method:: load()
从给定处理好的路径加载数据也可以在自己实现的Dataset类中实现这个方法。
.. include:: mindspore.dataset.Dataset.e.rst
.. py:method:: process()
与原始数据集相关的处理方法建议在自定义的Dataset中重写此方法。
.. include:: mindspore.dataset.Dataset.f.rst
.. py:method:: save()
将经过 `process` 函数处理后的数据以 numpy.npz 格式保存到磁盘中也可以在自己实现的Dataset类中自己实现这个方法。
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,104 +0,0 @@
mindspore.dataset.KMnistDataset
===============================
.. py:class:: mindspore.dataset.KMnistDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析KMNIST数据集的源文件构建数据集。
生成的数据集有两列: `[image, label]``image` 列的数据类型为uint8。 `label` 列的数据类型为uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为 'train'、'test' 或 'all'。
取值为'train'时将会读取60,000个训练样本取值为'test'时将会读取10,000个测试样本取值为'all'时将会读取全部70,000个样本。默认值None读取全部样本图片。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于KMNIST数据集**
KMNIST是一个数据集改编自Kuzushiji数据集作为MNIST数据集的替代数据集MNIST数据集是机器学习社区中著名的数据集
以下是原始KMNIST数据集结构可以将数据集文件解压缩到此目录结构中并由MindSpore的API读取。
.. code-block::
.
└── kmnist_dataset_dir
├── t10k-images-idx3-ubyte
├── t10k-labels-idx1-ubyte
├── train-images-idx3-ubyte
└── train-labels-idx1-ubyte
**引用:**
.. code-block::
@online{clanuwat2018deep,
author = {Tarin Clanuwat and Mikel Bober-Irizar and Asanobu Kitamoto and
Alex Lamb and Kazuaki Yamamoto and David Ha},
title = {Deep Learning for Classical Japanese Literature},
date = {2018-12-03},
year = {2018},
eprintclass = {cs.CV},
eprinttype = {arXiv},
eprint = {cs.CV/1812.01718},
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,114 +0,0 @@
mindspore.dataset.LJSpeechDataset
=================================
.. py:class:: mindspore.dataset.LJSpeechDataset(dataset_dir, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析LJSpeech数据集的源文件构建数据集。
生成的数据集有两列: `[waveform, sample_rate, transcription, normalized_transcript]`
`waveform` 列的数据类型为float32 `sample_rate` 列的数据类型为int32 `transcription` 列的数据类型为string `normalized_transcript` 列的数据类型为string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本音频。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于LJSPEECH数据集**
LJSPEECH是一个公共领域的语音数据集由13,100个来自7部非小说类书籍的段落短音频片段组成。
为每个剪辑片段都进行转录剪辑的长度从1秒到10秒不等总长度约为24小时。
这些被阅读的文本于1884年至1964年间出版属于公共领域这些音频由LibriVox项目于2016-17年录制。
以下是原始的LJSPEECH数据集结构。
可以将数据集文件解压缩到以下目录结构中并由MindSpore的API读取。
.. code-block::
.
└── LJSpeech-1.1
├── README
├── metadata.csv
└── wavs
├── LJ001-0001.wav
├── LJ001-0002.wav
├── LJ001-0003.wav
├── LJ001-0004.wav
├── LJ001-0005.wav
├── LJ001-0006.wav
├── LJ001-0007.wav
├── LJ001-0008.wav
...
├── LJ050-0277.wav
└── LJ050-0278.wav
**引用:**
.. code-block::
@misc{lj_speech17,
author = {Keith Ito and Linda Johnson},
title = {The LJ Speech Dataset},
howpublished = {url{https://keithito.com/LJ-Speech-Dataset}},
year = 2017
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -18,7 +18,7 @@
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作默认值False不解码。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_files` 路径下不包含任何数据文件。

View File

@ -20,10 +20,10 @@
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。当前此数据集仅支持以下采样器SubsetRandomSampler、PkSampler、RandomSampler、SequentialSampler和DistributedSampler。
- **padded_sample** (dict, 可选): 指定额外添加到数据集的样本,可用于在分布式训练时补齐分片数据,注意字典的键名需要与 `column_list` 指定的列名相同。默认值None不添加样本。需要与 `num_padded` 参数同时使用。
- **padded_sample** (dict, 可选) - 指定额外添加到数据集的样本,可用于在分布式训练时补齐分片数据,注意字典的键名需要与 `column_list` 指定的列名相同。默认值None不添加样本。需要与 `num_padded` 参数同时使用。
- **num_padded** (int, 可选) - 指定额外添加的数据集样本的数量。在分布式训练时可用于为数据集补齐样本,使得总样本数量可被 `num_shards` 整除。默认值None不添加样本。需要与 `padded_sample` 参数同时使用。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取所有样本。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **ValueError** - `dataset_files` 参数所指向的文件无效或不存在。

View File

@ -1,104 +1,104 @@
mindspore.dataset.MnistDataset
===============================
.. py:class:: mindspore.dataset.MnistDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析MNIST数据集的源文件构建数据集。
生成的数据集有两列: `[image, label]``image` 列的数据类型为uint8。 `label` 列的数据类型为uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为 'train'、'test' 或 'all'。
取值为'train'时将会读取60,000个训练样本取值为'test'时将会读取10,000个测试样本取值为'all'时将会读取全部70,000个样本。默认值None读取全部样本图片。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **ValueError** - `usage` 参数取值不为'train'、'test'或'all'。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于MNIST数据集**
MNIST手写数字数据集是NIST数据集的子集共有60,000个训练样本和10,000个测试样本。
以下为原始MNIST数据集的结构您可以将数据集文件解压得到如下的文件结构并通过MindSpore的API进行读取。
.. code-block::
.
└── mnist_dataset_dir
├── t10k-images-idx3-ubyte
├── t10k-labels-idx1-ubyte
├── train-images-idx3-ubyte
└── train-labels-idx1-ubyte
**引用:**
.. code-block::
@article{lecun2010mnist,
title = {MNIST handwritten digit database},
author = {LeCun, Yann and Cortes, Corinna and Burges, CJ},
journal = {ATT Labs [Online]},
volume = {2},
year = {2010},
howpublished = {http://yann.lecun.com/exdb/mnist}
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
mindspore.dataset.MnistDataset
===============================
.. py:class:: mindspore.dataset.MnistDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析MNIST数据集的源文件构建数据集。
生成的数据集有两列: `[image, label]``image` 列的数据类型为uint8。 `label` 列的数据类型为uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为 'train'、'test' 或 'all'。
取值为'train'时将会读取60,000个训练样本取值为'test'时将会读取10,000个测试样本取值为'all'时将会读取全部70,000个样本。默认值None读取全部样本图片。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **ValueError** - `usage` 参数取值不为'train'、'test'或'all'。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于MNIST数据集**
MNIST手写数字数据集是NIST数据集的子集共有60,000个训练样本和10,000个测试样本。此数据集是NIST数据集的子集。数字已经预先进行了尺寸归一化和中心化处理。
以下为原始MNIST数据集的结构您可以将数据集文件解压得到如下的文件结构并通过MindSpore的API进行读取。
.. code-block::
.
└── mnist_dataset_dir
├── t10k-images-idx3-ubyte
├── t10k-labels-idx1-ubyte
├── train-images-idx3-ubyte
└── train-labels-idx1-ubyte
**引用:**
.. code-block::
@article{lecun2010mnist,
title = {MNIST handwritten digit database},
author = {LeCun, Yann and Cortes, Corinna and Burges, CJ},
journal = {ATT Labs [Online]},
volume = {2},
year = {2010},
howpublished = {http://yann.lecun.com/exdb/mnist}
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,79 +0,0 @@
mindspore.dataset.PennTreebankDataset
=====================================
.. py:class:: mindspore.dataset.PennTreebankDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, cache=None)
读取和解析PennTreebank数据集的源数据集。
生成的数据集有一列 `[text]` 数据类型为string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''test''valid'或'all'。
取值为'train'将读取42,068个样本'test'将读取3,370个样本'test'将读取3,761个样本'all'将读取所有49,199个样本。默认值None读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取所有样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值True。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**关于PennTreebank数据集**
Penn Treebank (PTB) 数据集,广泛用于 NLP自然语言处理的机器学习研究。
PTB 不包含大写字母、数字和标点符号其词汇表上限为10k个不重复词与大多数现代数据集相比相对较小可能会导致出现大量超出词汇表外的token。
以下是原始的PennTreebank数据集结构。
可以将数据集文件解压缩到此目录结构中并通过MindSpore的API读取。
.. code-block::
.
└── PennTreebank_dataset_dir
├── ptb.test.txt
├── ptb.train.txt
└── ptb.valid.txt
**引用:**
.. code-block::
@techreport{Santorini1990,
added-at = {2014-03-26T23:25:56.000+0100},
author = {Santorini, Beatrice},
biburl = {https://www.bibsonomy.org/bibtex/234cdf6ddadd89376090e7dada2fc18ec/butonic},
file = {:Santorini - Penn Treebank tag definitions.pdf:PDF},
institution = {Department of Computer and Information Science, University of Pennsylvania},
interhash = {818e72efd9e4b5fae3e51e88848100a0},
intrahash = {34cdf6ddadd89376090e7dada2fc18ec},
keywords = {dis pos tagging treebank},
number = {MS-CIS-90-47},
timestamp = {2014-03-26T23:25:56.000+0100},
title = {Part-of-speech tagging guidelines for the {P}enn {T}reebank {P}roject},
url = {ftp://ftp.cis.upenn.edu/pub/treebank/doc/tagguide.ps.gz},
year = 1990
}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,127 +0,0 @@
mindspore.dataset.PhotoTourDataset
==================================
.. py:class:: mindspore.dataset.PhotoTourDataset(dataset_dir, name, usage=None, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析PhotoTour数据集的源数据集。
`usage` = 'train',生成的数据集有一列 `[image]` 数据类型为uint8。
`usage` ≠ 'train',生成的数据集有三列: `[image1, image2, matches]``image1``image2` 列的数据类型为uint8。 `matches` 列的数据类型为uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **name** (str) - 要加载的数据集内容名称,可以取值为'notredame' 'yosemite' 'liberty' 'notredame_harris' 'yosemite_harris' 或 'liberty_harris'。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train'或'test'。默认值None将被设置为'train'。
取值为'train'时,每个 `name` 的数据集样本数分别为{'notredame': 468159, 'yosemite': 633587, 'liberty': 450092, 'liberty_harris': 379587, 'yosemite_harris': 450912, 'notredame_harris': 325295}。
取值为'test'时将读取100,000个测试样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取所有样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `dataset_dir` 不存在。
- **ValueError** - `usage` 不是["train", "test"]中的任何一个。
- **ValueError** - `name` 不是["notredame", "yosemite", "liberty","notredame_harris", "yosemite_harris", "liberty_harris"]中的任何一个。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于PhotoTour数据集**
数据取自许愿池(罗马)、巴黎圣母院(巴黎)和半圆顶(美国约塞米蒂国家公园)的旅游圣地照片。
每个数据集包括一系列相应的图像块是通过将旅游圣地的照片中的3D点投影回到原始图像而获得的。
数据集由1024 x 1024位图.bmp图像组成每个图像都包含16 x 16的图像修补数组。
每个图像块都以64 x 64灰度采样具有规范的比例和方向。有关如何确定比例和方向的详细信息请参见论文。
关联的元数据文件info.txt包含匹配信息。info.txt的每一行对应一个单独的图像块图像块在每个位图图像中从左到右、从上到下顺序排列。
info.txt每行上的第一个数字是采样该图像块的3D点ID——具有相同3D点ID的图像块从同一3D点投影到不同的图像中
info.txt中的第二个数字代表图像块是从哪个原始图像采样得到目前未使用。
可以将原始PhotoTour数据集文件解压缩到此目录结构中并通过MindSpore的API读取。
.. code-block::
.
└── photo_tour_dataset_directory
├── liberty/
│ ├── info.txt // two columns: 3D_point_ID, unused
│ ├── m50_100000_100000_0.txt // seven columns: patch_ID1, 3D_point_ID1, unused1,
│ │ // patch_ID2, 3D_point_ID2, unused2, unused3
│ ├── patches0000.bmp // 1024*1024 pixels, with 16 * 16 patches.
│ ├── patches0001.bmp
│ ├── ...
├── yosemite/
│ ├── ...
├── notredame/
│ ├── ...
├── liberty_harris/
│ ├── ...
├── yosemite_harris/
│ ├── ...
├── notredame_harris/
│ ├── ...
**引用:**
.. code-block::
@INPROCEEDINGS{4269996,
author={Winder, Simon A. J. and Brown, Matthew},
booktitle={2007 IEEE Conference on Computer Vision and Pattern Recognition},
title={Learning Local Image Descriptors},
year={2007},
volume={},
number={},
pages={1-8},
doi={10.1109/CVPR.2007.382971}
}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,121 +0,0 @@
mindspore.dataset.Places365Dataset
==================================
.. py:class:: mindspore.dataset.Places365Dataset(dataset_dir, usage=None, small=True, decode=False, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析PhotoTour数据集的源数据集。
生成的数据集有两列: `[image, label]`
`image` 列的数据类型为uint8。 `label` 列的数据类型为uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 'train-standard'、'train-challenge'或'val',默认值:'train-standard'。
- **small** (bool, 可选) - 是否使用256*256的低分辨率图像True或高分辨率图像False。默认值False使用低分辨率图像。
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作默认值False不解码。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取所有样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
- **ValueError** - `usage` 不是['train-standard', 'train-challenge', 'val']中的任何一个。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于Places365数据集**
在Places2数据库上训练的卷积神经网络CNN可用于场景识别也可用于视觉识别的通用深度场景特征。
Places作者向公众发布了Places365-Standard数据集和Places365-Challenge数据集。
Places365-Standard数据集是Places2数据库的核心集该数据库已用于训练Places365-CNN。
Places作者将在未来的Places365-Standard数据集上添加其他类型的标注。
Places365-Challenge数据集是Places2数据库的竞赛数据集与Places365-Standard数据集相比该数据库有620万张额外的图像此数据集用于2016年的Places挑战赛。
可以将原始的Places365数据集文件解压缩到此目录结构中并由MindSpore的API读取。
.. code-block::
.
└── categories_places365
├── places365_train-standard.txt
├── places365_train-challenge.txt
├── val_large/
│ ├── Places365_val_00000001.jpg
│ ├── Places365_val_00000002.jpg
│ ├── Places365_val_00000003.jpg
│ ├── ...
├── val_256/
│ ├── ...
├── data_large_standard/
│ ├── ...
├── data_256_standard/
│ ├── ...
├── data_large_challenge/
│ ├── ...
├── data_256_challenge /
│ ├── ...
**引用:**
.. code-block::
article{zhou2017places,
title={Places: A 10 million Image Database for Scene Recognition},
author={Zhou, Bolei and Lapedriza, Agata and Khosla, Aditya and Oliva, Aude and Torralba, Antonio},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
year={2017},
publisher={IEEE}
}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,106 +0,0 @@
mindspore.dataset.QMnistDataset
===============================
.. py:class:: mindspore.dataset.QMnistDataset(dataset_dir, usage=None, compat=True, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析QMNIST数据集的源文件构建数据集。
生成的数据集有两列: `[image, label]``image` 列的数据类型为uint8 `label` 列的数据类型为uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train'、'test'、'test10k'、'test50k'、'nist'或'all'默认值None读取所有子集。
- **compat** (bool, 可选) - 指定每个样本的标签是类别号compat=True还是完整的QMNIST信息compat=False。默认值True标签为类别号。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取所有样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于QMNIST数据集**
QMNIST 数据集是从 NIST Special Database 19 中的原始数据生成的,目的是尽可能地匹配 MNIST 预处理。
研究人员试图生成额外的 50k 类似 MNIST 数据的图像在QMNIST论文中作者给出了重建过程并使用匈牙利算法来找到原始 MNIST 样本与其重建样本之间的最佳匹配。
以下是原始的QMNIST数据集结构。
可以将数据集文件解压缩到此目录结构中并通过MindSpore的API读取。
.. code-block::
.
└── qmnist_dataset_dir
├── qmnist-train-images-idx3-ubyte
├── qmnist-train-labels-idx2-int
├── qmnist-test-images-idx3-ubyte
├── qmnist-test-labels-idx2-int
├── xnist-images-idx3-ubyte
└── xnist-labels-idx2-int
**引用:**
.. code-block::
@incollection{qmnist-2019,
title = "Cold Case: The Lost MNIST Digits",
author = "Chhavi Yadav and L\'{e}on Bottou",\
booktitle = {Advances in Neural Information Processing Systems 32},
year = {2019},
publisher = {Curran Associates, Inc.},
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,34 +0,0 @@
mindspore.dataset.RandomDataset
===============================
.. py:class:: mindspore.dataset.RandomDataset(total_rows=None, schema=None, columns_list=None, num_samples=None, num_parallel_workers=None, cache=None, shuffle=None, num_shards=None, shard_id=None)
生成随机数据的源数据集。
参数:
- **total_rows** (int, 可选) - 随机生成样本数据的数量。默认值None生成随机数量的样本。
- **schema** (Union[str, Schema], 可选) - 读取模式策略,用于指定读取数据列的数据类型、数据维度等信息。
支持传入JSON文件路径或 mindspore.dataset.Schema 构造的对象。默认值None不指定。
- **columns_list** (list[str], 可选) - 指定生成数据集的列名默认值None生成的数据列将以"c0""c1""c2" ... "cn"的规则命名。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取所有样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,123 +0,0 @@
mindspore.dataset.SBDataset
===========================
.. py:class:: mindspore.dataset.SBDataset(dataset_dir, task='Boundaries', usage='all', num_samples=None, num_parallel_workers=1, shuffle=None, decode=None, sampler=None, num_shards=None, shard_id=None)
读取和解析Semantic Boundaries数据集的源文件构建数据集。
根据给定的 `task` 配置,生成数据集具有不同的输出列:
- `task` = 'Boundaries',有两个输出列: `image` 列的数据类型为uint8。 `label` 列包含1个的数据类型为uint8的图像。
- `task` = 'Segmentation',有两个输出列: `image` 列的数据类型为uint8。 `label` 列包含20个的数据类型为uint8的图像。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录的路径。
- **task** (str, 可选) - 指定读取SB数据集的任务类型支持'Boundaries'和'Segmentation'。默认值:'Boundaries'。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train'、'val'、'train_noval'和'all'。默认值:'train'。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None所有图像样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作默认值False不解码。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `dataset_dir` 不存在。
- **ValueError** - `task` 不是['Boundaries', 'Segmentation']中的任何一个。
- **ValueError** - `usage` 不是['train', 'val', 'train_noval', 'all']中的任何一个。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于Semantic Boundaries数据集**
Semantic Boundaries语义边界数据集由11355张彩色图像组成。
train.txt中有8498个图像val.txt中有2857个图像train_noval.txt中有5623个图像。
目录cls中包含类别的分割和边界标注目录inst中包含实例级的分割和边界标注。
可以将数据集文件解压缩为以下结构并通过MindSpore的API读取
.. code-block::
.
└── benchmark_RELEASE
├── dataset
├── img
│ ├── 2008_000002.jpg
│ ├── 2008_000003.jpg
│ ├── ...
├── cls
│ ├── 2008_000002.mat
│ ├── 2008_000003.mat
│ ├── ...
├── inst
│ ├── 2008_000002.mat
│ ├── 2008_000003.mat
│ ├── ...
├── train.txt
└── val.txt
**引用:**
.. code-block::
@InProceedings{BharathICCV2011,
author = "Bharath Hariharan and Pablo Arbelaez and Lubomir Bourdev and
Subhransu Maji and Jitendra Malik",
title = "Semantic Contours from Inverse Detectors",
booktitle = "International Conference on Computer Vision (ICCV)",
year = "2011",
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,100 +0,0 @@
mindspore.dataset.SBUDataset
============================
.. py:class:: mindspore.dataset.SBUDataset(dataset_dir, num_samples=None, num_parallel_workers=None, shuffle=None, decode=False, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析SBU数据集的源文件构建数据集。
生成的数据集有两列:`[image, caption]``image` 列的数据类型为uint8`caption` 列的数据类型为string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录的路径。
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作默认值False不解码。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None所有图像样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于SBU数据集**
SBU数据集是一个带字幕的大型照片集它包含一百万张带有视觉相关标注的图像。
.. code-block::
.
└─ dataset_dir
├── SBU_captioned_photo_dataset_captions.txt
├── SBU_captioned_photo_dataset_urls.txt
└── sbu_images
├── m_3326_3596303505_3ce4c20529.jpg
├── ......
└── m_2522_4182181099_c3c23ab1cc.jpg
**引用:**
.. code-block::
@inproceedings{Ordonez:2011:im2text,
Author = {Vicente Ordonez and Girish Kulkarni and Tamara L. Berg},
Title = {Im2Text: Describing Images Using 1 Million Captioned Photographs},
Booktitle = {Neural Information Processing Systems ({NIPS})},
Year = {2011},
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,114 +0,0 @@
mindspore.dataset.STL10Dataset
==============================
.. py:class:: mindspore.dataset.STL10Dataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析STL10数据集的源文件构建数据集。
生成的数据集有两列: `[image, label]``image` 列的数据类型是uint8。`label` 列的数据类型是uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train'、'test'、'unlabeled'、'train+unlabeled'或'all'。
取值为'train'时将会读取5,000个样本取值为'test'时将会读取8,000个样本取值为'unlabeled'时将会读取100,000个样本取值为'train+unlabeled'时将会读取10,5000个样本
取值为'all'时将会读取全部类型的样本。默认值None读取全部样本图片。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `usage` 参数无效。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于STL10数据集**
STL10数据集由10类组成飞机、鸟、汽车、猫、鹿、狗、马、猴子、船、卡车。
数据集样本均为96x96的彩色图像。
每个类别分别有500张训练图像和800张测试图像以及100000张没有标签的图像。
标签索引从0开始标记没有标签的的图像以-1作为标记。
以下是原始STL10数据集结构。
可以将数据集文件解压缩到此目录结构中并由MindSpore的API读取。
.. code-block::
.
└── stl10_dataset_dir
├── train_X.bin
├── train_y.bin
├── test_X.bin
├── test_y.bin
└── unlabeled_X.bin
**引用:**
.. code-block::
@techreport{Coates10,
author = {Adam Coates},
title = {Learning multiple layers of features from tiny images},
year = {20010},
howpublished = {https://cs.stanford.edu/~acoates/stl10/},
description = {The STL-10 dataset consists of 96x96 RGB images in 10 classes,
with 500 training images and 800 testing images per class.
There are 5000 training images and 8000 test images.
It also has 100000 unlabeled images for unsupervised learning.
These examples are extracted from a similar but broader distribution of images.
}
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,103 +0,0 @@
mindspore.dataset.SVHNDataset
=============================
.. py:class:: mindspore.dataset.SVHNDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=1, shuffle=None, sampler=None, num_shards=None, shard_id=None)
读取和解析SVHN数据集的源文件构建数据集。
生成的数据集有两列: `[image, label]``image` 列的数据类型是uint8 `label` 列的数据类型是uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train'、'test'、'extra'或'all'。默认值None读取全部样本图片。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数可以小于数据集总数。默认值None读取全部样本图片。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `usage` 参数无效。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于SVHN数据集**
SVHN数据集是从谷歌街景图像中的门牌号码中获得的由10位数字组成。
以下是原始SVHN数据集结构可以将数据集文件解压缩到此目录结构中并由MindSpore的API读取。
.. code-block::
.
└── svhn_dataset_dir
├── train_32x32.mat
├── test_32x32.mat
└── extra_32x32.mat
**引用:**
.. code-block::
@article{
title={Reading Digits in Natural Images with Unsupervised Feature Learning},
author={Yuval Netzer, Tao Wang, Adam Coates, Alessandro Bissacco, Bo Wu, Andrew Y. Ng},
conference={NIPS Workshop on Deep Learning and Unsupervised Feature Learning 2011.},
year={2011},
publisher={NIPS}
url={http://ufldl.stanford.edu/housenumbers}
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,96 +0,0 @@
mindspore.dataset.SemeionDataset
================================
.. py:class:: mindspore.dataset.SemeionDataset(dataset_dir, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析Semeion数据集的源文件构建数据集。
生成的数据集有两列:`[image, label]``image` 列的数据类型为uint8`label` 列的数据类型为uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录的路径。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None所有图像样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于SEMEION数据集**
该数据集由意大利布雷西亚Tactile Srl创建http://www.tattil.it并于1994年捐赠给意大利罗马Semeion通信科学研究中心http://www.semeion.it用于机器学习研究。
此数据集由1593条样本记录和256个属性组成。每条记录代表一个手写数字最初扫描的分辨率为256灰度。
数据集拉伸了每个原始扫描图像的每个像素然后在0和1之间缩放将值低于灰度值127的每个像素(包括127设置为0并将灰度值超过127的每个像素设置为1)。
最后每个二进制图像再次缩放为一个16x16的方形图像。
.. code-block::
.
└── semeion_dataset_dir
└──semeion.data
└──semeion.names
**引用:**
.. code-block::
@article{
title={The Theory of Independent Judges, in Substance Use & Misuse 33(2)1998, pp 439-461},
author={M Buscema, MetaNet},
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,79 +0,0 @@
mindspore.dataset.SogouNewsDataset
==================================
.. py:class:: mindspore.dataset.SogouNewsDataset(dataset_dir, usage=None, num_samples=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, num_parallel_workers=None, cache=None)
读取和解析SogouNew数据集的源数据集。
生成的数据集有三列 `[index, title, content]` 三列的数据类型均为string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''test'或'all'。默认值None读取全部样本。
取值为'train'时将会读取45万个训练样本取值为'test'时将会读取6万个测试样本取值为'all'时将会读取全部51万个样本。默认值None读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
**关于SogouNew数据集**
SogouNews 数据集包括3列分别对应类别索引1到5、标题和内容。
标题和内容使用双引号(")进行转义任何内部双引号都使用2个双引号("")进行转义。
新行使用反斜杠进行转义后跟“n”字符即"\n"。
以下是原始SogouNew数据集结构可以将数据集文件解压缩到此目录结构中并由MindSpore的API读取。
.. code-block::
.
└── sogou_news_dir
├── classes.txt
├── readme.txt
├── test.csv
└── train.csv
**引用:**
.. code-block::
@misc{zhang2015characterlevel,
title={Character-level Convolutional Networks for Text Classification},
author={Xiang Zhang and Junbo Zhao and Yann LeCun},
year={2015},
eprint={1509.01626},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,108 +0,0 @@
mindspore.dataset.SpeechCommandsDataset
=======================================
.. py:class:: mindspore.dataset.SpeechCommandsDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析SpeechCommands数据集的源数据集。
生成的数据集有五列 `[waveform, sample_rate, label, speaker_id, utterance_number]`
`waveform` 的数据类型为float32`sample_rate` 的数据类型为int32`label` 的数据类型为string`speaker_id` 的数据类型为string`utterance_number` 的数据类型为int32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''test''valid'或'all'。默认值None读取全部样本。
取值为'train'时将会读取84,843个训练样本取值为'test'时将会读取11,005个测试样本取值为'valid'时将会读取9,981个测试样本取值为'all'时将会读取全部105,829个样本。默认值None读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取全部样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于SpeechCommands数据集**
SpeechCommands语音命令数据是用于有限词汇语音识别的数据集包含105,829个'.wav'格式的音频样本。
以下是原始SpeechCommands的数据集结构可以将数据集文件解压缩成此目录结构并由MindSpore的API读取。
.. code-block::
.
└── speech_commands_dataset_dir
├── cat
├── b433eff_nohash_0.wav
├── 5a33edf_nohash_1.wav
└──....
├── dog
├── b433w2w_nohash_0.wav
└──....
├── four
└── ....
**引用:**
.. code-block::
@article{2018Speech,
title={Speech Commands: A Dataset for Limited-Vocabulary Speech Recognition},
author={Warden, P.},
year={2018}
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -26,7 +26,7 @@ mindspore.dataset.TFRecordDataset
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后`num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **shard_equal_rows** (bool, 可选) - 分布式训练时为所有分片获取等量的数据行数。默认值False。如果 `shard_equal_rows` 为False则可能会使得每个分片的数据条目不相等从而导致分布式训练失败。因此当每个TFRecord文件的数据数量不相等时建议将此参数设置为True。注意只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **ValueError** - `dataset_files` 参数所指向的文件无效或不存在。

View File

@ -1,170 +0,0 @@
mindspore.dataset.TedliumDataset
================================
.. py:class:: mindspore.dataset.TedliumDataset(dataset_dir, release, usage=None, extensions=None, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析Tedlium数据集的源数据集生成的数据集的列取决于源SPH文件和相应的STM文件。
生成的数据集有六列 `[waveform, sample_rate, transcript, talk_id, speaker_id, identifier]`
`waveform` 的数据类型为float32`sample_rate` 的数据类型为int32`transcript` 的数据类型为string`talk_id` 的数据类型为string`speaker_id` 的数据类型为string`identifier` 的数据类型为string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **release** (str) - 指定数据集的发布版本,可以取值为'release1'、'release2'或'release3'。
- **usage** (str, 可选) - 指定数据集的子集。
对于 `release` 为'release1'或'release2' `usage` 可以是'train'、'test'、'dev'或'all'。
对于 `release` 为'release3' `usage` 只能是'all'。默认值None读取全部样本。
- **extensions** (str, 可选) - 指定SPH文件的扩展名。默认值'.sph'。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取全部样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于TEDLIUM数据集**
TEDLIUM_release1数据集TED-LUM语料库是英语TED演讲有转录采样频率为16kHz。包含了大约118小时的演讲。
TEDLIUM_release2数据集这是TED-LIUM语料库版本2根据知识共享BY-NC-ND 3.0授权。所有会谈和文本均为TED会议有限责任公司的财产。TED-LIUM语料库是由音频谈话和他们的转录在TED网站上提供的。我们准备并过滤了这些数据以便训练声学模型参加2011年口语翻译国际研讨会LIUM英语/法语SLT系统在SLT任务中排名第一
TEDLIUM_release-3数据集这是TED-LIUM语料库版本3根据知识共享BY-NC-ND 3.0授权。所有会谈和文本均为TED会议有限责任公司的财产。这个新的TED-LIUM版本是通过Ubiqus公司和LIUM法国勒芒大学的合作发布的。
可以将数据集文件解压缩到以下目录结构中并由MindSpore的API读取。
TEDLIUM release1与TEDLIUM release2的结构相同只是数据不同。
.. code-block::
.
└──TEDLIUM_release1
└── dev
├── sph
├── AlGore_2009.sph
├── BarrySchwartz_2005G.sph
├── stm
├── AlGore_2009.stm
├── BarrySchwartz_2005G.stm
└── test
├── sph
├── AimeeMullins_2009P.sph
├── BillGates_2010.sph
├── stm
├── AimeeMullins_2009P.stm
├── BillGates_2010.stm
└── train
├── sph
├── AaronHuey_2010X.sph
├── AdamGrosser_2007.sph
├── stm
├── AaronHuey_2010X.stm
├── AdamGrosser_2007.stm
└── readme
└── TEDLIUM.150k.dic
TEDLIUM release3目录结构稍有不同。
.. code-block::
.
└──TEDLIUM_release-3
└── data
├── ctl
├── sph
├── 911Mothers_2010W.sph
├── AalaElKhani.sph
├── stm
├── 911Mothers_2010W.stm
├── AalaElKhani.stm
└── doc
└── legacy
└── LM
└── speaker-adaptation
└── readme
└── TEDLIUM.150k.dic
**引用:**
.. code-block::
@article{
title={TED-LIUM: an automatic speech recognition dedicated corpus},
author={A. Rousseau, P. Deléglise, Y. Estève},
journal={Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12)},
year={May 2012},
biburl={https://www.openslr.org/7/}
}
@article{
title={Enhancing the TED-LIUM Corpus with Selected Data for Language Modeling and More TED Talks},
author={A. Rousseau, P. Deléglise, and Y. Estève},
journal={Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12)},
year={May 2014},
biburl={https://www.openslr.org/19/}
}
@article{
title={TED-LIUM 3: twice as much data and corpus repartition for experiments on speaker adaptation},
author={François Hernandez, Vincent Nguyen, Sahar Ghannay, Natalia Tomashenko, and Yannick Estève},
journal={the 20th International Conference on Speech and Computer (SPECOM 2018)},
year={September 2018},
biburl={https://www.openslr.org/51/}
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,46 +1,46 @@
mindspore.dataset.TextFileDataset
==================================
.. py:class:: mindspore.dataset.TextFileDataset(dataset_files, num_samples=None, num_parallel_workers=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, cache=None)
读取和解析文本文件构建数据集。生成的数据集有一个数据列:`[text]` 类型为string。
参数:
- **dataset_files** (Union[str, list[str]]) - 数据集文件路径支持单文件路径字符串、多文件路径字符串列表或可被glob库模式匹配的字符串文件列表将在内部进行字典排序。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取所有样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **ValueError** - `dataset_files` 参数所指向的文件无效或不存在。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
mindspore.dataset.TextFileDataset
==================================
.. py:class:: mindspore.dataset.TextFileDataset(dataset_files, num_samples=None, num_parallel_workers=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, cache=None)
读取和解析文本文件构建数据集。生成的数据集有一个数据列:`[text]` 类型为string。
参数:
- **dataset_files** (Union[str, list[str]]) - 数据集文件路径支持单文件路径字符串、多文件路径字符串列表或可被glob库模式匹配的字符串文件列表将在内部进行字典排序。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取所有样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **ValueError** - `dataset_files` 参数所指向的文件无效或不存在。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,49 +0,0 @@
mindspore.dataset.UDPOSDataset
==============================
.. py:class:: mindspore.dataset.UDPOSDataset(dataset_dir, usage=None, num_samples=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, num_parallel_workers=None, cache=None)
读取和解析UDPOS数据集的源数据集。
生成的数据集有三列 `[word, universal, stanford]` 三列的数据类型均为string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train'、'test'、'valid'或'all'。
取值为'train'时将会读取12,543个样本取值为'test'时将会读取2,077个测试样本取值为'test'时将会读取9,981个样本取值为'valid'时将会读取2,002个样本取值为'all'时将会读取全部16,622个样本。默认值None读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取全部样本。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,75 +0,0 @@
mindspore.dataset.USPSDataset
=============================
.. py:class:: mindspore.dataset.USPSDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, cache=None)
读取和解析UDPOS数据集的源数据集。
生成的数据集有两列: `[image, label]``image` 列的数据类型为uint8。 `label` 列的数据类型为uint32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train'、'test'、或'all'。
取值为'train'时将会读取7,291个样本取值为'test'时将会读取2,077个测试样本取值为'test'时将会读取2,007个样本取值为'all'时将会读取全部9,298个样本。默认值None读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `usage` 参数无效。
- **ValueError** - `shard_id` 参数错误小于0或者大于等于 `num_shards` )。
**关于USPS数据集**
USPS是美国邮政服务公司从信封中自动扫描的数字数据集包含总共9,298个16×16像素灰度样本。
以下是原始的USPS数据集结构可以将数据集文件下载并解压缩到此目录结构中并通过MindSpore的API读取。
.. code-block::
.
└── usps_dataset_dir
├── usps
├── usps.t
**引用:**
.. code-block::
@article{hull1994database,
title={A database for handwritten text recognition research},
author={Hull, Jonathan J.},
journal={IEEE Transactions on pattern analysis and machine intelligence},
volume={16},
number={5},
pages={550--554},
year={1994},
publisher={IEEE}
}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -26,7 +26,7 @@ mindspore.dataset.VOCDataset
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r1.10/dataset/cache.html>`_ 。默认值None不使用缓存。
- **extra_metadata** (bool, 可选) - 用于指定是否额外输出一个数据列用于表示图片元信息。如果为True则将额外输出一个名为 `[_meta-filename, dtype=string]` 的数据列默认值False。
- **decrypt** (callable, 可选) - 图像解密函数接受加密的图片路径并返回bytes类型的解密数据。默认值None不进行解密。

View File

@ -1,129 +0,0 @@
mindspore.dataset.WIDERFaceDataset
==================================
.. py:class:: mindspore.dataset.WIDERFaceDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=None, decode=False, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析WIDERFace数据集的源数据集。
`usage` 为"train"、"valid"或"all"时,生成的数据集有八列 `["image", "bbox", "blur", "expression", "illumination", "occlusion", "pose", "invalid"]` ,其中 `image` 列的数据类型为uint8其他列均为uint32。
`usage` 为"test"时,生成的数据集只有一列 `["image"]` 数据类型为uint8。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train'、'test'、'valid'或'all'。
取值为'train'时将会读取12,880个样本取值为'test'时将会读取2,077个测试样本取值为'test'时将会读取16,097个样本取值为'valid'时将会读取3,226个样本取值为'all'时将会读取全部类别样本。默认值None读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取全部样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作默认值False不解码。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 不包含任何数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
- **ValueError** - `usage` 不在['train', 'test', 'valid', 'all']中。
- **ValueError** - `annotation_file` 不存在。
- **ValueError** - `dataset_dir` 不存在。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于WIDERFace数据集**
WIDER FACE数据集是人脸检测的一个benchmark数据集包含393,703个标注人脸其中158,989个标注人脸位于训练集
39,496个位于验证集。每一个样本集都包含3个级别的检测难度EasyMediumHard。这些人脸在尺度姿态光照、表情、遮挡方面都有很大的变化范围。
以下是原始的WIDERFace数据集结构可以将数据集文件解压缩到此目录结构中并由MindSpore的API读取。
.. code-block::
.
└── wider_face_dir
├── WIDER_test
│ └── images
│ ├── 0--Parade
│ │ ├── 0_Parade_marchingband_1_9.jpg
│ │ ├── ...
│ ├──1--Handshaking
│ ├──...
├── WIDER_train
│ └── images
│ ├── 0--Parade
│ │ ├── 0_Parade_marchingband_1_11.jpg
│ │ ├── ...
│ ├──1--Handshaking
│ ├──...
├── WIDER_val
│ └── images
│ ├── 0--Parade
│ │ ├── 0_Parade_marchingband_1_102.jpg
│ │ ├── ...
│ ├──1--Handshaking
│ ├──...
└── wider_face_split
├── wider_face_test_filelist.txt
├── wider_face_train_bbx_gt.txt
└── wider_face_val_bbx_gt.txt
**引用:**
.. code-block::
@inproceedings{2016WIDER,
title={WIDERFACE: A Detection Benchmark},
author={Yang, S. and Luo, P. and Loy, C. C. and Tang, X.},
booktitle={IEEE},
pages={5525-5533},
year={2016},
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -3,18 +3,18 @@ mindspore.dataset.WaitedDSCallback
.. py:class:: mindspore.dataset.WaitedDSCallback(step_size=1)
阻塞式数据处理回调类的抽象基类,用于与训练回调类 `mindspore.Callback <https://www.mindspore.cn/docs/zh-CN/master/api_python/mindspore/mindspore.Callback.html#mindspore.Callback>`_ 的同步。
阻塞式数据处理回调类的抽象基类,用于与训练回调类 `mindspore.Callback <https://www.mindspore.cn/docs/zh-CN/r1.10/api_python/mindspore/mindspore.Callback.html#mindspore.Callback>`_ 的同步。
可用于在step或epoch开始前执行自定义的回调方法例如在自动数据增强中根据上一个epoch的loss值来更新增强算子参数配置。
用户可通过 `train_run_context` 获取网络训练相关信息,如 `network` 、 `train_network` 、 `epoch_num` 、 `batch_num` 、 `loss_fn` 、 `optimizer` 、 `parallel_mode` 、 `device_number` 、 `list_callback` 、 `cur_epoch_num` 、 `cur_step_num` 、 `dataset_sink_mode` 、 `net_outputs` 等,详见 `mindspore.Callback <https://www.mindspore.cn/docs/zh-CN/master/api_python/mindspore/mindspore.Callback.html#mindspore.Callback>`_
用户可通过 `train_run_context` 获取网络训练相关信息,如 `network` 、 `train_network` 、 `epoch_num` 、 `batch_num` 、 `loss_fn` 、 `optimizer` 、 `parallel_mode` 、 `device_number` 、 `list_callback` 、 `cur_epoch_num` 、 `cur_step_num` 、 `dataset_sink_mode` 、 `net_outputs` 等,详见 `mindspore.Callback <https://www.mindspore.cn/docs/zh-CN/r1.10/api_python/mindspore/mindspore.Callback.html#mindspore.Callback>`_
用户可通过 `ds_run_context` 获取数据处理管道相关信息,包括 `cur_epoch_num` (当前epoch数)、 `cur_step_num_in_epoch` (当前epoch的step数)、 `cur_step_num` (当前step数)。
.. note:: 注意第2个step或epoch开始时才会触发该调用。
参数:
- **step_size** (int, optional) - 每个step包含的数据行数。通常step_size与batch_size一致默认值1。
- **step_size** (int, 可选) - 每个step包含的数据行数。通常step_size与batch_size一致默认值1。
.. py:method:: sync_epoch_begin(train_run_context, ds_run_context)

View File

@ -1,70 +0,0 @@
mindspore.dataset.WikiTextDataset
=================================
.. py:class:: mindspore.dataset.WikiTextDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, cache=None)
读取和解析WikiText2和WikiText103数据集的源数据集。
生成的数据集有一列 `[text]` 数据类型为string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train', 'test', 'valid'或'all'。默认值None读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取全部样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
**关于WikiText数据集**
WikiText数据集是一个包含1亿字的英语词典。
这些样本术语来自维基百科的高级和基础文章包括Wikitext2和Wikitext103的版本。
对于WikiText2分别在wiki.train.tokens中有36718个样本在wiki.test.tokens中有4358个样本在wiki.valid.tokens中有3760个样本。
对于WikiText103分别在wiki.train.tokens中有1801350个样本wiki.test.tokens中的4358个样本Wiki.valid.tokens中的3760个样本。
以下是原始的WikiText数据集结构可以将数据集文件解压缩到此目录结构中并由MindSpore的API读取。
.. code-block::
.
└── WikiText2/WikiText103
├── wiki.train.tokens
├── wiki.test.tokens
├── wiki.valid.tokens
**引用:**
.. code-block::
@article{merity2016pointer,
title={Pointer sentinel mixture models},
author={Merity, Stephen and Xiong, Caiming and Bradbury, James and Socher, Richard},
journal={arXiv preprint arXiv:1609.07843},
year={2016}
}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,78 +0,0 @@
mindspore.dataset.YahooAnswersDataset
=====================================
.. py:class:: mindspore.dataset.YahooAnswersDataset(dataset_dir, usage=None, num_samples=None, num_parallel_workers=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, cache=None)
读取和解析YahooAnswers数据集的源数据集。
生成的数据集有四列 `[class, title, content, answer]` 数据类型均为string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train', 'test'或'all'。
取值为'train'时将会读取1,400,000个训练样本取值为'test'时将会读取60,000个测试样本取值为'all'时将会读取全部1,460,000个样本。默认值None读取全部样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取全部样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
**关于YahooAnswers数据集**
YahooAnswers数据集包含10个类的63万个文本样本。
train.csv中有56万个样本test.csv中有7万个样本。
这10个不同的类代表社会与文化、科学与数学、健康、教育与参考、计算机与互联网、体育、商业与金融、娱乐与音乐、家庭与关系、政治与政府。
以下是原始的YahooAnswers数据集结构可以将数据集文件解压缩到此目录结构中并由Mindspore的API读取。
.. code-block::
.
└── yahoo_answers_dataset_dir
├── train.csv
├── test.csv
├── classes.txt
└── readme.txt
**引用:**
.. code-block::
@article{YahooAnswers,
title = {Yahoo! Answers Topic Classification Dataset},
author = {Xiang Zhang},
year = {2015},
howpublished = {}
}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,107 +0,0 @@
mindspore.dataset.YelpReviewDataset
===================================
.. py:class:: mindspore.dataset.YelpReviewDataset(dataset_dir, usage=None, num_samples=None, shuffle=Shuffle.GLOBAL, num_shards=None, shard_id=None, num_parallel_workers=None, cache=None)
读取和解析Yelp Review Full和Yelp Review Polarity数据集的源数据集。
生成的数据集有两列 `[label, text]` 两列的数据类型均为string。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **usage** (str, 可选) - 指定数据集的子集,可取值为'train''test'或'all'。默认值None读取全部样本。
对于Polarity数据集'train'将读取560,000个训练样本'test'将读取38,000个测试样本'all'将读取所有598,000个样本。
对于Full数据集'train'将读取650,000个训练样本'test'将读取50,000个测试样本'all'将读取所有700,000个样本。默认值None读取所有样本。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取全部样本。
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式支持传入bool类型与枚举类型进行指定默认值mindspore.dataset.Shuffle.GLOBAL。
如果 `shuffle` 为False则不混洗如果 `shuffle` 为True等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
通过传入枚举变量设置数据混洗的模式:
- **Shuffle.GLOBAL**:混洗文件和样本。
- **Shuffle.FILES**:仅混洗文件。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
**关于YelpReview数据集**
Yelp Review Full数据集包括来自Yelp的评论数据这些数据时从2015年的Yelp数据集挑战赛数据中提取的主要用于文本分类。
Yelp Review Polarity数据集在Full数据集的基础上对产品评分进行了分级评论分数1和2视为负面评论4和5视为正面评论。
Yelp Reviews Polarity和Yelp Reviews Full datasets具有相同的目录结构。
可以将数据集文件解压缩到以下结构并通过MindSpore的API读取
.. code-block::
.
└── yelp_review_dir
├── train.csv
├── test.csv
└── readme.txt
**引用:**
.. code-block::
@article{zhangCharacterlevelConvolutionalNetworks2015,
archivePrefix = {arXiv},
eprinttype = {arxiv},
eprint = {1509.01626},
primaryClass = {cs},
title = {Character-Level {{Convolutional Networks}} for {{Text Classification}}},
abstract = {This article offers an empirical exploration on the use of character-level convolutional networks
(ConvNets) for text classification. We constructed several large-scale datasets to show that
character-level convolutional networks could achieve state-of-the-art or competitive results.
Comparisons are offered against traditional models such as bag of words, n-grams and their TFIDF
variants, and deep learning models such as word-based ConvNets and recurrent neural networks.},
journal = {arXiv:1509.01626 [cs]},
author = {Zhang, Xiang and Zhao, Junbo and LeCun, Yann},
month = sep,
year = {2015},
}
.. code-block::
@article{zhangCharacterlevelConvolutionalNetworks2015,
archivePrefix = {arXiv},
eprinttype = {arxiv},
eprint = {1509.01626},
primaryClass = {cs},
title = {Character-Level {{Convolutional Networks}} for {{Text Classification}}},
abstract = {This article offers an empirical exploration on the use of character-level convolutional networks
(ConvNets) for text classification. We constructed several large-scale datasets to show that
character-level convolutional networks could achieve state-of-the-art or competitive results.
Comparisons are offered against traditional models such as bag of words, n-grams and their TFIDF
variants, and deep learning models such as word-based ConvNets and recurrent neural networks.},
journal = {arXiv:1509.01626 [cs]},
author = {Zhang, Xiang and Zhao, Junbo and LeCun, Yann},
month = sep,
year = {2015},
}
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.c.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -1,100 +0,0 @@
mindspore.dataset.YesNoDataset
==============================
.. py:class:: mindspore.dataset.YesNoDataset(dataset_dir, num_samples=None, num_parallel_workers=None, shuffle=None, sampler=None, num_shards=None, shard_id=None, cache=None)
读取和解析YesNo数据集的源数据集。
生成的数据集有三列 `[waveform, sample_rate, labels]`
`waveform` 的数据类型为float32`sample_rate` 的数据类型为int32`labels` 的数据类型为int32。
参数:
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值None读取全部样本。
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值None使用mindspore.dataset.config中配置的线程数。
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值None下表中会展示不同参数配置的预期行为。
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器默认值None下表中会展示不同配置的预期行为。
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数默认值None。指定此参数后 `num_samples` 表示每个分片的最大样本数。
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号默认值None。只有当指定了 `num_shards` 时才能指定此参数。
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值None不使用缓存。
异常:
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
- **ValueError** - `num_parallel_workers` 参数超过系统最大线程数。
- **RuntimeError** - 同时指定了 `sampler``shuffle` 参数。
- **RuntimeError** - 同时指定了 `sampler``num_shards` 参数或同时指定了 `sampler``shard_id` 参数。
- **RuntimeError** - 指定了 `num_shards` 参数,但是未指定 `shard_id` 参数。
- **RuntimeError** - 指定了 `shard_id` 参数,但是未指定 `num_shards` 参数。
- **ValueError** - `shard_id` 参数值错误小于0或者大于等于 `num_shards` )。
.. note:: 此数据集可以指定参数 `sampler` ,但参数 `sampler` 和参数 `shuffle` 的行为是互斥的。下表展示了几种合法的输入参数组合及预期的行为。
.. list-table:: 配置 `sampler``shuffle` 的不同组合得到的预期排序结果
:widths: 25 25 50
:header-rows: 1
* - 参数 `sampler`
- 参数 `shuffle`
- 预期数据顺序
* - None
- None
- 随机排列
* - None
- True
- 随机排列
* - None
- False
- 顺序排列
* - `sampler` 实例
- None
- 由 `sampler` 行为定义的顺序
* - `sampler` 实例
- True
- 不允许
* - `sampler` 实例
- False
- 不允许
**关于YesNo数据集**
Yesno是一个音频数据集由60个录音组成由一个人用希伯来语说是或不是每个录音都有8个字长。
以下是原始的YesNo数据集结构可以将数据集文件解压缩到此目录结构中并由MindSpore的API读取。
.. code-block::
.
└── yes_no_dataset_dir
├── 1_1_0_0_1_1_0_0.wav
├── 1_0_0_0_1_1_0_0.wav
├── 1_1_0_0_1_1_0_0.wav
└──....
**引用:**
.. code-block::
@NetworkResource{Kaldi_audio_project,
author = {anonymous},
url = "http://wwww.openslr.org/1/"
}
.. include:: mindspore.dataset.Dataset.add_sampler.rst
.. include:: mindspore.dataset.Dataset.rst
.. include:: mindspore.dataset.Dataset.b.rst
.. include:: mindspore.dataset.Dataset.d.rst
.. include:: mindspore.dataset.Dataset.e.rst
.. include:: mindspore.dataset.Dataset.f.rst
.. include:: mindspore.dataset.Dataset.save.rst
.. include:: mindspore.dataset.Dataset.g.rst
.. include:: mindspore.dataset.Dataset.use_sampler.rst
.. include:: mindspore.dataset.Dataset.zip.rst

View File

@ -5,9 +5,6 @@ mindspore.dataset.deserialize
数据处理管道反序列化支持输入Python字典或使用 `mindspore.dataset.serialize()` 接口生成的JSON文件。
.. note::
反序列化包含自定义Python函数的数据处理管道时部分参数信息可能丢失`input_dict``json_filepath` 同时不为None时返回反序列化JSON文件的结果。
参数:
- **input_dict** (dict) - 以Python字典存储的数据处理管道。默认值None。
- **json_filepath** (str) - 数据处理管道JSON文件的路径该文件以通用JSON格式存储了数据处理管道信息用户可通过 `mindspore.dataset.serialize()` 接口生成。默认值None。
@ -16,4 +13,4 @@ mindspore.dataset.deserialize
当反序列化成功时将返回Dataset对象当无法被反序列化时deserialize将会失败且返回None。
异常:
- **OSError** - `json_filepath` 不为None且JSON文件解析失败时
- **OSError** - 无法打开 `json_filepath` 指定的文件

View File

@ -10,7 +10,7 @@
参数:
- **dataset** (Dataset) - 数据处理管道对象。
- **json_filepath** (str) - 生成序列化JSON文件的路径。
- **json_filepath** (str) - 生成序列化JSON文件的路径,默认值:''不指定JSON路径
返回:
Dict包含序列化数据集图的字典。

View File

@ -7,4 +7,4 @@ mindspore.dataset.show
参数:
- **dataset** (Dataset) - 数据处理管道对象。
- **indentation** (int, optional) - 设置MindSpore的INFO级别日志文件打印时的缩进字符数。若为None则不缩进。
- **indentation** (int, 可选) - 设置MindSpore的INFO级别日志文件打印时的缩进字符数。若为None则不缩进。

View File

@ -10,7 +10,7 @@
- **bboxes** (numpy.ndarray) - 边界框包含类别置信度shape为(N, 4)或(N, 5),格式为(N,X,Y,W,H)。
- **labels** (numpy.ndarray) - 边界框的类别shape为(N, 1)。
- **segm** (numpy.ndarray) - 图像分割掩码shape为(M, H, W)M表示类别总数默认值None不绘制掩码。
- **class_names** (list[str], dict) - 类别索引到类别名的映射表默认值None仅显示类别索引。
- **class_names** (list[str], tuple[str], dict) - 类别索引到类别名的映射表默认值None仅显示类别索引。
- **score_threshold** (float) - 绘制边界框的类别置信度阈值默认值0绘制所有边界框。
- **bbox_color** (tuple(int)) - 指定绘制边界框时线条的颜色顺序为BGR默认值(0,255,0),表示绿色。
- **text_color** (tuple(int)) - 指定类别文本的显示颜色顺序为BGR默认值(203, 192, 255),表示粉色。
@ -20,7 +20,7 @@
- **show** (bool) - 是否显示图像默认值True。
- **win_name** (str) - 指定窗口名称,默认值:"win"。
- **wait_time** (int) - 指定cv2.waitKey的时延单位为ms即图像显示的自动切换间隔默认值2000表示间隔为2000ms。
- **out_file** (str, optional) - 输出图像的文件路径用于在绘制后将结果存储到本地默认值None不保存。
- **out_file** (str, 可选) - 输出图像的文件路径用于在绘制后将结果存储到本地默认值None不保存。
返回:
numpy.ndarray带边界框和类别置信度的图像。

View File

@ -8,7 +8,7 @@ mindspore.dataset.audio.AmplitudeToDB
.. note:: 待处理音频维度需为(..., freq, time)。
参数:
- **stype** ( :class:`mindspore.dataset.audio.utils.ScaleType` , 可选) - 输入音频的原始标度取值可为ScaleType.MAGNITUDE或ScaleType.POWER默认值ScaleType.POWER。
- **stype** ( :class:`mindspore.dataset.audio.ScaleType` , 可选) - 输入音频的原始标度取值可为ScaleType.MAGNITUDE或ScaleType.POWER默认值ScaleType.POWER。
- **ref_value** (float, 可选) - 系数参考值默认值1.0,用于计算分贝系数 `db_multiplier` ,公式为
:math:`db\_multiplier = Log10(max(ref\_value, amin))`
@ -16,7 +16,7 @@ mindspore.dataset.audio.AmplitudeToDB
- **top_db** (float, 可选) - 最小截止分贝值取值为非负数默认值80.0。
异常:
- **TypeError** - 当 `stype` 的类型不为 :class:`mindspore.dataset.audio.utils.ScaleType` 。
- **TypeError** - 当 `stype` 的类型不为 :class:`mindspore.dataset.audio.ScaleType` 。
- **TypeError** - 当 `ref_value` 的类型不为float。
- **ValueError** - 当 `ref_value` 不为正数。
- **TypeError** - 当 `amin` 的类型不为float。

View File

@ -1,7 +1,7 @@
mindspore.dataset.text.WordpieceTokenizer
=========================================
.. py:class:: mindspore.dataset.text.WordpieceTokenizer(vocab, suffix_indicator='##', max_bytes_per_token=100,unknown_token='[UNK]', with_offsets=False)
.. py:class:: mindspore.dataset.text.WordpieceTokenizer(vocab, suffix_indicator='##', max_bytes_per_token=100, unknown_token='[UNK]', with_offsets=False)
将输入的字符串切分为子词。

View File

@ -6,7 +6,7 @@ mindspore.dataset.vision.RgbToHsv
将输入的RGB格式numpy.ndarray图像转换为HSV格式。
参数:
- **is_hwc** (bool) - 若为True表示输入图像的shape为(H, W, C)或(N, H, W, C);否则为(C, H, W)或(N, C, H, W)。默认值False。
- **is_hwc** (bool) - 若为True表示输入图像的shape为(H, W, C)或(N, H, W, C);否则为(C, H, W)或(N, C, H, W)。默认值False。
异常:
- **TypeError** - 当 `is_hwc` 的类型不为bool。
- **TypeError** - 当 `is_hwc` 的类型不为bool。

View File

@ -4,7 +4,7 @@
将CIFAR-100数据集转换为MindRecord格式数据集。
.. note::
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#转换cifar-10数据集>`_
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://www.mindspore.cn/tutorials/zh-CN/r1.10/advanced/dataset/record.html#转换cifar-10数据集>`_
参数:
- **source** (str) - 待转换的CIFAR-100数据集文件所在目录的路径。

View File

@ -4,7 +4,7 @@
将CIFAR-10数据集转换为MindRecord格式数据集。
.. note::
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#转换cifar-10数据集>`_
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://www.mindspore.cn/tutorials/zh-CN/r1.10/advanced/dataset/record.html#转换cifar-10数据集>`_
参数:
- **source** (str) - 待转换的CIFAR-10数据集文件所在目录的路径。

View File

@ -4,7 +4,7 @@
将CSV格式数据集转换为MindRecord格式数据集。
.. note::
示例的详细信息,请参见 `转换CSV数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#转换csv数据集>`_
示例的详细信息,请参见 `转换CSV数据集 <https://www.mindspore.cn/tutorials/zh-CN/r1.10/advanced/dataset/record.html#转换csv数据集>`_
参数:
- **source** (str) - 待转换的CSV文件路径。

Some files were not shown because too many files have changed in this diff Show More