Compare commits
408 Commits
master
...
r2.0.0-alp
Author | SHA1 | Date |
---|---|---|
i-robot | 936a7e6862 | |
huodagu | 8c9a2b0a28 | |
i-robot | bcd1e1c643 | |
hedongdong | a4993e2f32 | |
i-robot | 0facad6495 | |
i-robot | 0c97e96ff1 | |
fangwenyi | e82b49d4f9 | |
huodagu | 411a1578a7 | |
i-robot | 1ffbc36d02 | |
i-robot | b615adf94d | |
i-robot | 5923ec96c9 | |
shenwei41 | c53a167834 | |
i-robot | a3d5d94c4b | |
i-robot | 94c6c16b84 | |
ZhidanLiu | 7d6e62bae4 | |
i-robot | e95a21dd8d | |
i-robot | dbce97eeee | |
i-robot | 1846d7647e | |
liangcanli | 4a189cd1a9 | |
yao_yf | 13e62536de | |
baihuawei | b8b8a036ff | |
i-robot | 63a8b36505 | |
i-robot | 6e15cfd93c | |
i-robot | 01bcdb6317 | |
lizhenyu | 571227596b | |
fengyihang | 8f55b5d71e | |
yujianfeng | e5148ec903 | |
shaojunsong | 5dd18c5c91 | |
lizhenyu | 1356b03f03 | |
chujinjin | 8be0a081ad | |
i-robot | f9dcdba238 | |
lilinjie | 9b496813e8 | |
i-robot | 88ca63dc24 | |
ZPaC | 9e5db04de3 | |
i-robot | eeeb1e3d7c | |
hedongdong | 5bae78b32e | |
i-robot | adde00125d | |
i-robot | 7da675a5bd | |
i-robot | eec6cae640 | |
i-robot | 864813db9c | |
huodagu | d81c6cd02d | |
huangbingjian | 57a89773da | |
i-robot | 931030e2fa | |
i-robot | 2174ae676c | |
i-robot | 71ceaf8653 | |
i-robot | ee745e9eca | |
lilinjie | 18c69a68a1 | |
i-robot | d2fd24c998 | |
fan-jibin | 95cf7e641b | |
chengang | beb1e63151 | |
luochao | 94fa82d18a | |
i-robot | 9c2e9e9c85 | |
i-robot | 0c04bdff44 | |
i-robot | 7179720c99 | |
i-robot | 9cffb72dbb | |
i-robot | c1a2df1977 | |
zhoufeng | 20d0833e48 | |
i-robot | b24d9f6c83 | |
i-robot | e90c73a49b | |
liu-yongqi-63 | 1d4d150fad | |
luojianing | 01eedbc460 | |
i-robot | 2ad878fe9b | |
zhoufeng | 3ca769f33c | |
hedongdong | 29df97a5ac | |
lvyufeng | de46ec40a9 | |
i-robot | 39ef744411 | |
xulei | 29d4864ca3 | |
lby | 5fd15897cc | |
reku1997 | 4d25617f96 | |
dayschan | ade238dbdf | |
jiaorui | f008c4bcd4 | |
i-robot | 74662a9083 | |
yanghaoran | bb2a7a313f | |
i-robot | 1ca418936b | |
i-robot | 473dd7a3df | |
yanghaoran | e48abb75aa | |
zhoufeng | e0967c906c | |
i-robot | fd7db0e8db | |
i-robot | e757fa65f1 | |
luojianing | d497ad8d84 | |
lby | befa057730 | |
i-robot | 64ee44de1f | |
hedongdong | 25b6f474b9 | |
huodagu | e94d9fd5a8 | |
i-robot | d9174f1593 | |
lby | 0c79ac1433 | |
i-robot | b4dec12559 | |
huodagu | 12a142ce38 | |
i-robot | d567ebd6cc | |
i-robot | ce52762849 | |
huodagu | e22a165a86 | |
YangLuo | 7c5fad4997 | |
i-robot | 165010d593 | |
i-robot | c4537b4e81 | |
liuchuting | b9cef72ad2 | |
fanjibin | 1f747cdebc | |
i-robot | d969d9e1d3 | |
i-robot | ba5f62048b | |
zong-shuai | 897ecc14a9 | |
i-robot | 809ac46b1f | |
张清华 | 50b7b5309b | |
i-robot | 92d0034187 | |
i-robot | 1bf2b4ac84 | |
i-robot | 2b8dee4856 | |
i-robot | 70bc563131 | |
huodagu | 7fc14d1465 | |
i-robot | 350a4b5a68 | |
luojianing | 07810d27e0 | |
i-robot | 80622935f7 | |
liuluobin | afe56873eb | |
i-robot | 27b483b649 | |
i-robot | da8da63760 | |
liangzhibo | d11abab4db | |
huodagu | 62eb13181a | |
i-robot | 55b94d7f60 | |
yao_yf | 0ae256dae4 | |
liangzhibo | 82865eb01f | |
i-robot | f9c7eb4870 | |
huanxiaoling | 3a3d1ac4ea | |
i-robot | 920be3333d | |
i-robot | 6ab4753ab8 | |
jachua | 1b861e663d | |
huanxiaoling | bf30fbc363 | |
i-robot | 14db9b3678 | |
i-robot | 70606ad0bc | |
hw_hz | e76e2d176a | |
liuchuting | e788f35015 | |
huodagu | 773f667b48 | |
i-robot | d18c31daa5 | |
i-robot | bb05bff019 | |
i-robot | 221f39eea2 | |
huodagu | 31b284ba3d | |
i-robot | 610aee499b | |
i-robot | 6ae15fdb0d | |
huodagu | 6213482601 | |
i-robot | fc32f077a7 | |
hw_hz | 670925b034 | |
huodagu | 67faa53f5a | |
lianliguang | 1d96417efb | |
zjun | 53add1d4c5 | |
i-robot | 418a3fef92 | |
i-robot | 3d40eceef6 | |
huodagu | b16db3b144 | |
z30020733 | dea39c2a15 | |
i-robot | 5b5cfb4a0f | |
i-robot | bace9b26c7 | |
张清华 | 00a000c5ce | |
i-robot | a1d5aebc72 | |
俞涵 | 50103c07bd | |
i-robot | ad66cdf11f | |
i-robot | 498b92866c | |
i-robot | 8f468ae0b4 | |
俞涵 | 648f8a0954 | |
i-robot | 8114510d76 | |
i-robot | 890109a9f1 | |
i-robot | 8dbeb605b3 | |
emmmmtang | f3ab78e66b | |
俞涵 | c31d93f370 | |
lby | 0305d7a2c0 | |
jonyguo | 60aa717aab | |
zong_shuai | 3ef7d521e1 | |
lianliguang | f9c6c4cc36 | |
yao_yf | f2609f604c | |
i-robot | d6b0d4e36a | |
i-robot | c126009c74 | |
i-robot | e937799da5 | |
i-robot | 90c75357f6 | |
i-robot | f92d39dc64 | |
i-robot | 7cf3f822ef | |
dayschan | d3ba76741e | |
panzhihui | 18e05da1b6 | |
i-robot | 056716cc1c | |
zhangxuetong | fae66f87bf | |
jin-xiulang | 1b560bcdc3 | |
i-robot | ab0ef9e32b | |
yao_yf | d7aa945a35 | |
caifubi | adfd1f8cd3 | |
i-robot | 53ce6bf714 | |
i-robot | 6f6ebcdd7c | |
i-robot | 20fda5bb5c | |
caifubi | c57b67050d | |
maning202007 | 558bbe738a | |
looop5 | ece00fff3a | |
chenfei | a708c4212d | |
i-robot | 2928e3289f | |
i-robot | 6317c84e41 | |
i-robot | b3f30e573b | |
i-robot | 3797dad108 | |
i-robot | 85d8dc6230 | |
i-robot | 65069ff7b2 | |
i-robot | 39476c8100 | |
i-robot | e62225563c | |
mohammad | e4e0aa557f | |
i-robot | 91d7cf3580 | |
nomindcarry | 604f39c763 | |
caifubi | 9a7537509c | |
zjun | 0dd2a0f2ef | |
zhengyuanhua | 9b7dc1f347 | |
i-robot | 1cc0154c6c | |
i-robot | fdfc0678c5 | |
caifubi | ca4a9fad70 | |
i-robot | e5f17787f7 | |
huodagu | 8925e8b47e | |
i-robot | 3090bfdcb6 | |
huodagu | 8b50757021 | |
i-robot | 10942cabfc | |
fanjibin | b473ca1fe1 | |
i-robot | b242da25cf | |
fanjibin | 4c0b6141a7 | |
zong_shuai | 3864e4a60f | |
i-robot | e231e8d824 | |
i-robot | 60a89a9fc8 | |
i-robot | 45301ebc72 | |
i-robot | e84c3ac3ea | |
luojianing | e2afde20c3 | |
fanjibin | c7014ad816 | |
shen_jingxing | dcfdc5cdd8 | |
zjun | 316022d39c | |
looop5 | 72c59131ed | |
i-robot | bdeeb90233 | |
i-robot | a25e1f78fb | |
i-robot | 8fb35ae191 | |
i-robot | b8e3761e21 | |
i-robot | bf0d4a710d | |
i-robot | f14a3a10c6 | |
nomindcarry | 94503519af | |
caifubi | 8bb902c0a0 | |
duzhixing | 117e4fb55d | |
i-robot | b063f8f6ad | |
xiongkun | b1c75c7816 | |
i-robot | f65a4cb49c | |
liangzhibo | ae1318d1db | |
i-robot | da50667653 | |
i-robot | e83ffa3363 | |
i-robot | aad2b8e15f | |
ttudu | 85a4a2b3f8 | |
i-robot | d1d125850a | |
i-robot | 670cdd2395 | |
i-robot | ccddd6d10a | |
i-robot | 3420da01a0 | |
wangchangheng | ab34671105 | |
Zichun Ye | 356060ef8f | |
yangshuo | c99e3b3877 | |
i-robot | b157c29223 | |
zhaoyingzhuo | c49a890ca8 | |
jiaorui | 7bdbd3df95 | |
zhangzhaoju | eb1754aa97 | |
hbhu_bin | 78b903f090 | |
luochao | 41f6b9ac1a | |
lvyufeng | c485038344 | |
i-robot | 7f6424cf81 | |
i-robot | bf3ec413e8 | |
i-robot | d500e418ce | |
i-robot | 8a211d9edf | |
wangchangheng | c8f819811e | |
caifubi | 1086f5a007 | |
i-robot | d5e4696c45 | |
luojianing | 9122ba1a98 | |
i-robot | a17cdd1b0d | |
lilinjie | aee98c2b00 | |
liuluobin | 31721aaee2 | |
i-robot | 61d876d5df | |
i-robot | 4e04eec424 | |
i-robot | 69f430b10d | |
i-robot | 9f8b759588 | |
i-robot | f06d41de44 | |
i-robot | 89565e0960 | |
i-robot | 260f492b02 | |
i-robot | 87549a510b | |
liuluobin | 820b19fa3f | |
i-robot | ac3cb5a914 | |
baihuawei | ca79f7de6a | |
i-robot | 6be002d02c | |
i-robot | 48fe0dd804 | |
i-robot | b0e97f81bf | |
臧庆香 | 9e8a364e7d | |
zjun | 5239dd4b60 | |
mengyuanli | 9d63a2eac8 | |
yangshuo | 1a4d660356 | |
i-robot | 6facf06fde | |
liuchuting | 35c83aa8ef | |
nomindcarry | 91346986db | |
lianliguang | 49521b726f | |
looop5 | 492223da92 | |
lilinjie | 1e9d6acd0a | |
lianghao23 | 0c2086d0d4 | |
i-robot | 813187cf04 | |
i-robot | d80bcf746a | |
dayschan | 628bf21b9e | |
i-robot | 789d0b7d34 | |
i-robot | b34dd895f3 | |
i-robot | 0cce568746 | |
i-robot | 3d69682c7a | |
yanghaoran | b1b42958d7 | |
YangLuo | e6e24890bb | |
CHEN YU | c0f00e38e5 | |
i-robot | a38d401ec4 | |
i-robot | 23d1b7582e | |
liangcanli | e02ae67153 | |
zjun | 899c9c4c96 | |
panzhihui | 1bdd73668f | |
i-robot | bd50ac90a9 | |
i-robot | 73130d7655 | |
i-robot | 02473f3389 | |
i-robot | b3d8209ffe | |
jonyguo | 262e132f58 | |
nomindcarry | 89caa3ed2d | |
lizhenyu | 35685c47b5 | |
yao_yf | 70af0ccf42 | |
youshu1 | 89b7831cd5 | |
huanghui | 643d90cb56 | |
liujunzhu | 07a19f2181 | |
hujiahui8 | 241e62eea2 | |
Corleone | ebe578098d | |
i-robot | 375750d4b5 | |
nomindcarry | 3c623631b7 | |
i-robot | ca8b22d2c0 | |
i-robot | a17f18f72e | |
looop5 | 4d8b7d5b5f | |
shaw_zhang | 8564e34398 | |
i-robot | 1ab3010df2 | |
i-robot | 72c4202ebd | |
yanghaoran | 8c4e0031e5 | |
huodagu | 49310715be | |
i-robot | d79d313b91 | |
i-robot | 0d75460a85 | |
shaojunsong | 52e70c14a5 | |
TronZhang | c5b7998dd7 | |
yangxixin | 649518727a | |
wangchangheng | efc99e53fd | |
liuluobin | 5dc452b3ab | |
i-robot | 44e82bc68b | |
i-robot | bc3e876faa | |
luochao | 9c042cb8ed | |
i-robot | 34dd39cdf5 | |
huodagu | bcc7ac885e | |
i-robot | 0a56b65ca5 | |
limingqi107 | 52c866aa0a | |
i-robot | f1218b8847 | |
i-robot | 331de9c899 | |
i-robot | b6fdd62399 | |
i-robot | fb3cc9ef45 | |
i-robot | 8c3e0d6b54 | |
i-robot | 961290fdf0 | |
fandawei | 8e45d839e4 | |
i-robot | 6507cbf7bc | |
i-robot | 4c51edd969 | |
i-robot | 0afed28291 | |
lilinjie | 69a673559a | |
i-robot | b2adc81b5f | |
i-robot | eeae1883dd | |
i-robot | 6fbab68d0e | |
i-robot | c5510d04d6 | |
zong_shuai | af238cd9dd | |
wangchangheng | ef1048d464 | |
i-robot | b48a16532b | |
huanxiaoling | 3edd9bd816 | |
caifubi | d6f86eb34c | |
yuzhenhua | 6f5834f425 | |
fengyihang | 6fe67a5fe8 | |
caifubi | f219fc202c | |
zengzitao | 2d8b081388 | |
liuchuting | 6acad042d8 | |
huanghui | af957e4ab4 | |
i-robot | 5538b1ea1f | |
yiyanzhi_akane | 7f59f54c42 | |
i-robot | 5bd9a6a7ae | |
huanxiaoling | 2c00f5b0ad | |
i-robot | 9203542060 | |
i-robot | 0d03bdec89 | |
luojianing | a9202e8d21 | |
greatpanc | ad0d2fe598 | |
i-robot | 35ccfc100f | |
caifubi | ca9d1592d2 | |
i-robot | d5c872b116 | |
hw_hz | 78091ff0ba | |
i-robot | ad8652e384 | |
lichen | 7b3e4fc603 | |
lilinjie | 7941734bd3 | |
i-robot | 25fda4de0d | |
luojianing | f7d827d2b9 | |
i-robot | bcbc3f09fb | |
huodagu | c458b588f2 | |
i-robot | ab63d0d3e4 | |
i-robot | 18ab31a4f4 | |
i-robot | 434ad0e2fe | |
luojianing | 57c5f0b891 | |
xumengjuan1 | d8fff75b55 | |
yangshuo | 7e8d740298 | |
reku1997 | 6c155a7ec6 | |
i-robot | b3e9ed06b3 | |
huodagu | c4f6d1fbe7 | |
i-robot | b4de7d3e95 | |
i-robot | d9f069143d | |
fengyihang | 1da0375ba5 | |
huanxiaoling | bd5fa8c3e9 | |
i-robot | b8119a6d28 | |
wangchangheng | 86cee0fdc9 | |
i-robot | 115c6d30ea | |
lby | efb9b12274 | |
i-robot | 8de4521ab5 | |
gaoyong10 | 9b12897b7e | |
i-robot | eb1c612060 | |
zjun | 2db79d9c1e | |
linqingke | 72cadf2120 | |
i-robot | dbf5f7ad6d | |
cudi | 707d58acad | |
luochao | 61fac6e20d |
|
@ -23,6 +23,7 @@ approvers:
|
|||
- limingqi107
|
||||
- linqingke
|
||||
- liucunwei
|
||||
- luoyang42
|
||||
- mickf
|
||||
- nsyca
|
||||
- ouwenchang
|
||||
|
|
|
@ -85,3 +85,4 @@
|
|||
"mindspore/mindspore/lite/src/litert/delegate/nnapi/nnapi_implementation.h" "build/include_order"
|
||||
"mindspore/mindspore/lite/src/litert/delegate/nnapi/nnapi_implementation.cc" "build/include_order"
|
||||
"mindspore/mindspore/lite/src/extendrt/cxx_api/model/model_impl.cc" "whitespace/parens"
|
||||
"mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/" "runtime/int"
|
||||
|
|
|
@ -50,8 +50,8 @@ https://github.com/siju-samuel/darknet/blob/master/
|
|||
https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu
|
||||
https://developer.download.nvidia.cn/compute/machine-learning/repos/ubuntu
|
||||
https://dl.google.com/dl/android/maven2/
|
||||
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/MindInsight/any/mindinsight-1.9.0-py3-none-any.whl
|
||||
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/MindSpore/cpu/x86_64/mindspore-1.9.0-cp37-cp37m-linux_x86_64.whl
|
||||
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/Serving/x86_64/mindspore_serving-1.9.0-cp37-cp37m-linux_x86_64.whl
|
||||
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/MindSpore/gpu/x86_64/cuda-10.1/mindspore_gpu-1.9.0-cp37-cp37m-linux_x86_64.whl
|
||||
https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.9.0/MindSpore/gpu/x86_64/cuda-11.1/mindspore_gpu-1.9.0-cp37-cp37m-linux_x86_64.whl
|
||||
https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.0.0a0/MindSpore/unified/x86_64/mindspore-2.0.0a0-cp37-cp37m-linux_x86_64.whl \
|
||||
https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.0.0a0/MindInsight/any/mindinsight-2.0.0-py3-none-any.whl \
|
||||
https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.0.0a0/Serving/x86_64/mindspore_serving-2.0.0-cp37-cp37m-linux_x86_64.whl
|
||||
https://mindspore.cn*/r2.0.0-alpha/*
|
||||
https://www.mindspore.cn*/r2.0.0-alpha/*
|
|
@ -75,6 +75,7 @@
|
|||
"mindspore/mindspore/python/mindspore/dataset/engine/__init__.py" "redefined-builtin"
|
||||
"mindspore/mindspore/python/mindspore/dataset/engine/datasets.py" "redefined-builtin"
|
||||
"mindspore/mindspore/python/mindspore/dataset/engine/datasets.py" "broad-except"
|
||||
"mindspore/mindspore/python/mindspore/dataset/engine/datasets_user_defined.py" "bad-super-call"
|
||||
"mindspore/mindspore/python/mindspore/dataset/engine/graphdata.py" "super-init-not-called"
|
||||
"mindspore/mindspore/python/mindspore/dataset/transforms/py_transforms_util.py" "broad-except"
|
||||
|
||||
|
|
|
@ -19,7 +19,7 @@ mindspore/mindspore/ccsrc/pipeline/jit/init.cc:PYBIND11_MODULE
|
|||
mindspore/mindspore/ccsrc/pipeline/jit/parse/resolve.cc:mindspore::parse::ResolveObjectToNode
|
||||
mindspore/mindspore/ccsrc/pipeline/jit/pipeline.cc:mindspore::pipeline::GraphExecutorPy::Compile
|
||||
mindspore/mindspore/ccsrc/pipeline/jit/static_analysis/prim.cc:mindspore::abstract::ConvertAbstractToPython
|
||||
mindspore/mindspore/ccsrc/pybind_api/ir/log_adapter_py.cc:mindspore::PyExceptionInitializer::HandleExceptionPy
|
||||
mindspore/mindspore/ccsrc/pybind_api/ir/log_adapter_py.h:mindspore::PyExceptionInitializer::HandleExceptionPy
|
||||
mindspore/mindspore/ccsrc/plugin/device/gpu/kernel/math/unary_op_gpu_kernel.h:mindspore::kernel::UnaryOpGpuKernel::Launch
|
||||
mindspore/mindspore/ccsrc/plugin/device/ascend/optimizer/ir_fission/dynamic_rnn_grad_fission_v2.cc:mindspore::opt::AddLSTMInputGradNode
|
||||
mindspore/mindspore/ccsrc/plugin/device/ascend/kernel/aicpu/aicpu_ops/drop_out_gen_mask_kernels.cc:aicpu::ARMDropOutGenMaskKernel
|
||||
|
@ -153,6 +153,55 @@ mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-genera
|
|||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_avx512/nnacl_gemm_avx512_7x16_kernel_nhwc_fp32.c:nnacl_gemm_avx512_7x16_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_avx512/nnacl_gemm_avx512_5x48_kernel_nhwc_fp32.c:nnacl_gemm_avx512_5x48_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_avx512/nnacl_gemm_avx512_6x64_kernel_nhwc_fp32.c:nnacl_gemm_avx512_6x64_kernel_nhwc_fp32
|
||||
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_10x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_10x16_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_11x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_11x32_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_1x96_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_1x96_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_1x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_1x32_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_4x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_4x16_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_3x64_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_3x64_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_1x64_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_1x64_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_7x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_7x32_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_5x64_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_5x64_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_3x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_3x48_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_3x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_3x32_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_6x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_6x48_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_3x96_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_3x96_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_2x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_2x32_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_4x80_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_4x80_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_4x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_4x48_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_1x80_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_1x80_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_2x80_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_2x80_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_9x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_9x32_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_8x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_8x48_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_4x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_4x32_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_6x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_6x16_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_8x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_8x16_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_2x64_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_2x64_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_6x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_6x32_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_5x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_5x32_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_9x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_9x16_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_7x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_7x48_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_4x96_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_4x96_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_3x80_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_3x80_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_2x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_2x16_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_4x64_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_4x64_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_12x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_12x16_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_10x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_10x32_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_5x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_5x16_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_11x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_11x16_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_5x80_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_5x80_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_8x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_8x32_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_1x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_1x16_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_3x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_3x16_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_12x32_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_12x32_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_2x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_2x48_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_1x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_1x48_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_2x96_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_2x96_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_7x16_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_7x16_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_5x48_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_5x48_mask_kernel_nhwc_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_mask_avx512/nnacl_gemm_avx512_6x64_mask_kernel_nhwc_fp32.c:nnacl_gemm_avx512_6x64_mask_kernel_nhwc_fp32
|
||||
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_fma/nnacl_gemm_fma_3x24_kernel_nc8hw8_fp32.c:nnacl_gemm_fma_3x24_kernel_nc8hw8_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_fma/nnacl_gemm_fma_2x32_kernel_nc8hw8_fp32_asm.c:nnacl_gemm_fma_2x32_kernel_nc8hw8_fp32
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/experimental/HPC-generator/gemm_fma/nnacl_gemm_fma_12x8_kernel_nc8hw8_fp32_asm.c:nnacl_gemm_fma_12x8_kernel_nc8hw8_fp32
|
||||
|
@ -213,3 +262,5 @@ mindspore/mindspore/ccsrc/pybind_api/ir/tensor_py.cc:mindspore::tensor::RegMetaT
|
|||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/eltwise_grad_cpu_kernel.cc:mindspore::kernel::EltWiseGradCpuTypeFunc<T>::InitFunc
|
||||
mindspore/mindspore/lite/tools/converter/quantizer/weight_quantizer.cc:mindspore::lite::quant::WeightQuantizer::LinearQuant
|
||||
mindspore/mindspore/python/mindspore/ops/function/nn_func.py:conv3d
|
||||
mindspore/mindspore/python/mindspore/ops/function/nn_func.py:max_unpool3d
|
||||
mindspore/mindspore/ccsrc/plugin/device/cpu/kernel/nnacl/fp32/matmul_avx512_mask_fp32.c:GemmRowxColMaskKernelFp32
|
||||
|
|
118
RELEASE.md
118
RELEASE.md
|
@ -2,6 +2,122 @@
|
|||
|
||||
[查看中文](./RELEASE_CN.md)
|
||||
|
||||
## MindSpore 2.0.0-alpha Release Notes
|
||||
|
||||
### Major Features and Improvements
|
||||
|
||||
#### PyNative
|
||||
|
||||
- The default mode of MindSpore is switched to PyNative. If you want to manually set the mode, please refer to https://www.mindspore.cn/tutorials/zh-CN/master/advanced/compute_graph.html.
|
||||
- Support dynamic shape without padding, three networks are supported as demos: Transformer-GPU, YOLOV5-GPU, ASR-Ascend. Transformer-GPU and YOLOV5-GPU can be downloaded from https://gitee.com/mindspore/models/tree/dynamic_shape. Only the following operators are available on Ascend backend:Add、Assign、BatchMatMul、BiasAdd、BiasAddGrad、Cast、Conv2D、Conv2DBackpropFilter、Conv2DBackpropInput、CTCLoss、Div、Dropout、DropoutDoMask、Equal、ExpandDims、Gather、GetNext、LayerNorm、LayerNormGrad、LessEqual、Load、Log、LogicalAnd、LogicalNot、LogicalOr、LogSoftmax、LogSoftmaxGrad、MatMul、Maximum、Mul、Neg、NotEqual、NPUAllocFloatStatus、NPUClearFloatStatus、OneHot、RealDiv、Reciprocal、ReduceMean、ReduceSum、ReLU、ReluGrad、Reshape、Select、Softmax、StridedSlice、Sub、Tile、Transpose、UnsortedSegmentSum、ZerosLike。The remaining operators have not been fully verified, please use them as appropriate.
|
||||
|
||||
#### DataSet
|
||||
|
||||
- The TFRecordDataset API can directly read TFRecord files compressed by GZIP or ZLIB.
|
||||
- The NumpySliceDataset API can process data of different dimensions at the same time.
|
||||
- Optimize the structure of error log to display more clear call stack information for debugging.
|
||||
- Fixed `mindspore.dataset.config.set_seed` does not take effect for random seeds in distributed training scenarios.
|
||||
|
||||
#### AutoParallel
|
||||
|
||||
- Supports more operators with distributed implements.
|
||||
|
||||
Element Wise Operators:AddN, BitwiseAnd, BitwiseOr, BitwiseXor, CumProd, HShrink, HSigmoid, IsFinite, Mish, MulNoNan, Rint, SeLU, SoftShrink, TruncateDiv, TruncateMod, Xdivy Xlogy, InplaceAdd, InplacSub, InplaceUpdate, Cdist, L2Loss, Lerp.
|
||||
|
||||
Math Operators:SquaredDifference, Erfinv, MaskedFill, SplitV, Gamma, KLDivLoss, LinSpace.
|
||||
|
||||
Scatter Operators:ScatterAdd,ScatterDiv,ScatterMax,ScatterMul,ScatterNdAdd,ScatterNdSub,ScatterNdUpdate,ScatterSub,TensorScatterAdd,TensorScatterDiv,TensorScatterMax,TensorScatterMax,TensorScatterMul,TensorScatterAdd,TensorScatterUpdate.
|
||||
|
||||
- Add new apis `transform_checkpoints` and `transform_checkpoint_by_rank` to transfer the distributed checkpoint files by strategy files. Please refer to https://www.mindspore.cn/tutorials/experts/en/master/parallel/resilience_train_and_predict.html。
|
||||
|
||||
### API Change
|
||||
|
||||
#### operator
|
||||
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.AdaptiveMaxPool3D`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.AdjustHue`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.BartlettWindow`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.BesselJ0`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.BesselJ1`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.BesselK0`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.BesselK0e`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.BesselK1`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.BesselK1e`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.BesselY0`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.BesselY1`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.Betainc`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.Bincount`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.BlackmanWindow`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.Bucketize`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.CombinedNonMaxSuppression`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.CompareAndBitpack`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.Complex`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.DataFormatVecPermute`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.Eig`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.EuclideanNorm`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.Expand`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.ExtractGlimpse`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.FillDiagonal`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.FractionalAvgPool`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.FractionalMaxPool`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.Gcd`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.HammingWindow`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.Histogram`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.HSVToRGB`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.Lcm`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.LeftShift`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.ListDiff`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.LogSpace`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.Lstsq`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.MatrixDiagPartV3`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.MatrixDiagV3`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.MatrixExp`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.MatrixPower`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.MaxPool3DWithArgmax`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.MaxUnpool2D`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.MultilabelMarginLoss`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.NextAfter`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.Orgqr`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.ReduceStd`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.ResizeNearestNeighborV2`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.RGBToHSV`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.RightShift`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.Roll`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.SampleDistortedBoundingBoxV2`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.ScaleAndTranslate`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.ScatterAddWithAxis`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.ScatterNdDiv`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.ScatterNdMax`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.ScatterNdMul`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.STFT`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.Trace`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.UpsampleNearest3D`.
|
||||
- [STABLE] Add operator primitive for `mindspore.ops.UpsampleTrilinear3D`.
|
||||
- [STABLE] Add distributed weight conversion interface `mindspore.parallel.transform_checkpoints`.
|
||||
- [STABLE] Add distributed weight conversion interface `mindspore.parallel.transform_checkpoint_by_rank`.
|
||||
|
||||
#### Backwards Incompatible Change
|
||||
|
||||
##### Python API
|
||||
|
||||
- The `mindspore.ms_function` interface is renamed to `mindspore.jit`, and `mindspore.ms_function` will be deprecated and removed in a future version.
|
||||
- The `mindspore.ms_class` interface is renamed to `mindspore.jit_class`, and `mindspore.ms_class` will be deprecated and removed in a future version.
|
||||
- The `mindspore.dataset.map` interface parameter `column_order` does not take effect, use`mindspore.dataset.project`.
|
||||
- The `mindspore.dataset.close_pool` and `mindspore.dataset.to_device` and `mindspore.dataset.set_dynamic_columns` are deprecated and removed in this version.
|
||||
|
||||
### Bug fixes
|
||||
|
||||
- Fixed an issue where the mixed precision functional interface could not modify the backend driver in graph mode
|
||||
- Fixed the problem that users can automatically transfer device_id in the single-P scenario for the following networks:(mobilenetv1/fasterrcnn/yolov3/yolov4/yolov5/unet/openpose/simplepose/crnn/gnmtv2/faceattribute/facequality/facedetection)
|
||||
|
||||
### Contributors
|
||||
|
||||
Thanks goes to these wonderful people:
|
||||
|
||||
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, heleiwang, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, Lixia, lixian, liyanliu, liyong, lizhenyu, luopengting, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, ougongchang, panfengfeng, panyifeng, Payne, Peilin, peixu_ren, Pengyongrong, qianlong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, , Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, wuxuejian, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaitao1, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanke, zhanyuan, zhaodezan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking, shu-kun-zhang.
|
||||
|
||||
Contributions of any kind are welcome!
|
||||
|
||||
## MindSpore 1.9.0 Release Notes
|
||||
|
||||
### Major Features and Improvements
|
||||
|
@ -191,7 +307,7 @@ Contributions of any kind are welcome!
|
|||
- [STABLE] When using the map operation for dataset objects and the parameters like: num_parallel_workers > 1 and python_multiprocessing=True, the multi-process mechanism is optimized, so that the data channel and child processes are mapped one by one, avoiding excessive file handle occupation, and closing_pool interface is also deleted.
|
||||
- [STABLE] Add a batch of Vision, Text and Audio data augmentation operations.
|
||||
- [STABLE] Fix a bug where the flat_map method of the Dataset class does not flatten the result.
|
||||
- [STABLE] Unify import paths of dataset augmentation APIs to provide more easier way to use. Refer to [latest api usages](https://www.mindspore.cn/docs/en/master/api_python/mindspore.dataset.vision.html).
|
||||
- [STABLE] Unify import paths of dataset augmentation APIs to provide more easier way to use. Refer to [latest api usages](https://www.mindspore.cn/docs/en/r1.8/api_python/mindspore.dataset.vision.html).
|
||||
|
||||
### API Change
|
||||
|
||||
|
|
116
RELEASE_CN.md
116
RELEASE_CN.md
|
@ -2,6 +2,120 @@
|
|||
|
||||
[View English](./RELEASE.md)
|
||||
|
||||
## MindSpore 2.0.0-alpha Release Notes
|
||||
|
||||
### 主要特性和增强
|
||||
|
||||
#### PyNative
|
||||
|
||||
- MindSpore默认模式切换成PyNative模式。需要手动设置模式可以参考文档:https://www.mindspore.cn/tutorials/zh-CN/master/advanced/compute_graph.html
|
||||
- 完成动态shape执行方案重构,提升反向构图性能,支持非padding方案的动态shape网络编程,当前主要验证网络Transformer-GPU、YOLOV5-GPU、ASR-Ascend。Transformer-GPU和YOLOV5-GPU可以从以下链接获取:https://gitee.com/mindspore/models/tree/dynamic_shape 。Ascend后端受算子适配度限制,只支持下列算子:Add、Assign、BatchMatMul、BiasAdd、BiasAddGrad、Cast、Conv2D、Conv2DBackpropFilter、Conv2DBackpropInput、CTCLoss、Div、Dropout、DropoutDoMask、Equal、ExpandDims、Gather、GetNext、LayerNorm、LayerNormGrad、LessEqual、Load、Log、LogicalAnd、LogicalNot、LogicalOr、LogSoftmax、LogSoftmaxGrad、MatMul、Maximum、Mul、Neg、NotEqual、NPUAllocFloatStatus、NPUClearFloatStatus、OneHot、RealDiv、Reciprocal、ReduceMean、ReduceSum、ReLU、ReluGrad、Reshape、Select、Softmax、StridedSlice、Sub、Tile、Transpose、UnsortedSegmentSum、ZerosLike。其余算子未经过完整验证, 请酌情使用。
|
||||
|
||||
#### DataSet
|
||||
|
||||
- TFRecordDataset API支持直接读取通过GZIP或ZLIB压缩后的TFRecord文件。
|
||||
- NumpySliceDataset API支持同时处理不同维度的数据。
|
||||
- 优化错误日志信息的结构,展示更清晰的调用栈信息便于调试、定位问题。
|
||||
- 修复分布式训练场景下 `mindspore.dataset.config.set_seed` 对随机种子设置不生效的问题。
|
||||
|
||||
#### AutoParallel
|
||||
|
||||
- 支持更多算子分布式能力。
|
||||
|
||||
Element Wise类算子:AddN、 BitwiseAnd、 BitwiseOr、 BitwiseXor、 CumProd、 HShrink、 HSigmoid、 IsFinite、 Mish、 MulNoNan、 Rint、 SeLU、 SoftShrink、 TruncateDiv、 TruncateMod、 Xdivy Xlogy、 InplaceAdd、 InplacSub、 InplaceUpdate、 Cdist、 L2Loss、 Lerp。
|
||||
|
||||
Math类算子:SquaredDifference、 Erfinv、 MaskedFill、 SplitV、 Gamma、 KLDivLoss、 LinSpace。Scatter类算子:ScatterAdd、ScatterDiv、ScatterMax、ScatterMul、ScatterNdAdd、ScatterNdSub、ScatterNdUpdate、ScatterSub、TensorScatterAdd、TensorScatterDiv、TensorScatterMax、TensorScatterMax、TensorScatterMul、TensorScatterAdd、TensorScatterUpdate。
|
||||
|
||||
- 增加`transform_checkpoints`和`transform_checkpoint_by_rank`接口。给定转换前后的策略文件,即可实现对分布式权重转换。详情可以参考:https://www.mindspore.cn/tutorials/experts/zh-CN/master/parallel/resilience_train_and_predict.html 。
|
||||
|
||||
### API变更
|
||||
|
||||
#### 算子
|
||||
|
||||
- [STABLE] `mindspore.ops.AdaptiveMaxPool3D` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.AdjustHue` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.BartlettWindow` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.BesselJ0` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.BesselJ1` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.BesselK0` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.BesselK0e` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.BesselK1` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.BesselK1e` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.BesselY0` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.BesselY1` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.Betainc` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.Bincount` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.BlackmanWindow` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.Bucketize` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.CombinedNonMaxSuppression` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.CompareAndBitpack` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.Complex` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.DataFormatVecPermute` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.Eig` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.EuclideanNorm` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.Expand` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.ExtractGlimpse` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.FillDiagonal` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.FractionalAvgPool` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.FractionalMaxPool` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.Gcd` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.HammingWindow` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.Histogram` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.HSVToRGB` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.Lcm` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.LeftShift` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.ListDiff` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.LogSpace` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.Lstsq` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.MatrixDiagPartV3` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.MatrixDiagV3` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.MatrixExp` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.MatrixPower` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.MaxPool3DWithArgmax` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.MaxUnpool2D` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.MultilabelMarginLoss` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.NextAfter` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.Orgqr` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.ReduceStd` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.ResizeNearestNeighborV2` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.RGBToHSV` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.RightShift` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.Roll` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.SampleDistortedBoundingBoxV2` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.ScaleAndTranslate` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.ScatterAddWithAxis` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.ScatterNdDiv` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.ScatterNdMax` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.ScatterNdMul` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.STFT` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.Trace` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.UpsampleNearest3D` 新增算子原语。
|
||||
- [STABLE] `mindspore.ops.UpsampleTrilinear3D` 新增算子原语。
|
||||
- [STABLE]`mindspore.parallel.transform_checkpoints` 新增分布式权重转换接口。
|
||||
- [STABLE]`mindspore.parallel.transform_checkpoint_by_rank` 新增分布式权重转换接口。
|
||||
|
||||
#### 非兼容性变更
|
||||
|
||||
##### Python API
|
||||
|
||||
- `mindspore.ms_function`接口名替换为`mindspore.jit`,`mindspore.ms_function` 将在未来版本中弃用并删除。
|
||||
- `mindspore.ms_class`接口名替换为`mindspore.jit_class`,`mindspore.ms_class` 将在未来版本中弃用并删除。
|
||||
- `mindspore.dataset.map`接口参数 `column_order` 不再生效,使用`mindspore.dataset.project`替换。
|
||||
- `mindspore.dataset.close_pool`、`mindspore.dataset.to_device`、`mindspore.dataset.set_dynamic_columns` 接口在之前版本已废弃,当前版本正式删除。
|
||||
|
||||
### Bug fixes
|
||||
|
||||
- 修复混合精度函数式接口在图模式下不能修改后端驱动的问题。
|
||||
- 修复以下网络在单P场景下用户可自动传入device_id(mobilenetv1/fasterrcnn/yolov3/yolov4/yolov5/unet/openpose/simplepose/crnn/gnmtv2/faceattribute/facequality/facedetection) 。
|
||||
|
||||
### 贡献者
|
||||
|
||||
感谢以下人员做出的贡献:
|
||||
|
||||
AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bingyaweng, BowenK, buxue, caifubi, CaoJian, caojian05, caozhou, Cathy, changzherui, chenbo116, chenfei, chengxianbin, chenhaozhe, chenjianping, chenzomi, chenzupeng, chujinjin, cj, cjh9368, Corleone, damon0626, danish, Danish, davidmc, dayschan, doitH, dong-li001, fary86, fuzhiye, Gaoxiong, GAO_HYP_XYJ, gengdongjie, Gogery, gongdaguo, gray0v0, gukecai, guoqi, gzhcv, hangq, hanhuifeng2020, Harshvardhan, He, heleiwang, hesham, hexia, Hoai, HuangBingjian, huangdongrun, huanghui, huangxinjing, huqi, huzhifeng, hwjiaorui, Jiabin Liu, jianghui58, Jiaqi, jin-xiulang, jinyaohui, jjfeing, John, jonyguo, JulyAi, jzg, kai00, kingfo, kingxian, kpy, kswang, liuyongqi, laiyongqiang, leonwanghui, liangchenghui, liangzelang, lichen_101010, lichenever, lihongkang, lilei, limingqi107, ling, linqingke, Lin Xh, liubuyu, liuwenhao4, liuxiao78, liuxiao93, liuyang_655, liuzhongkai, Lixia, lixian, liyanliu, liyong, lizhenyu, luopengting, lvchangquan, lvliang, lz, maning202007, Margaret_wangrui, mengyuanli, Ming_blue, ms_yan, ougongchang, panfengfeng, panyifeng, Payne, Peilin, peixu_ren, Pengyongrong, qianlong, qianjiahong, r1chardf1d0, riemann_penn, rmdyh, Sheng, shenwei41, simson, Simson, Su, sunsuodong, tao_yunhao, tinazhang, VectorSL, , Wan, wandongdong, wangdongxu, wangmin, wangyue01, wangzhe, wanyiming, Wei, wenchunjiang, wilfChen, WilliamLian, wsc, wudenggang, wukesong, wuweikang, wuxuejian, Xiao Tianci, Xiaoda, xiefangqi, xinyunfan, xuanyue, xuyongfei, yanghaitao, yanghaitao1, yanghaoran, YangLuo, yangruoqi713, yankai, yanzhenxiang2020, yao_yf, yepei6, yeyunpeng, Yi, yoni, yoonlee666, yuchaojie, yujianfeng, yuximiao, zengzitao, Zhang, zhanghuiyao, zhanghui_china, zhangxinfeng3, zhangyihui, zhangz0911gm, zhanke, zhanyuan, zhaodezan, zhaojichen, zhaoting, zhaozhenlong, zhengjun10, zhiqwang, zhoufeng, zhousiyi, zhouyaqiang, zhouyifengCode, Zichun, Ziyan, zjun, ZPaC, wangfengwfwf, zymaa, gerayking, shu-kun-zhang.
|
||||
|
||||
欢迎以任何形式对项目提供贡献!
|
||||
|
||||
## MindSpore 1.9.0 Release Notes
|
||||
|
||||
### 主要特性和增强
|
||||
|
@ -191,7 +305,7 @@ AGroupofProbiotocs, anzhengqi, askmiao, baihuawei, baiyangfan, bai-yangfan, bing
|
|||
- [STABLE] 对于数据集对象使用map操作时,同时num_parallel_workers>1并且python_multiprocessing=True时,进行了多进程的机制优化,使得数据通道与子进程一一映射,避免了过多的文件句柄占用,同时close_pool这个接口也被删除。
|
||||
- [STABLE] 新增一批Vision、Text和Audio类数据增强操作。
|
||||
- [STABLE] 修复数据集类的flat_map方法未将结果展平的错误。
|
||||
- [STABLE] 统一数据集增强API的导入路径,提供更简单的使用方法,请参阅[最新的API用法](https://www.mindspore.cn/docs/zh-CN/master/api_python/mindspore.dataset.vision.html)。
|
||||
- [STABLE] 统一数据集增强API的导入路径,提供更简单的使用方法,请参阅[最新的API用法](https://www.mindspore.cn/docs/zh-CN/r1.8/api_python/mindspore.dataset.vision.html)。
|
||||
|
||||
### API变更
|
||||
|
||||
|
|
|
@ -9684,3 +9684,17 @@ AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
|
|||
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
|
||||
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
|
||||
SOFTWARE.
|
||||
|
||||
Software: cuCollections d6ba69b1
|
||||
Copyright notice:
|
||||
Copyright (c) 2017-2022, NVIDIA CORPORATION.
|
||||
Copyright (c) 2018-2021, NVIDIA CORPORATION.
|
||||
Copyright (c) 2018-2022, NVIDIA CORPORATION.
|
||||
Copyright (c) 2020, NVIDIA CORPORATION.
|
||||
Copyright (c) 2020-2021, NVIDIA CORPORATION.
|
||||
Copyright (c) 2020-2022, NVIDIA CORPORATION.
|
||||
Copyright (c) 2021, NVIDIA CORPORATION.
|
||||
Copyright (c) 2021-2022, NVIDIA CORPORATION.
|
||||
Copyright (c) 2022, NVIDIA CORPORATION.
|
||||
Copyright 2019 NVIDIA Corporation
|
||||
Copyright (c) 2018-2022, NVIDIA CORPORATION.
|
||||
|
|
|
@ -1,7 +1,7 @@
|
|||
mindspore.amp.all_finite
|
||||
========================
|
||||
|
||||
.. py:function:: mindspore.amp.all_finite(inputs)
|
||||
.. py:function:: mindspore.amp.all_finite(inputs, status=None)
|
||||
|
||||
检查inputs是否是有效值(无溢出)。
|
||||
|
||||
|
@ -12,6 +12,7 @@ mindspore.amp.all_finite
|
|||
|
||||
参数:
|
||||
- **inputs** (Union(tuple(Tensor), list(Tensor))) - 可迭代的Tensor。
|
||||
- **status** (Tensor) - 溢出检测时所需要的初始状态,仅在Ascend需要。默认值:None。
|
||||
|
||||
返回:
|
||||
Tensor,布尔类型的标量Tensor。
|
||||
|
|
|
@ -0,0 +1,12 @@
|
|||
mindspore.amp.init_status
|
||||
===========================
|
||||
|
||||
.. py:function:: mindspore.amp.init_status()
|
||||
|
||||
初始化溢出状态检测变量。
|
||||
|
||||
.. note::
|
||||
该接口仅在Ascend后端有效,在GPU、CPU上调用的返回值没有作用。
|
||||
|
||||
返回:
|
||||
Tensor,shape为 (8,) 。
|
|
@ -12,9 +12,9 @@ mindspore.dataset.Dataset.map
|
|||
最后一个数据增强的输出列的列名由 `output_columns` 指定,如果没有指定 `output_columns` ,输出列名与 `input_columns` 一致。
|
||||
|
||||
- 如果使用的是 `mindspore` `dataset` 提供的数据增强(
|
||||
`vision类 <https://www.mindspore.cn/docs/zh-CN/master/api_python/mindspore.dataset.vision.html>`_ ,
|
||||
`nlp类 <https://www.mindspore.cn/docs/zh-CN/master/api_python/mindspore.dataset.text.html>`_ ,
|
||||
`audio类 <https://www.mindspore.cn/docs/zh-CN/master/api_python/mindspore.dataset.audio.html>`_ ),请使用如下参数:
|
||||
`vision类 <https://mindspore.cn/docs/zh-CN/r2.0.0-alpha/api_python/mindspore.dataset.transforms.html#视觉>`_ ,
|
||||
`nlp类 <https://mindspore.cn/docs/zh-CN/r2.0.0-alpha/api_python/mindspore.dataset.transforms.html#文本>`_ ,
|
||||
`audio类 <https://mindspore.cn/docs/zh-CN/r2.0.0-alpha/api_python/mindspore.dataset.transforms.html#音频>`_ ),请使用如下参数:
|
||||
|
||||
.. image:: map_parameter_cn.png
|
||||
|
||||
|
@ -31,9 +31,9 @@ mindspore.dataset.Dataset.map
|
|||
|
||||
- python_multiprocessing (bool, 可选) - 启用Python多进程模式加速map操作。当传入的 `operations` 计算量很大时,开启此选项可能会有较好效果。默认值:False。
|
||||
- max_rowsize (int, 可选) - 指定在多进程之间复制数据时,共享内存分配的最大空间,仅当 `python_multiprocessing` 为True时,该选项有效。默认值:16,单位为MB。
|
||||
- cache (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- cache (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- callbacks (DSCallback, list[DSCallback], 可选) - 要调用的Dataset回调函数列表。默认值:None。
|
||||
- offload (bool, 可选) - 是否进行异构硬件加速,详情请阅读 `数据准备异构加速 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/dataset_offload.html>`_ 。默认值:None。
|
||||
- offload (bool, 可选) - 是否进行异构硬件加速,详情请阅读 `数据准备异构加速 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/dataset_offload.html>`_ 。默认值:None。
|
||||
|
||||
.. note::
|
||||
- `operations` 参数接收 `TensorOperation` 类型的数据处理操作,以及用户定义的Python函数(PyFuncs)。
|
||||
|
|
|
@ -57,7 +57,7 @@ mindspore.dataset.Dataset.save
|
|||
.. note::
|
||||
1. 如需按顺序保存数据,将数据集的 `shuffle` 设置为False,将 `num_files` 设置为1。
|
||||
2. 在执行保存操作之前,不要使用batch操作、repeat操作或具有随机属性的数据增强的map操作。
|
||||
3. 当数据的维度可变时,只支持1维数组或者在第0维变化的多维数组。
|
||||
3. 当数据的维度可变时,只支持一维数组或者在第零维变化的多维数组。
|
||||
4. 不支持UINT64类型、多维的UINT8类型、多维STRING类型。
|
||||
|
||||
参数:
|
||||
|
|
|
@ -21,7 +21,7 @@ mindspore.dataset.AGNewsDataset
|
|||
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
|
||||
|
|
|
@ -23,7 +23,7 @@ mindspore.dataset.AmazonReviewDataset
|
|||
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
|
||||
|
|
|
@ -22,7 +22,7 @@ mindspore.dataset.CLUEDataset
|
|||
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
根据给定的 `task` 参数 和 `usage` 配置,数据集会生成不同的输出列:
|
||||
|
||||
|
|
|
@ -21,7 +21,7 @@
|
|||
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_files` 参数所指向的文件无效或不存在。
|
||||
|
|
|
@ -16,7 +16,7 @@ mindspore.dataset.Caltech256Dataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
|
||||
|
|
|
@ -18,7 +18,7 @@ mindspore.dataset.CelebADataset
|
|||
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数,可以小于数据集总数。默认值:None,读取全部样本图片。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **decrypt** (callable, 可选) - 图像解密函数,接受加密的图片路径并返回bytes类型的解密数据。默认值:None,不进行解密。
|
||||
|
||||
异常:
|
||||
|
|
|
@ -17,7 +17,7 @@ mindspore.dataset.Cifar100Dataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
|
||||
|
|
|
@ -17,7 +17,7 @@ mindspore.dataset.Cifar10Dataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
|
||||
|
|
|
@ -21,7 +21,7 @@ mindspore.dataset.CityscapesDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
|
||||
|
|
|
@ -22,7 +22,7 @@ mindspore.dataset.CoNLL2000Dataset
|
|||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。指定此参数后, `num_samples` 表示每个分片的最大样本数。默认值:None。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。只有当指定了 `num_shards` 时才能指定此参数。默认值:None。
|
||||
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值:None,使用mindspore.dataset.config中配置的线程数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
|
||||
|
|
|
@ -16,7 +16,7 @@
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None,表2中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **extra_metadata** (bool, 可选) - 用于指定是否额外输出一个数据列用于表示图片元信息。如果为True,则将额外输出一个名为 `[_meta-filename, dtype=string]` 的数据列。默认值:False。
|
||||
- **decrypt** (callable, 可选) - 图像解密函数,接受加密的图片路径并返回bytes类型的解密数据。默认值:None,不进行解密。
|
||||
|
||||
|
|
|
@ -22,7 +22,7 @@ mindspore.dataset.DBpediaDataset
|
|||
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
|
||||
|
|
|
@ -20,7 +20,7 @@ mindspore.dataset.DIV2KDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
|
||||
|
|
|
@ -5,7 +5,7 @@ mindspore.dataset.DatasetCache
|
|||
|
||||
创建数据缓存客户端实例。
|
||||
|
||||
关于单节点数据缓存的使用,请参阅 `单节点数据缓存教程 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。
|
||||
关于单节点数据缓存的使用,请参阅 `单节点数据缓存教程 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。
|
||||
|
||||
参数:
|
||||
- **session_id** (int) - 当前数据缓存客户端的会话ID,用户在命令行开启缓存服务端后可通过 `cache_admin -g` 获取。
|
||||
|
|
|
@ -18,7 +18,7 @@ mindspore.dataset.EMnistDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - 同时指定了 `sampler` 和 `shuffle` 参数。
|
||||
|
|
|
@ -22,7 +22,7 @@ mindspore.dataset.EnWik9Dataset
|
|||
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
|
||||
|
|
|
@ -18,7 +18,7 @@ mindspore.dataset.FakeImageDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - 同时指定了 `sampler` 和 `shuffle` 参数。
|
||||
|
|
|
@ -17,7 +17,7 @@ mindspore.dataset.FashionMnistDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
|
||||
|
|
|
@ -17,7 +17,7 @@
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None,表2中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
|
||||
|
|
|
@ -6,6 +6,9 @@ mindspore.dataset.GraphData
|
|||
从共享文件或数据库中读取用于GNN训练的图数据集。
|
||||
支持读取图数据集Cora、Citeseer和PubMed。
|
||||
|
||||
关于如何将源数据集加载到mindspore中请参考 `图数据加载与处理 <https://www.mindspore.cn/tutorials/zh-CN/
|
||||
r2.0.0-alpha/advanced/dataset/augment_graph_data.html>`_ 。
|
||||
|
||||
参数:
|
||||
- **dataset_file** (str) - 数据集文件路径。
|
||||
- **num_parallel_workers** (int, 可选) - 读取数据的工作线程数。默认值:None,使用mindspore.dataset.config中配置的线程数。
|
||||
|
|
|
@ -18,7 +18,7 @@ mindspore.dataset.IMDBDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
|
||||
|
|
|
@ -24,7 +24,7 @@ mindspore.dataset.IWSLT2016Dataset
|
|||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值:None,使用mindspore.dataset.config中配置的线程数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
|
||||
|
|
|
@ -25,7 +25,7 @@ mindspore.dataset.IWSLT2017Dataset
|
|||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值:None,使用mindspore.dataset.config中配置的线程数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
|
||||
|
|
|
@ -18,7 +18,7 @@ mindspore.dataset.ImageFolderDataset
|
|||
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作。默认值:False,不解码。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **decrypt** (callable, 可选) - 图像解密函数,接受加密的图片路径并返回bytes类型的解密数据。默认值:None,不进行解密。
|
||||
|
||||
异常:
|
||||
|
|
|
@ -17,7 +17,7 @@ mindspore.dataset.KMnistDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
|
||||
|
|
|
@ -16,7 +16,7 @@ mindspore.dataset.LJSpeechDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
|
||||
|
|
|
@ -18,7 +18,7 @@
|
|||
- **decode** (bool, 可选) - 是否对读取的图片进行解码操作。默认值:False,不解码。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_files` 路径下不包含任何数据文件。
|
||||
|
|
|
@ -23,7 +23,7 @@
|
|||
- **padded_sample** (dict, 可选) - 指定额外添加到数据集的样本,可用于在分布式训练时补齐分片数据,注意字典的键名需要与 `column_list` 指定的列名相同。默认值:None,不添加样本。需要与 `num_padded` 参数同时使用。
|
||||
- **num_padded** (int, 可选) - 指定额外添加的数据集样本的数量。在分布式训练时可用于为数据集补齐样本,使得总样本数量可被 `num_shards` 整除。默认值:None,不添加样本。需要与 `padded_sample` 参数同时使用。
|
||||
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值:None,读取所有样本。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **ValueError** - `dataset_files` 参数所指向的文件无效或不存在。
|
||||
|
|
|
@ -17,7 +17,7 @@ mindspore.dataset.MnistDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
|
||||
|
|
|
@ -22,7 +22,7 @@ mindspore.dataset.PennTreebankDataset
|
|||
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
|
||||
|
|
|
@ -21,7 +21,7 @@ mindspore.dataset.PhotoTourDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
|
||||
|
|
|
@ -19,7 +19,7 @@ mindspore.dataset.Places365Dataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
|
||||
|
|
|
@ -17,7 +17,7 @@ mindspore.dataset.QMnistDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
|
||||
|
|
|
@ -12,7 +12,7 @@ mindspore.dataset.RandomDataset
|
|||
- **columns_list** (list[str], 可选) - 指定生成数据集的列名。默认值:None,生成的数据列将以"c0"、"c1"、"c2" ... "cn"的规则命名。
|
||||
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值:None,读取所有样本。
|
||||
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值:None,使用mindspore.dataset.config中配置的线程数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **shuffle** (bool, 可选) - 是否混洗数据集。默认值:None。下表中会展示不同参数配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
|
|
|
@ -16,7 +16,7 @@ mindspore.dataset.SBUDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
|
||||
|
|
|
@ -18,7 +18,7 @@ mindspore.dataset.STL10Dataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
|
||||
|
|
|
@ -15,7 +15,7 @@ mindspore.dataset.SemeionDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
|
||||
|
|
|
@ -11,7 +11,7 @@ mindspore.dataset.SogouNewsDataset
|
|||
- **dataset_dir** (str) - 包含数据集文件的根目录路径。
|
||||
- **usage** (str, 可选) - 指定数据集的子集,可取值为 'train', 'test'或 'all'。默认值:None,读取全部样本。
|
||||
取值为 'train'时将会读取45万个训练样本,取值为 'test'时将会读取6万个测试样本,取值为 'all'时将会读取全部51万个样本。默认值:None,读取全部样本。
|
||||
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值:None, 读取全部样本。
|
||||
- **num_samples** (int, 可选) - 指定从数据集中读取的样本数。默认值:None,读取全部样本。
|
||||
- **shuffle** (Union[bool, Shuffle], 可选) - 每个epoch中数据混洗的模式,支持传入bool类型与枚举类型进行指定。默认值: `Shuffle.GLOBAL` 。
|
||||
如果 `shuffle` 为False,则不混洗,如果 `shuffle` 为True,等同于将 `shuffle` 设置为mindspore.dataset.Shuffle.GLOBAL。
|
||||
通过传入枚举变量设置数据混洗的模式:
|
||||
|
@ -22,7 +22,7 @@ mindspore.dataset.SogouNewsDataset
|
|||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值:None,使用mindspore.dataset.config中配置的线程数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
|
||||
|
|
|
@ -18,7 +18,7 @@ mindspore.dataset.SpeechCommandsDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
|
||||
|
|
|
@ -26,7 +26,7 @@ mindspore.dataset.TFRecordDataset
|
|||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后,`num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **shard_equal_rows** (bool, 可选) - 分布式训练时,为所有分片获取等量的数据行数。默认值:False。如果 `shard_equal_rows` 为False,则可能会使得每个分片的数据条目不相等,从而导致分布式训练失败。因此当每个TFRecord文件的数据数量不相等时,建议将此参数设置为True。注意,只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **ValueError** - `dataset_files` 参数所指向的文件无效或不存在。
|
||||
|
|
|
@ -21,7 +21,7 @@ mindspore.dataset.TedliumDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
|
||||
|
|
|
@ -18,7 +18,7 @@
|
|||
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **ValueError** - `dataset_files` 参数所指向的文件无效或不存在。
|
||||
|
|
|
@ -22,7 +22,7 @@ mindspore.dataset.UDPOSDataset
|
|||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值:None,使用mindspore.dataset.config中配置的线程数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
|
||||
|
|
|
@ -22,7 +22,7 @@ mindspore.dataset.USPSDataset
|
|||
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含数据文件。
|
||||
|
|
|
@ -26,7 +26,7 @@ mindspore.dataset.VOCDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **extra_metadata** (bool, 可选) - 用于指定是否额外输出一个数据列用于表示图片元信息。如果为True,则将额外输出一个名为 `[_meta-filename, dtype=string]` 的数据列。默认值:False。
|
||||
- **decrypt** (callable, 可选) - 图像解密函数,接受加密的图片路径并返回bytes类型的解密数据。默认值:None,不进行解密。
|
||||
|
||||
|
|
|
@ -19,7 +19,7 @@ mindspore.dataset.WIDERFaceDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 不包含任何数据文件。
|
||||
|
|
|
@ -3,11 +3,11 @@ mindspore.dataset.WaitedDSCallback
|
|||
|
||||
.. py:class:: mindspore.dataset.WaitedDSCallback(step_size=1)
|
||||
|
||||
阻塞式数据处理回调类的抽象基类,用于与训练回调类 `mindspore.train.Callback <https://www.mindspore.cn/docs/zh-CN/master/api_python/train/mindspore.train.Callback.html#mindspore.train.Callback>`_ 的同步。
|
||||
阻塞式数据处理回调类的抽象基类,用于与训练回调类 `mindspore.train.Callback <https://www.mindspore.cn/docs/zh-CN/r2.0.0-alpha/api_python/train/mindspore.train.Callback.html#mindspore.train.Callback>`_ 的同步。
|
||||
|
||||
可用于在step或epoch开始前执行自定义的回调方法,例如在自动数据增强中根据上一个epoch的loss值来更新增强操作参数配置。
|
||||
|
||||
用户可通过 `train_run_context` 获取网络训练相关信息,如 `network` 、 `train_network` 、 `epoch_num` 、 `batch_num` 、 `loss_fn` 、 `optimizer` 、 `parallel_mode` 、 `device_number` 、 `list_callback` 、 `cur_epoch_num` 、 `cur_step_num` 、 `dataset_sink_mode` 、 `net_outputs` 等,详见 `mindspore.train.Callback <https://www.mindspore.cn/docs/zh-CN/master/api_python/train/mindspore.train.Callback.html#mindspore.train.Callback>`_ 。
|
||||
用户可通过 `train_run_context` 获取网络训练相关信息,如 `network` 、 `train_network` 、 `epoch_num` 、 `batch_num` 、 `loss_fn` 、 `optimizer` 、 `parallel_mode` 、 `device_number` 、 `list_callback` 、 `cur_epoch_num` 、 `cur_step_num` 、 `dataset_sink_mode` 、 `net_outputs` 等,详见 `mindspore.train.Callback <https://www.mindspore.cn/docs/zh-CN/r2.0.0-alpha/api_python/train/mindspore.train.Callback.html#mindspore.train.Callback>`_ 。
|
||||
|
||||
用户可通过 `ds_run_context` 获取数据处理管道相关信息,包括 `cur_epoch_num` (当前epoch数)、 `cur_step_num_in_epoch` (当前epoch的step数)、 `cur_step_num` (当前step数)。
|
||||
|
||||
|
|
|
@ -21,7 +21,7 @@ mindspore.dataset.WikiTextDataset
|
|||
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
|
||||
|
|
|
@ -22,7 +22,7 @@ mindspore.dataset.YahooAnswersDataset
|
|||
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
|
||||
|
|
|
@ -23,7 +23,7 @@ mindspore.dataset.YelpReviewDataset
|
|||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **num_parallel_workers** (int, 可选) - 指定读取数据的工作线程数。默认值:None,使用mindspore.dataset.config中配置的线程数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 参数所指向的文件目录不存在或缺少数据集文件。
|
||||
|
|
|
@ -16,7 +16,7 @@ mindspore.dataset.YesNoDataset
|
|||
- **sampler** (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值:None。下表中会展示不同配置的预期行为。
|
||||
- **num_shards** (int, 可选) - 指定分布式训练时将数据集进行划分的分片数。默认值:None。指定此参数后, `num_samples` 表示每个分片的最大样本数。
|
||||
- **shard_id** (int, 可选) - 指定分布式训练时使用的分片ID号。默认值:None。只有当指定了 `num_shards` 时才能指定此参数。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/master/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
- **cache** (DatasetCache, 可选) - 单节点数据缓存服务,用于加快数据集处理,详情请阅读 `单节点数据缓存 <https://www.mindspore.cn/tutorials/experts/zh-CN/r2.0.0-alpha/dataset/cache.html>`_ 。默认值:None,不使用缓存。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - `dataset_dir` 路径下不包含任何数据文件。
|
||||
|
|
|
@ -16,7 +16,7 @@ mindspore.dataset.audio.AmplitudeToDB
|
|||
- **top_db** (float, 可选) - 最小截止分贝值,取值为非负数。默认值:80.0。
|
||||
|
||||
异常:
|
||||
- **TypeError** - 当 `stype` 的类型不为 :class:`mindspore.dataset.audio.utils.ScaleType` 。
|
||||
- **TypeError** - 当 `stype` 的类型不为 :class:`mindspore.dataset.audio.ScaleType` 。
|
||||
- **TypeError** - 当 `ref_value` 的类型不为float。
|
||||
- **ValueError** - 当 `ref_value` 不为正数。
|
||||
- **TypeError** - 当 `amin` 的类型不为float。
|
||||
|
|
|
@ -5,7 +5,7 @@ mindspore.dataset.audio.Angle
|
|||
|
||||
计算复数序列的角度。
|
||||
|
||||
.. note:: 待处理音频维度需为(..., complex=2)。第0维代表实部,第1维代表虚部。
|
||||
.. note:: 待处理音频维度需为(..., complex=2)。第零维代表实部,第一维代表虚部。
|
||||
|
||||
异常:
|
||||
- **RuntimeError** - 当输入音频的shape不为<..., complex=2>。
|
||||
|
|
|
@ -5,7 +5,7 @@ mindspore.dataset.audio.ComplexNorm
|
|||
|
||||
计算复数序列的范数。
|
||||
|
||||
.. note:: 待处理音频维度需为(..., complex=2)。第0维代表实部,第1维代表虚部。
|
||||
.. note:: 待处理音频维度需为(..., complex=2)。第零维代表实部,第一维代表虚部。
|
||||
|
||||
参数:
|
||||
- **power** (float, 可选) - 范数的幂,取值必须非负。默认值:1.0。
|
||||
|
|
|
@ -5,7 +5,7 @@ mindspore.dataset.audio.TimeStretch
|
|||
|
||||
以给定的比例拉伸音频短时傅里叶(Short Time Fourier Transform, STFT)频谱的时域,但不改变音频的音高。
|
||||
|
||||
.. note:: 待处理音频维度需为(..., freq, time, complex=2)。第0维代表实部,第1维代表虚部。
|
||||
.. note:: 待处理音频维度需为(..., freq, time, complex=2)。第零维代表实部,第一维代表虚部。
|
||||
|
||||
参数:
|
||||
- **hop_length** (int, 可选) - STFT窗之间每跳的长度,即连续帧之间的样本数。默认值:None,表示取 `n_freq - 1` 。
|
||||
|
|
|
@ -12,4 +12,4 @@ API样例中常用的导入模块如下:
|
|||
常用数据处理术语说明如下:
|
||||
|
||||
- TensorOperation,所有C++实现的数据处理操作的基类。
|
||||
- AudioTensorOperation,所有音频数据处理操作的基类,派生自TensorOperation。
|
||||
- AudioTensorOperation,所有音频数据处理操作的基类,派生自TensorOperation。
|
|
@ -3,7 +3,7 @@ mindspore.dataset.text.CaseFold
|
|||
|
||||
.. py:class:: mindspore.dataset.text.CaseFold()
|
||||
|
||||
将UTF-8编码字符串中的字符规范化为小写,相比 :func:`str.lower` 支持更多字符。
|
||||
将UTF-8编码字符串中的字符规范化为小写,相比 :code:`str.lower` 支持更多字符。
|
||||
|
||||
支持的输入规范化形式详见 `ICU_Normalizer2 <https://unicode-org.github.io/icu-docs/apidoc/released/icu4c/classicu_1_1Normalizer2.html>`_ 。
|
||||
|
||||
|
|
|
@ -4,7 +4,7 @@
|
|||
将CIFAR-100数据集转换为MindRecord格式数据集。
|
||||
|
||||
.. note::
|
||||
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://www.mindspore.cn/tutorials/zh-CN/master/advanced/dataset/record.html#转换cifar-10数据集>`_ 。
|
||||
示例的详细信息,请参见 `转换CIFAR-10数据集 <https://www.mindspore.cn/tutorials/zh-CN/r2.0.0-alpha/advanced/dataset/record.html#转换cifar-10数据集>`_ 。
|
||||
|
||||
参数:
|
||||
- **source** (str) - 待转换的CIFAR-100数据集文件所在目录的路径。
|
||||
|
|
Some files were not shown because too many files have changed in this diff Show More
Loading…
Reference in New Issue