Nigel
/
mindspore
forked from mindspore-Ecosystem/mindspore
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity

modify apiformat

This commit is contained in:
xumengjuan1 2022-02-26 09:31:52 +08:00
parent f84b422992
commit afd50a401b
1 changed files with 2 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

1
docs/api/api_python/dataset_text/mindspore.dataset.text.transforms.BasicTokenizer.rst
View File

@ -9,6 +9,7 @@
Windows平台尚不支持BasicTokenizer。
**参数：**
- **lower_case** (bool，可选) - 如果为True，则在输入文本上应用CaseFold、 `NFD` 模式下的NormalizeUTF8、RegexReplace操作，以将文本折叠到较低的用例并删除重音字符。如果为False，则仅在输入文本上应用指定模式下的NormalizeUTF8操作（默认为False）。
- **keep_whitespace** (bool，可选) - 如果为True，则把空白字符保留在输出标记中，默认值：False。
- **normalization_form** (NormalizeForm，可选) - 用于指定归一化模式，默认值：NormalizeForm.NONE。这仅在 `lower_case` 为False时有效。可选值为NormalizeForm.NONE、NormalizeForm.NFC、NormalizeForm.NFKC、NormalizeForm.NFD和NormalizeForm.NFKD。