diff --git a/docs/api/api_python/dataset_text/mindspore.dataset.text.transforms.BasicTokenizer.rst b/docs/api/api_python/dataset_text/mindspore.dataset.text.transforms.BasicTokenizer.rst index aedbda10a17..446d91c3f0a 100644 --- a/docs/api/api_python/dataset_text/mindspore.dataset.text.transforms.BasicTokenizer.rst +++ b/docs/api/api_python/dataset_text/mindspore.dataset.text.transforms.BasicTokenizer.rst @@ -3,12 +3,13 @@ .. py:class:: mindspore.dataset.text.transforms.BasicTokenizer(lower_case=False, keep_whitespace=False, normalization_form=NormalizeForm.NONE, preserve_unused_token=True, with_offsets=False) - 通过特定规则标记UTF-8字符串的标量Tensor。 + 通过特定规则标记UTF-8字符串的标量Tensor。 .. note:: Windows平台尚不支持BasicTokenizer。 **参数:** + - **lower_case** (bool,可选) - 如果为True,则在输入文本上应用CaseFold、 `NFD` 模式下的NormalizeUTF8、RegexReplace操作,以将文本折叠到较低的用例并删除重音字符。如果为False,则仅在输入文本上应用指定模式下的NormalizeUTF8操作(默认为False)。 - **keep_whitespace** (bool,可选) - 如果为True,则把空白字符保留在输出标记中,默认值:False。 - **normalization_form** (NormalizeForm,可选) - 用于指定归一化模式,默认值:NormalizeForm.NONE。这仅在 `lower_case` 为False时有效。可选值为NormalizeForm.NONE、NormalizeForm.NFC、NormalizeForm.NFKC、NormalizeForm.NFD和NormalizeForm.NFKD。