2022-06-22 10:46:33 +08:00
|
|
|
|
mindspore.dataset.text.WhitespaceTokenizer
|
|
|
|
|
|
==========================================
|
2022-02-14 14:34:37 +08:00
|
|
|
|
|
2022-06-22 10:46:33 +08:00
|
|
|
|
.. py:class:: mindspore.dataset.text.WhitespaceTokenizer(with_offsets=False)
|
2022-02-14 14:34:37 +08:00
|
|
|
|
|
2022-03-31 11:10:18 +08:00
|
|
|
|
基于ICU4C定义的空白字符（' ', '\\\\t', '\\\\r', '\\\\n'）对输入的UTF-8字符串进行分词。
|
2022-02-14 14:34:37 +08:00
|
|
|
|
|
2022-03-26 21:10:33 +08:00
|
|
|
|
.. note:: Windows平台尚不支持 `WhitespaceTokenizer` 。
|
2022-02-14 14:34:37 +08:00
|
|
|
|
|
2022-07-08 16:45:20 +08:00
|
|
|
|
参数：
|
2022-11-02 11:17:18 +08:00
|
|
|
|
- **with_offsets** (bool, 可选) - 是否输出标记(token)的偏移量。默认值：False。
|
2022-02-14 14:34:37 +08:00
|
|
|
|
|
2022-07-08 16:45:20 +08:00
|
|
|
|
异常：
|
|
|
|
|
|
- **TypeError** - 参数 `with_offsets` 的类型不为bool。
|
