2022-06-22 10:46:33 +08:00
|
|
|
|
mindspore.dataset.text.PythonTokenizer
|
|
|
|
|
|
======================================
|
2022-02-14 14:34:37 +08:00
|
|
|
|
|
2022-06-22 10:46:33 +08:00
|
|
|
|
.. py:class:: mindspore.dataset.text.PythonTokenizer(tokenizer)
|
2022-02-14 14:34:37 +08:00
|
|
|
|
|
|
|
|
|
|
使用用户自定义的分词器对输入字符串进行分词。
|
|
|
|
|
|
|
2022-07-08 16:45:20 +08:00
|
|
|
|
参数：
|
|
|
|
|
|
- **tokenizer** (Callable) - Python可调用对象，要求接收一个string参数作为输入，并返回一个包含多个string的列表作为返回值。
|
2022-02-14 14:34:37 +08:00
|
|
|
|
|
2022-07-08 16:45:20 +08:00
|
|
|
|
异常：
|
|
|
|
|
|
- **TypeError** - 参数 `tokenizer` 不是一个可调用的Python对象。
|
