mindspore/docs/api/api_python/dataset_text/mindspore.dataset.text.Ngra...

26 lines
1.8 KiB
ReStructuredText
Raw Normal View History

2022-06-22 10:46:33 +08:00
mindspore.dataset.text.Ngram
============================
2022-02-14 14:34:37 +08:00
2022-06-22 10:46:33 +08:00
.. py:class:: mindspore.dataset.text.Ngram(n, left_pad=("", 0), right_pad=("", 0), separator=" ")
2022-02-14 14:34:37 +08:00
从1-D的字符串生成N-gram。
关于N-gram是什么以及它是如何工作的请参阅 `N-gram <https://en.wikipedia.org/wiki/N-gram#Examples>`_
2022-07-08 16:45:20 +08:00
参数:
2022-08-26 11:32:26 +08:00
- **n** (list[int]) - n-gram 中的 n它是一个正整数列表。例如 n=[4, 3]结果将是Tensor包含一个4-gram和一个3-gram的字符串。
2022-07-08 16:45:20 +08:00
如果输入的字符不足以构造一个n-gram则返回一个空字符串。例如在["mindspore", "best"] 应用 3-gram 将导致生成一个空字符串。
- **left_pad** (tuple, 可选) - 指定序列的左侧填充传入tuple的形式为 ("pad_token",pad_width)。
pad_width 的上限值为 `n` -1。例如指定 `left_pad=("_", 2)` 将用 "__" 填充序列的左侧。默认值:("", 0)。
- **right_pad** (tuple, 可选) - 指定序列的右侧填充传入tuple的形式为 ("pad_token", pad_width)。
pad_width 的上限值为 `n` -1。例如指定 `right_pad=("_", 2)` 将用 "__" 填充序列的右侧。默认值:("", 0)。
- **separator** (str, 可选) - 指定用于将字符串连接在一起的分隔符。
例如,如果对 ["mindspore", "amazing"] 应用 2-gram 并指定分隔符为"-",结果将是 ["mindspore-amazing"]。默认值:" ",使用空格作为分隔符。
2022-02-14 14:34:37 +08:00
2022-07-08 16:45:20 +08:00
异常:
- **TypeError** - 参数 `n` 包含的值类型不为int。
- **ValueError** - 参数 `n` 包含的值不为正数。
- **ValueError** - 参数 `left_pad` 不是一个长度2的Tuple[str, int]。
- **ValueError** - 参数 `right_pad` 不是一个长度2的Tuple[str, int]。
- **TypeError** - 参数 `separator` 的类型不是str。