---
title: nlp_xlmr_word-segmentation_thai
canonical_url: "https://www.modelscope.cn/models/damo/nlp_xlmr_word-segmentation_thai"
md_url: "https://www.modelscope.cn/models/damo/nlp_xlmr_word-segmentation_thai.md"
repository: damo/nlp_xlmr_word-segmentation_thai
chinese_name: "XLM-R分词-泰语-通用领域-base"
last_updated: 2023-02-26
license: "Apache License 2.0"
pipeline_tag: word-segmentation
tasks:
  - word-segmentation
model_type:
  - xlm-roberta
architectures:
  - XLMRobertaForMaskedLM
library_name:
  - pytorch
frameworks:
  - pytorch
language:
  - th
domain:
  - nlp
downloads: 943
stars: 2
tags:
  - "Thai Word Segmentation"
  - Transformer
  - "泰语分词"
  - "分词"
---

# nlp_xlmr_word-segmentation_thai

> nlp_xlmr_word-segmentation_thai - damo 在 ModelScope 开源的模型。XLM-R分词-泰语-通用领域-base是基于BEST-2010数据训练得到的泰语分词模型，可根据用户输入的泰语文本产出分词结果。

damo/nlp_xlmr_word-segmentation_thai 是 ModelScope 魔搭社区上的word-segmentation模型，采用 Apache License 2.0 许可。

- **Repository**: damo/nlp_xlmr_word-segmentation_thai
- **License**: Apache License 2.0
- **Tasks**: word-segmentation
- **Tags**: Thai Word Segmentation, Transformer, 泰语分词, 分词
- **Downloads**: 943
- **Stars**: 2
- **Last updated**: 2023-02-26

Source: https://www.modelscope.cn/models/damo/nlp_xlmr_word-segmentation_thai

---

# 泰语通用领域分词模型介绍

## 任务介绍
泰语分词目的是将连续的泰语字符分隔成具有语言学意义的泰语单词，是泰语文本理解的基础模块。
- 输入: ...รถคันเก่าก็ยังเก็บเอาไว้ยังไม่ได้ขาย...
- 输出: .../ รถ/ คัน/ เก่า/ ก็/ ยัง/ เก็บ/ เอา/ ไว้/ ยัง/ ไม่/ ได้/ ขาย/ ...

## 模型介绍
- 本方法采用Transformer-Linear模型，使用XLM-RoBERTa(XLM-R)作为预训练模型底座。
- 对于输入文本，本模型逐字符预测当前字符是否为泰语单词边界, 具体调用方式请参考代码示例。

## 训练数据介绍
- BEST-2010

## 快速上手
### 适用范围
在安装ModelScope完成之后即可使用named-entity-recognition(命名实体识别)的能力, 默认单句包含字符数不超过512。

### 代码示例
```python
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

ner_pipeline = pipeline(Tasks.word_segmentation, 'damo/nlp_xlmr_word-segmentation_thai')
result = ner_pipeline('...รถคันเก่าก็ยังเก็บเอาไว้ยังไม่ได้ขาย...')

print(result)
#{'output': ['...', 'รถ', 'คัน', 'เก่า', 'ก็', 'ยัง', 'เก็บ', 'เอา', 'ไว้', 'ยัง', 'ไม่', 'ได้', 'ขาย', '...']}
```

## 性能评测
| Precision | Recall | F1 |
| --- | --- | --- |
| 97.9 | 97.9 | 97.9 |