---
title: llm_clue_ner2020
canonical_url: "https://www.modelscope.cn/datasets/jieshenai/llm_clue_ner2020"
md_url: "https://www.modelscope.cn/datasets/jieshenai/llm_clue_ner2020.md"
repository: jieshenai/llm_clue_ner2020
chinese_name: "CLUENER2020 大模型数据集"
last_updated: 2024-04-18
license: "Apache License 2.0"
storage_size: "79 MB"
downloads: 2431
stars: 2
---

# llm_clue_ner2020

> llm_clue_ner2020 - jieshenai 在 ModelScope 开源的数据集。笔者将 clue_ner2020 的命名实体数据集 转为大模型训练格式

jieshenai/llm_clue_ner2020 是 ModelScope 魔搭社区上的数据集，存储大小 79 MB，采用 Apache License 2.0 许可。

- **Repository**: jieshenai/llm_clue_ner2020
- **License**: Apache License 2.0
- **Storage size**: 79 MB
- **Downloads**: 2431
- **Stars**: 2
- **Last updated**: 2024-04-18

Source: https://www.modelscope.cn/datasets/jieshenai/llm_clue_ner2020

---

数据集文件元信息以及数据文件，请浏览“数据集文件”页面获取。

该数据集不是 MsDataset 格式的数据集；

#### 下载方法 
:modelscope-code[]{type="git"}

笔者将 CLUENER2020 数据集，转为大模型能够训练的命名实体识别数据集格式；
> 笔者上传运行脚本和代码中的，数据集路径，若有细微变换，请读者自行修正

* 给出了使用 DeepKE Lora 微调脚本
* 给出了 llama-factory Lora 微调脚本

数据集说明：

<<<<<<< HEAD
* 初步转换后的数据格式 CLUENER2020/data
* DeepKE 大模型数据集格式 CLUENER2020/data/llm_format
* llama-factory 微调数据集 llm_ner_dataset
=======
* 初步转换后的数据格式 CLUENER2020/data -> CLUENER2020/data
* DeepKE 大模型数据集格式 -> CLUENER2020/data/llm_format
* 本文主要使用 llm_ner_dataset2 数据集进行训练，其他的数据集格式可忽略

> 由于笔者最初学习了一下 Deepke，故留下了一些Deepke的脚本，删去了也可惜；
> 建议读者使用 llama-factory 更通用化的大模型微调框架，咱们只专注于数据集格式的转换即可；无需学习很多框架；

该数据集对应的教程：[llama-factory SFT系列教程 (二)，大模型在自定义数据集 lora 训练与部署](https://blog.csdn.net/sjxgghg/article/details/137656248)