---
title: openwebtext_dataset
canonical_url: "https://www.modelscope.cn/datasets/mapjack/openwebtext_dataset"
md_url: "https://www.modelscope.cn/datasets/mapjack/openwebtext_dataset.md"
repository: mapjack/openwebtext_dataset
chinese_name: "开放数据集openwebtext"
last_updated: 2023-08-04
license: "Apache License 2.0"
storage_size: "105 GB"
domain:
  - multi_modal
tasks:
  - text-generation
language:
  - zh
type:
  - question-generation
downloads: 4672
stars: 11
---

# openwebtext_dataset

> openwebtext_dataset - mapjack 在 ModelScope 开源的数据集。rwkv训练所用的openwebtxt开放数据

mapjack/openwebtext_dataset 是 ModelScope 魔搭社区上的text-generation数据集，涉及 multi_modal 领域，存储大小 105 GB，采用 Apache License 2.0 许可。

- **Repository**: mapjack/openwebtext_dataset
- **License**: Apache License 2.0
- **Tasks**: text-generation
- **Domain**: multi_modal
- **Storage size**: 105 GB
- **Downloads**: 4672
- **Stars**: 11
- **Last updated**: 2023-08-04

Source: https://www.modelscope.cn/datasets/mapjack/openwebtext_dataset

---

### Clone with HTTP
```bash
git clone https://www.modelscope.cn/datasets/mapjack/openwebtextSample.git
```

## 数据集描述
OpenAIWebText数据集是开源的。数据集大小大约100G左右，训练RWKV模型的可用数据，该数据都是从网上爬取的，并经过清洗的数据，重复度比较低的数据。

### 数据集加载方式
目前支持 dataset包加载数据。
```python
import dataset
dataset = load_dataset("openwebtextSample")
```