---
title: TransformerXL-Fast-Poem
canonical_url: "https://www.modelscope.cn/models/ZhipuAI/TransformerXL-Fast-Poem"
md_url: "https://www.modelscope.cn/models/ZhipuAI/TransformerXL-Fast-Poem.md"
repository: ZhipuAI/TransformerXL-Fast-Poem
chinese_name: "TransformerXL模型-快速作诗"
last_updated: 2022-12-29
model_type:
  - TransformerXL
library_name:
  - pytorch
frameworks:
  - pytorch
language:
  - cn
domain:
  - nlp
downloads: 144
stars: 7
tags:
  - transformer-xl
  - Zhipu.ai
  - "模型集成中"
---

# TransformerXL-Fast-Poem

> TransformerXL-Fast-Poem - ZhipuAI 在 ModelScope 开源的模型。TransformerXL模型-快速作诗 模型集成中 本模型使用了智源研究院发布的中文预训练语料WuDaoCorpus 。具体地，我们使用了WuDaoCorpus中来自百度百科+搜狗百科（133G）、知乎（131G）、百度知道（38G）的语料，一共303GB数据。

- **Repository**: ZhipuAI/TransformerXL-Fast-Poem
- **Tags**: transformer-xl, Zhipu.ai, 模型集成中
- **Downloads**: 144
- **Stars**: 7
- **Last updated**: 2022-12-29

Source: https://www.modelscope.cn/models/ZhipuAI/TransformerXL-Fast-Poem

---

# TransformerXL模型-快速作诗
## 模型集成中
本模型使用了智源研究院发布的中文预训练语料WuDaoCorpus 。具体地，我们使用了WuDaoCorpus中来自百度百科+搜狗百科（133G）、知乎（131G）、百度知道（38G）的语料，一共303GB数据。

本模型使用了GPT-3 的训练目标，同时使用能够更好地处理长序列建模的Transformer-XL 替代了GPT中的Transformer。模型的结构与GPT-3 2.7B（32层，隐表示维度2560，每层32个注意力头）基本相同，因为Transformer-XL的结构改动，模型参数增加到了29亿。