---
title: tiny_llm_92m_demo
canonical_url: "https://www.modelscope.cn/studios/wdndev/tiny_llm_92m_demo"
md_url: "https://www.modelscope.cn/studios/wdndev/tiny_llm_92m_demo.md"
repository: wdndev/tiny_llm_92m_demo
chinese_name: "Tiny LLM 92m 对话模型示例"
last_updated: 2024-05-12
sdk_type: streamlit
downloads: 0
stars: 8
---

# tiny_llm_92m_demo

> tiny_llm_92m_demo - wdndev 在 ModelScope 创建的在线 Demo。本项目wdndev/tiny-llm-zh (github.com)旨在构建一个小参数量的中文语言大模型，用于快速入门学习大模型相关知识。

wdndev/tiny_llm_92m_demo 是 ModelScope 魔搭社区上的在线可交互 Demo（创空间），基于 streamlit 构建，中文名为「Tiny LLM 92m 对话模型示例」。

- **Repository**: wdndev/tiny_llm_92m_demo
- **SDK**: streamlit
- **Downloads**: 0
- **Stars**: 8
- **Last updated**: 2024-05-12

Source: https://www.modelscope.cn/studios/wdndev/tiny_llm_92m_demo

---

#### Clone with HTTP
```bash
 git clone https://www.modelscope.cn/studios/wdndev/tiny_llm_92m_demo.git
```

## Tiny LLM 92M SFT

### 简介

本项目[wdndev/tiny-llm-zh (github.com)](https://github.com/wdndev/tiny-llm-zh)旨在构建一个小参数量的中文语言大模型，用于快速入门学习大模型相关知识。

模型架构：整体模型架构采用开源通用架构，包括：RMSNorm，RoPE，MHA等

实现细节：实现大模型两阶段训练及后续人类对齐，即：预训练(PTM) -> 指令微调(SFT) -> 人类对齐(RLHF, DPO) -> 测评。

注意：因资源限制，本项目的第一要务是走通大模型整个流程，而不是调教比较好的效果，故评测结果分数较低，部分生成结构错误。


### 模型细节

大约在9B的中文预料中训练，主要包含百科内容，模型架构采用开源通用架构，包括：RMSNorm，RoPE，MHA等。

### 环境

只需要安装 `transformers` `streamlit`即可运行

### 快速开始

```bash
streamlit run .\app.py
```