---
title: OPENCHAT3.5-16K-GGUF
canonical_url: "https://www.modelscope.cn/models/limoncc/OPENCHAT3.5-16K-GGUF"
md_url: "https://www.modelscope.cn/models/limoncc/OPENCHAT3.5-16K-GGUF.md"
repository: limoncc/OPENCHAT3.5-16K-GGUF
last_updated: 2023-12-13
license: "Apache License 2.0"
pipeline_tag: text-generation
tasks:
  - text-generation
library_name:
  - gguf
  - pytorch
frameworks:
  - Pytorch
downloads: 153
stars: 2
tags:
  - gguf
---

# OPENCHAT3.5-16K-GGUF

> OPENCHAT3.5-16K-GGUF - limoncc 在 ModelScope 开源的模型。OPENCHAT3.5-16K-GGUF

limoncc/OPENCHAT3.5-16K-GGUF 是 ModelScope 魔搭社区上的text-generation模型，采用 Apache License 2.0 许可。

- **Repository**: limoncc/OPENCHAT3.5-16K-GGUF
- **License**: Apache License 2.0
- **Tasks**: text-generation
- **Tags**: gguf
- **Downloads**: 153
- **Stars**: 2
- **Last updated**: 2023-12-13

Source: https://www.modelscope.cn/models/limoncc/OPENCHAT3.5-16K-GGUF

---

#### 一、一个简单介绍

OpenChat 是一个创新的开源语言模型库，使用 C-RLFT 进行了微调，这是一种受离线强化学习启发的策略。
我们的模型从没有偏好标签的混合质量数据中学习，即使使用 7B 模型，也能提供与 ChatGPT 相当的卓越性能。
尽管我们的方法很简单，但我们致力于开发一个高性能、商业上可行的开源大型语言模型，并且我们将继续朝着这一愿景迈出重大步伐。

OpenChat3.5-16k是NurtureAI提供，上下文增加到16k

这里提供两个gguf

- ggml-model-f16.gguf
- ggml-model-Q4_K_M.gguf

你可以使用ggml-model-f16.gguf和llama.cpp把模型量化为你想要的版本。

#### 二、如何下载

```bash
# 首先安装git
# 再安装 lfs
git lfs install
GIT_LFS_SKIP_SMUDGE=1 git clone git clone https://www.modelscope.cn/limoncc/OPENCHAT3.5-16K-GGUF.git
cd OPENCHAT3.5-16K-GGUF
git lfs pull
```



#### 三、如何下载

由于openchat3.5特有的训练方法C-RLFT，具体可以参考文章：

[如何训练——大语言模型研究02](https://zhuanlan.zhihu.com/p/670974093)

它的对话格式比较特殊，所以你需要修改llama-cpp-python的相关代码，具体可以参考

[不得不说的Chat Format(聊天格式)——大模型CPU部署系列03
](https://zhuanlan.zhihu.com/p/666461139)

一般聊天格式示例
```bash
GPT4 Correct User: Hello<|end_of_turn|>
GPT4 Correct Assistant: Hi<|end_of_turn|>
GPT4 Correct User: How are you today?<|end_of_turn|>
GPT4 Correct Assistant:
```

写代码
```bash
Code User: Implement quicksort using C++<|end_of_turn|>
Code Assistant:
```
