---
title: Mixtral-8x7B-Instruct-v0.1-GGUF
canonical_url: "https://www.modelscope.cn/models/limoncc/Mixtral-8x7B-Instruct-v0.1-GGUF"
md_url: "https://www.modelscope.cn/models/limoncc/Mixtral-8x7B-Instruct-v0.1-GGUF.md"
repository: limoncc/Mixtral-8x7B-Instruct-v0.1-GGUF
last_updated: 2023-12-15
license: "Apache License 2.0"
pipeline_tag: text-generation
tasks:
  - text-generation
library_name:
  - gguf
  - "其他"
frameworks:
  - "其他"
downloads: 884
stars: 4
tags:
  - gguf
---

# Mixtral-8x7B-Instruct-v0.1-GGUF

> Mixtral-8x7B-Instruct-v0.1-GGUF - limoncc 在 ModelScope 开源的模型。Mistral的八个专家混合模型Mixtral

limoncc/Mixtral-8x7B-Instruct-v0.1-GGUF 是 ModelScope 魔搭社区上的text-generation模型，采用 Apache License 2.0 许可。

- **Repository**: limoncc/Mixtral-8x7B-Instruct-v0.1-GGUF
- **License**: Apache License 2.0
- **Tasks**: text-generation
- **Tags**: gguf
- **Downloads**: 884
- **Stars**: 4
- **Last updated**: 2023-12-15

Source: https://www.modelscope.cn/models/limoncc/Mixtral-8x7B-Instruct-v0.1-GGUF

---

这里是mistral的八专家的稀疏混合专家网络Mixtral的gguf文件. **46B的规模，13B的推理速度**,你值得拥有！
Q3_K_M量化版本在m1 pro 32G上次测试ok

模型稍后上传

#### 一、如何下载

```bash
# 首先安装git
# 再安装 lfs
git lfs install
GIT_LFS_SKIP_SMUDGE=1 git clone git clone https://www.modelscope.cn/limoncc/Mixtral-8x7B-Instruct-v0.1-GGUF.git
cd Mixtral-8x7B-Instruct-v0.1-GGUF
git lfs pull
```

如需自己转化量化版本，请下载夸克网盘分享的Mixtral-8x7B-Instruct-v0.1「ggml-model-f16.gguf」。   
链接：https://pan.quark.cn/s/32f1ec958a74    
提取码：hTBY    



#### 二、如何使用

关键要点：切换到mixtral分支。

```bash
git clone https://gitee.com/limoncc/llama.cpp.git
git checkout mixtral
mkdir build
cd build
cmake ..
cmake --build . --config Release

./bin/main -m ./models/mixtral-8x7b-32k/ggml-model-q4_0.gguf \
--temp 0.7 --repeat_penalty 1.1 -n -1 \
-p "I believe the meaning of life is" \
```

聊天格式

```bash
<s> 
[INST] Instruction [/INST]
 Model answer</s> 
[INST] Follow-up instruction [/INST]
 Model answer</s> 
```


当然如果你对聊天格式还不熟悉可以查看我这篇文章:    
[不得不说的Chat Format(聊天格式)——大模型CPU部署系列03](https://zhuanlan.zhihu.com/p/666461139)   

如果你不知道什么是gguf可以参看下面的文章:       
[揭开gguf神秘面纱——大模型CPU部署系列02](https://zhuanlan.zhihu.com/p/662959134).  

如果你还想了解llama.cpp的量化方法, 可以关注我的大模型CPU部署系列.  
[大模型CPU部署系列](https://www.zhihu.com/column/c_1695762491949510656)